基于超声影像组学的自动分割模型与机器学习模型用于鉴别附件肿块低恶性风险与中高恶性风险
本研究回顾性收集663例附件肿块超声图像,训练深度学习分割模型自动勾画病灶,并基于O-RADS将肿块分为低恶性风险(O-RADS 1–3,446例)与中高恶性风险(O-RADS 4–5,217例),构建融合影像组学与临床特征的机器学习列线图。FCN ResNet101分割Dice系数达89.1%;测试集中支持向量机AUC为0.961(95%CI 0.925–0.996),LightGBM列线图AUC为0.966(95%CI 0.927–1.000),诊断性能与有经验放射科医师相当(p>0.05)并优于经验较少医师(p<0.05),且可显著提升后者的诊断效能。
要点
- FCN ResNet101自动分割附件肿块Dice系数89.1%,囊肿为主病灶92.3%、实性为主85.4%。
- 测试集LightGBM列线图鉴别低与中高恶性风险AUC 0.966(95%CI 0.927–1.000)。
- 列线图辅助后经验较少医师平均AUC由0.893升至0.941(95%CI 0.917–0.964)。
核心结论
- 分割模型可作为附件病灶自动勾画的工具,机器学习模型分类能力良好,并优于经验较少放射科医师的诊断性能。
- 基于超声影像组学的机器学习模型有潜力提升经验较少放射科医师的专业能力,并可用于辅助卵巢癌的临床筛查。
研究设计与样本
- 回顾性研究,共纳入663例附件肿块超声图像(经阴道或经直肠),训练集530例、测试集133例,按8:2比例划分。
- 图像来自南方科技大学深圳医院(训练集)与青岛市市立医院(测试集),使用Mindray DC-80、Samsung HERA XW10、GE Voluson E10、GE Logiq E9等设备。
- 由两名有二十年妇科超声经验的放射科医师按O-RADS将图像分为O-RADS 1–5,意见不一致时由妇科超声专家会诊达成共识,以其一致分类作为诊断标准。
- O-RADS 1–3归为低恶性风险集(n=446),O-RADS 4–5归为中高恶性风险集(n=217)。
- 随机选取204幅图像手动标注用于训练7种深度学习分割模型,并以Pyradiomics提取影像组学特征。
诊断标准与关键数值
- 以O-RADS 4作为鉴别恶性的最佳阈值,O-RADS 1–3为低恶性风险、O-RADS 4–5为中高恶性风险。
- FCN ResNet101分割性能最高,Dice相似系数89.1%;囊肿为主病灶92.3%,实性为主病灶85.4%。
- 训练集中随机森林表现最高(AUC 1.000,95%CI 1.000–1.000,准确率99.0%,敏感度96.8%,特异度100.0%,PPV 100.0%,NPV 98.5%,精确率100.0%)。
- 测试集中支持向量机表现最佳(AUC 0.961,95%CI 0.925–0.996,准确率89.2%,敏感度85.2%,特异度91.1%,PPV 82.1%,NPV 92.7%,精确率82.1%)。
- 测试集中LightGBM列线图诊断性能最高(AUC 0.966,95%CI 0.927–1.000,准确率90.4%,敏感度88.9%,特异度91.1%,PPV 82.8%,NPV 94.4%,精确率82.8%);LightGBM临床模型AUC 0.807(95%CI 0.699–0.916)。
临床应用与阅片要点
- 列线图诊断性能与有经验放射科医师相当(AUC 0.968,95%CI 0.950–0.986,敏感度95.4%,特异度98.2%,p>0.05)。
- 经验较少放射科医师平均AUC 0.893(95%CI 0.863–0.923,敏感度87.6%,特异度91.0%),低于列线图(p<0.05)。
- 借助列线图后经验较少放射科医师平均AUC升至0.941(95%CI 0.917–0.964,敏感度92.2%,特异度96.0%)。
- SHAP方法用于模型可解释性与可视化,original_glcm_MCC为该列线图最重要的特征。
局限性
- 原文在讨论部分提到经验较少放射科医师分类错误的主要原因包括混淆良性病灶的内部回声,该句在节选处中断,原文未完整报告其余原因。
- 原文为回顾性研究,并因此获得免除患者知情同意。
全文中译20 节 · 点击展开
引言
附件肿块包括卵巢、输卵管及卵巢旁肿块,涵盖良性、恶性及交界性病变的多种谱系 [1]。不同组织病理学类型的预后差异显著 [2]。值得注意的是,卵巢癌是最致命的妇科肿瘤 [3],其五年相对生存率低于50% [4]。
恶性和良性附件肿块的治疗策略根本不同 [5, 6]。因此,准确区分恶性和良性病变对于优化患者诊疗至关重要。超声目前是附件病变的主要影像学检查方法。鉴于这些肿块呈现的形态学特征多样,解读超声图像可能较为复杂,诊断准确性在很大程度上依赖于放射科医师的经验和主观评估。
为便于附件病变的评估过程,已开发了多种循证风险分层系统 [7–13]。卵巢-附件报告和数据系统(O-RADS)风险分层与管理系统将附件肿块分为6类,从正常到高恶性风险 [14, 15]。O-RADS在临床实践中的应用日益广泛,其鉴别恶性和良性肿块的诊断效能已得到验证 [16–21]。然而,该系统的复杂性以及附件肿块表现形式的多样性给放射科医师带来了挑战,尤其是经验较少的医师。
近年来,人工智能(AI)辅助图像分析有助于更精确、更一致地评估附件病变 [22]。为加强卵巢癌的超声筛查并帮助经验较少的放射科医师提升专业技能,我们建立了一个分割模型来勾画附件肿块。此外,我们构建了一个基于超声影像组学的机器学习模型,整合影像组学特征和临床特征,基于O-RADS区分低恶性风险与中高恶性风险的附件肿块。采用SHapley加法解释(SHAP)方法进行模型可解释性和可视化。
材料与方法
伦理批准
本研究经深圳大学附属华南医院伦理委员会批准(编号:HNLS20230112101-A)。鉴于研究的回顾性性质,获准豁免患者知情同意。模型构建与可视化的工作流程如图1所示。
研究对象与数据收集
从2021年6月至2024年1月,我们回顾性收集了在深圳大学附属华南医院(训练集)和青岛市市立医院(测试集)诊断为附件肿块的参与者的超声图像(经阴道或经直肠)。遵循O-RADS,两位具有二十年妇科超声经验的放射科医师(H.T.和W.C.)将这些图像分为五种类型(O-RADS 1–5),他们一致的分类作为诊断标准。鉴于O-RADS 4已被确立为恶性肿瘤的最佳阈值[16, 18],肿块被分为两个亚组:O-RADS 1–3病变被视为低恶性风险组,而O-RADS 4–5病变被视为中高恶性风险组。在意见不一致的情况下,会咨询妇科超声专家以达成共识。
参与者的临床特征包括年龄、肿块最大直径、症状、绝经状态以及是否存在腹水。症状包括痛经、慢性盆腔痛、腹部不适、性交痛和腹胀感。
纳入标准包括:(1)附件病变参与者已在上述两家指定医院接受超声检查;(2)年龄超过18岁的参与者;(3)对于有多个附件肿块的参与者,仅纳入形态最复杂的肿块。排除标准包括:(1)无法确认起源于附件的盆腔肿块;(2)低质量图像;(3)临床数据不完整。
图像采集
超声检查使用多种设备进行,包括迈瑞DC-80、三星HERA XW10、GE Voluson E10和GE Logiq E9。所有超声扫描均由持证放射科医师执行。如果对单个肿块获取了多张图像,则选择显示最大直径的图像纳入。图像质量控制由两位放射科医师(T.W.和Y.L.)进行。
深度学习图像分割模型的构建
随机选择一部分图像用于训练分割模型。两名研究者(L.L.和H.T.)使用Labelme软件(版本5.3.1,美国)手动勾画所选图像的目标病变,其分割结果作为标准。为避免个体差异引起的主观误差,采用组内相关系数(ICC)评估观察者间或观察者内勾画病变的一致性。ICC阈值≥0.75被认为反映可接受的一致性。
训练了七种深度学习分割模型,包括FCN ResNet50、FCN ResNet101、DeepLabV3 ResNet50、DeepLabV3 ResNet101、DeepLabV3 MobileNetV3-Large、LR-ASPP MobileNetV3-Large和U-Net。我们应用Dice相似系数(DSC)来评估分割准确性,该系数量化研究者与模型分割结果之间的重叠程度。我们选择最佳模型自动分割剩余图像。在分割不准确的情况下,进行手动微调。
特征提取与特征选择
我们使用Pyradiomics中为影像组学分析设计的特征分析程序来提取影像组学特征。提取的特征分为三大类:几何特征、强度特征和纹理特征。几何特征描述病灶的形状特征。强度特征说明病灶内体素强度的第一阶统计分布。纹理特征描述强度的模式或第二阶及高阶空间分布,包括灰度共生矩阵(GLCM)、灰度依赖矩阵、灰度大小区域矩阵、灰度游程长度矩阵和邻域灰度差矩阵。
为了识别与分类相关性最强的特征,我们采用t检验和Mann–Whitney U检验筛选特征。我们保留p值小于0.05的特征,因为它们表明两组之间存在显著差异。为了消除多余特征,通过计算Spearman秩相关系数来确定特征之间的相关性。对于相关系数超过0.9的任何一对特征,我们仅选择其中一个特征,以去除高度冗余的特征。此外,我们采用贪婪递归删除方法筛选特征,该方法包括迭代删除当前集合中被认为最冗余的特征。
我们利用最小绝对收缩和选择算子(LASSO)回归来最小化特征集。Rad评分使用LASSO逻辑回归(LR)生成,仅选择非零系数的特征。LASSO根据正则化权重λ将所有回归系数向0收缩,并将不相关特征的系数精确设为0。最佳λ值通过使用最小标准的10折交叉验证确定,最终λ引起最小的交叉验证误差。具有非零系数的最稳健特征用于回归模型拟合,并整合到影像组学特征中。Rad评分由所选特征的线性组合生成,每个特征根据相应的模型系数加权。
模型构建与评估
我们使用Python建立影像组学和临床模型。所选特征被输入到多种机器学习算法中,包括LR、支持向量机(SVM)、k近邻(KNN)、随机森林、XGBoost、LightGBM和多层感知机(MLP)。我们随后进行5折交叉验证,以确定模型拟合的最佳超参数。开发了影像组学列线图,整合影像组学特征和临床特征进行分析。
受试者工作特征(ROC)曲线用于直观评估诊断性能。此外,计算了多项诊断指标,如ROC曲线下面积(AUC)、特异性、敏感性、准确性、阳性预测值(PPV)、阴性预测值(NPV)和精确率。我们使用MedCalc软件进行DeLong检验,以比较各种模型的AUC。为了评估模型预测与实际分类之间的一致性,生成校准曲线,并使用Hosmer–Lemeshow分析评估校准效果。进行决策曲线分析(DCA)以评估模型的临床实用性。
放射科医师评估
两名经验丰富的放射科医师(H.T.和W.C.)根据O-RADS独立对图像进行分类。第三名具有十年以上妇科超声经验的放射科医师(L.L.)和两名妇科超声经验不足五年的低年资放射科医师(T.W.和Y.L.)被要求对图像进行分类。在模型的辅助下,两名低年资放射科医师重新对这些图像进行了分类。在不确定的情况下,低年资放射科医师可参考列线图结果和图像的SHAP力图分析,以潜在地辅助其诊断并据此调整分类。
模型可解释性与可视化
采用SHAP方法可视化特征的重要性及其对模型的影响,通过为特征分配重要性值(SHAP值)来解释模型的内部决策过程。
统计分析
采用IBM SPSS统计软件比较各数据集之间参与者的临床特征。连续变量以均值±标准差汇总,并采用t检验(正态分布)或Mann–Whitney U检验(非正态分布)进行评估。分类变量以百分比表示,并采用卡方检验进行分析。双侧p值小于0.05被认为具有统计学意义。确定AUC的95%置信区间(CI)。使用Python进行Z分数标准化、Spearman秩相关检验和LASSO分析。
结果
临床特征
本研究纳入663名参与者共663个附件肿块。根据经验丰富的放射科医师的分类,低恶性风险组446例,中高恶性风险组217例。训练集包含530例,测试集包含133例,比例为8:2(图2)。在训练集中,两个数据集之间所有临床特征均观察到显著差异(p < 0.05)。然而,在测试集中,仅年龄和有症状参与者的比例在两个数据集之间显示出显著差异(p < 0.05),其余临床特征未观察到显著差异(p > 0.05)(表1)。
深度学习图像分割模型的性能比较
共随机选取204张图像用于手动标注和分割模型训练。在不同模型中,FCN ResNet101表现出优越性能,达到89.1%的DSC(表2)。因此,采用FCN ResNet101对其余图像进行自动分割。值得注意的是,对于以囊性病变为主的肿块,分割模型达到了较高的准确率(DSC:92.3%)。相比之下,对于以实性病变为主的附件肿块,准确率略低(DSC:85.4%)。任何不精确的分割随后均进行了手动微调。平均而言,单张图像的分割过程耗时6.3秒,包括手动微调所用时间。相比之下,手动标注每张图像平均需要13.6秒。分割模型使病灶分割所需时间减少了53.7%。补充图1展示了FCN ResNet101生成的分割结果。
特征提取与选择
共提取了107个手工特征(形状特征:14个,一阶特征:18个,纹理特征:75个)。采用LASSO回归选择19个系数非零的特征用于构建Rad评分。特征提取与选择过程的信息见图3。
影像组学模型的性能
开发并比较了七种机器学习模型以确定最佳分类模型(表3)。在训练集中,随机森林取得了最高性能(AUC:1.000,95% CI:1.000–1.000,准确率:99.0%,灵敏度:96.8%,特异度:100.0%,PPV:100.0%,NPV:98.5%,精确率:100.0%)(图4A)。在测试集中,SVM取得了最佳性能(AUC:0.961,95% CI:0.925–0.996,准确率:89.2%,灵敏度:85.2%,特异度:91.1%,PPV:82.1%,NPV:92.7%,精确率:82.1%)(图4B)。
影像组学模型、临床模型和列线图的性能
选择训练集中两组间显示出显著差异的临床特征来建立临床模型。LightGBM算法在测试集中表现出最高性能(AUC:0.807,95% CI:0.699–0.916,准确率:80.7%,灵敏度:66.7%,特异度:87.5%,PPV:72.0%,NPV:84.5%,精确率:72.0%)(图4C)。结合LightGBM模型的列线图在测试集中表现出最高的诊断性能(AUC:0.966,95% CI:0.927–1.000,准确率:90.4%,灵敏度:88.9%,特异度:91.1%,PPV:82.8%,NPV:94.4%,精确率:82.8%)。图5A展示了该列线图,其通过计算总分来反映恶性可能性。影像组学模型、临床模型和列线图的诊断指标见表4和图4D、E。
DeLong检验表明,列线图与临床模型之间以及列线图与影像组学模型之间的AUC比较在训练集和测试集中均具有统计学意义(p < 0.05)。Hosmer–Lemeshow检验显示,列线图的预测与训练集和测试集中的真实分类之间具有良好的一致性(p > 0.05)。相反,临床模型或影像组学模型的预测与实际分类的一致性不佳(p < 0.05)(表5和图5B、C),表明列线图拟合完美。DCA曲线表明,列线图和影像组学模型均大幅改善了患者的干预结果(图5D、E)。
低年资放射科医师的表现
影像组学列线图的分类性能与高年资放射科医师相当(AUC:0.968,95% CI:0.950–0.986,灵敏度:95.4%,特异度:98.2%)(p > 0.05)。然而,低年资放射科医师的诊断效能低于列线图(平均AUC:0.893,95% CI:0.863–0.923,灵敏度:87.6%,特异度:91.0%)(p < 0.05)。尽管如此,列线图的辅助显著提高了低年资放射科医师的诊断效能(平均AUC:0.941,95% CI:0.917–0.964,灵敏度:92.2%,特异度:96.0%)(图4F)。
模型可解释性与可视化
SHAP方法为列线图提供了可解释性和可视化。SHAP摘要图通过SHAP值可视化特征的重要性,从而提供模型的全局解释(图6A)。每个点代表一个个体样本,其SHAP值表示相应特征的重要性,SHAP值的绝对值越大,表明对模型预测结果的贡献越大。点的颜色代表特征值对模型预测的影响。最重要的特征位于图的顶部,表明original_glcm_MCC是本研究中列线图最显著的特征。
SHAP力图旨在解释和可视化个体样本的预测结果(图6B、C)。彩色箭头描绘了单个图像特征的SHAP值及其对模型的贡献。箭头的长度代表特征对最终预测值的影响程度,箭头越长表示贡献越大;箭头的颜色区分对预测结果的正向贡献(红色)和负向贡献(蓝色)。最终SHAP值是基准值与所有特征累积贡献之和,代表模型对该图像的最终预测。
讨论
附件肿块的 segmentation 是分类模型开发中至关重要的初步阶段。然而,手动勾画是一项耗时费力的任务。附件位于盆腔内,深藏于肠道之间,这往往导致附件与邻近器官之间边界不清。此外,手动标注中观察者间的变异性可能源于放射科医生之间的主观性差异。为减少对手动标注的依赖并提高模型开发效率,我们使用人工智能技术实现分割自动化。我们训练了七种在既往文献[23–25]中被广泛采用的深度学习模型以确定最优模型。FCN ResNet101取得了最高性能,并将时间缩短了53.7%,显著提高了效率。既往关于分割的研究主要基于CT图像。与既往基于超声图像的研究[26, 27]相比,本研究取得了略高的分割准确率。此外,该模型在分割主要由囊性病变组成的附件肿块时,表现出比主要由实性病变组成的肿块更高的准确率。这种差异可归因于囊性病变典型的无回声表现,与周围组织的回声形成鲜明对比。相反,实性病变由于与邻近器官回声相似,常表现出边界不确定性。
O-RADS系统可根据超声形态学特征对附件病变进行分类,从而提示各类病变相关的潜在恶性风险[15]。该系统已在既往研究中得到验证,并显示出良好的阅片者间一致性[16–19]。在本研究中,我们构建了一个结合影像组学特征和临床特征的列线图,以实现附件肿块的自动化分类。根据已发表的研究和专家共识——其认可资深放射科医师的模式识别是鉴别附件肿块最精确的超声方法[28–30]——我们以经验丰富的放射科医师的评估作为基准来评估诊断性能。我们的研究结果显示,融合模型的诊断性能优于单独的影像组学模型或临床模型,提示这些特征的整合对于鉴别良性与恶性肿块尤为有益。DeLong检验证实,融合模型在分类方面显著优于临床模型和影像组学模型。校准曲线显示融合模型的预测结果与真实分类之间具有满意的一致性。DCA结果表明,与未采用预测模型的情况相比,该模型的应用可提供显著的临床获益。
列线图的诊断性能与经验丰富的放射科医师相当,且优于经验较少的放射科医师。此外,列线图的辅助显著提高了经验较少放射科医师的诊断效率,有可能缩小医疗资源差距。经验较少放射科医师分类错误的主要原因包括:(1)经验较少的放射科医师将良性病变的内部回声(如出血性囊肿或子宫内膜瘤中的血液产物,以及皮样囊肿中的皮样内容物)与恶性病变的实性成分回声相混淆,导致分类错误。(2)内壁不规则的双房或多房囊肿,或伴有小乳头状突起的囊肿,本应归类为O-RADS 4–5,却被误分类为O-RADS 3。(3)根据O-RADS超声2022版[15],轮廓光滑的实性病变伴有声影被新增为提示良性的形态学特征。因此,伴有声影的光滑实性病变现在被归类为O-RADS 3,区别于既往评分为O-RADS 4。然而,经验较少的放射科医师仍将这些肿块误分类为O-RAD 4。
机器学习算法的黑箱特性显著阻碍了人工智能(AI)模型的广泛采用[31]。在本研究中,我们创新性地采用SHAP方法实现了模型决策过程的可解释性和可视化。SHAP摘要图提供了特征重要性及其对模型影响的临床友好型图示[32]。SHAP力图为图使我们能够理解每张单个图像的特征对分类结果的贡献。该方法在放射科人员培训中非常有用,并可能有助于提高其专业技能。在诊断困难或不确定的情况下,经验较少的放射科医生可以参考SHAP力图的分析来理解模型的决策过程,并识别哪些特征(形状、纹理或强度)在分类过程中最为关键。
在临床实践中,附件肿块的准确分类仍然具有挑战性,尤其是在经验丰富的放射科医生短缺的地区。这些模型有潜力整合到常规临床实践中并重塑诊断路径。在放射科医生诊断之前,这些模型可作为恶性病变的初步筛查工具,显著减轻放射科医生的工作量。此外,这些模型还可以通过SHAP可视化模型的诊断过程,帮助初级放射科医生提高其专业技能。
本研究的回顾性性质对收集足够的临床数据提出了挑战,导致临床模型的诊断效能欠佳。与低恶性风险组相比,中高恶性风险组的平均年龄更大,绝经后参与者比例更高,这与既往研究结果一致[33, 34]。大多数卵巢癌病例要么无临床症状,要么表现出非特异性症状[35, 36]。在低恶性风险组中,观察到子宫内膜异位症患者经常出现痛经或慢性盆腔疼痛等症状,导致临床症状发生率升高。
影像组学通过使用先进的图像处理技术,能够将影像数据转化为高通量、可分析的图像特征,并已在医学图像分析中被广泛采用[37, 38]。先进的AI算法用于分析与病理诊断相关联的图像特征[39]。已有多项关于使用AI模型诊断附件肿块的研究发表[22, 40–42],并展现出值得称赞的分类能力。例如,Gao等[43]、Zhang等[44]和Wang等[45]开发的模型在区分卵巢良恶性病变方面达到了优于放射科医生的准确率。然而,这些研究集中于基于病理结果对病变进行区分。据我们所知,基于O-RADS对附件肿块进行分类的AI应用探索仍是一个鲜有涉足的领域。
局限性概述如下。首先,来自双中心数据集的样本量有限,可能引入潜在的选择偏倚,从而限制了结果的普适性。其次,由于本研究的回顾性性质,临床数据的有限可用性限制了临床模型的诊断效能。未来需要开展纳入更大规模人群和全面临床数据集的前瞻性、多中心研究,以验证该模型在临床环境中的诊断准确性并增强模型的普适性。
结论
分割模型是附件病变自动分割的有价值工具。该机器学习模型在基于O-RADS将附件肿块分类为低恶性风险和中高恶性风险肿块方面取得了值得肯定的性能,并且有潜力提升经验较少的放射科医师的技能水平。此外,该模型为卵巢癌提供了一种有效的筛查方法,并可提供额外的有价值临床见解,有助于制定附件病变的治疗策略。
补充信息
电子补充材料
引用
- Liu L, Cai W, Zheng F, et al. Automatic segmentation model and machine learning model grounded in ultrasound radiomics for distinguishing between low malignant risk and intermediate-high malignant risk of adnexal masses. Insights Imaging. 2025. PMID: 39804536. doi:10.1186/s13244-024-01874-7
- 全文:PMC11729609(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11729609/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。