基于CT影像组学与深度学习特征的人工智能模型鉴别卵巢肿瘤良恶性
本研究回顾性纳入149例患者共185个病理确诊的卵巢肿瘤,从术前增强CT图像提取影像组学和深度学习特征,构建五种机器学习模型鉴别良恶性。最佳集成模型(联合影像组学、深度学习和临床特征)在测试集上准确率82%、特异度89%、敏感度68%,优于低年资放射科医师平均表现,并可辅助其提升诊断准确率。
要点
- 集成模型(影像组学+深度学习+临床特征)鉴别卵巢肿瘤良恶性准确率82%、特异度89%、敏感度68%。
- 模型特异度高,适用于CT作为超声不确定肿瘤的确认手段,而非筛查。
- 低年资医师在模型辅助下准确率从66%升至81%,敏感度从67%升至82%。
核心结论
- 基于CT的AI集成模型能高准确率、高特异度鉴别卵巢肿瘤良恶性,并显著提升低年资放射科医师的诊断性能。
研究设计与样本
- 单中心回顾性研究,纳入149例患者185个卵巢肿瘤(112良性、73恶性),按7:3分为训练集和测试集。
- 使用4台多排CT扫描仪行术前增强CT,手动分割肿瘤后提取129个影像组学特征和224个深度学习特征。
- 采用LASSO回归十折交叉验证筛选特征,使用KNN、SVM、逻辑回归和随机森林四种分类器构建五种特征组合模型。
- 以病理诊断为金标准,比较模型与5名放射科医师(3名低年资、2名高年资)在测试集上的性能。
关键影像表现/征象
- 恶性肿瘤实性成分、壁结节和厚分隔是传统影像评估恶性的线索。
- 多房囊性肿瘤伴不均匀厚分隔在影像上难以排除恶性,AI模型可能识别传统评估无法解释的细微特征。
- AI模型误判但低年资医师正确鉴别的病例中,恶性者有明显实性成分,良性者为无实性成分或壁结节的低密度肿瘤。
诊断标准与关键数值
- 集成模型在测试集上准确率82%、特异度89%、敏感度68%、AUC 0.83、阴性预测值85%、阳性预测值77%、F1分数0.72。
- 深度学习模型AUC最高(0.89)、特异度100%、阳性预测值100%,但敏感度最低(21%)。
- 低年资医师平均准确率66%、特异度65%、敏感度67%;高年资医师平均准确率83%、特异度83%、敏感度82%。
- 模型辅助后低年资医师平均准确率81%、特异度80%、敏感度82%;高年资医师平均准确率85%、特异度87%、敏感度82%。
临床应用与阅片要点
- CT增强检查可用于超声发现的不确定卵巢肿瘤的进一步定性,AI模型高特异度有助于避免良性肿瘤过度手术。
- 模型输出恶性概率(0–100%),可辅助低年资医师提高诊断信心,尤其在多房囊性肿瘤等疑难病例中。
- 需注意模型敏感度有限(68%),阴性结果不能完全排除恶性,应结合实性成分、壁结节和厚分隔等传统征象综合判断。
局限性
- 样本量较小,无外部验证队列,且为回顾性研究设计。
- 肿瘤分割由单一放射科医师手动完成,可能存在偏倚。
- 医师二次评估距首次至少一个月,但回忆偏倚仍可能存在。
- 仅基于CT开发模型,未与其他 modality(如MRI)比较。
全文中译15 节 · 点击展开
背景
卵巢癌是妇科癌症相关死亡的主要原因 [1],误诊可能延误治疗并恶化预后。将卵巢癌患者尽快转诊至妇科肿瘤科医生以进行完整的手术分期和最佳肿瘤细胞减灭术与更好的生存率相关 [2]。相比之下,良性卵巢肿瘤患者仅需保守治疗或腹腔镜囊肿切除术 [3]。因此,准确区分卵巢肿瘤的良恶性对于指导治疗至关重要,并且这在临床实践中仍然是一个巨大挑战。
目前,卵巢肿瘤良恶性的区分在很大程度上基于影像学表现 [4–6]。超声通常是一线筛查影像工具。由于出色的空间分辨率和广泛的可获得性,计算机断层扫描(CT)常被用于进一步的肿瘤特征描述。然而,通过 CT 对卵巢肿瘤良恶性进行明确区分仍然具有挑战性,尤其是在排除多分隔囊性肿瘤的恶性可能性方面。鉴于良性卵巢肿瘤的数量远远多于恶性肿瘤,影像特征不确定的肿瘤患者接受手术而肿瘤后来被证实为良性并不罕见。据估计,所进行的卵巢切除术中约有 28% 为良性肿瘤 [7]。这些不必要的手术代表了巨大的临床关切,其长期后果包括生育力下降和提前绝经 [8, 9]。因此,一种能够准确区分良恶性卵巢肿瘤的非侵入性方法,既可防止恶性病例的治疗延误,又可使良性肿瘤患者免于不必要的手术,具有重要的临床意义。
人工智能(AI)已被证明可提高癌症影像中肿瘤检测、肿瘤分类和治疗监测的性能 [10–13]。与人类主观的放射学影像评估相比,使用影像组学或深度学习(DL)进行图像特征提取可以提供肉眼无法检测的量化图像信息,并在肿瘤分析中显示出有前景的结果 [14–25]。近期几项研究在 CT 图像上使用影像组学并应用机器学习(ML)分类器来区分卵巢肿瘤 [26–28]。然而,应用 DL 使用 CT 图像区分卵巢肿瘤的研究有限。Christiansen 等 [29] 和 Wang 等 [30] 分别应用 DL 使用超声和磁共振成像(MRI)进行卵巢肿瘤区分。除了直接应用 DL 网络进行卵巢肿瘤区分的研究外,很少有研究使用 DL 网络从 CT 图像中提取特征来预测卵巢癌复发或对肺结节亚型进行分类 [24, 25]。据我们所知,基于从 CT 图像提取的影像组学和 DL 联合特征应用 ML 区分卵巢肿瘤的性能仍不清楚。
本研究旨在开发一种基于CT的人工智能(AI)模型,利用影像组学和深度学习(DL)进行特征提取,以鉴别卵巢肿瘤的良恶性。我们应用结合影像组学和DL特征的分类器对CT图像进行良恶性卵巢肿瘤分类。以病理诊断为金标准,在分类任务中比较了不同分类器与特征集组合的性能,并与放射科医师进行了对比。此外,还评估了放射科医师在最优模型辅助下的性能提升。
方法
研究人群
在这项经机构审查委员会批准的研究中,我们回顾性收集了2018年7月至2019年12月期间在MacKay纪念医院连续收治的245例疑似卵巢肿瘤患者。符合以下标准的患者被纳入:(1)经手术切除且病理确诊的卵巢肿瘤,(2)术前进行了增强CT扫描,(3)CT图像清晰无伪影且适合分析。最终队列包括149例患者共185个卵巢肿瘤(图1)。
数据按7:3比例分为训练集和测试集。训练集用于开发五种具有不同特征集组合的模型:影像组学模型、DL模型、临床模型、影像组学与DL联合模型以及集成模型(联合影像组学、DL和临床特征集)。随后在未见过的测试集上对模型进行测试。图2展示了研究设计的流程图。
图像采集与分割
CT检查在4台不同的多排CT扫描仪上进行:Siemens Somatom Definition Flash、Siemens Somatom Definition AS、Toshiba Aquilion ONE(TSX-301C)、Toshiba Aquilion PRIME(TSX-303A)。扫描参数如下:管电压120 kVp;管电流200–230 mA;机架旋转时间0.5 s;螺距1.0;重建层厚2 mm;重建间隔1.5 mm。对比剂(碘浓度:300 mg/mL)80–100 mL使用机械注射器以2.5–3.5 mL/秒的速率注射。从注射对比剂到图像采集的时间延迟为70 s。
术前增强CT图像从PACS中收集。肿瘤由一位经验丰富的放射科医师使用3D slicer(IEEE Cat No. 04EX821)手动分割。在每个轴位CT层面上手动勾画整个肿瘤的边界。
特征提取、选择和肿瘤分类
经过分辨率和强度归一化后,从肿瘤图像中提取影像组学特征。每个肿瘤共提取129个影像组学特征,包括12个直方图特征、9个灰度共生矩阵(GLCM)特征、96个小波特征和12个高斯拉普拉斯(LoG)特征(附加文件1:表S1)。
除影像组学外,还应用了3D U-Net卷积神经网络(CNN)作为特征提取器。图3展示了本研究中应用的U-Net架构,其由编码器和解码器组成。使用U-Net作为特征提取器的基本思想是,如果解码器利用特征重建的图像与输入图像相似,则编码器从输入肿瘤图像中提取的特征能够代表该肿瘤[31–34]。在本研究中,U-Net分别使用训练集的90%和10%进行训练和验证,采用Adam优化器,损失函数为半均方误差。由于所使用显卡的内存容量有限,批大小设为1。训练的学习率和轮数根据输入图像与重建图像之间的平均均方根误差(RMSE)进行调整,以确保解码器重建的图像尽可能与输入图像相似。将肿瘤图像输入训练好的U-Net后,编码器最后一个激活层输出的特征被用作肿瘤的深度学习(DL)特征。每个肿瘤提取了224个DL特征。
利用影像组学和U-Net,从每个肿瘤中提取了353个特征。然而,由于多重共线性和过拟合,使用如此大量特征进行分类的性能可能较低。我们使用带有十折交叉验证的最小绝对收缩和选择算子(LASSO)回归来消除无关特征[35]。回归系数>0.1的特征被选择用于分类。
特征选择后,使用四种分类器对良性和恶性肿瘤进行分类,包括K近邻(KNN)、支持向量机(SVM)、逻辑回归(LR)和随机森林(RF),并使用五种特征集,包括影像组学特征、DL特征、临床特征、影像组学与DL联合特征以及集成特征(所有特征组合)。分类结果将输出每个肿瘤为恶性的概率(0–100%)。使用十折交叉验证的训练数据评估和比较了不同分类器与特征集组合的分类性能。在本研究中,特征提取、选择和分类器训练及评估均使用MATLAB R2020a(MathWorks,Natick,MA)实现。
放射科医师评估
根据多年阅读腹部CT图像的经验,放射科医师被分为两组,包括初级组(3名放射科医师,经验<10年)和高级组(2名放射科医师,经验>10年)。所有放射科医师对患者的病理诊断均不知情。要求他们在给定患者年龄和CA-125水平信息的情况下,独立判读测试集的CT图像,并将每个肿瘤记录为良性或恶性。一个月后,要求他们在表现最佳模型的辅助下再次判读图像。
统计分析
为了评估AI模型和放射科医师的表现,计算了以下指标:准确率、敏感度、特异度、受试者工作特征曲线(ROC)、ROC曲线下面积(AUC)和F1评分。采用Krippendorff's alpha系数评估观察者间信度。在评估组间临床特征时,连续变量和分类变量的差异分别采用独立样本t检验和卡方检验进行检验。p < 0.05被认为差异有统计学意义。统计分析使用SPSS 24.0版(IBM Corporation,Armonk,NY,USA)进行。
结果
患者人口学特征
最终队列包括149例患者,共185个卵巢肿瘤,其中112个良性、73个恶性。患者年龄范围为18至80岁(平均46.4 ± 12.4岁)。有78例患者(52.3%)CA-125升高,36例患者(24.2%)为双侧肿瘤。良性与恶性组之间在年龄(p < 0.0001)、肿瘤体积(p < 0.0001)和CA-125(p = 0.0003)方面存在显著差异(表1)。训练集和测试集在所有临床变量方面均衡(附加文件1:表S2)。肿瘤组织学亚型总结于表2。为分类目的,交界性和恶性肿瘤被合并为一个类别,统称为恶性。
特征选择和肿瘤分类
LASSO方法所选特征的详细信息见表3。在影像组学模型中,从最初的129个影像组学特征中选择了4个特征。对于深度学习(DL)特征,使用学习率0.001 s和25个epoch训练特征提取DL模型(U-net)。输入图像与重建图像之间的平均RMSE为25.45 ± 39.05。对于DL模型,从最初的224个DL特征中选择了4个特征。在影像组学与DL联合模型中,从总共353个影像组学和DL特征中选择了6个特征,包括1个影像组学特征和5个DL特征。临床模型有四个临床特征:年龄、CA-125、肿瘤体积和肿瘤侧别。集成模型由10个特征组成,包括4个临床特征和联合影像组学与DL模型中所用的6个特征。使用不同分类器(即KNN、SVM、LR和RF)在训练集和测试集上的详细模型表现可见附加文件1:表S3–S4。由于LR分类器在测试集上的总体表现优于其他分类器,本研究其余部分呈现其分析结果以供评估。
AI模型的表现
人工智能模型和放射科医师在测试集上的性能指标总结在表4中。模型的准确率按降序排列为集成模型82%、深度学习(DL)模型73%、临床模型73%、联合放射组学和DL模型71%、放射组学模型61%。表现最佳的模型是集成模型,具有最高的准确率(82%)、灵敏度(68%)、阴性预测率(85%)和F1分数(0.72)。集成模型的特异度为89%,AUC为0.83,阳性预测率为77%。DL模型具有最高的AUC(0.89)、特异度(100%)和阳性预测率(100%),但灵敏度最低(21%)。
放射科医师的表现
高年资放射科医师的准确率、特异度、AUC、阳性预测率和F1分数均高于所有低年资放射科医师(表4)。在AI模型辅助下,所有低年资放射科医师的性能指标均显示整体改善,而高年资放射科医师仅在准确率、AUC和F1分数上有轻度改善。低年资放射科医师(Krippendorff's alpha,0.4757 vs 0.6333)和高年资放射科医师(Krippendorff's alpha,0.4806 vs 0.7331)的观察者间信度也显示在AI辅助下有所改善。放射科医师的平均性能结果总结在表5中。在集成模型的辅助下,低年资放射科医师的平均准确率(81% vs 66%)、灵敏度(82% vs 67%)和特异度(80% vs 65%)取得了显著改善,与高年资放射科医师相当。高年资放射科医师在AI辅助下仅显示平均准确率(85% vs 83%)和特异度(87% vs 83%)的轻度改善,灵敏度相同(82%)。借助集成模型产生的概率,低年资放射科医师的AUC也取得了改善,与高年资放射科医师相比无统计学显著差异。放射科医师之间AUC的比较可见附加文件1:表S5–S7。
集成模型与放射科医师的性能比较
图4展示了集成模型和放射科医师的ROC曲线。集成模型的AUC(0.83)与高年资放射科医师(0.82–0.83)相当,优于低年资放射科医师(0.61–0.73)。与低年资放射科医师的平均结果(表5)相比,集成模型具有更高的准确率(82% vs 66%)和特异度(89% vs 65%),灵敏度相当(68% vs 67%)。与高年资放射科医师的平均结果相比,集成模型具有相当的准确率(82% vs 83%)、更高的特异度(89% vs 83%),但灵敏度较低(68% vs 82%)。集成模型与放射科医师之间AUC的比较可见附加文件1:表S8。
被AI模型和/或放射科医师错误分类的样本
图5展示了在三种场景下被人工智能(AI)模型和/或放射科医师错误分类的肿瘤示例。图5a和b描绘了被AI模型错误分类但被所有初级放射科医师正确鉴别的卵巢肿瘤,选自该场景的4例病例,包括2例恶性肿瘤和2例良性肿瘤。图5c展示了唯一一例被AI模型和所有初级放射科医师均错误分类的肿瘤。图5d描绘了一例被所有3名初级放射科医师错误鉴别但被AI模型正确分类的卵巢肿瘤,选自该场景的9例病例,包括1例恶性肿瘤和8例良性肿瘤。
讨论
在本研究中,我们开发了一种基于CT的AI模型,结合影像组学和深度学习(DL)特征与临床数据,使用机器学习(ML)分类器对良性和恶性卵巢肿瘤进行分类。该模型能够以高准确率(82%)和高特异度(89%)以及尚可的敏感度(68%)区分良性和恶性卵巢肿瘤。该模型的表现优于初级放射科医师的平均结果。借助模型提供的概率,初级放射科医师的表现显著提高,接近高级放射科医师。这些结果表明,AI模型可以帮助经验较少的放射科医师评估卵巢肿瘤,为该模型的临床有效性提供了证据。
这是第一项应用机器学习结合放射组学和深度学习特征(从CT图像中提取)来鉴别卵巢肿瘤良恶性的研究。应用深度学习利用CT图像鉴别卵巢肿瘤的研究有限。Christiansen等[29]和Wang等[30]分别应用深度学习利用超声和MRI进行卵巢肿瘤鉴别。两项研究均使用卷积神经网络(CNN)构建端到端分类模型,需要使用更大的数据集进行训练。然而,在常见医疗条件下,收集具有病理诊断的大型均匀肿瘤图像数据集非常困难。深度学习特征,即通过编码器-解码器CNN[31–34]提取的量化图像特征,可能为相对小数据集上的肿瘤影像分析提供替代途径。Wang等[24]从CT图像中提取深度学习特征以预测高级别浆液性卵巢癌的肿瘤复发。Xia等[25]开发了一种基于CT的方案,通过融合放射组学和深度学习特征对磨玻璃肺结节进行分类。迄今为止,尚无研究使用深度学习特征或将放射组学与深度学习特征结合来鉴别卵巢肿瘤。由于放射组学、深度学习特征和临床数据代表肿瘤的不同特征,我们假设整合这些特征的AI模型能够准确区分卵巢肿瘤的良恶性。集成模型更好的性能验证了我们的假设,即放射组学、深度学习特征和临床数据可能提供关于卵巢肿瘤的互补信息,并在区分良恶性方面协同效果更好。
机器学习通常被视为黑箱。为了理解AI模型和放射科医生做出的决策和错误,我们分析了误分类结果的三种情景。在第一种情景中,肿瘤被AI模型误分类但被所有初级放射科医生正确鉴别,恶性肿瘤(图5a)具有明显的实性部分,而良性肿瘤(图5b)为低密度肿瘤,无实性部分或壁结节。在传统放射学评估中,卵巢肿瘤的实性部分、壁结节和厚分隔是恶性的线索。具有典型CT图像特征的肿瘤,如上述两个肿瘤(图5a和b),即使被AI模型误分类,也不会被放射科医生误诊。在第二种情景中,AI模型和所有初级放射科医生均错误,良性肿瘤(图5c)为多分隔囊性肿瘤,分隔厚薄不均,在放射学评估中可能引起恶性怀疑。在第三种情景中,AI模型正确,但所有初级放射科医生错误,肿瘤(图5d)为良性多分隔囊性肿瘤,伴有厚分隔。如前所述,放射科医生要排除此类多分隔囊性卵巢肿瘤的恶性可能性具有挑战性。AI模型在识别传统放射学评估无法解释的细微特征方面可能优于放射科医生,并帮助放射科医生在如图5d等困难病例中做出正确决策。
所提出的模型可能有助于放射科医生和妇科医生评估卵巢肿瘤,并为这些患者指导治疗策略,尤其是在缺乏经验丰富的放射科医生的医院中。随着全球医生短缺问题日益严重,人工智能辅助系统的可用性非常重要。尽管由于其优越的组织对比度,MRI在肿瘤鉴别方面可能比CT提供更好的性能[36, 37],但我们认为基于CT的人工智能模型将使更多患者受益,尤其是偏远地区的患者。尽管我们模型的敏感性相对较低,但其预期的临床应用并非用于筛查。模型的高特异性比敏感性重要得多,因为CT检查通常作为超声图上不确定肿瘤检查的确认手段。
本研究存在若干局限性。首先,数据量相对较小且没有外部验证队列,研究设计为回顾性。未来使用来自不同机构的更大数据集并进行前瞻性研究设计的研究对于改进和验证模型性能至关重要。其次,由单一放射科医生对卵巢肿瘤进行手动分割可能使结果产生偏倚。然而,考虑到准确的肿瘤分割对于放射组学和深度学习特征提取很重要,我们决定使用由经验丰富的放射科医生进行手动分割。第三,当要求放射科医生在人工智能辅助下重新评估CT图像时,对第一次判读的病例回忆可能是一个问题。为解决这一问题,我们在两次判读之间安排了至少一个月的延迟。第四,我们选择CT作为成像工具,因为它比MR容易获得得多。然而,这仍然是所开发工具适用性的潜在弱点,因为基于MRI的模型可能优于所提出的基于CT的模型。第五,由于数据量小的限制,我们应用机器学习分类器而非深度学习方法进行肿瘤分类。
结论
在本研究中,我们开发了一种基于CT的人工智能模型,结合放射组学和深度学习特征与临床数据,使用机器学习分类器区分良性和恶性卵巢肿瘤。该模型能够以高准确性和特异性区分良性和恶性卵巢肿瘤。此外,该模型可以提高经验较少的放射科医生评估卵巢肿瘤的性能,并可能指导妇科医生为这些患者提供更好的治疗策略。
补充信息
附加文件1。表S1。本研究中提取的放射组学特征。表S2。训练集和测试集的患者和肿瘤特征。表S3。人工智能模型在训练集上的性能指标。表S4。人工智能模型在测试集上的性能指标。表S5。有和没有人工智能辅助的放射科医生之间AUC的比较。表S6。初级放射科医生和高级放射科医生之间AUC的比较。表S7。使用人工智能的初级放射科医生和高级放射科医生之间AUC的比较。表S8。集成模型和放射科医生之间AUC的比较。
引用
- Jan, Tsai, Huang, et al. Machine learning combined with radiomics and deep learning features extracted from CT images: a novel AI model to distinguish benign from malignant ovarian tumors. Insights Imaging. 2023. PMID: 37093321. doi:10.1186/s13244-023-01412-x
- 全文:PMC10126170(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10126170/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。