整合CT影像组学与深度学习预测肺腺癌磨玻璃结节浸润性:多队列研究
该回顾性多队列研究纳入6家医院1182例肺腺癌患者的1247个磨玻璃结节,构建影像组学、2.5D/3D深度学习及多实例学习融合模型预测结节浸润性。融合深度学习与影像组学的MIL-DL-Rad模型(ExtraTrees分类器)表现最优且稳定,训练、验证及三个外部测试集AUC分别为0.936、0.881、0.868、0.926、0.918。
要点
- 融合深度学习与影像组学的MIL-DL-Rad模型在训练、验证及三个测试集AUC为0.936、0.881、0.868、0.926、0.918,表现最优且稳定。
- 校准曲线显示MIL-DL-Rad模型预测概率与实际概率吻合良好,决策曲线分析在多数阈值概率范围临床净获益更高。
- 单纯影像组学、2.5D及3D深度学习模型性能相对不稳定,多在特定数据集表现良好。
核心结论
- MIL-DL-Rad模型对肺腺癌磨玻璃结节浸润性预测的总体表现更好,为特征融合提供新视角,可能有助于临床更准确的术前预测。
研究设计与样本
- 回顾性研究,纳入6家医院1182例肺腺癌患者的1247个磨玻璃结节,按术后病理分为浸润性与非浸润性两组。
- 数据分为训练集、验证集及三个测试集(test_dl、test_qd、test_zjg),构建影像组学、2.5D深度学习、3D深度学习、MIL-DL及MIL-DL-Rad五类预测模型。
- 术前薄层CT层厚1–1.25 mm,由两名分别有11年和13年胸部影像诊断经验的放射科医师独立勾画感兴趣区,组内/组间ICC大于0.85认为可重复性满意。
- 以术后病理诊断为参考标准,采用AUC、校准曲线和决策曲线分析评价模型性能。
关键影像表现/征象
- 浸润性与非浸润性组在年龄、体积、最大径、最小径、平均径及CT值上差异有统计学意义(p < 0.01),结节位置差异无统计学意义(p > 0.05)。
- 磨玻璃结节最常见于右肺上叶,共421例(33.76%),其中浸润性组300例(35.67%)、非浸润性组121例(29.8%)。
诊断标准与关键数值
- MIL-DL-Rad模型采用ExtraTrees分类器时,训练集、验证集、test_dl、test_qd、test_zjg的AUC分别为0.936、0.881、0.868、0.926、0.918。
- MIL-DL-Rad模型中,训练集LightGBM模型AUC最高为0.989;验证集ExtraTrees模型AUC最高为0.881,RandomForest为0.841。
- 测试集中,ExtraTrees模型在test_qd和test_zjg的AUC分别为0.868和0.918;test_dl中RandomForest模型AUC最高为0.936,ExtraTrees为0.926。
- 经t检验、Pearson相关及LASSO回归最终筛选出49个多实例特征用于建模,LASSO正则化参数λ = 0.0126。
- 影像组学模型选用ExtraTrees、2.5D深度学习选用VGG19、3D深度学习选用ShuffleNet、MIL-DL与MIL-DL-Rad均选用ExtraTrees进行最终比较。
临床应用与阅片要点
- 模型基于术前薄层CT预测磨玻璃结节浸润性,MIL-DL-Rad在外部测试集仍保持较高AUC,可能为术前评估提供参考。
- 作者认为该特征融合思路可为临床更准确的术前预测提供新视角,并可能有助于优化个体化术前手术规划。
局限性
- 原文引言指出既往多数研究为单中心、样本量有限,且影像组学等多中心多实例学习融合尚未充分探索,本研究旨在填补该空白。
- test_qd集使用多厂商设备,3D网络表现较差,原文推测可能难以有效利用生成的三维数据。
- 原文指出标准图像薄层重建算法也可能影响准确性。
全文中译16 节 · 点击展开
引言
肺癌是全球发病率和死亡率最高的癌症之一,其中肺腺癌(LUAD)是最常见的组织病理学亚型,相当比例的LUAD病例在CT图像上表现为磨玻璃结节(GGN)[1, 2]。根据2021年世界卫生组织指南,LUAD分为前驱腺体病变(PGL)、微浸润性腺癌(MIA)和浸润性腺癌(IAC)。PGL包括不典型腺瘤样增生(AAH)和原位腺癌(AIS),代表LUAD中GGN进展的不同阶段[3, 4]。既往研究已明确表明,LUAD不同病理亚型在治疗策略和预后方面差异显著[5–8]。非浸润性腺癌(NIAC),包括AAH、AIS和MIA,通常需要保守的亚肺叶切除或长期CT随访,5年无病生存(DFS)率几乎为100%。相比之下,IAC通常需要更积极的手术治疗,如肺叶切除和扩大淋巴结清扫,5年DFS率约为49–84%[8]。因此,术前准确识别LUAD中GGN的浸润性对于指导临床决策和预测患者预后具有重要意义。
组织切片的病理检查是临床实践中诊断GGN浸润性的金标准。然而,其在精确判定肿瘤浸润区域方面存在明显局限性[9]。随着高分辨率CT的广泛应用,术前CT评估GGN浸润性已变得普遍。尽管结节大小、密度、体积、最大径和CT值等CT影像特征已被提出作为鉴别GGN浸润性的有效参数[9–13],但这些研究缺乏统一的特征标准。大多数研究侧重于单一或联合影像特征,导致结论不一致且观察者间一致性较低。
人工智能的快速发展推动了影像组学和深度学习在医学图像分析与诊断中的应用[14, 15]。影像组学利用人工智能技术进行高通量特征提取,将图像数据转换为定量特征,然后与列线图、形态学特征或其他机器学习算法相结合[16, 17]。尽管影像组学在评估GGN浸润性方面具有潜力,但影像组学特征高度依赖于肿瘤分割、放射科医师的主观判断、辐射剂量和重建算法,导致结果可重复性差[14, 18]。另一方面,深度学习以端到端的方式在图像分类和目标检测方面展现出优越性,无需手动特征提取[17, 19, 20]。然而,其黑箱特性使决策过程缺乏可解释性。尽管如此,深度学习特征包含大量原始图像信息,能够全面捕捉目标数据集的区域特征,为影像组学的局限性提供了潜在的解决方案[20, 21]。
既往研究已探索了影像组学或深度学习在预测GGN侵袭性中的应用[20, 22, 23],但多为样本量有限的单中心研究。此外,这两种技术在多中心环境中的整合,尤其是使用多示例学习(MIL)的情况,仍未被充分探索。在这项多中心研究中,我们旨在通过开发并验证一个整合影像组学和深度学习特征的MIL模型来填补这一空白。该模型基于术前CT数据,旨在评估其在预测LUAD中GGN侵袭性方面的诊断效能,最终指导个性化的术前手术规划。我们还构建了传统影像组学模型、2.5D和3D深度学习模型以及MIL模型,整合深度学习以进行全面比较。
材料与方法
研究人群
本回顾性研究经大连大学附属中山医院伦理委员会批准(编号2021029,中国大连),并豁免书面知情同意要求。从2013年1月至2021年6月,初步考虑将六家医院(即大连大学附属中山医院、大连大学附属新华医院、大连医科大学附属第二医院、大连市第五人民医院、青岛大学附属医院和张家港市第一人民医院)诊断为表现为GGN的LUAD并接受肺切除术的患者纳入资格评估。共1415个GGN被诊断并经病理证实为IAC、MIA、AIS或AAH。
纳入标准如下:(1)CT图像上可见GGN并接受肺切除术的LUAD患者;(2)最大直径< 3 cm的GGN;(3)具有层厚1–1.25 mm的术前薄层CT图像的患者;(4)被确诊为原发性LUAD的患者。排除标准如下:(1)基线CT之前有放疗、化疗或活检史;(2)术前CT检查与手术之间的间隔超过2周;(3)CT图像中存在严重运动伪影;(4)术前胸部CT、临床或病理数据不完整。
最终纳入来自1182例患者的1247个GGN。前两家医院的数据被分为训练集和验证集。另外两家大连医院的数据构成大连地区测试集(test_dl)。其余两家医院提供两个外部测试集的数据(test_qd和test_zjg)。每个数据集进一步分为侵袭性和非侵袭性组。训练集用于构建预测模型,其他数据集用于验证预测效能。本研究的入组流程图见图1。
CT图像评估
胸部CT图像以医学数字成像和通信(DICOM)格式采集。后续图像分析与测量使用RadiAnt DICOM Viewer(版本2023.1)进行。CT图像由两位放射科医师独立审阅,其胸部影像诊断经验分别为11年和13年,且对病理结果设盲。每位放射科医师对每个GGN测量两次,并计算平均值。随后,取两位放射科医师测量值的平均值作为最终结果。存在差异时,通过咨询上级主任医师解决分歧。有关图像采集参数的更多细节见补充材料。
结节分割
对于感兴趣区(ROI)的定义,两位放射科医师使用ITK-SNAP软件(版本4.0.0)逐层手动勾画肺部病灶,注意避开相邻血管、支气管以及纵隔或胸壁结构。然后,将每一层的ROI融合为感兴趣体积(VOI)。为确保观察者内和观察者间一致性,需要进行观察者内/观察者间相关系数(ICC)评估。第三位资深放射科医师解决任何分歧。当ICC值大于0.85时,认为可重复性令人满意。
模型开发
影像组学模型
使用Pyradiomics工具箱提取了1834个影像组学特征,包括360个一阶特征、14个形状特征和1460个纹理特征。通过t检验(p < 0.05)、Pearson相关(> 0.9)和最小绝对收缩和选择算子(LASSO)回归进行特征筛选。筛选出的特征用于通过机器学习算法构建预测模型,包括随机森林(RF)、极端随机树(ExtraTrees)和轻量梯度提升机(LightGBM)。
2.5D深度学习模型
将原始3D图像的最大VOI层面指定为基准。选择与基准层面相邻的2D图像切片(距基准± 1、± 2和± 4)组成2.5D数据。切片级性能最终将纳入MIL模型。为提高模型的泛化能力,应用了数据增强技术,如随机裁剪、随机亮度调整、随机旋转、水平翻转和垂直翻转。
在本部分中,采用了五种2.5D深度学习(2.5D-DL)模型,即DenseNet121、DenseNet201、ResNet50、ResNet101和VGG19。通过利用迁移学习策略,通过加载在ImageNet上预训练的模型权重参数来初始化模型参数。仅添加针对目标任务的分类网络,避免了从头训练模型的需要。
3D深度学习模型
在本部分中,采用三种3D深度学习(3D-DL)模型,包括ResNet50-3D、DenseNet121-3D和ShuffleNet-3D来提取特征。与2.5D-DL模型类似,应用了增强策略,并利用迁移学习来缓解过拟合问题并加速训练过程。使用预训练的MedicalNet模型的参数进行模型初始化。
多示例学习模型
受病理组学中融合方法的启发,我们采用基于多实例学习(MIL)的预测似然直方图(PLH)和词袋(BoW)流程来融合不同深度学习模型和影像组学的特征[24, 25]。具体而言,将2.5D-DL和3D-DL模型提取的特征进行融合,以构建基于深度学习的MIL(MIL-DL)模型。然后,将深度学习融合的多实例特征进一步与影像组学特征相结合,构建基于深度学习和影像组学的MIL(MIL-DL-Rad)模型。
模型评估
变量根据情况采用Mann–Whitney U检验、Student's t检验或卡方检验进行比较。正态分布数据以均值 ± 标准差表示。p值 < 0.05被认为具有统计学意义。模型预测性能采用受试者工作特征(ROC)曲线、ROC曲线下面积(AUC)、准确率、敏感度、特异度、阳性预测值(PPV)和阴性预测值(NPV)进行评估。采用Delong检验、净重分类改善(NRI)和综合判别改善(IDI)比较模型性能。采用决策曲线分析(DCA)和校准曲线评估模型的准确性和实用价值。包括这些指标、计算机配置、编程环境和模型优化在内的进一步细节见补充材料。本研究流程图,包括特征提取、模型建立和性能评估,见图2。
结果
患者人口统计学和临床特征
本研究纳入1247个来自LUAD患者的GGN病灶。患者年龄范围为21至83岁(56.50 ± 10.80)。根据病理结果,GGN分为浸润组(n = 841,67.44%,男 = 302,女 = 539,年龄 = 60.71 ± 8.94)和非浸润组(n = 406,32.56%,男 = 109,女 = 297,年龄 = 52.28 ± 12.67)。浸润组和非浸润组在年龄、体积、最大直径、最小直径、平均直径和CT值方面存在显著差异(p < 0.01)。GGN位置无显著差异(p > 0.05)。GGN最常见于右上叶,共421例(33.76%),其中浸润组300例(35.67%),非浸润组121例(29.8%)。其次为左上叶,共353例(28.31%),两组分别为242例(28.78%)和111例(27.34%)。详情请参见表1和表2。
MIL-DL-Rad特征选择
在MIL-DL-Rad模型中,我们获得了由2.5D-DL、3D-DL和影像组学模型融合的多实例特征。通过t检验、Pearson相关和LASSO回归,我们最终筛选出49个多实例特征用于建模。图3展示了使用LASSO回归进行特征筛选的示例,通过正则化将不重要特征的系数压缩为零,仅保留对模型预测最关键的 feature(λ = 0.0126)。特征选择的详细信息见补充文件。
MIL-DL-Rad模型性能
我们在图4和表3中比较了MIL-DL-Rad模型的性能。在训练集中,LightGBM模型表现最佳,AUC为0.989。在验证集中,ExtraTrees模型的AUC最高,为0.881,其次是RandomForest模型,AUC为0.841。在测试集中,ExtraTrees模型在test_qd和test_zjg上表现最佳,AUC分别为0.868和0.918。在test_dl集中,RandomForest模型的AUC最高,为0.936,其次是ExtraTrees模型,AUC为0.926。综合考虑准确度、灵敏度和特异度等其他指标,我们得出结论:ExtraTrees模型具有最佳性能,可用于进一步比较。
性能比较
为更好地比较各模型预测LUAD患者GGN侵袭性的性能,我们仅选择表现最佳的模型(参照测试集原则)作为最终模型,性能比较见表4。具体选择标准定义如下:对于影像组学,选择基于ExtraTrees的模型(称为Rad);对于2.5D深度学习,选择VGG19模型;对于3D深度学习,选择ShuffleNet模型;对于MIL-DL模型,选择基于ExtraTrees的模型;对于MIL-DL-Rad模型,选择基于ExtraTrees的模型。需要注意的是,为公平起见,2.5D模型仅报告其基准部分的性能,以与其他模型进行患者水平比较,而MIL-DL模型涉及2.5D模型中所有图像切片的切片水平性能。由于篇幅限制,影像组学、2.5D-DL、3D-DL和MIL-DL模型内部的性能比较可见补充材料。
在训练集、验证集和三个测试集中,MIL-DL-Rad模型的AUC分别排名第三、第二、第一、第二和第一。即使在排名第三时,其AUC也达到相当高的0.936,表现出相对稳定的性能。AUC值量化了模型区分侵袭性与非侵袭性GGN的能力。MIL-DL-Rad具有较高的AUC,表明对肿瘤侵袭性的区分能力更好,这对临床决策至关重要。相比之下,2.5D-DL和3D-DL模型的性能排名较低,尤其是在测试集上。影像组学在所有集合中表现出可比的性能,具有较高的准确度、AUC以及平衡的灵敏度和特异度。与2.5D-DL和3D-DL模型类似,MIL-DL模型仅在训练集上表现良好。
在训练集中,Delong检验(图5)显示MIL-DL-Rad与2.5D-DL、3D-DL和MIL-DL模型差异有统计学意义(p < 0.05);在验证集中,MIL-DL-Rad与3D-DL和MIL-DL差异有统计学意义(p < 0.05);在test_qd集中,MIL-DL-Rad与3D-DL模型差异有统计学意义(p < 0.05);在test_dl集中,MIL-DL-Rad与MIL-DL模型差异有统计学意义(p < 0.05);在test_zjg集中,MIL-DL-Rad与Rad、2.5D-DL、3D-DL和MIL-DL模型差异无统计学意义(p > 0.05)。
大多数NRI和IDI值为显著正值,表明MIL-DL-Rad模型与其他模型相比改善了预测性能(图5)。图6A中的校准曲线表明,MIL-DL-Rad模型的预测概率与实际概率吻合良好,反映了准确的模型校准,支持个体化临床决策。图6B中的DCA显示,在大多数阈值概率范围内,MIL-DL-Rad模型在验证集和测试集中获得了更高的临床净获益,突出了其指导治疗干预的实用性。
讨论
本研究基于影像组学、深度学习和多实例学习开发了五种模型,旨在探讨其利用术前CT对LUAD中GGN侵袭性的诊断效能。整合深度学习和影像组学的MIL-DL-Rad模型始终保持稳定的性能,与其他仅在特定数据集上表现不一致或表现良好的模型相比,表现出更高的稳定性。此外,通过DeLong检验,它在大多数比较中显示出对其他模型的统计学显著优势(p < 0.05),并通过NRI/IDI和DCA显示出改善的临床实用性。
准确的术前浸润性预测对于优化手术策略和改善预后至关重要。大多数GGN生长缓慢且呈惰性,其中MIA的十年无复发生存率为[26]。非浸润性由肿瘤的实性成分定义,指导亚肺叶切除术[27]。然而,术后病理常揭示IAC被误诊为非浸润性,凸显了准确术前预测的重要性。它还有助于合理随访,例如,AIS的体积倍增时间为567天,AAH为988天,纯GGN为1448天[28, 29],提示非浸润性GGN可每年随访。准确预测有助于选择创伤更小的手术(楔形、肺段、亚段切除术),从而保护肺功能并减少患者创伤[30]。早期IAC诊断还可提高生存率,研究显示IAC患者的无进展生存率为74.6%[31]。预测还可辅助术中冰冻切片,后者对小型GGN难以判断,而CT在预测早期LUAD的PIL和IAC方面优于术中冰冻技术[32]。特别是,术中冰冻与放射组学建立的联合模型在诊断中表现更佳,可为术中决策提供支持[33]。
放射组学自2012年以来已成为一种强大的工具,通过从医学图像中提取定量特征来揭示疾病特征[34]。这些特征虽不易被肉眼观察,但反映了肿瘤异质性。浸润性GGN比非浸润性GGN表现出更大的异质性,使放射组学成为识别GGN浸润性的有价值的工具。本研究提取了高通量放射组学特征,其中高阶特征占主导。这一发现与[35]一致,高阶特征可能更好地捕捉GGN的异质性变化。我们发现基于ExtraTrees的放射组学模型表现尤为出色。[36]报告了类似结果,其使用性别和放射组学特征区分AIS/MIA与IAC,在训练集和验证集中的AUC值分别为0.96和0.90。Zhang等使用放射组学模型预测亚厘米GGN的浸润性,XGBoost模型的AUC为0.874[37]。Wang等发现使用双能CT的多模态放射组学具有良好的预测能力,联合模型的AUC为0.887[38]。与单中心放射组学研究相比,本研究使用来自多家医院的数据(涵盖各种CT机器和重建算法),提高了模型的稳健性和预测效率。
本研究采用了3D深度学习网络。Park等使用3D深度学习模型识别GGN的侵袭性,在训练集和验证集中分别获得了0.914和0.833的AUC值[30]。尽管本研究中基于ShuffleNet的模型在验证集中AUC仅为0.783,但它在其他数据集上表现很好。2.5D模型结合了2D和3D的优势,提供了更多的上下文和空间信息。Kim等设计了2.5D和3D深度学习模型,其中2.5D模型达到了0.921的AUC[39]。然而,该研究为单中心研究,且仅使用了DenseNet121。本研究通过纳入多种模型和数据集对该方法进行了拓展。图像薄层重建的标准算法也可能影响准确性。使用多个厂商机器的test_qd集在3D网络上表现不佳,可能是由于难以有效利用生成的3D数据。这些结果凸显了使用多中心、多厂商和多种重建算法来构建稳健模型的重要性。
多实例学习(MIL)是一种弱监督学习方法,适用于训练数据标签不完整或不准确的任务[40]。MIL模型侧重于识别关键诊断区域,同时避免无关区域,从而节省计算资源并提高效率。它可以与传统机器学习算法结合以解决特定任务。例如,基于MIL的支持向量机可以识别胶质母细胞瘤中与患者生存相关的高风险亚区域[41],基于MIL的注意力模型可以利用超声和全切片图像在术前早期区分管腔型和非管腔型乳腺癌[25]。在本研究中,MIL-DL和MIL-DL-Rad在ExtraTrees模型中均取得了更好的性能。MIL-DL-Rad在test_qd中具有最高的AUC(0.868),而放射组学在test_dl中具有最高的AUC(0.936),其次是MIL-DL-Rad,AUC为0.926。这些结果与既往研究一致[42, 43],证实了融合放射组学和深度学习特征可以提高预测性能。本研究还展示了基于MIL的方法在预测GGN侵袭性方面的潜力。通过聚合PLH和BoW通道,可以更全面地表征整体图像特征[24]。
此外,受本研究中基于定量和语义特征建模的启发[44],我们使用类似的临床特征(如年龄、结节类型)开发了一个独立的临床模型。基于RF的临床模型在训练集、test_dl和test_zjg队列上的性能与定量-语义模型[44]相当,但始终低于放射组学模型和MIL-DL-Rad模型。此外,我们还通过逻辑回归模型以事后融合的方式整合临床模式和MIL-DL-Rad模式,探索了联合模型的性能,证明临床信息可以有效增强所开发模型的稳健性和判别能力。更多详情请参阅补充材料。
尽管取得了一些预期结果,本研究仍存在若干局限性。其中一个局限性涉及数据集的组间不平衡:相对较小的训练集可能影响模型优化,而外部测试集规模不一(尤其是样本量有限者)限制了评估结果的统计效力以及泛化性解释的稳健性,未来工作将通过前瞻性数据收集或多中心合作来追求更平衡的外部队列。作为回顾性分析,它可能受到选择偏倚的影响。未来研究应包括前瞻性随机对照研究,以验证MIL框架在提高预测准确性方面的作用。本研究采用手动勾画对病灶进行分割,下一步将探索自动分割以提高效率并减少人为差异。本研究聚焦于术前CT数据预测GGN侵袭性。未来研究可结合病理组学及其他临床数据构建更全面的模型,可能增强GGN侵袭性预测的有效性和适用性,并改善LUAD诊断和治疗中的患者结局。
结论
这项多中心研究表明,所提出的MIL-DL-Rad框架在多重实例学习范式内整合深度学习和影像组学,在多个队列中预测LUAD患者GGN侵袭性方面取得了优越且显著稳健的性能。所提出的MIL-DL-Rad框架显著优于基于单模态特征或基础深度学习融合方法的模型,并克服了其不稳定性局限。这一突破验证了弱监督下互补特征融合的力量,为临床医生提供了用于术前风险分层的高度可靠工具。本研究为GGN侵袭性预测领域的特征融合提供了新视角,可能协助临床医生做出更准确的术前预测和个性化手术方案。
补充信息
电子补充材料
引用
- Du H, Shen J, Chen F, et al. Integrating CT-based radiomics and deep learning for invasive prediction of ground-glass nodules in lung adenocarcinoma: a multicohort study. Insights Imaging. 2025. PMID: 41359094. doi:10.1186/s13244-025-02156-6
- 全文:PMC12686268(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12686268/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。