基于计算机断层扫描的三维卷积神经网络深度学习模型预测浸润性肺腺癌微乳头或实性生长方式
本研究基于CT建立自步学习三维网络深度学习模型,预测浸润性肺腺癌是否存在微乳头或实性生长方式,并针对直径≤2 cm肿瘤单独建模。模型1训练、内部验证和外部验证AUC分别为0.924、0.807、0.857;模型2分别为0.946、0.869、0.831,性能优于ResNet34、ResNet50、ResNeXt50和DenseNet121。
要点
- 模型1预测浸润性肺腺癌微乳头或实性生长方式,外部验证AUC 0.857,准确率0.805。
- 模型2预测直径≤2 cm肿瘤的微乳头或实性生长方式,外部验证AUC 0.831,准确率0.792。
- 自步学习三维网络在内部和外部验证中预测能力均优于其他四种深度学习网络。
核心结论
- 基于CT的三维卷积神经网络深度学习模型可作为无创筛查工具,能可靠检测和区分浸润性肺腺癌的组织学亚型,即使对直径≤2 cm的小肿瘤也表现良好。
研究设计与样本
- 回顾性研究,2019年6月至2022年10月两中心共纳入970例浸润性肺腺癌患者建立模型1,其中中心1共617例按4:1随机分为训练集492例和内部验证集125例,中心2共353例作为外部验证集。
- 模型2纳入直径≤2 cm的501例患者,其中中心1共208例分为训练集161例和内部验证集47例,中心2共293例作为外部验证集。
- 采用自步学习三维网络建立模型,并与ResNet34、ResNet50、ResNeXt50和DenseNet121比较,以术后病理组织学生长方式为参考标准。
诊断标准与关键数值
- 病理以苏木精-伊红染色切片由经验丰富的病理医师分析,各生长方式占比以>5%增量计为存在该方式。
- 模型1训练集AUC 0.924、准确率0.845、召回率0.851、精确率0.842、F1值0.843;内部验证集分别为0.807、0.744、0.756、0.750、0.743;外部验证集分别为0.857、0.805、0.804、0.806、0.804。
- 模型2训练集AUC 0.946、准确率0.858、召回率0.881、精确率0.844、F1值0.851;内部验证集分别为0.869、0.809、0.786、0.794、0.790;外部验证集分别为0.831、0.792、0.789、0.790、0.790。
临床应用与阅片要点
- 作者认为术前无创预测小尺寸肺腺癌中微乳头或实性生长方式的存在对选择最佳临床治疗策略至关重要。
- 原文指出微乳头或实性生长方式>5%与浸润性肺腺癌患者预后不良相关,通常推荐更积极的辅助治疗及术中淋巴结清扫或采样。
局限性
- 模型未纳入临床和CT形态学特征,如患者性别和肺腺癌实性成分比例。
- 深度学习模型的推理过程难以解释且缺乏逻辑依据,可能阻碍临床医生在实践中使用这些模型。
- 作者指出需要进一步研究使用该模型。
全文中译11 节 · 点击展开
引言
肺癌是最常见的癌症之一,也是全球癌症相关死亡的主要原因,其中肺腺癌(LADC)是最常见的组织学类型[1]。根据世界卫生组织(WHO)2021年第5版肺部肿瘤分类,LADC可分为浸润型和微浸润型[2]。最常见的类型是浸润性腺癌(ILADC),主要表现为贴壁型、腺泡型、乳头型、微乳头型和实性生长模式[3]。目前,ILADC的临床治疗主要基于第9版TNM分期系统[4],评估肿瘤大小、淋巴结和转移情况,治疗范围从早期(I–II期)的手术到晚期(III–IV期)的化疗和放疗。大量研究表明,具有微乳头型或实性为主生长模式的ILADC患者,其复发和转移风险显著高于不具有该模式的患者[5–7]。值得注意的是,一些研究表明,微乳头型或实性生长模式(M/S模式)> 5%也与ILADC患者的不良预后相关[6–10],通常建议进一步行积极辅助治疗以及术中淋巴结清扫或采样[7, 11, 12]。此外,近期一些研究建议将肺段切除术作为小尺寸(直径≤ 2 cm)非小细胞肺癌(NSCLC)患者的标准手术方式,但局限性切除并非M/S模式肿瘤患者的最佳手术方式[5, 13, 14]。因此,术前确认ILADC内是否存在M/S模式对于确定切除范围和指导手术规划具有重要意义。通常,手术是评估ILADC组织学亚型最有效的技术。然而,迄今为止,很少有手术方法能够在手术切除前或术中识别M/S模式。一种在术前识别ILADC组织学亚型的新的无创方法可能成为减少不适当手术方案选择的有效工具。
深度学习(DL)是一类模式分析方法的统称,通常包括卷积神经网络(CNN)、深度信念网络和堆叠自编码器网络[15]。随着人工智能的发展,DL已广泛应用于肺癌的早期诊断、肿瘤病理-分子特征评估以及患者预后预测[16, 17]。关于利用人工智能评估ILADC组织学亚型,既往研究要么在区分ILADC主要生长模式方面的能力有限,要么集中于晚期患者[18, 19]。据我们所知,DL预测ILADC是否存在M/S生长模式的能力,尤其是在小尺寸肿瘤中,尚未被研究。
本研究旨在开发两种基于CT的DL模型:一种用于预测ILADC中的M/S生长模式,另一种用于预测直径≤ 2 cm的ILADC中的该模式。
材料和方法
患者
本回顾性研究经我院机构伦理委员会批准(批准号:2019-062),因研究为回顾性性质,豁免研究参与的知情同意。2019年6月至2022年10月,来自两个中心的1416例患者(中心1 = 907例,中心2 = 509例)最初根据以下纳入标准被纳入:(1)经手术确诊为ILADC;(2)患者在手术前接受过胸部CT扫描;(3)患者在CT检查前未接受过任何抗肿瘤治疗。此外,根据以下排除标准排除了446例患者:(1)肿瘤确诊为浸润性黏液腺癌、胶样腺癌、胎儿型腺癌、肠型腺癌或非特殊型(n = 41);(2)肿瘤表现为同时性多原发肺癌(n = 327);(3)因明显呼吸运动伪影导致图像质量差(n = 35);(4)CT成像与后续手术间隔≥1个月(n = 43)。最终,970例患者(中心1 = 617例,中心2 = 353例)的CT数据用于构建深度学习(DL)模型(模型1)。此外,501例肿瘤直径≤2 cm患者(中心1 = 208例,中心2 = 293例)的CT数据用于建立另一DL模型(模型2)。中心1的患者按4:1的比例分为训练集和内部验证集,中心2的患者作为外部验证集纳入。患者纳入流程图见图1。
CT扫描方案
所有患者均使用以下CT系统之一进行胸部CT扫描:Discovery 750 HD CT(GE Healthcare,Milwaukee,WI,USA)、Somatom Perspective(GE Healthcare,Erlangen,Germany)或Somatom Definition FLASH(Siemens Healthcare,Forchheim,Germany)。在单次屏气期间,于吸气末进行CT扫描。扫描范围为胸廓入口至肋膈角。扫描参数如下:管电压100–130 kVp;自动管电流50–250 mAs;扫描层厚/间隔5 mm/5 mm;重建厚度/间隔0.625–1 mm/0.625–1 mm。随后,所有图像传输至图像存档与通信系统工作站。
组织化学检查
组织学样本取自手术切除标本。所有选定的苏木精-伊红染色标本由一名经验丰富的病理科医师分析。根据现行LADC分类系统,肿瘤中某些生长模式(贴壁型、腺泡型、乳头型、微乳头型、实性型)以> 5%递增的百分比被认为提示该模式。
数据预处理
所有以医学数字成像和通信(DICOM)格式保存的CT图像均导入Infer Scholar Center平台(https://www.infervision.com/,Infer Scholar)。病灶感兴趣区(ROI)首先由一名具有5年胸部影像经验的放射科医师在轴位CT图像上逐层手动以边界框标注,然后由一名具有10年以上胸部影像经验的放射科医师审核并修正以保证准确性。所有CT图像均在标准肺窗设置{窗宽:1500–2000 HU,窗位:−500至(−700)HU}下评估,以确保最佳图像质量和细节以进行准确分析。此后,CT图像按如下方式处理:首先,将每个2D DICOM层面拼接为3D像素矩阵。鉴于不同图像间距会影响3D CNN的识别准确性,对3D像素矩阵进行重采样,以线性插值获得0.5 mm × 0.5 mm × 0.5 mm(高度 × 宽度 × 深度)分辨率,并对像素值进行裁剪以获得肺窗(1400 HU,200 HU)。其次,对所有输入图像进行归一化并填充至相同大小。获得这些图像后,我们将其随机裁剪为128 × 128 × 128像素,然后进行随机高斯噪声、旋转、缩放和翻转以减少过拟合。第三,将增强后的图像块输入分类模型进行训练。在训练过程中,为区分训练集中的困难样本,我们使用了自步学习(SPL),其可逐渐将困难样本纳入训练。SPL的初始阈值、阈值增长率和起始epoch分别为0.7、1.05和20。
DL模型的建立与优化
本研究建立了两个DL模型。模型1用于预测ILADC中是否存在M/S模式,模型2用于预测小尺寸ILADC中是否存在M/S模式,小尺寸ILADC定义为肺窗设置下最大直径≤ 2 cm的肿瘤。此后,采用3D ResNet18构建模型,其包括四个特征提取阶段和一个分类阶段。四个特征提取阶段的输出通道数分别为64、128、256和512。最后一个特征提取阶段生成的特征图输入全连接层,以预测存在M/S模式的概率。使用Adam W和交叉熵损失优化分类模型。训练批量大小、学习率和epoch分别为16、0.0005和200。模型建立的工作流程见图2。采用曲线下面积(AUC)、准确率、召回率、精确率和F1分数评估两个模型的性能。此外,还使用另外四种DL网络构建模型,包括ResNet34、ResNet50、ResNeXt50和DenseNet121,并将其性能与3D ResNet18进行比较。
统计分析
使用了两块 GTX 3090 图形处理单元。操作系统为 Ubuntu 20.04,搭配 CUDA 11.3 版本。使用 Python 3.7 和 PyTorch 1.11.0 实现模型。统计分析使用 SPSS 25.0 软件包(版本 25.0;IBM SPSS Statistics for Windows,IBM Corp.,Armonk,NY,USA)进行。采用独立样本 t 检验评估年龄(年龄呈正态分布),P < 0.05 被认为表示差异具有统计学意义。
结果
人口学和临床特征
用于构建深度学习(DL)模型的数据库中纳入患者的人口学和临床特征总结于表1。共有970例患者(454例男性,516例女性)被分类至建立模型1的数据库,其中训练队列、内部验证队列和外部验证队列分别包括492例、125例和353例患者,平均年龄为60.2 ± 9.7岁(范围:25–85岁)。其中,510例患者为病理肿瘤–淋巴结–转移(pTNM)I期,317例为II期,143例为III期。共有501例患者(235例男性,266例女性)在数据库中用于建立模型2,其中训练队列、内部验证队列和外部验证队列分别包括161例、47例和293例患者,平均年龄为58.9 ± 9.9岁(范围:25–83岁)。其中,315例患者为pTNM I期,155例为II期,31例为III期。
由SPL 3D Net构建的模型1和模型2的性能
对于由SPL 3D Net建立的模型1,训练队列中的AUC、准确率、召回率、精确率和F1分数分别为0.924、0.845、0.851、0.842和0.843;内部验证队列中的相应指标分别为0.807、0.744、0.756、0.750和0.743;外部验证队列中的相应指标分别为0.857、0.805、0.804、0.806和0.804(表2)。对于由SPL 3D Net建立的模型2,训练队列中的AUC、准确率、召回率、精确率和F1分数分别为0.946、0.858、0.881、0.844和0.851;内部验证队列中的相应指标分别为0.869、0.809、0.786、0.794和0.790;外部验证队列中的相应指标分别为0.831、0.792、0.789、0.790和0.790(表3)。
不同DL网络构建的模型性能比较
在内部验证队列和外部验证队列中,将具有不同网络结构和深度的ResNet34、ResNet50、ResNeXt50和DenseNet121构建的模型性能与SPL 3D Net构建的模型进行了比较。使用SPL 3D Net的模型预测ILADC是否存在M/S生长模式的能力优于使用其他四种DL网络的模型(图3和图4)。
讨论
组织病理学LADC亚型是肿瘤术后复发和转移的关键决定因素。一些研究表明,M/S优势亚型是切除的早期LADC患者的不良预后因素,通常需要术后辅助治疗[6–8, 10]。此外,少数学者指出,LADC中存在M/S成分也高度提示生存不良[5, 9, 20]。迄今为止,许多学者使用基于CT图像的组学或DL来尝试在术前无创预测ILADC的优势生长模式[18, 19]。然而,很少有研究关注通过机器学习识别肿瘤内M/S成分的存在。因此,我们开发并验证了一个基于CT图像的3D-CNN DL模型,以研究其预测ILADC侵袭性组织学亚型存在的潜力,并将重点放在直径≤ 2 cm的肿瘤上。
最近,一些研究报道了人工智能在评估ILADC生长模式方面的技术成功。He B等[21]开发了四种基于放射组学的机器学习模型来术前预测M/S生长模式的存在,并在内部验证中获得了0.75、0.73、0.72和0.74的AUC值,在外部验证中对于Naïve Bayes、支持向量机、随机森林和广义线性模型分别为0.70、0.72、0.73和0.69。Choi等[19]揭示,DL模型可用于估计肿瘤存在≥ 5% M/S组织学模式并预测接受新辅助治疗的晚期LADC患者的临床结局。Chen等[22]提出,放射组学结合DL模型可用于预测表现为亚实性病变的LADC内高级别生长模式的存在,准确率为0.966。与先前研究一致,本研究建立了一个DL模型来预测ILADC中M/S成分的存在,在训练集、内部验证集和外部验证集中表现出良好性能,AUC分别为92.37、80.65和85.65。与先前研究相比,我们的研究具有以下优势:首先,我们通过SPL 3D Net建立的DL模型在训练集和测试集中均表现出更好的性能;其次,本研究的样本量更大,并使用外部验证队列来测试模型的泛化能力。
日本70家机构开展的一项3期临床试验(JCOG0802/WJOG4607L)报告,外周型小尺寸(直径≤2 cm)NSCLC患者中,肺段切除组的总生存优于肺叶切除组[13],这一发现提示肺段切除应适用于该患者人群。此外,Kilic等[23]的一项研究提示,接受解剖性肺段切除的Ⅰ期NSCLC老年患者(≥75岁)的局部复发率和总生存与接受肺叶切除者相似,但其围手术期并发症发生率低得多(29.5 vs. 50%)。然而,如果肿瘤含有M/S成分,提示复发和肿瘤转移风险高,这些老年患者可能从肺叶切除和纵隔淋巴结清扫中获益更多。因此,术前无创预测小尺寸LADC中是否存在M/S模式对于选择最佳临床治疗策略至关重要[24]。目前尚无有效方法在术前准确判断病理生长模式;因此,我们通过SPL 3D Net建立了另一个DL模型,用于识别直径≤2 cm的ILADC中是否存在M/S生长模式。该模型在训练集、内部验证集和外部验证集中分别获得AUC 0.946、0.869和0.831,从而显示出很大潜力。无独有偶,Li等[25]回顾性分析了在3家医院就诊、经病理确诊为≤2 cm LADC的患者,其研究结果显示,基于CT的影像组学模型可用于预测≤2 cm LADC患者中微乳头模式的存在,在外部验证集中的AUC为0.81。
众所周知,3D CNN在医学图像诊断中具有优异表现。在本研究中,我们另选4种具有不同结构和卷积层深度的网络来构建模型:ResNet34、ResNet50、ResNeXt50和DenseNet121。并将这些模型各自的有效性与SPL 3D Net模型的有效性进行了比较。我们的结果表明,无论在训练集还是验证集中,SPL 3D Net预测ILADC是否存在M/S生长模式的能力均优于其他4种DL模型。SPL使模型能够根据自身训练状态决定其学习速度[26]。训练中使用的样本数量由训练过程中的损失值决定。该策略包括根据阈值将样本集动态划分为简单集和困难集。为这些集合分配不同权重,并在训练早期过滤出困难样本。通过将SPL与3D CNN相结合,SPL 3D Net能够在训练过程中确定样本的重要性,而这一重要性会随分类器的反馈动态变化。随着分类器性能的提高,最初被认为困难的样本可在后续训练阶段逐渐被识别。这有助于消除异常样本对模型的影响,并增强模型的泛化性和稳健性,这可能很好地解释我们的结果。
本研究存在若干局限性。第一,我们未将临床和CT形态学特征(如患者性别和LADC实性成分比例)纳入模型。第二,DL模型的推理过程难以解释且缺乏逻辑基础,这可能阻碍临床医生在实践中使用这些模型。因此,需要使用我们的模型开展进一步研究。
总之,我们的研究结果表明,基于CT的3D-CNN DL模型有潜力作为一种无创筛查工具,能够可靠地检测和区分ILADC的组织学亚型,即使是直径≤ 2 cm的肿瘤。
引用
- Huo J, Min X, Luo T, et al. Computed tomography-based 3D convolutional neural network deep learning model for predicting micropapillary or solid growth pattern of invasive lung adenocarcinoma. Radiol Med. 2024. PMID: 38512613. doi:10.1007/s11547-024-01800-3
- 全文:PMC11088553(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11088553/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。