多视角卷积神经网络模型预测随访低剂量胸部CT上新发肺结节的消退
该回顾性研究基于NELSON试验中250名参与者的344个新发中等大小实性结节,开发多视角CNN模型预测结节消退,模型AUC为0.81,平均敏感度0.63、特异度0.93,显著优于2D、2.5D和3D模型,在特异度大于90%前提下可避免14%的随访CT。
要点
- 多视角CNN模型预测新发中等大小结节消退的AUC为0.81,平均特异度0.93、敏感度0.63。
- 在特异度大于90%前提下,14%的个体可避免随访CT,但37%被预测消退者实际有非消退结节。
- 模型AUC显著高于2D、2.5D和3D模型(p<0.05),Grad-CAM++热图可显示模型关注区域。
核心结论
- 多视角CNN模型在区分需要随访CT的新发中等大小非消退结节方面达到高特异度,经进一步验证和优化后可能辅助肺癌筛查中新发中等大小结节的决策。
研究设计与样本
- 回顾性研究,纳入NELSON试验中250名参与者的344个新发中等大小(50–500 mm3)实性结节,采用四折交叉验证进行模型训练和测试。
- 模型由三个2D ResNet-18模块和一个3D ResNet-18模块组成,输入为32×32×32 mm3立方体及三个解剖轴上的连续中间层面。
- 参考标准为随访CT上结节消失或不再有实性成分(正在消退)定义为消退。
关键影像表现/征象
- Grad-CAM++热图显示红色区域为模型预测最重要的区域,黄色区域为中等重要区域,可定位影响消退或非消退预测的结节区域。
诊断标准与关键数值
- 结节水平:多视角CNN模型AUC为0.81(95%CI 0.75–0.88),平均敏感度0.63(SD 0.15),平均特异度0.93(SD 0.02)。
- 多视角模型AUC显著高于2D轴位、2D冠状位、2D矢状位、2.5D和3D模型(AUC分别为0.68、0.68、0.67、0.67、0.71),p值均低于0.01。
- 参与者水平:多视角模型特异度0.94、敏感度0.61,预测35例阳性中正确识别63%(22/35)仅有消退结节的参与者。
- 在特异度大于90%(即少于10%的非消退结节被错误预测为消退)前提下,14%(35/250)的参与者可避免随访CT,代价为37%(13/35)被预测消退者实际有非消退结节。
临床应用与阅片要点
- 模型设计以最大化特异度为目标,即正确识别需要随访的非消退结节,避免漏掉可能提示肺癌的未消退结节。
- 敏感度较低不被视为临床使用的显著风险,因为被预测为非消退的消退结节仍会接受后续随访检查。
- 作者认为该模型经进一步验证和优化后可能辅助放射科医生在肺癌筛查中发现新发中等大小结节时的决策。
局限性
- 本研究缺乏外部验证数据集,模型仅在内部数据集上验证。
- 数据集可能存在选择偏倚,非消退结节比例可能高于未经选择的筛查人群。
- 仅纳入10个近消退结节,无统计学差异不代表模型不能区分消退与近消退结节。
- 作者指出需要进一步提高模型敏感度,并需收集结节消退时间作为额外预测信息。
全文中译13 节 · 点击展开
引言
筛查试验,包括荷兰-比利时随机肺癌筛查试验(NELSON),表明在接受低剂量计算机断层扫描(LDCT)肺癌筛查的高危个体中,肺癌死亡率显著低于未接受筛查者[1]。在NELSON研究的每一轮肺癌发病率筛查中,5–7%的筛查参与者中发现新发结节[2, 3]。与基线筛查时检测到的结节相比,新发结节在短时间内出现,且更有可能消退。在NELSON的两轮发病率筛查中,约55%的新发结节在后续扫描中消失[4],而4%的新发结节为肺癌[3]。在肺癌筛查中,假阳性可能导致不必要的影像学检查或进一步检查[5, 6]。美国国家肺筛查试验(NLST)研究显示,约23%的参与者在三轮LDCT筛查中出现假阳性结果。LDCT筛查的其他潜在风险包括不必要的侵入性干预、过度诊断和辐射诱发癌症。目前,随访CT的管理主要基于结节大小和外观。鉴于深度学习(DL)在结节评估和癌症诊断方面的进展,DL技术可能成为减少不必要随访LDCT扫描的补充方法[7–9]。
卷积神经网络(CNN)在肺结节研究中显示出良好的性能[10]。Setio等[11]提出了一种多视角CNN,通过使用九个二维(2D)CNN有效区分真结节和假阳性,每个CNN对应从九个定向平面提取的其中一个2D视图,最终输出通过晚期融合策略生成。此类多视角策略及其变体也被应用于良恶性结节的分类[12, 13]。为纳入空间信息,基于三维(3D)的CNN模型已被用于各种任务,如结节分类[14]和恶性风险预测[15]。Venkadesh[16]开发了由九个2D ResNet-50和一个3D Inception-v1组成的集成模型来预测结节恶性风险,达到受试者工作特征曲线下面积(AUC)为0.93。近期开发的DL模型纳入了更透明的可视化方法[17],如Grad-CAM和Grad-CAM++。这些方法突出显示对模型决策贡献最大的图像区域,从而增强模型可解释性。
据我们所知,这是首项使用基于LDCT影像数据的可解释CNN模型来预测随访筛查轮次中发现的新发结节消失的研究。本研究的最终目的是评估CNN模型在随访筛查LDCT扫描中预测新发中等大小实性结节消退的效能。
材料与方法
数据收集与筛选
在获得NELSON委员会的数据使用批准后,我们获取了NELSON研究中一个专门的选择集用于本研究。NELSON研究设计的详细信息已发表[18]。简言之,筛查参与者在2004年至2006年间在四个医疗中心接受了基线低剂量CT(LDCT)扫描。在基线后第1年、第2年和第5.5年进行了定期随访筛查,对于中等大小的结节进行了短期随访扫描。本分析的纳入标准包括以下内容:(1)放射科医生在发病率筛查轮次中登记为新发现的结节,且有可用的下一次随访扫描;(2)实性结节;(3)中等大小的结节(50–500 mm3)。扫描缺失或扫描层面不完整的参与者被排除在分析之外。纳入和排除的详细信息见图1。被归类为消退的结节是指在随访扫描中消失的结节,以及正在消退且不再具有实性成分的结节。
训练集和验证集
为满足卷积神经网络(CNN)模型的输入要求,结节标注和数据划分按顺序进行。结节在3D Slicer中通过在其CT扫描上标记近似质心来标注,详细的标注示例图像在我们之前发表的论文[19]中提供。一名胸外科医生(X.Z.,具有三年胸部CT阅片经验)根据先前记录的结节元数据标注了结节的坐标。潜在的标注差异由一名经验丰富的放射科医生(R.V.,具有19年胸部CT阅片经验)进行审核。该数据集由新发结节的集合组成,采用分层四折验证方法分为四折。每折中保持原始类别比例。总共生成了四组训练集和测试集(见附录A中的图A1)。每组的训练集包括三折的结节,剩余一折为内部验证集。
图像预处理
肺窗调整为结节的最佳评估设置[窗宽:1600 HU,窗位:−700 HU]。我们使用B样条插值技术将LDCT体积插值至1×1×1 mm的体素大小,确保所有扫描的一致性。肺结节从LDCT图像中提取并保存为以质心为中心的立方体(32×32×32 mm3)。结节的3D图像框的放置方式保留了其完整的空间信息,这在2D图像中是无法获得的。为获取最具代表性的结节信息,从3D体积中提取了九张2D图像,每个图像平面(冠状面、矢状面和横断面)各三张,中心点位于结节的中部。
多视角卷积神经网络
我们提出了一种多视角CNN模型,用于捕捉3D图像和2D图像中结节的特征,如图2所示。该模型架构由四个主要组件组成:三个2D ResNet-18模块和一个3D ResNet-18模块。
每个2D ResNet-18网络被设计用于处理3D结节沿特定解剖轴——轴位、冠状位和矢状位——的三个连续中间层面。这些层面沿通道维度拼接以创建三通道输入。3D ResNet-18网络处理32 × 32 × 32 mm3立方体中心区域的体数据。四个网络(三个2D和一个3D)的输出被拼接形成72维特征向量,然后输入多层感知机以产生最终类别概率。这种多视图方法将2D视图的详细断面信息与3D体积的空间关系相结合,以提高预测准确性。更多细节见附录A2。
为评估所提出的多视图模型,我们将其性能与五个独立训练和验证的子模型进行了比较。这些比较实验考虑了结节和模型在不同视图和维度上的变化:(1) 2D ResNet-18_A,处理轴位层面;(2) 2D ResNet-18_C,处理冠状位层面;(3) 2D ResNet-18_S:处理矢状位层面的2D模型;(4) 2.5D ResNet-18,整合三个2D ResNet-18模型的输出;(5) 3D ResNet-18,在三维空间中分析体数据。有关实验设置的更多信息见附录A3。
模型可解释性
鉴于可解释性方法在卷积神经网络(CNN)图像分类模型中的成功应用,我们使用Grad-CAM++来理解模型预测。该方法通过使用最后一个卷积层特征图的正偏导数的加权组合,为特定类别标签创建可视化解释[20]。从视觉可解释性的角度,Grad-CAM++生成热图以定位并突出显示影响模型预测的消散或未消散结节中最具影响力的区域。
评估指标与统计分析
使用敏感度、特异度和AUC对模型预测进行评价。在本研究中,特异度评价的是需要随访的未消退结节中被正确识别的百分比。敏感度评价的是有多少消退中的结节被正确识别。我们旨在最大化特异度,因为对消退中的结节进行随访扫描并不是临床问题。然而,在筛查背景下,重要的是不要遗漏具有未消退且可能潜在提示肺癌的中等结节的随访CT。四折交叉验证的敏感度和特异度以均值及相应的标准差(SD)报告。我们还计算了基于参与者的结果(规则集见附录A4),显示了多少百分比的扫描可以被避免。计算AUC比较的p值以评估模型间差异的统计学显著性。截至最后一次随访,我们观察到10个结节未完全消失但处于消退过程中且缺乏实性成分。为探讨这些(“近消退”)结节对我们分析的潜在影响,我们进行了一项亚分析,将这些10个结节排除在外。AUC值的95%置信区间(CI)和p值使用pROC包(R版本4.3.2)计算,采用DeLong方法比较AUC。统计学显著性定义为p < 0.05。
结果
数据集特征
数据集包含250名参与者(54名女性,21.6%)中有随访扫描的344个新发中等结节。中位年龄为60岁[四分位距(IQR),56–64]。中位吸烟史为38.7包年[IQR,29.7–53.2]。大多数参与者为当前吸烟者(58.1%,140/241,9名参与者信息缺失)。结节特征见表1。
算法性能
图3展示了所提出的多视图模型与其他五个模型之间的AUC比较(0.81 [0.75, 0.88] vs 0.68 [0.61, 0.75]、0.68 [0.60, 0.76]、0.67 [0.59, 0.75]、0.67 [0.59, 0.75]、0.71 [0.63, 0.79])。所提出的模型显示出显著高于其他模型的AUC,p值始终低于0.01。表2显示了每个模型四折交叉验证的敏感度和特异度。
附录B(电子补充材料)中的图B1和表B2展示了在排除10个近消退结节的数据集上测试的模型的AUC以及敏感度和特异度。图4不仅展示了每个模型的AUC,还展示了近消退结节对模型学习的潜在影响。所有p值均高于0.05显著性阈值(p = 0.89、0.97、0.92、0.65、0.49、0.36),提示为每个模型添加近消退结节并未显著改变性能。
可解释性结果
采用Grad-CAM++可视化对模型预测肺结节消失有贡献的感兴趣区域。生成的热力图叠加在CT图像上,突出显示了深度学习模型认为对预测有重要意义的结节区域。红色区域代表模型赋予最高重要性的区域,黄色区域表示中等重要性的区域(如图5所示)。
基于参与者的计算
在本研究中,53名参与者有消散结节。其中,17名参与者同时有消散和未消散结节,其余36名参与者仅有消散结节。基于参与者的结果见表B3。我们的多视图模型预测了35例阳性病例(模型预测中等大小的结节会消散),正确识别了63%(22/35)仅有消散结节的参与者。此外,该模型在基于参与者的分析中表现出0.94的高特异性和0.61的敏感性。在分析的全部数据集中,14%(35/250)的参与者可以避免随访扫描,代价是37%(13/35)的参与者无意中带有未消散结节。
讨论
在本研究中,我们开发并评估了一种多视图卷积神经网络(CNN),用于预测肺癌筛查中新发中等大小结节的消散。所提出的多视图模型达到了0.81的AUC,平均特异性为0.93(SD,0.02)。
与单独的2D、2.5D和3D模型相比,多视图CNN模型获得了最高的AUC,提示与单个模型相比,2D和3D模型的组合可改善判别性能。设计多视图模型的基本原理是假设利用多个2D ResNet-18模型可以从不同视图学习结节的独特特征。轴位、矢状位和冠状位视图提供互补特征,而直径最大的三个中间层面提供最具代表性的视图。此外,我们通过将这三张灰度图像合并为单个RGB图像,增强了结节表示的丰富性。3D ResNet-18模型能够学习整个结节体积内的空间信息,从而补偿2D模型可能遗漏的信息。然而,尤其是对于小结节,3D结节块中包含的背景组织比例大于较大结节。这种过多的非结节空间可能引入噪声,从而可能削弱模型的学习能力。我们提出的模型利用了2D和3D方法的优势,结合各自的互补优势来改善结节预测。从临床角度看,虽然放射科医生可以评估肺结节的特征,但他们通常无法可靠地预测结节消散的可能性,这使得像我们这样的模型在提供客观见解以支持其临床决策方面具有价值。一项类似研究也证明了2D和3D集成模型的有效性;Venkadesh提出的预测深度学习模型在评估肺结节恶性程度方面表现出更优性能(AUC,0.93 vs 临床模型0.90)[16]。
为了在临床环境中实施该模型,确保高特异度至关重要,本研究将特异度定义为正确识别非消退性结节的百分比。非消退性结节可能在随访检查中增大,对其的假阴性预测可能导致这些结节的评估被遗漏。当前模型正确预测了63%的预测阳性病例,应进一步开发和优化该模型以用于临床实践。多视图模型达到了超过90%的特异度,优于所评估的其他五个模型。一旦实现高特异度,便可考虑提高模型敏感度。较低的敏感度水平不会对模型的临床使用构成显著风险,因为被预测为非消退性的消退性结节仍将接受后续随访检查。至少有一个非消退性结节的参与者仍应接受后续随访轮次以监测这些结节的变化。在参与者层面,我们的模型展示了将随访扫描减少14%的潜力,同时在正确识别具有非消退性结节的参与者方面保持了0.61的敏感度和0.94的高特异度。在我们的研究中,消退性新发中等大小结节仅占18%,属于少数类。因此,可避免不必要随访扫描的筛查参与者百分比较低(14%)。此外,由于至少有一个非消退性结节的筛查个体占比较大,假阳性的比例相对较高(37%)。这一观察可能反映了我们数据集中的选择偏倚,与未经选择的筛查人群相比,这可能导致非消退性结节的比例过高。在先前基于第二轮和第三轮筛查的新发结节数据发表的NELSON论文中,中等大小结节显示56%消失[4]。因此,在真实环境中,不需要随访CT的筛查参与者百分比可能更高,与假阳性的平衡也更为有利。
我们提出的模型在包含和不包含近消退性结节的数据集中表现无差异。鉴于我们的研究仅纳入10个近消退性结节,缺乏统计学差异并不一定意味着模型无法区分消退性结节和近消退性结节。我们只能得出以下结论:在两个数据集之间未观察到模型性能的显著差异。然而,如果加入更多近消退性结节,这一结果是否仍会持续尚不确定。
本研究的一个局限性是缺乏外部验证数据集。模型的性能已在内部数据集上得到验证。鉴于本研究结节的性质,寻找合适的外部数据集面临两项挑战:它必须包含多轮随访CT扫描以及这些随访中新出现的结节。为解决这一问题,我们首先考虑到NELSON是一项多中心研究,这在一定程度上有助于支持模型的泛化性。其次,我们采用交叉验证以最大化利用现有数据集,在外部验证不可行时提供对模型性能的稳健评估。我们认为该方法仍能对模型的泛化能力提供可靠估计。在未来展望方面,一是提高模型在灵敏度方面的性能;二是收集结节消散的时间作为预测的附加信息。
总之,我们的研究结果表明,基于多视图CNN的模型可通过提供结节消失预测来协助放射科医生决策,从而成为肺癌筛查中的有价值工具。该方法通过准确预测哪些结节可能消失,有望减少不必要的随访CT扫描。
补充信息
电子补充材料
引用
- Wang J, Zhang X, Tang W, et al. A multi-view CNN model to predict resolving of new lung nodules on follow-up low-dose chest CT. Insights Imaging. 2025. PMID: 40579621. doi:10.1186/s13244-025-02000-x
- 全文:PMC12205119(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12205119/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。