利用Brock模型的启示理解人工智能肺结节风险预测
该回顾性分析纳入NLST中4660例参与者的10485个肺结节,比较Brock模型手动与自动测量及LCP-CNN的预测效能。自动等效球径Brock的AUC为0.896,高于手动测量的0.873,LCP-CNN的AUC为0.936。特征消融显示结节大小和形态对AI预测贡献最大,内部纹理和背景肺实质作用有限。
要点
- 自动等效球径Brock模型AUC 0.896,优于手动直径的0.873,LCP-CNN达0.936。
- 仅保留形态学因素的Brock模型AUC 0.858,接近全模型的0.896。
- 消融结节仅留肺实质后AI的AUC降至0.717,提示结节形态信息贡献大。
核心结论
- 特征消融是理解AI模型预测的可行技术。
- 结节大小和形态在AI预测中作用最大,结节内部纹理和背景肺实质作用有限,与Brock模型中形态学因素相对重要性高于临床因素大致类似。
研究设计与样本
- 回顾性分析NLST影像数据,纳入4660例参与者的10485个肺结节,其中556个恶性。
- 使用U-Net卷积神经网络自动分割结节,计算等效球径和最大轴位径,分别代入Brock模型并与LCP-CNN比较。
- 对CT图像进行信息消融(仅肺实质、植入同等大小球体、消融内部纹理)后重新训练实验性AI模型,以AUC评估预测效能。
诊断标准与关键数值
- Brock模型手动直径AUC 0.873(95%CI 0.860–0.886)。
- Brock模型自动轴位径AUC 0.883(95%CI 0.870–0.895,p<0.02),自动等效球径AUC 0.896(95%CI 0.883–0.907,p<0.0001)。
- LCP-CNN的AUC 0.936(95%CI 0.926–0.945,p<0.0001)。
- 仅非形态学因素Brock模型AUC 0.686(95%CI 0.665–0.706),仅形态学因素AUC 0.858(95%CI 0.842–0.874),无毛刺模型AUC 0.862(95%CI 0.848–0.876,p=0.16)。
- 实验性AI模型:未消融图像AUC 0.926(95%CI 0.916–0.935),仅肺实质AUC 0.717(95%CI 0.697–0.737),植入球体AUC 0.889(95%CI 0.876–0.901),消融纹理AUC 0.915(95%CI 0.904–0.926)。
局限性
- 本研究中Brock模型的准确度低于开发Brock的PanCan和BCCA队列(AUC>0.90),可能源于队列间差异。
- Brock模型的预测价值取决于人群中肺癌患病率,临床队列可能不同于NLST、PanCan和BCCA筛查队列的5.5–5.6%。
- NLST及本分析的选择标准限制了向临床实践的外推:年龄55–75岁以外、有既往肺癌、近期胸部CT、咯血或不明原因体重减轻者均被排除,<6 mm结节和磨玻璃影也被排除。
- 直接使用NLST的手动直径测量而非重新测量,可能导致手动测量预测效能的偏倚。
- 比较LCP-CNN与Brock时可能存在偏倚,因LCP-CNN使用NLST数据训练而Brock在另一人群中训练。
全文中译8 节 · 点击展开
引言
肺结节是计算机断层扫描(CT)中常见的偶然发现[1]。现行指南强调评估结节恶性可能性的重要性,进一步处理取决于预测的恶性风险[2, 3]。肺癌风险预测模型已通过逻辑回归(LR)等统计方法和卷积神经网络(CNN)等机器学习方法开发。
布鲁克大学模型是一种LR模型,已在美国国家肺癌筛查试验(NLST)的筛查队列和英国未经选择的临床人群中成功验证[4–8]。英国胸科学会(BTS)指南推荐在临床实践中使用布鲁克模型,而Fleischner学会指南不提倡任何风险预测模型,但承认布鲁克模型具有很大意义[2, 3]。
结节大小,定义为由胸部放射科医师使用电子卡尺测量的结节长轴最大直径,是布鲁克模型中最重要的单一预测因子[8]。该模型中其他癌症预测因子包括年龄较大、女性、肺癌家族史、肺气肿、结节位于上叶、部分实性结节、结节数量较少和毛刺征。
手动结节直径测量存在显著的读者内和读者间变异性,在5 mm和6 mm测量时最大,而这两个值是决定随访的关键阈值[9, 10]。此外,除非结节完全呈球形,直径不能准确反映结节大小。在文献中,结节直径和体积的自动测量对布鲁克模型预测准确性的改善为零或有限[11, 12]。
人工智能(AI)模型较自动结节测量更进一步,因为它们通常不需要结节测量或数据录入。肺癌预测CNN(LCP-CNN)是一种经外部验证的AI模型,已被证明在NLST队列和英国临床队列中优于布鲁克模型[13, 14]。然而,虽然布鲁克模型完全可解释,但LCP-CNN预测背后的原理尚不清楚,且无法分离各个预测因子的效应。
我们假设LCP-CNN的预测部分归因于那些同样是布鲁克模型预测因子的影像特征。首先,我们提出LCP-CNN不仅仅是优化测量结节大小。我们比较LCP-CNN与布鲁克模型内自动测量的预测准确性。其次,我们假设消融影像特征类似于从布鲁克模型中移除预测因子。我们通过在信息消融的CT图像上重新训练CNN并评估每个消融特征所致的性能下降,来探索哪些影像特征对LCP-CNN的预测有贡献。
材料与方法
研究数据集
本文是对NLST影像数据的回顾性分析。试验设计和入组标准见其他文献[15]。简言之,NLST是一项多中心随机试验,对年龄55–74岁、有显著吸烟史的无症状参与者进行三轮低剂量CT筛查与胸部X线摄影的比较。参与者接受肺癌诊断随访的中位时间为6.5年。结节大小由接受过标准化图像判读培训的NLST放射科医生使用电子卡尺测量。未强制规定结节评估的标准方案。
在NLST的CT筛查组26,722例患者中,16,684例因NLST数据库中未记录异常而被排除。在本研究中,由一名经验丰富的放射科医生监督,对10,038例有异常记录患者的CT检查进行复核以识别肺结节。每个结节均经手动标注,并记录其与NLST期间发现的异常的对应关系。考虑了所有时间点,并对结节进行了时间追踪。82例患者记录的异常无法与CT发现相匹配。252例确诊癌症的患者因癌症诊断无法与特定结节相匹配而被排除。非实性或部分实性结节被排除(n = 1233例患者),因为LCP-CNN仅对实性和部分实性结节进行了训练。手动测量< 6 mm或> 30 mm的结节被排除(n = 3007例患者)。排除< 6 mm结节是因为根据Fleischner学会指南这些通常不需要常规监测,排除> 30 mm的肿块是因为在线Brock计算器和分割算法并非为> 30 mm的肿块设计[3, 16, 17]。总计4660例参与者、10,485个结节纳入分析。研究流程图见图1。
自动结节大小测量
U-Net卷积神经网络是一种成熟的医学分割工具,在本研究中被改装用于结节分割[16, 18]。共随机选取1276例参与者用于训练分割算法。其中,符合本研究分析纳入标准的参与者(n = 730)被排除在验证队列之外。
体积分割由医生在资深胸部放射科医生(F.V.G.)监督下于结节内确定的种子点启动,随后由算法以无监督方式进行。等效球直径使用∛(6/π.V)计算,其中V为结节体积。采用两种不同方法测量最大轴位直径。第一种方法在每一轴位层面上计算结节边界上任意两点间的最长距离,并取所有轴位层面中的最大值。然而,该方法可能高估毛刺状结节的直径。第二种方法使用标准最小二乘法对每一轴位轮廓拟合椭圆并计算其最大直径。两种方法结果几乎相同。我们仅报告第二种方法的结果,因为该方法对毛刺和结节几何形状的微小变化较不敏感,符合Fleischner学会推荐[19]。部分结果此前已以摘要和会议论文形式发表[20, 21]。
对于每位参与者,使用Brock模型计算恶性风险,分别采用(1)NLST数据集中提供的手动直径,(2)自动分割得出的最大轴位直径,以及(3)自动分割得出的等效球径。恶性风险还使用LCP-CNN得出。LCP-CNN的开发和验证已在先前发表文献中完整描述,本分析中使用了相同版本的模型[13, 14]。
预测准确性主要通过受试者工作特征曲线下面积(AUC)分析进行评估。各方法之间准确性差异的统计学显著性通过AUC差异的分布计算得出。该分布通过对数据有放回地进行10,000次自助抽样获得。95%置信区间(CI)从差异分布中获得。p值使用双侧置换检验计算,对数据进行10,000次随机重抽样[22],p < 0.05被认为具有统计学显著性。
信息消融
从完整Brock模型中移除协变量,测试了三种“特征缩减”Brock模型的预测性能。仅非形态学因素
纳入年龄、性别、肺气肿、癌症家族史、结节位置和结节数量。仅形态学因素
纳入结节大小、结节类型(实性或部分实性)和毛刺征。无毛刺征(等同于[3]中的“简约模型”)
纳入完整Brock模型中除毛刺征以外的所有协变量。
与Brock模型不同,LCP-CNN不包含人类可解释的术语。因此,特征移除通过从CT图像中消融信息来进行。由于LCP-CNN未经过分析消融CT图像的训练,因此使用与训练LCP-CNN模型相同的数据集和相同的八折交叉验证训练了一个实验性AI模型,用于从消融CT图像预测恶性[13, 14]。对于给定的一折,四分之三的数据分配用于训练AI模型,八分之一分配用于验证,八分之一分配用于测试。每位参与者在每一折中恰好被分配到测试分区一次。每一折中恶性结节参与者的比例大致相等。八折中的每一折均对应一个单独独立训练的模型。分析时,将八折的结果合并在一起,以提供整个数据集的交叉验证结果集,如先前发表文献所述[13, 14]。
AI模型的预测性能在未修改和消融的CT图像上进行了测试。仅肺实质
所有关于结节的信息均被消融。评估了从结节边缘最远端向肺门方向15 mm处的区域,该区域包含背景肺实质的图像但不显示结节。形态学因素
所有关于背景肺和结节内部纹理的信息均被消融。背景肺被替换为所有患者的平均肺密度(− 825 Hounsfield单位),结节内部纹理被替换为平均结节密度。植入球体
将体积与结节相同且密度为平均结节密度的球体植入上述“仅肺实质”模型中。
由于信息消融是基于平均结节密度进行的,因此进行了一项亚组分析,以比较实验性人工智能模型对部分实性结节和实性结节的预测性能。
数据分析
数据分析使用安装在Ubuntu 20.04上的Python 3.8进行,所用库为NumPy 1.19.4、scikit-learn 0.21.3和pandas 0.23.4。
结果
本回顾性分析共纳入4660名参与者,共计10,485个肺结节(其中556个为恶性)。人口统计学数据见表1。
无论采用何种测量技术,恶性结节均大于良性结节(补充图1)。等效球面直径小于手动或自动最大轴位直径,因为许多结节并非完美的球形。
使用自动轴位直径(0.883,95% CI 0.870–0.895,p < 0.02)和自动球面直径(0.896,95% CI 0.883–0.907,p < 0.0001)时,Brock模型的AUC值显著高于使用手动直径(0.873,95% CI 0.860–0.886)(图2)。在自动测量技术中,等效球面直径的AUC显著大于最大轴位直径(p < 0.0001)。无论采用何种测量技术,LCP-CNN的AUC均显著大于Brock(0.936,95% CI 0.926–0.945,p < 0.0001)(图2)。
各种特征缩减版Brock模型的预测性能见图3和补充图2。仅含非形态学因素的Brock模型对恶性的预测能力较差,AUC为0.686(95% CI 0.665–0.706)。另一方面,仅含形态学因素的Brock模型预测能力良好,AUC为0.858(95% CI 0.842–0.874)。去除毛刺征的Brock模型表现略好,AUC为0.862(95% CI 0.848–0.876,p 0.16),但差异无统计学意义。
实验性人工智能模型的预测性能见图3和补充图3。仅含肺实质且无可见结节的实验性人工智能模型预测性能较差,AUC为0.717(95% CI 0.697–0.737)。当将与结节体积和平均密度相同的球体植入该肺实质时,预测性能良好,AUC为0.889(95% CI 0.876–0.901)。当背景肺实质和结节内部纹理被替换为均匀密度时,预测性能非常好,AUC为0.915(95% CI 0.904–0.926),而未消融图像的AUC为0.926(95% CI 0.916–0.935)。
进行了一项亚组分析,以比较部分实性结节(n = 669,6.4%)和实性结节(n = 9816,93.6%)的预测性能。结果见图4。在未消融图像上,实验性人工智能模型对部分实性结节的性能(AUC 0.827,95% CI 0.778–0.872)较实性结节(AUC 0.932,95% CI 0.992–0.942)有所降低。在采用平均结节密度的两项消融实验中(AUC 0.822 vs 0.920,以及AUC 0.796 vs 0.894)以及仅肺实质消融实验中(AUC 0.607 vs 0.724),也观察到类似的性能下降。
讨论
自动测量(AUC 0.883和0.896,p = 0.02和p < 0.0001)与手动测量(AUC 0.873)相比,显著提高了Brock模型的准确性。我们报告的效应量大于既往研究,既往研究表明自动测量与Brock模型准确性的无改善或适度改善相关。这可能归因于我们研究中使用的不同方法;Brock模型未针对自动测量数据重新拟合[12],且样本量大了十六倍[11]。在自动测量技术中,等效球直径与最大轴位直径(AUC 0.883)相比,显著提高了准确性(AUC 0.896,p < 0.0001)。这表明自动测量的容积性质可能是预测性能改善的基础。结节体积优于直径用于风险预测的优点已在其他文献中描述[23]。等效球直径为体积提供了一种替代方案,且仍与Brock模型兼容。
与辅以自动测量的Brock模型相比,LCP-CNN显著提高了肺癌预测的准确性(AUC 0.936,p < 0.0001)。这表明LCP-CNN所做的不仅仅是优化测量结节大小。我们的结果得到了另一项研究的支持,该研究显示LCP-CNN在IDEAL队列中优于Brock模型,该队列是英国一个非筛查发现的偶发肺结节队列[13]。
在消融CT图像上训练了一个实验性AI模型,以检验以下假设:LCP-CNN所做的预测部分归因于那些在Brock模型中也是预测因子的影像特征。在未消融CT图像上测试时,实验性AI模型(AUC 0.926)的表现与LCP-CNN(AUC 0.936)相似。此处较小的性能差距可能是由于实验模型的部分能力被用于表征消融CT图像中与未修改CT图像中不同的特征。
Brock模型中的形态学因素,如大小、毛刺和类型,对实验性AI模型均可见。仅形态学特征(AUC 0.858)在预测恶性方面几乎与完整Brock模型(AUC 0.896)相当,非形态学特征作用有限。我们假设,与Brock模型类似,实验性AI模型主要利用结节形态学信息来预测癌症,肺实质作用有限。事实上,消融结节的所有信息而仅保留背景肺实质,表现较差(AUC 0.717)——但仍优于随机分类器,也优于仅含非形态学因素的Brock模型(AUC 0.686)。AI对Brock模型使用的临床数据不可见;然而,它可能已学习到提示年龄、肺气肿和环境暴露的肺实质改变,因此表现优于随机[24]。
将背景肺实质和结节替换为均匀密度,同时保留结节形态,产生了良好的预测性能(AUC 0.915)。原则上,这类似于仅使用形态学因素的Brock模型(AUC 0.858)。性能差异表明,人工智能除利用Brock模型中的特征外,还利用了形态学特征,且可能超出放射学词典的范围。一项关于大小匹配的良性和恶性结节的研究支持了这一点,该研究显示LCP-CNN的性能与大小无关[25]。将背景肺实质和结节替换为均匀密度后,实验性AI模型的性能仅小幅下降(AUC 0.915 vs 0.926),提示结节内部纹理携带少量预测信息,在某种程度上类似于Brock模型中的“结节类型”项。近期多项影像组学研究探讨了内部纹理在结节分类中的潜在作用[26]。
通过将等同于结节体积和平均密度的球体植入肺实质来消融结节边缘的所有信息,产生了合理的性能(AUC 0.889);这类似于不含毛刺征的Brock模型(AUC 0.862)。此举显著降低了AI和Brock模型的性能,提示结节边缘携带大量信息,这一概念已被放射科医师广泛认可。此外,这一发现与预测特征存在于瘤周区域的观点相一致,影像组学领域已证明瘤周区域可改善恶性结节的分类[27]。
实验性AI模型对部分实性结节的性能低于实性结节。有趣的是,这一发现不仅限于采用平均结节密度的消融实验,在未消融图像中亦有体现。可用于训练AI的部分实性结节数量相对较少可能是其原因。此外,惰性恶性部分实性结节可能在NLST中位随访6.5年期间被误分类为良性[28]。
我们的发现对未来研究具有启示意义。首先,我们已证明结节形态在AI预测中起重要作用,背景肺实质的作用有限但仍重要。未来使用特征消融的工作可以进一步加深我们的理解;例如,在包含从不吸烟者的人群中重复此实验将有助于了解背景肺实质的作用。其次,LCP-CNN的表现优于辅以自动测量的Brock模型,尽管LCP-CNN无法获取Brock模型中使用的临床因素,如年龄、癌症家族史和性别。不同队列的既往研究也发现了这一点[13, 14]。此前已发现临床变量(如年龄、性别和吸烟史)对LCP-CNN性能无显著贡献;因此,在模型推导过程中排除了临床变量[14]。未来,了解其原因可能有助于揭示从图像中隐式学习到了多少临床信息。
本研究存在若干局限性。第一,本研究中Brock模型的准确性略低于用于开发Brock的PanCan和BCCA队列(AUC > 0.90)[8]。在使用Brock对NLST数据进行另一项二次分析时也报告了类似的差异,这可能归因于队列之间的基线差异[5]。第二,Brock模型的预测价值取决于人群中肺癌的患病率。临床队列中的患病率可能与NLST、PanCan和BCCA等筛查队列中所见的5.5–5.6%不同[8, 15]。第三,应用于NLST队列和本分析的选择标准限制了对临床实践的推广性。年龄在55–75岁之外、有既往肺癌史、近期胸部CT、咯血或不明原因体重减轻的患者均被排除在NLST之外[15]。测量< 6 mm的结节和磨玻璃影被排除在本分析之外。临床实践中的偶然性肺结节患者可能不符合这些标准。第四,直接使用了NLST的手工直径测量值,而非重新进行测量,这可能导致手工测量的预测性能存在偏倚。第五,在本分析中比较LCP-CNN和Brock时可能存在偏倚,因为LCP-CNN是使用NLST的数据训练的,而Brock是在另一个独立人群中训练的。然而,两种模型的直接比较并非本文的主要目的,且需要在先前未见的人群中进行测试。最后,消融后的CT图像是非典型图像,在临床实践中不会见到,且难以解读。很难将消融的影响归因于单一因素;例如,为消融结节而平移15 mm可能部分降低预测准确性,因为局部肺气肿的严重程度发生了改变。未来需要使用不同技术进行特征去除的工作,以得出更有力的结论。
肺结节风险预测模型处于一个连续谱上,从完全手工的LR Brock模型,到使用自动分割对此进行补充,再到完全自动的LCP-CNN(不需要结节测量或数据录入)。Brock模型的性能在自动测量下有所提高,但未达到LCP-CNN的水平,提示后者可能利用Brock之外的特征进行预测。经过特征消融后,我们发现结节大小和形态在AI预测中起最大作用,而结节内部纹理和背景肺实质的作用有限。这在很大程度上类似于Brock模型中形态学因素相对于临床因素的相对重要性。这些发现对未来理解AI预测的工作具有重要意义。
补充信息
ESM 1(DOCX 317 kb)
引用
- Chetan MR, Dowson N, Price NW, et al. Developing an understanding of artificial intelligence lung nodule risk prediction using insights from the Brock model. Eur Radiol. 2022. PMID: 35238972. doi:10.1007/s00330-022-08635-4
- 全文:PMC9279235(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9279235/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。