人工智能模型对肺结节分类的诊断性能:多模型评估
该单中心回顾性研究以组织病理学为金标准,评估三种商用AI软件对158个4-30毫米肺结节的良恶性分类性能,发现模型敏感度中等但特异度低、假阳性率高,且高达49.0%的结节被归为中间风险,结论认为AI软件尚不适合独立用于临床肺结节分类。
要点
- AI模型对肺结节分类敏感度中等(53.1-70.3%)、特异度低(46.7-66.7%),假阳性率高达45.5-52.4%。
- 高达49.0%的肺结节被AI归为中间风险,其中多数(44.4-88.5%)病理为恶性,可能影响临床决策。
- CT扫描类型影响分类准确性(p=0.03),屏气CT扫描的分类准确性优于自由呼吸扫描。
核心结论
- 基于AI的软件模型因特异度低、假阴性率高及中间风险分类比例高,尚不适合独立用于肺结节分类的临床实践。
研究设计与样本
- 单中心回顾性研究,纳入2018年至2024年间接受CT引导下肺活检或手术切除的152例患者共158个肺结节(良性30个、原发性肺恶性肿瘤67个、转移瘤61个)。
- 以组织病理学为金标准,评估三种商用AI软件(ADVANCE Chest CT、InferRead CT Lung、Rayscape Lung CT)对4-30毫米肺结节的检测与良恶性分类性能。
- 采用ROC曲线及最高约登指数计算敏感度与特异度,并行单因素回归分析评估影响分类的因素。
诊断标准与关键数值
- 模型1以恶性概率<19%为良性、19-62%为中间风险、>62%为恶性;模型2以<0.1为良性、0.1-0.9为中间风险、>0.9为恶性;模型3无数值阈值,仅输出低、中、高分类。
- 全样本中两个可评估模型的敏感度分别为53.1%与70.3%(p=0.005),特异度分别为66.7%与46.7%(p=0.12),AUC分别为0.63与0.57。
- 亚组1(5-8毫米结节)中两模型敏感度分别为47.8%与52.2%,特异度分别为100.0%与60.0%,AUC分别为0.77与0.48。
- 亚组2中两模型敏感度分别为50.0%与60.0%(p=1.00),模型1特异度100.0%、模型2为60.0%,AUC分别为0.62与0.60。
- 亚组3中两模型敏感度最低为61.5%(p=0.69),特异度分别为100.0%与70.0%,AUC最低为0.54。
临床应用与阅片要点
- 模型1检测150/158(94.9%)并分类141个(89.2%),其中106个(67.1%)被判为良性或恶性;模型2检测124个(78.5%)并分类114个(72.2%),其中60个(38.0%)被判为良性或恶性。
- 模型3检测122个(84.2%)并分类67个(42.4%),但仅6个(3.8%)按厂商推荐判读被判为良性或恶性,因分类数量过少被排除进一步分析。
- 使用厂商提供的二分类切点时,因排除中间风险结节,敏感度和特异度明显低于基于约登指数的最佳切点结果。
- 屏气CT扫描与一个模型正确分类概率增加相关(p=0.03),切片厚度(p=0.02)和取样方式(p=0.01)分别对另一个模型的正确分类有显著影响。
局限性
- 研究纳入连续患者集合,涉及不同扫描仪制造商、不同切片厚度和不同采集技术,可能引入选择偏倚,降低模型提取良恶性鉴别特征的能力,可能影响AUC值。
- 数据集中良性与恶性结节分布不均,可能影响模型性能评估(原文此处表述不完整)。
- 部分被软件检测到的肺结节未获得恶性风险预测,软件厂商未提供明确原因,缺失分类的原因仍未知。
- 模型3未能提供恶性风险分类的确切原因仅为假设,厂商未给出明确解释。
全文中译12 节 · 点击展开
引言
肺癌死亡率以两倍差距高于所有其他癌症类型[1]。较差的5年生存率通常与肺癌在晚期、不可治愈阶段才被检出有关[2]。预后取决于诊断时的分期[3]。因此,改善患者结局需要早期诊断恶性肺结节[4]。
这推动了高分辨率CT扫描仪的发展,使其有可能检出即使很小的肺结节[5]。然而,随着这些扫描仪分辨率的提高,胸部CT扫描中肺结节的检出率也显著上升,对特异度造成了不利影响[6]。此外,随着肺癌筛查实施的不断推进,胸部CT扫描中需要分类的肺结节数量预计将显著增加。
过去,已开发出多种模型,旨在预测恶性风险,这些模型通常与结节的大小、形态特征和生长速度相关[7]。在此背景下,人工智能(AI)模型近年来因其通过自动化结节检测、减少假阳性并增强风险预测来优化此类随访方案的潜力而受到认可,从而改善患者结局[6]。除肺结节的检测和定位外,AI软件模型还被设计用于将其分类为良性或恶性,进一步支持临床决策[8]。
然而,尽管取得了这些进展,AI在肺结节评估中的临床采用仍然具有挑战性[9]。这被归因于研究的普适性有限、其决策过程缺乏透明度,以及关于其对放射科医生决策和患者结局影响的数据不足[10]。因此,本研究旨在以组织病理学金标准为参照,评估三种AI模型对肺结节分类的诊断准确性。
材料与方法
当地伦理委员会批准了本回顾性研究的方案,并豁免知情同意(德国莱茵兰-普法尔茨伦理委员会,参考编号2023-16965)。
研究样本
在这项单中心研究中,从机构图像存档与通信系统(PACS)中回顾性识别了2018年至2024年间在一家三级医疗中心接受CT引导下肺活检或手术切除的患者。纳入标准如下:年龄大于18岁,CT扫描覆盖整个胸腔且最大层厚为4 mm,存在至少一个长轴直径为4至30 mm的肺结节,以及可单独识别的肺结节的組織病理学结果。排除标准包括对已知肺结节的随访CT扫描、小于4 mm或大于30 mm的肺结节。
一位拥有20年以上经验的委员会认证放射科医师(P.M.)确认了大小在4至30 mm之间的肺结节的存在。为进一步分析,肺结节还被分为多个亚组,以应对随访CT扫描、CT引导下活检或切除较为频繁的具有挑战性的临床情形[11]。肺结节根据其大小和组织病理学结果被分为3个亚组:(1)所有5至8 mm之间的结节,不论组织病理学结果如何;(2)5至8 mm之间且组织病理学结果为良性或原发性肺部恶性肿瘤的结节;(3)5至8 mm之间且组织病理学结果为良性或非肺部原发灶转移的结节。对转移灶与非肺部原发灶进行区分是因为AI模型主要经过训练以检测和分类原发性肺癌,其形态学特征与转移灶相比有所不同[12]。
AI模型
所有CT扫描均从PACS直接分别发送至三个AI模型。使用了以下商业软件解决方案(按字母顺序列出):ADVANCE Chest CT(版本2.2.1),Contextflow GmbH;InferRead® CT Lung,Infervision Medical Technology(版本1.0.1.1);以及Rayscape Lung CT(版本2-1-174-1.278-2.153),RAYSCAPE Mindfully Technologies。所有模型均托管于医院本地服务器,并完全自动提供结果,无需用户交互。在本研究中,这些软件模型按非字母顺序描述为软件模型1、软件模型2和软件模型3。
所有模型均设计用于检测肺结节、测量其大小和体积并计算恶性概率。它们可自动识别和评估CT扫描中各种类型的肺结节(实性、混合性和磨玻璃结节)。每个模型应用不同的专有评分系统,将恶性风险分类为高、中或低。由于恶性风险的分类由每个软件模型单独确定,各模型之间的阈值有所不同。每个软件供应商应用各自的阈值来得出三个风险类别,这些阈值未根据当地患病率进行调整。模型1提供一个从0到100%的连续变量,数值越高表示恶性概率越高,阈值< 19%为良性,19–62%为中等风险,> 62%为恶性。模型2提供一个从0.0到1.0的连续变量,数值越高表示恶性概率越高,阈值< 0.1为良性,0.1–0.9为中等,> 0.9为恶性。对于模型3,没有可用的数值阈值;相反,该软件产生分类输出(“低”、“中”、“高”),而未指定连续变量。
软件模型2和3仅限于检测和评估测量值在3至30 mm之间的肺结节。此外,软件模型2仅对检测到的七个最大的肺结节计算恶性风险评分。
统计分析
所有统计分析均使用专用统计软件(SPSS,版本29.0.2.0,IBM公司)进行。连续变量使用Shapiro–Wilk检验进行正态分布假设检验。根据各自结果,以均值±标准差或中位数伴四分位距报告。分类变量以绝对频数及相应比例报告。使用卡方检验比较组间分类变量。对于样本量较小的亚组比较,采用Fisher精确检验。对于非正态分布数据,使用Mann–Whitney U检验。p值<0.05被认为具有统计学意义。
诊断准确性通过受试者工作特征(ROC)曲线及基于各模型恶性评分原始数据的相应曲线下面积(AUC)进行评估。敏感性和特异性基于最高Youden指数从ROC曲线中得出。组织病理学结果作为金标准,并转换为数值作为状态变量,而恶性评分作为检验变量。此外,根据模型供应商推荐的恶性评分二分类判读,从交叉表中计算假阴性率(FNR)和假阳性率(FPR)。
通过单变量回归分析评估潜在混杂因素的影响及其对结果的影响。因变量为总体分类(恶性/良性 vs. 中间型)和正确分类(正确 vs. 错误)。自变量包括患者特征和CT扫描相关特征,如性别、年龄、CT扫描仪类型、对比剂使用、层厚和组织病理学取样类型。为量化对诊断准确性的影响,计算了每个变量的比值比(OR)及95%置信区间(CI)。
结果
患者特征
整个研究样本包括152例患者(41.5%为女性,平均年龄64 ± 15岁),共计158个肺结节。总共30/158(18.9%)经组织病理学分类为良性,67/158(42.4%)为原发性肺部恶性肿瘤,61/158(38.6%)为不同来源癌症的转移灶。
共有三个不同的亚组,每个亚组的结节大小在5至8 mm之间,根据 underlying 组织病理学进行分层:(1)亚组1包括30例患者,共计33个肺结节,不依赖于组织病理学。(2)亚组2由19例患者组成,共20个良性或原发性肺部恶性结节。(3)亚组3包括20例患者,共23个肺结节,这些结节为良性或非肺部原发灶的转移性肺结节。进一步的患者和扫描特征见表1。
结节检测与分类
在158个肺结节中,软件模型1检出150个(94.9%)并分类141个(89.2%),其中106个(67.1%)被分类为良性或恶性。模型2检出124个(78.5%)并分类114个(72.2%),其中60个(38.0%)根据模型厂商推荐的恶性评分解读被分类为良性或恶性。模型3检出122个(84.2%)并分类67个(42.4%),但仅有6个(3.8%)根据模型厂商推荐的恶性评分解读被分类为良性或恶性。详细结果及亚组分析见表2。
对于软件模型检出的一些肺结节,无法获得恶性风险预测。在此情况下,软件厂商未提供未计算恶性风险的明确原因。软件厂商提供的一个可能但未经证实的解释是,病例特定的图像特征可能妨碍了风险评估;然而,未披露详细解释。因此,缺失分类的原因仍不清楚。
诊断准确性
由于被分类为良性或恶性的肺结节数量较少,软件模型3无法为进一步评估提供统计学上可靠的基础。因此,该模型被排除在进一步分析之外。软件模型3未能提供恶性风险分类的潜在原因仍属假设,因为软件厂商未提供明确解释。据我们所知,技术限制如有限的图像质量、超出模型训练范围的病例(例如肺结节的非典型形状或位置)、层厚或呼吸与非呼吸CT扫描之间的差异可能影响了模型的性能。
对于整个研究样本,其余软件模型分别显示出中等敏感度(53.1% vs. 70.3%,p = 0.005)和中等至低特异度(66.7%和46.7%,p = 0.12)。FNR为中等,两模型的值分别为22.4% vs. 25.5%(p = 0.65)。两模型显示出相当的FPR(52.4% vs. 45.5%,p = 0.49)。AUC值分别达到0.63 vs. 0.57。相应的ROC曲线见图1。
在亚组1中,两软件模型的敏感度均低于整个研究样本(分别为47.8%和52.2%)。与整个研究样本相比,模型显示出显著更高的特异度,达到100.0% vs. 60.0%,但同时FNR更高,分别为73.3%和83.3%。ROC分析显示亚组1的AUC值存在统计学显著差异(0.77 vs. 0.48)。图2展示了相应的ROC曲线和AUC值。
在亚组2中,统计分析显示两软件模型之间的敏感度无显著差异(50.0% vs. 60.0%,p = 1.00)。与亚组1相似,模型1显示出100.0%的高特异度(vs. 60.0%)和71.4%及100.0%的高FNR。ROC分析显示亚组2的AUC值相当(0.62 vs. 0.60)。ROC曲线和AUC值见图2。
对于亚组3,两个模型均显示出中等灵敏度,最低为61.5%(p = 0.69)。与其他亚组相似,两个模型分别显示出100.0%和70.0%的高特异度。统计分析显示,两个软件模型的假阴性率(FNR)高达71.4–75.0%,假阳性率(FPR)较低(0.0%)。AUC值最低为0.54。图2展示了相应的ROC曲线和AUC值。
两个模型在整个研究样本及各亚组中诊断准确性的详细结果总结于表3。值得注意的是,由于排除了中等风险结节,使用供应商提供的二分类截断值时,灵敏度和特异度显著降低(补充表1)。
除了聚焦于4至30 mm肺结节的主要分析和聚焦于5–8 mm肺结节的亚组分析外,还计算了9至30 mm结节的诊断性能指标。这些结果展示于补充表2和补充图1。
影响分类的因素
对性别、CT扫描地点、屏气与自由呼吸技术、对比剂使用、层厚和采样类型(手术切除与CT引导下活检)等自变量进行比较,结果显示在良性或恶性结节的正确分类方面,一个模型的层厚(p = 0.02)和另一个模型的采样类型(p = 0.01)具有统计学显著差异。
单变量回归分析显示,对于一个模型,使用屏气CT扫描与肺结节正确分类为良性或恶性的概率增加相关(p = 0.03)。对于其他潜在混杂因素,未发现对结节正确分类有统计学显著影响。可能影响软件模型1和2结果的因素的详细结果总结于表4。
在分析影响模型对肺结节进行二分类能力的潜在因素时,层厚和采样类型(活检与手术切除)被确定为具有统计学显著性。更多细节见补充表3。
讨论
本研究调查了三种市售人工智能(AI)模型在肺结节检测和表征方面的表现,并与组织病理学金标准进行比较。主要发现可总结如下:各模型显示出中等灵敏度但低特异度。两个软件模型的诊断准确性有限,而一个软件未能将大多数结节分类为良性或恶性,因此无法进一步分析。
常规CT扫描中肺结节检出率的不断增加带来了诊断挑战,尤其是对于< 8 mm的结节,其缺乏清晰的影像学特征且活检失败率较高。这往往导致反复的随访扫描,增加了辐射暴露、经济负担和患者焦虑[13]。此外,假阳性结果导致不必要的侵入性操作和医疗系统负担,而假阴性则延误诊断,使患者产生虚假的安全感并可能推迟治疗[14]。因此,准确的风险分层评估对于提高早期癌症检出率同时尽量减少不必要的干预至关重要[15]。
在肺癌诊断方面,AI已被证明可利用胸部CT扫描和X射线提高早期检测的诊断准确性和效率,并减少假阳性[16]。此外,研究表明,在肺癌检测中使用AI可显著提高放射科医生的敏感性,并降低> 5 mm肺结节的假阳性率[17]。此外,当AI模型作为第二读者与放射科医生并行使用时,可通过识别放射科医生遗漏的结节进一步提高敏感性。研究表明,AI系统能够检测到放射科医生未识别的肺结节,而放射科医生也可能检测到AI遗漏的结节,展示了人类专业知识与AI系统结合的互补潜力[18]。在肺癌筛查中,可整合AI以支持肺结节的检测和风险分层[19]。此外,AI能够表征不同类型的肺结节(毛刺状、实性、部分实性),其性能与放射科医生相当[20]。在恶性预测方面,AI软件模型有助于实现更好的诊断准确性[21]。
多项研究已证明卷积神经网络(CNN)在肺癌分类中对肺癌类型分类具有高准确性[22]。Quanyang等比较了两种自动化分类模型在CT扫描上识别肺癌组织病理学类型的能力,准确率为72.0–79.0%,AUC值为0.79–0.82[23]。Yoo等评估了一种专门设计用于检测胸部X线片中恶性结节的AI模型。该研究报告了与放射科医生相比更高的敏感性和特异性,展示了在X线成像中改善肺癌检测的潜力[24]。
此外,Hu等将AI在肺结节良恶性分类中的性能与放射科医生进行了比较,结果显示软件模型的敏感性和特异性均高于放射科医生[25]。Hendrix等研究了肺结节的检测和分类。其AI模型对良性结节、原发性肺癌和肺转移瘤的敏感性高达96.6%。然而,其AI模型的结果经由放射科医生评估和国家癌症登记处验证[26]。相比之下,我们的研究直接将三种AI模型的分类性能与组织病理学金标准进行比较,确保了良恶性分类的客观参考。该方法消除了来自放射科医生的潜在偏倚,为AI模型的诊断准确性提供了更明确的评估。
我们的研究三个软件模块表现出中等敏感性、低特异性、中等假阴性率和低假阳性率。这表明我们研究的三个软件模块在识别恶性结节方面相对成功,但在良性肺结节的正确分类方面存在困难,导致假阳性率高。高假阳性率可能导致过度治疗,包括不必要的侵入性操作。
当根据肺结节大小和组织病理学分类分析亚组时,软件模型的诊断性能发生了变化。几乎所有亚组的敏感性均下降,这表明软件模型在分为更小、更同质的亚组时难以准确分类肺结节。这一发现提示较小的肺结节可能对软件模型来说更难分类。
相比之下,所有三个亚组的特异性均增加,表明在正确识别良性结节方面的性能有所改善。数值范围较宽凸显了软件可靠性的不一致性。
FNR的增加在临床上令人担忧,因为这可能导致恶性肺结节被忽视,从而延误诊断和治疗,并对患者预后产生后续负面影响[27]。
在切片厚度和采样类型(活检 vs. 手术切除)等自变量的影响方面发现了显著差异。一个可能的解释在于这些参数对图像质量的影响。切片厚度增加导致更大的容积平均效应,使结节边缘模糊,可能被软件模型误判。同样,扫描采集的差异可能引起病灶特征的变化,从而影响自动化评估。此外,我们的分析显示CT扫描类型(屏气 vs. 自由呼吸)对一个软件模型的诊断性能有显著影响。对此的一个可能解释是,软件模型主要在屏气CT扫描上训练,因此在自由呼吸采集的CT扫描上性能降低。另一个促成因素可能是屏气不理想,这可能引入运动伪影,如解剖结构的轻微模糊,可能导致密度测量值人为升高及随后的误分类。
这些发现强调了在将AI工具用于其原始训练或构想之外时仔细评估的重要性,Li等人[28]最近的一项研究证实了这一点。该研究表明,AI模型的性能因临床应用而异,与我们的结果类似,模型在评估活检肺结节时的诊断准确性相对较低(AUC最高为0.6)。因此,作者得出结论,用于肺结节风险评估的AI模型尚不适合在临床常规中作为独立诊断使用。
然而,本研究中其他所分析的潜在混杂因素未显示出影响,这提示研究具有一定程度的稳健性。尽管混杂因素分析突出了可能影响软件模型性能的因素,但从临床角度看,未分类的肺结节(被归类为中等恶性风险)是软件模型最严重的局限性。根据不同模型,基于厂商的二分类判读指南,多达一半的肺结节未被分类为恶性或良性。在这些中等风险结节中,大多数(44.4–88.5%)显示出恶性组织病理学结果。这些结果可能导致肺结节的误诊,从而对下游管理产生负面影响。因此,重要的是将往往严重依赖训练数据集且经患病率调整的模型与真实世界数据进行基准测试,以找到用于个体化风险预测的最佳截断值。
本研究存在局限性。研究纳入了连续的患者群体,涉及不同扫描仪制造商、不同层厚和不同采集技术。尽管这反映了真实世界条件,但可能引入了选择偏倚,从而降低了模型提取良性与恶性结节之间区分特征的能力,这很可能影响了AUC值。此外,数据集中良性与恶性结节的不均衡分布可能影响了诊断准确率。
本研究的另一局限性是回顾性设计,患者纳入基于可获得的组织病理学结果,因而无法报告自由响应受试者工作特征(FROC)曲线。在多发肺转移的病例中,仅对一个肺结节进行活检或手术切除以进行组织病理学确认,而其他结节未进行系统评估。因此,这些(未采样)肺结节的真实性质仍然未知。假设所有未采样结节均为良性(计算FROC曲线所必需)可能引入显著偏倚。因此,灵敏度和特异度是基于具有确认组织学的结节计算的,这可能反过来限制了对模型性能的全面评估。未来需要对所有检出结节进行系统组织学评估或随访的研究来解决这一局限性。
另一个局限性是,软件模型是在偶发肺结节上训练的,而非明确针对研究样本这样的高危人群开发的。因此,其性能可能无法最佳地迁移至这一特定患者群体,可能对观察到的结果有所影响。
需要注意的是,本研究在图像分类任务中的样本量相对较小,这可能限制了模型的性能和泛化能力。此外,各亚组的样本量有限,可能进一步限制了研究结果的泛化性,因为分布不均衡可能引入偏倚,使结果的解读更加复杂。这些局限性强调了未来多中心研究中需要更大的数据集和更均衡的亚组分布,以实现更稳健的模型训练并支持更可靠的结论。
此外,在临床实践中,肺结节的定性基于对多种变量的评估,如患者病史和其他危险因素,尤其是对于恶性风险中等的结节。临床预测因子对于使用所分析的AI模型评估这些结节的风险是必要的。然而,在本研究中,软件模型在没有上下文信息的情况下评估肺结节,仅依赖基于影像的分类。这可能被视为另一项局限性,因为它未能完全反映真实世界的临床决策。未来的研究可以评估将临床预测因子作为额外变量纳入分析的多模态模型的影响。
结论
目前,用于预测肺结节恶性风险的人工智能应用显示出潜力,但由于诊断准确性有限,尚不能作为独立工具用于临床常规。尽管存在回顾性研究设计和样本量方面的局限性,但AI模型的高假阴性率存在影响放射科医生决策的风险。需要更大、更多样化的研究样本进行进一步研究以证实这些发现。
补充信息
补充信息
引用
- Herber SK, Müller L, Pinto Dos Santos D, et al. Diagnostic performance of artificial intelligence models for pulmonary nodule classification: a multi-model evaluation. Eur Radiol. 2025. PMID: 40715822. doi:10.1007/s00330-025-11845-1
- 全文:PMC12712079(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12712079/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。