商用计算机辅助检测系统在CT扫描中检测和表征肺结节的验证
这项回顾性研究在荷兰一家大学医院2020年1月至2021年12月的263例胸部CT扫描中外部验证商用AI CAD系统qCT v1.1对实性、部分实性和磨玻璃肺结节的检测与表征性能。CAD结节水平检测敏感度81.4%,低于阅片医师R1的90.2%;纹理分类总准确率77.2%,部分实性结节仅38.1%。结论认为CAD检测率略低于放射科医师但有提高检出率的潜力,纹理分类性能仍需改进。
要点
- CAD结节水平检测敏感度81.4%(149/183),阅片医师R1为90.2%(165/183)。
- CAD对磨玻璃结节检测敏感度最低,为59.5%(25/42)。
- CAD纹理分类总准确率77.2%,部分实性结节分类准确率仅38.1%。
核心结论
- CAD总体检测率略低于放射科医师,但能检测不同肺结节,有提高阅片者检出率的潜力。
- CAD表征性能有前景,但纹理分类性能仍是令人担忧的问题。
- CAD作为第二阅片者使用时,有潜力使R1的敏感度至少提高7%(12/165)。
研究设计与样本
- 回顾性研究,纳入2020年1月至2021年12月荷兰Erasmus Medical Center的263例胸部CT扫描。
- 经真实标准确认后121例含结节、142例不含结节,共识别183个真结节。
- 参考标准基于三位至少有八年经验放射科医师(初始报告者、标注者R1、仲裁者R2)的专家判断。
- 肺结节定义为直径3–30 mm的病灶,参照Fleischner词汇表。
- 所有扫描由商用AI医疗器械qCT v1.1(Qure.ai,孟买,印度)处理。
关键影像表现/征象
- CAD漏诊的34个结节中17个(50%)为磨玻璃结节。
- 漏诊结节中相当一部分位于左肺下叶(38.4%)。
- CAD检测结节的平均IoU为0.417(CI:0.396–0.438)。
- CAD直径平均绝对误差0.57 mm(CI:0.38 mm–0.76 mm),体积平均绝对误差147.14 mm3(CI:97.97 mm3–206.31 mm3)。
诊断标准与关键数值
- CAD结节水平检测敏感度81.4%(149/183;CI:76.2%–86.6%),每例含结节检查平均假阳性49/121(0.405)。
- CAD对实性、部分实性、磨玻璃结节的检测敏感度分别为87.2%(82/94)、89.4%(42/47)、59.5%(25/42)。
- CAD对实性、部分实性、磨玻璃结节的分类准确率分别为98.8%(81/82)、38.1%(16/42)、72.0%(18/25)。
- CAD对钙化、毛刺、位置的总体分类准确率分别为91.9%(137/149)、82.6%(123/149)、94.6%(141/149)。
- 扫描水平CAD敏感度86.0%(104/121;CI:78.6%–91.0%),特异度85.2%(121/142;CI:78.4%–90.1%),AUC-ROC 0.865(CI:0.837–0.892)。
临床应用与阅片要点
- CAD在扫描水平的精确率为83.2%(104/125;CI:75.7–88.7%),AUC-PR为0.844,F1评分为0.846(CI:0.794–0.888)。
- CAD在含结节扫描中的假阳性为49/121(0.405),扫描水平总体FPPI为21/121(0.174)。
- 在33例冲突扫描中,CAD检测到19个真结节和10个假结节,R1识别9个真结节但标记39个假阳性(后者基于263例总数据集)。
- 作者认为部署CAD的主要益处在于检测下叶区域结节及小结节。
- 作者鼓励研究人员在评估时纳入所有相关特征,包括部分实性和磨玻璃结节。
局限性
- 仲裁者的重新评估仅限于33例冲突扫描,因此有人可能质疑CAD的全部72个假阳性发现是否均被正确分类。
全文中译16 节 · 点击展开
背景
肺癌是全球癌症死亡的主要原因,2020年约造成200万人死亡[1]。尽管肺癌预后较差,但已证明早期发现恶性肺结节(LN)可显著改善患者生存率,因为这些病变大多适合根治性干预。据报道,30-50%的胸部计算机断层扫描(CT)中可偶然发现肺结节[2–4],使其成为肺结节检测的重要资源。
由于放射科医生短缺且工作量不断增加[5],在影像解读过程中可能遗漏可干预的结节。既往研究表明,单个阅片者的肺结节检测敏感度在65%至85%之间[6–8],取决于检查指征、结节大小、阅片者专业水平以及允许的评估时间。双人阅片可将检出率提高至70–95%[7, 9, 10]。然而,在常规临床实践中,双人阅片并非常规做法,因为其繁琐且耗时。
鉴于这一挑战,软件公司逐步深入开发计算机辅助检测(CAD)系统作为第二阅片者,其中部分产品已进入商业市场。厂商基于内部研究结果报告了有前景的诊断性能。虽然内部验证是软件开发领域的必要步骤,但外部验证通过使用新的独立数据集评估CAD系统的性能,提供了显著的附加价值。遗憾的是,所有已开发算法中仅有6%经过了外部验证[11, 12]。
除缺乏外部验证外,许多厂商优先关注肺结节的检测,而非自动捕获所有临床相关特征,如钙化、毛刺和位置。此外,纹理类型是决定结节恶性风险的重要特征之一[13–16]。事实上,已有充分证据表明,大多数持续性亚实性结节(包括磨玻璃结节和部分实性结节)在不同阶段均代表肺腺癌[17]。
据我们所知,目前仅有少数市售工具能够评估结节特征,且其中仅一小部分能够区分所有三种纹理类型。所有这些商业算法的特征评估敏感度均未经过外部验证,也未公开可得。
本研究对一款市售的基于人工智能(AI)的CAD系统进行外部验证,该系统声称可自动检测并准确分类CT扫描中的实性、部分实性和磨玻璃结节。
方法
机构审查委员会对本回顾性研究豁免了患者知情同意的要求。
研究人群
根据我们的样本量计算(见补充材料——样本量),本研究需要约110例含结节的扫描,以及相近数量的无结节扫描。
对2020年1月至2021年12月期间在荷兰大学医院Erasmus医学中心进行的胸部CT扫描进行了回顾性评估。我们在图像归档与通信系统(PACS)中对年龄≥18岁受试者的胸部CT扫描进行了系统查询,使用以下关键词:“实性结节”、“磨玻璃结节”、“混合结节”和“部分实性结节”及其变体。在这些扫描中,我们选择旨在实现分层标准(见补充材料-表S1)的扫描,以确保所有纹理类型均得到充分代表。排除范围包括存在金属伪影、过度运动伪影、切片顺序紊乱、结节>10个、层厚>5 mm以及缺乏放射科医师报告的扫描。扫描经过筛选和纳入,直至满足上述分层标准。
在本研究中,根据放射学报告连续纳入263次扫描:113次含结节扫描和150次不含结节扫描。请注意,最终数量可能在参考标准判定(GT)后发生变化。
参考标准
肺结节定义为直径3-30 mm的病灶,如Fleischner术语表所述[15, 18, 19]。
参考标准基于三名放射科医师的专业知识(均具有至少八年经验),分别为初始放射学报告医师、标注者(R1)和仲裁者(R2)。
如前所述,CT检查基于初始放射学报告纳入,并从报告中提取结节信息。此后,所有纳入的CT检查由一名放射科医师(R1)使用高级标注平台RedBrick.AI(美国特拉华州Claymonth)进行阅片。R1对原始报告设盲,逐层标注结节并指定纹理、位置以及钙化或毛刺的存在。计算每个结节的平均直径和体积。
R1所做的所有标注均与原始放射学报告进行比较。当R1识别出结节但初始放射学报告中未提及,或反之,则视为判读差异。这些差异由第二名放射科医师(R2)审查,R2可同时查看两份标注。R2的任务是在原始放射学报告与R1的发现之间进行仲裁。
所有委员会认证的阅片者对CAD结果设盲。
基于人工智能的CAD系统
所有扫描均由qCT v1.1(Qure.ai,印度孟买)处理,这是一款市售的基于AI的医疗器械[20]。该算法检测肺结节并提供其位置、纹理、钙化/毛刺状态以及平均直径/体积的信息。
在内部验证中,qCT的结节级检测灵敏度为82%。特征描述灵敏度为:纹理82%、钙化91%、毛刺82%、位置96%。
有关qCT软件的更多信息可在补充材料-规格CAD中找到。
统计分析
描述性分析
参考标准判定后,扫描被分为含结节扫描组和不含结节扫描组。我们比较了两组之间的人口学特征(年龄、性别)、临床特征(其他胸部异常的存在/缺失,如肺不张、纤维化、心包积液等)和采集参数(机器类型、扫描类型)。年龄以55岁为界进行二分类,考虑到既往研究表明该年龄以上LN发生率增加[21]。
含结节和不含结节的扫描变量以数量和百分比进行总结。我们使用卡方检验评估这些扫描之间的差异。在整个研究过程中,我们采用≤ 0.05的p值阈值来确定结果的统计学显著性。
检测分析
分析在扫描水平和结节水平两个层面进行,重点关注结节水平。CAD发现采用三维交并比(3D-intersection-over-union,IoU)方法进行评分。
在扫描水平,如果CAD检测到至少一个与GT结节体积重叠至少10%的结节,则该扫描被归类为真阳性(TP)[22]。如果重叠小于10%,或CAD在含结节扫描中未能检测到结节,则被视为假阴性(FN)扫描。如果CAD在无结节扫描中检测到任何事物,则该扫描被标记为假阳性(FP);如果在无结节扫描中未检测到任何事物,则为真阴性[23, 24]。采用改良Wilson评分法构建灵敏度、特异度和精确度的95%置信区间(CI)。扫描水平的每图像假阳性数(FPPI)通过将FP扫描数除以含结节扫描数计算得出。采用经验性受试者工作特征曲线下面积(AUC-ROC)和精确率-召回率曲线下面积(AUC-PR)分析以及F1分数来评估CAD的整体性能。采用DeLong方法构建AUC-ROC的95%CI,采用Clopper-Pearson方法构建F1分数的95%CI。注意召回率与灵敏度相同。
在结节水平,每个CAD发现均使用10%-IoU标准单独评估。如果CAD发现的体积至少有10%与GT结节重叠,则被视为TP;如果CAD未检测到结节或重叠< 10%,则为FN;如果在无结节扫描组中出现发现,则为FP。此处计算灵敏度,并使用Rao和Scott针对相关数据描述的方法构建95%CI [25]。为证明CAD系统在CT扫描上的有效性,采用自由响应受试者工作特征(FROC)曲线评估性能。
还报告了各亚组的结节水平灵敏度,以及R1灵敏度。
特征分析
CAD系统对结节进行特征描述,以数量和百分比对检测到和漏检的结节进行总结。为评估CAD系统对检测到的结节进行特征描述的准确性,计算了灵敏度(及95% Wilson评分CI)。
计算GT与预测直径和体积之间的绝对误差,并以均值进行总结。绘制Bland-Altman图以可视化GT与预测定量之间的的一致性。
统计分析使用R v4.1.2(R Core Team, 2021)在RStudio v2022.12.0 + 353(R Studio Team, 2021)中进行。所有使用的软件包概览见补充材料中的统计分析软件包部分。
结果
根据放射学报告,共纳入263次CT扫描。在第一次阅片过程后,230次与原始报告一致。对于所有33次不一致的扫描,由R2进行裁定。整体工作流程见图1。
在263次扫描中,121次显示至少一个结节,而其余142次未包含任何结节。表1显示了含结节和不含结节扫描的人口统计学、临床和CT采集参数。正如预期,在年龄<55岁的患者组中,含结节扫描的百分比低于年龄≥55岁的患者(23.5% vs 60.2%)。此外,在含结节和不含结节扫描组之间,性别、机器类型和扫描类型未观察到显著差异(分别为p = 0.5、p = 0.3和p = 0.2)。
扫描层面
在121次结节扫描中,104次被正确标记为有结节;在142次不含结节扫描中,121次被正确标记为无结节。CAD在扫描层面的敏感度为104/121(86.0%;CI:78.6%–91.0%),特异度为121/142(85.2%;CI:78.4%–90.1%),精确度为104/125(83.2%;CI:75.7–88.7%)。AUC-ROC(图2A)为0.865(CI:0.837–0.892),AUC-PR(图2B)为0.844,F1分数为0.846(CI:0.794–0.888),导致每次扫描的总体FPPI为21/121(0.174)。
结节层面(检测)
根据参考标准,在121次结节扫描中识别出183个结节,平均每次含结节扫描1.51个结节。在这些患者中,CAD系统检测到149个结节,平均IoU为0.417(CI:0.396–0.438),漏检34个结节。在含结节扫描中获得49个假阳性发现,而在不含结节的扫描中观察到23个假阳性发现。CAD检测系统的结节水平灵敏度为149/183(81.4%;CI:76.2%–86.6%),平均每次含结节检查有49/121(0.405)个假阳性。图3中的FROC图显示了CAD系统在不同假阳性率下的灵敏度。各亚组的灵敏度报告于表2。结节水平灵敏度在各亚组之间似乎没有显著变化。然而,在机器类型亚组中,“其他”组观察到50.0%灵敏度的离群值,尽管如此,这一差异可能归因于4的小样本量。
按纹理类型划分的检测灵敏度分别为:实性82/94(87.2%)、部分实性42/47(89.4%)和磨玻璃25/42(59.5%)(表3)。
结节水平(特征描述)
为了评估CAD系统在描述每个结节方面的准确性,我们仅关注那些真结节。表3显示了CAD检测到和漏检结节中GT结节特征的分布。共检测到149个结节,漏检34个结节。值得注意的是,漏检结节中有一半(17个)为磨玻璃结节。检测到和漏检结节之间钙化和毛刺的分布相当。此外,值得注意的是,漏检结节的很大一部分位于左下叶(38.4%)。
对正确检测到的结节计算了CAD的特征描述灵敏度(表4)。总体准确性为:纹理116/149(77.2%;CI:69.8–83.2%)、钙化137/149(91.9%;CI:86.5–95.3%)、毛刺123/149(82.6%;CI:75.7–87.8%)和位置141/149(94.6%;CI:89.8–97.3%)。
直径的总体平均绝对误差为0.57 mm(CI:0.38 mm–0.76 mm)。按直径类别< 6 mm、6–8 mm和> 8 mm分层后,误差分别为0.37 mm(CI:0.23 mm–0.52 mm)、0.56 mm(CI:0.23 mm–0.89 mm)和0.96 mm(CI:0.39 mm–1.53 mm)。
对于体积,总体平均绝对误差为147.14 mm3(CI:97.97 mm3–206.31 mm3)。按体积类别< 100 mm3、100–250 mm3和> 250 mm3分层后,误差分别为16.97 mm3(CI:9.15 mm3–24.79 mm3)、32.60 mm3(CI:21.92 mm3–43.28 mm3)和249.67 mm3(CI:145.87 mm3–353.47 mm3)。
直径和体积的偏倚及一致性界限分别报告于图4和图5。
冲突扫描分析
在33例冲突扫描(18例含结节扫描和15例无结节扫描)中,R1的判读与放射学报告不一致。经裁决后,在这些扫描中识别出27个真结节。CAD系统检测到19个真结节和10个假结节。R1识别出9个真结节,但也标记了39个假阳性(FP),然而需要注意的是,这39个发现与总共263例扫描的整个数据集相关。表5总结了不一致扫描中27个真结节的特征,并概述了R1和CAD发现和/或遗漏的结节。R1共识别出165个真结节,灵敏度为165/183(90.2%)。
讨论
这项外部验证研究评估了一种商用基于人工智能的CAD系统的独立性能,该系统旨在自动检测和表征CT扫描中的实性、部分实性和磨玻璃肺结节(LN)。
根据参考标准的结果,共识别出183个真结节。CAD成功检出149个结节,检出敏感度为81.4%,略低于R1的检出性能(165个结节,敏感度为90.2%)。在扫描结果不一致的27个结节中,有2个被R1发现但被CAD系统漏检,另有12个结节仅被CAD系统检出。尽管CAD检出的结节并不比R1多,但该系统作为第二读者使用时,有潜力将R1的敏感度至少提高7%(12/165)。我们认为,部署CAD的主要益处在于检出下叶区域的淋巴结(LN)以及小结节。
在评估CAD性能时,72个发现被标记为假阳性(FP),34个发现被标记为假阴性(FN)。结节检测是一个极其复杂的过程,主要归因于结节本身的复杂性,这反过来导致假阳性和假阴性的发生率较高。假阳性可能来源于肺内淋巴结和肉芽肿,而假阴性可能来源于位于胸膜裂附近的结节或难以检出的细微结节(例如小结节或磨玻璃结节(GGN))。此外,支气管血管结构和技术伪影进一步增加了假阳性和假阴性的风险。图6展示了本研究中若干假阳性和假阴性发现的示例。
所提出的CAD系统实现的总体检出敏感度与其他市售CAD算法观察到的结节水平敏感度相当或略高。例如,Lo等(2018)使用国家肺癌筛查试验的扫描数据评估了一种市售CAD系统。在该研究中,在0.75 FPPI下实现了82%的结节水平敏感度[26]。Murchison等(2022)的研究使用来自英国的数据评估了另一种市售CAD系统的性能。在该研究中,在1 FPPI下报告的敏感度为82.3%,在平均假阳性率为10.9时达到最大敏感度95.9%[27]。
除了检测性能外,本研究还评估了系统的表征敏感性。传统上,表征依赖于评估放射科医生的主观判断,这一过程容易受到人与人之间差异的影响[28–32]。这种评估对于确定患者后续诊疗步骤至关重要[13, 15, 18, 19]。使用计算机辅助诊断(CAD)进行表征有助于实现更客观的结节评估方法。在本研究中,GT结节与CAD预测结节之间测得的直径和体积总体平均绝对误差分别为0.57 mm和147.1 mm3,这被认为是可以接受的,且与阅片者间变异性相当[28–32]。其他表征的总体敏感性超过80%(钙化为91.9%;毛刺为82.6%,位置为94.6%)。然而,纹理的准确率略低于该水平(77.2%),尤其是考虑到磨玻璃结节和部分实性结节时,目前性能分别为72.0%和38.1%,表明仍有显著改进空间。这两种纹理类型所带来的技术挑战是双重的:首先,它们需要被检测到,这本身就是一个重大困难。我们的研究显示,17/34(50%)的漏检结节为磨玻璃结节(表3)。一旦实现检测,下一步涉及表征。鉴于检测和区分纹理的技术挑战,许多基于人工智能(AI)的CAD缺乏这一关键的表征功能。
迄今为止,这是第一项使用能够自动检测和表征所有三种淋巴结(LN)纹理类型的市售CAD系统的研究。此外,几乎所有研究主要强调检测性能而非表征。因此,无法与其他商业工具进行比较。尽管如此,有一项研究验证了另一种商业CAD的表征性能,但该系统只能区分实性结节和亚实性结节。该研究报告实性结节的分类敏感性为98.8%,亚实性结节为68.4%[27]。
我们研究的一个局限性是,裁决者的重新评估仅限于33例存在冲突的扫描。因此,人们可能会质疑CAD的所有72个假阳性(FP)发现是否被正确分类,因为理论上其中一些可能被R1和初始放射学报告忽略。另一个缺点是,由于缺乏实时临床场景以及本研究的回顾性性质,我们未提供CAD系统操作和计算时间的精确数据。此外,排除含有伪影和/或> 10个LN的CT检查使得所选扫描不能完全代表真实世界的临床场景。然而,必须承认扫描中的伪影也给放射科医生带来了挑战。此外,在实践中,放射科医生通常每次扫描最多评估5–10个结节[33]。尽管存在这些局限性,我们研究的主要范围是使用外部数据确定CAD的独立性能,而非确定其在真实世界环境中的影响。
虽然计算机辅助检测(CAD)工具在结节检测方面与单一阅片者表现相当,但其缺点——包括高假阳性率和无法基于特征描述及临床背景做出合理决策——凸显了经验丰富的放射科医生更倾向于独立审阅扫描。假阳性率升高和分类不充分要求放射科医生付出额外努力重新评估扫描。此外,相当一部分检测到的病灶在进一步检查后被证实为良性,强调了放射科医生在随访程序决策中的关键作用[34, 35]。
未来研究可比较放射科医生在有和无CAD系统支持下的淋巴结(LN)检测和特征描述表现。通过这种方式,我们可以评估放射科医生的淋巴结检出率是否有改善,以及在算法辅助下结节的特征描述是否能更客观地进行评估。此外,该研究还可阐明将CAD整合入临床实践的更广泛意义,包括其对工作流程优化、诊断精确性和治疗决策的影响[36]。此外,采用适当的研究设计探索成本效益,对于证明其在医疗保健系统中的经济可行性至关重要。
结论
总之,所提出的市售CAD系统在检测性能上略低于单一阅片者,但略优于或相当于其他市售淋巴结检测应用。与单一阅片者相比,CAD检测到不同的淋巴结,表明其作为第二阅片者使用时具有提升放射科医生表现的潜力。虽然CAD在识别结节大小、位置、毛刺状态和钙化状态方面显示出有前景的特征描述性能,但纹理分类仍需进一步改进。
补充信息
补充材料
引用
- Paramasamy J, Mandal S, Blomjous M, et al. Validation of a commercially available CAD-system for lung nodule detection and characterization using CT-scans. Eur Radiol. 2024. PMID: 39042303. doi:10.1007/s00330-024-10969-0
- 全文:PMC11782423(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11782423/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。