文献速递胸部外周血管CT

回顾性批次分析评估临床部署的人工智能算法在CT肺动脉造影中检测急性肺栓塞的诊断准确性

Retrospective batch analysis to evaluate the diagnostic accuracy of a clinically deployed AI algorithm for the detection of acute pulmonary embolism on CTPA.
PubMed 文献 · Insights Imaging · 2023-06-06

回顾性分析3316例因疑似肺栓塞行CTPA的连续患者,用FDA批准和CE认证的AI算法与放射科医师报告对比,不一致病例由两名读者独立评估并仲裁建立参考标准。AI检测肺栓塞的敏感度96.8%显著高于放射科报告91.6%(p<0.001),特异度99.9%也显著高于99.7%(p=0.035),提示AI辅助报告可减少漏诊阳性发现。

要点

  • AI检测肺栓塞敏感度96.8%显著高于放射科报告91.6%,特异度99.9%也显著高于99.7%。
  • 放射科医师漏诊60例肺栓塞(8.4%),AI漏诊23例(3.2%),AI漏诊均为周围型肺栓塞。
  • AI仅2例假阳性而放射科报告9例假阳性,评估AI输出可能仅需极少额外工作量。

核心结论

  • AI算法在疑似肺栓塞患者CTPA上检测肺栓塞的诊断准确性显著高于放射科主治医师报告。
  • 该发现提示在日常临床实践中实施AI辅助报告可预防漏诊的阳性发现。

研究设计与样本

  • 比较性诊断准确性研究,回顾性纳入2018年2月24日至2020年12月31日因疑似肺栓塞转诊的3316例连续患者CTPA扫描。
  • 使用FDA批准和CE认证的肺栓塞专用CTPA AI算法(Aidoc Medical)分析所有匿名扫描,该算法未在本院数据上训练。
  • 参考标准由放射科报告、AI输出及不一致病例的独立评估建立,不一致病例先由胸科放射科医师和医学博士独立审阅,分歧时由经验丰富的心胸放射科医师仲裁。
  • 本院CT扫描由放射科医师或授权专业活动级别3、4或5的放射科住院医师审阅报告一次,研究期间无肺栓塞检测算法支持。
  • 使用Somaton Force、Brilliance 64、iCT和IQon设备,薄层约1 mm重建,标准CTPA方案包括肺动脉干团注追踪触发200 Hounsfield单位、触发后延迟5秒、流率5 mL/秒、根据体重注射55–65 mL对比剂和50 mL NaCl。

关键影像表现/征象

  • 放射科医师漏诊的60例肺栓塞中,2例为中心/叶型、12例为段型、46例为亚段型。
  • AI算法漏诊的23例肺栓塞均为周围型,包括7例段型和16例亚段型。
  • 放射科报告9例假阳性,AI算法标记2例假阳性。

诊断标准与关键数值

  • 根据参考标准,717例患者存在肺栓塞,患病率21.6%(95%CI 20.2–23.1%)。
  • AI算法检测肺栓塞的敏感度为96.8%,放射科报告为91.6%,AI显著更高(p<0.001)。
  • AI算法特异度为99.9%,放射科报告为99.7%,AI显著更高(p=0.035)。
  • AI算法的NPV和PPV也显著高于放射科报告。

临床应用与阅片要点

  • 作者认为AI辅助报告的实施可预防日常临床实践中漏诊的阳性发现。
  • 作者指出AI单独使用阅读CTPA目前不被认可,因为阅读CTPA不仅包括分析可能的肺动脉闭塞,放射科医师还能识别其他病变并负责患者诊疗。
  • 作者指出当前专注于肺栓塞检测的算法会漏诊其他相关发现,包括右心耳血栓、显著肺动脉高压和右心室压力负荷过重的征象,以及感染性、肿瘤性或心血管病因的多种其他临床相关发现。
  • 作者计算AI在3316例研究人群中额外发现60例肺栓塞,需AI分析56例患者才能检测到一例额外急性肺栓塞病例。
  • 作者认为由于AI假阳性率低,评估AI输出可被视为放射科医师极少的额外工作量。

局限性

  • 本研究未重新评估放射科报告和AI输出均阳性以及均阴性的患者所有图像。
  • 本研究的回顾性性质不允许直接比较常规诊疗与AI辅助诊疗,而后者被认为是评估AI附加价值的理想设计。
  • 无缝工作流整合使算法输出对放射科医师即时可用,增加了开展此类前瞻性临床研究设计的难度。
  • 替代方案是比较AI实施前后放射科医师的诊断准确性,但存在实施前后评估时间间隔的局限。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2023 Jun 6;14:102. doi: 10.1186/s13244-023-01454-1

背景

近几十年来,放射科医生在正常工作时间及值班时间的工作量急剧增加。据报道,2006年至2020年间,值班时间的CT扫描量增加了500%,而用于检测肺栓塞(PE)的CT肺动脉造影(CTPA)数量甚至增加了1360% [1]。由于许多研究不断表明医学影像在患者诊疗中的附加价值,且技术发展导致获取更复杂、更大规模的数据集,预计未来工作量将进一步增加 [2]。

不幸的是,工作量增加并非对放射科医生报告质量没有风险,因为已有研究表明这会导致放射科医生产生阅片疲劳,可能引起诊断错误 [3, 4],此外还会增加放射科医生和住院医师的职业倦怠率 [5]。漏诊PE可影响患者诊疗和预后,因为它是一种潜在危及生命的疾病,有发生肺动脉高压等严重并发症的风险。放射科医生阅读CTPA在检测PE方面已表现出优异的性能 [6, 7],但工作量的持续增加可能导致未来出现更多漏诊发现。

人工智能(AI)应用越来越多地在研究中被评估,以确定其在通过工作流程改进和辅助诊断来支持放射科医生方面的价值 [8]。

为确保AI在日常实践中成功实现临床实施,必须满足各种要求 [9, 10]。除技术有效性外,还需在诊断准确性研究中评估临床有效性。已有少量研究报告了AI算法在CTPA上检测PE的诊断性能 [11–16]。最近一项荟萃分析回顾了五项研究,显示不同AI算法在研究环境中检测PE的性能存在差异 [17]。结果差异的可能原因包括:并非所有算法都经过了彻底的临床实践外部验证,和/或样本量和PE患病率存在较大差异 [18]。一种已获FDA批准和CE认证的用于在CTPA上检测PE的商业化AI算法已显示出有前景的诊断准确性,检测PE的灵敏度和特异度均超过90% [12, 15]。Cheikh等人表明,该AI在1202例CTPA样本(PE患病率15.8%)中检测出19处被初始报告漏诊的PE,使AI的灵敏度高于初始报告。然而,AI的特异度显著较低,导致更多假阳性。因此,如果放射科医生依赖该算法,AI可能导致过度诊断,这引发了当前广泛实施是否有益且安全的疑问 [9]。

本比较性诊断准确性研究的目标是生成并扩展关于该FDA批准和CE认证的AI算法在超过3000例CTPA大样本中检测PE性能的证据,并确定在日常临床实践中使用AI辅助的附加价值。

方法

患者纳入

本比较性诊断准确性研究经机构审查委员会批准,并豁免知情同意(编号2021-78371)。回顾性纳入2018年2月24日至2020年12月31日期间因疑似PE转诊至放射科的所有连续≥18岁患者的CTPA扫描。

人工智能算法

所有匿名扫描均由一款经FDA批准并获得CE认证的肺栓塞(专用CTPA)人工智能算法(Aidoc Medical)进行分析。该算法的架构最近已由Petry等人[19]详细描述。该算法部署在虚拟机上,并与我们的PACS(SECTRA)集成。在我们设定的时间范围内的CTPA由该算法自动分析,之后我们收到提供可能肺栓塞发现的人工智能激活图。Aidoc Medical未参与研究设计或对其提供的人工智能输出进行分析。本研究未获得财务支持。其算法未在我们医院来源的数据上进行训练。

本地阅片与CT扫描方案

在我院,CT扫描仅由放射科医师或具有授权专业活动3、4或5级阅读CTPA资格的放射科住院医师审阅和报告一次。在研究期间,肺栓塞检测方面未使用算法支持。

医院可使用Somaton Force(Siemens Healtineers)、Brilliance 64(Philips Healthcare)、iCT(Philips Healthcare)和IQon(Philips Healthcare)。所有CT扫描均以约1 mm的薄层进行采集和重建。

CTPA的标准扫描方案包括在肺动脉干进行团注追踪,触发阈值为200 Hounsfield单位。触发后延迟为5秒(或最小可能值)。指示患者保持规律呼吸模式并避免深吸气。我们使用5 mL/秒的流速,根据体重注射55–65 mL对比剂和50 mL NaCl,例外的是光谱探测器CT(IQon),我们使用尽可能低的kVp以增强碘信号。

参考标准

参考标准通过主治放射科医师或具有适当授权专业活动级别的住院医师的报告、人工智能输出以及对不一致病例的评估来建立。放射学报告和人工智能均分类为肺栓塞阳性的病例,根据参考标准被视为阳性。同样,放射学报告和人工智能均分类为肺栓塞阴性的病例被视为阴性。不一致的病例由一名胸部放射科医师(P.A.J.,>10年经验)和一名医学博士(L.A.)独立审阅,他们可获取图像、放射学报告和人工智能输出。当这些阅片者对肺栓塞的存在或不存在达成一致时,确定参考标准。如存在分歧,则咨询第三仲裁者(一名心胸放射科医师(F.M.H.,>10年经验)),并给予其所有可用信息以确定参考标准。

统计分析

数据分析使用R版本4.2.0(R Foundation for Statistical Computing,维也纳,奥地利)。所有检验均为双侧。p值<0.05被认为具有统计学意义。

使用R的DTComPair包将人工智能算法的诊断准确性指标与放射学报告的诊断准确性指标进行比较。McNemar检验用于比较灵敏度和特异度。相对预测值用于比较阳性预测值和阴性预测值。

结果

患者纳入

我们纳入了3316例疑似肺栓塞(PE)患者的CT扫描(女性1615例,占48.7%)。年龄均值±标准差为58.6±16.1岁。鉴于本研究的回顾性性质且未获取知情同意,本研究未能获得其他临床变量。所有图像均由人工智能(AI)分析。

放射学报告与AI输出

在633例患者中,放射学报告和AI输出均提示PE阳性。在2588例患者中,放射学报告和AI输出均提示PE阴性。在95例患者中,诊断不一致。

根据参考标准,经两名读者重新评估并在需要时进行裁决后,717例CT患者为PE阳性,患病率为21.6%(95%置信区间20.2–23.1%)。其中,60例(8.4%)PE病例未被主治放射科医师报告,23例(3.2%)未被AI算法检出。主治放射科医师漏诊的PE病例涉及2例中央型/叶型、12例段型和46例亚段型PE。AI算法仅漏诊了周围型PE(7例段型、16例亚段型)。主治放射科医师报告了9例假阳性结果,而算法标记了2例假阳性。

总体而言,与放射学报告相比,该算法显示出显著更高的诊断准确性指标,灵敏度分别为96.8%对91.6%,特异度分别为99.9%对99.7%。AI算法的阳性预测值(PPV)和阴性预测值(NPV)也显著高于放射学报告(表1)。

表1 放射学报告与AI算法在CTPA上的诊断准确性指标 查看原表 ↗

讨论

我们的研究表明,放射科医师和获得FDA批准及CE认证的AI算法在CTPA上均表现出极佳的性能,与放射学报告相比,AI算法在大量疑似PE患者的CTPA样本中检测PE的诊断准确性显著更高。

AI算法的诊断准确性

此前仅有两项研究报道了美国食品药品监督管理局(FDA)批准和欧盟CE认证的自动化集成工作流人工智能算法在我们研究所用的CTPA上检测PE的性能。Weikert等报道,该人工智能算法在分析1465例连续疑似PE患者样本时灵敏度为92.7%、特异度为95.5%,PE患病率为18.5% [12]。初始报告由两名医师审阅,作为参考标准。与我们的研究不同,他们无法将人工智能的性能与初始报告进行比较。Cheikh等采用了与我们相似的方法,他们使用来自3家不同医院的1202例连续疑似PE患者样本(PE患病率为15.8%),将同一人工智能算法的性能与放射科医师的初始报告进行比较。他们发现人工智能的灵敏度略高于放射学报告,但差异不显著(92.6%对90%)。然而,放射科医师的特异度显著高于人工智能(99.1%对95.8%)[15]。单一人工智能算法在不同临床环境中性能有所差异并不罕见[18]。他们的扫描方案与我们的扫描方案相当相似,但参考标准的获取方式为一名放射科医师参考初始报告和人工智能输出结果,如有疑问可请求另一位资深放射科医师的判断。样本量和PE患病率的差异也可能至少部分解释了我们研究与Cheikh等研究之间的差异。

我们的结果可能提示一个一般性结论,即人工智能可以取代放射科医师,因为其诊断准确率高于主治放射科医师的初始报告。例如,此前已有研究在数字乳腺X线筛查中提出过这一观点[20]。

然而,目前尚不能支持在阅读CTPA时单独使用人工智能算法,因为阅读CTPA并不仅仅包括分析可能的肺动脉闭塞。放射科医师能够识别其他病变,因而仍对良好的患者诊疗负有责任[21]。除了人工智能可能漏诊临床相关PE而无需放射科医师额外阅片之外,当前专注于检测PE的算法还会遗漏其他相关发现。这些可能包括右心耳血栓、显著肺动脉高压和右心室压力负荷过重的征象,以及感染性、肿瘤性或心血管病因的多种其他临床相关发现[22–25]。

我们研究的一个优势是使用了学术医学中心中超过3000例患者的大型连续队列,PE患病率为21.6%,反映了日常临床实践[26, 27]。由于人工智能在我们3316例患者的研究人群中额外发现了60例PE,因此要通过人工智能检测到一例额外的急性PE病例,需分析的患者数为56例。由于人工智能假阳性发现率较低,评估人工智能输出可被视为放射科医师的极小额外工作量。

局限性

本研究存在一些局限性。我们未重新评估所有在影像报告和AI输出中均被分类为阳性、且在影像报告和AI算法中均被分类为阴性的患者图像。已有观察表明,对于小面积肺栓塞(PE),不同读者之间可能因专业水平不同而存在显著分歧,且小面积PE在常规实践中常被过度诊断[28]。然而,两者均漏诊或假阳性的病例不会影响影像报告与AI输出之间比较的结果。

本研究的回顾性性质不允许直接比较常规诊疗与AI辅助诊疗,而后者被认为是评估AI附加价值的理想设计[29]。这将需要最好采用前瞻性研究设计,在已实施AI的医院中设立大型配对组或平行组。然而,该算法的无缝工作流程整合使得此类前瞻性临床研究设计的实施变得复杂,因为AI输出对放射科医师而言是即时可得的。另一种可能性是比较放射科医师在AI实施前后的诊断准确性,但其局限性在于实施前后评估之间存在时间间隔。此外,为此类设计获取可接受的参考标准,需要多名放射科医师对大量扫描进行共识判读。鉴于该AI目前优异的诊断准确性结果,是否可以质疑是否仍需要如此大量的投入和成本。

未来展望

我们的结果结合既往研究,呼吁开展临床效用研究以确定成本效益以及AI辅助对医疗质量和效率的影响,作为将AI辅助用于CTPA中PE检测推向报销和临床应用的下一步[30–32]。

结论

总之,本研究表明,与主治放射科医师的报告相比,该AI算法在疑似PE患者的CTPA上检测PE具有显著更高的诊断准确性。这表明在日常临床实践中实施AI辅助诊疗可以避免漏诊阳性发现。

引用

  1. Langius-Wiffen E, de Jong PA, Hoesein FAM, et al. Retrospective batch analysis to evaluate the diagnostic accuracy of a clinically deployed AI algorithm for the detection of acute pulmonary embolism on CTPA. Insights Imaging. 2023. PMID: 37278961. doi:10.1186/s13244-023-01454-1
  2. 全文:PMC10244304(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10244304/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。