文献速递胸部技术与安全DR

人工智能辅助胸片双读系统检测临床相关漏诊发现:两中心评估

Artificial intelligence-assisted double reading of chest radiographs to detect clinically relevant missed findings: a two-centre evaluation.
PubMed 文献 · Eur Radiol · 2024-03-11

在两所机构回顾性评估商用AI辅助双读系统对常规胸片报告后漏诊的检测效能。AI在21.1%(5289/25104)的胸片中发现影像与报告不一致,外部放射科医生判定0.9%(47/5289)为临床相关漏诊,机构放射科医生确认其中74.5%(35/47)为临床相关(占全部病例0.1%)。漏诊主要为肺结节(71.4%)、气胸(17.1%)和实变(11.4%)。

要点

  • AI辅助双读在报告签发后运行,不中断放射科医生 primary 阅片流程,可作为质量保证工具。
  • AI标记影像与报告不一致的比例为21.1%,但仅0.9%经外部放射科医生判定为临床相关漏诊。
  • 机构放射科医生最终确认的临床相关漏诊占全部胸片0.1%,以肺结节(71.4%)为主。

核心结论

  • AI辅助双读系统能够在报告授权后识别胸片上的漏诊发现,但需要外部放射科医生审核AI检测到的不一致结果。
  • 放射科医生临床相关漏诊的数量非常低,在两家机构中均为如此;鉴于胸片使用广泛,其潜在影响仍值得关注。

研究设计与样本

  • 回顾性观察研究,在两所机构进行:荷兰蒂尔堡Elisabeth-TweeSteden医院(二级综合医院,机构1)和荷兰阿姆斯特丹荷兰癌症研究所(三级转诊肿瘤中心,机构2)。
  • 共纳入25104张胸片,来自21039名唯一患者(平均年龄61.1岁±16.2[SD];10436名男性);机构1为19637张(78.2%),机构2为5467张(21.8%)。
  • 纳入标准为成人(≥18岁)胸片,仅限后前位(PA)投影;机构1连续选取2021年4月至2022年2月,机构2选取2018年1月至12月;床旁胸片和前后位(AP)投影被排除。
  • 商用AI软件(ChestEye Quality,Oxipit)为CE标记IIb类医疗器械,使用深度学习算法分析胸片、基于规则的NLP算法分析报告,自动比较影像与报告发现的不一致。
  • 参考标准:AI检测的不一致由AI供应商雇用的外部放射科医生(5年经验)审核判定临床相关性,随后返回机构放射科医生(机构1为N.H.,5年经验;机构2为L.T.,5年经验)最终确认或拒绝。

关键影像表现/征象

  • 漏诊发现构成:肺结节占71.4%(25/35),气胸占17.1%(6/35),实变占11.4%(4/35)。
  • 漏诊结节大小:<1 cm者12例,≥1 cm者13例。
  • 漏诊气胸均为局限性肺尖透亮区(<3 cm)。
  • AI分析后,机构1有20.1%(3942/19637)、机构2有24.6%(1347/5467)的胸片存在影像与报告不一致,两家机构间差异有统计学意义(Pearson卡方检验,p<0.001)。
  • 不一致发现中,结节状阴影最常被标记为潜在漏诊发现。

诊断标准与关键数值

  • 临床相关漏诊发现定义为:若未报告,有可能改变诊断和患者管理并 adverse 影响患者结局的发现。
  • AI软件可触发进一步审核的关键病理包括:结节/肿块、实变、气胸、纵隔气肿、气腹、肋骨骨折和装置位置异常;其他发现(如主动脉硬化、奇叶、脊柱退行性改变)不能触发进一步审核。
  • 外部放射科医生将不一致病例二分类为:无漏诊或漏诊不具临床相关性;或漏诊具临床相关性。
  • 机构放射科医生确认机构1的28例中21例(75.0%)、机构2的19例中14例(73.7%)为临床相关漏诊;被拒绝的12/47(25.5%)原因包括:发现不明确存在(n=7)、与既往影像相比已知且无变化(n=3)、判定不具临床相关性(n=2)。
  • 按全部纳入胸片计算,相关漏诊发现比例机构1为0.1%(21/19637)、机构2为0.3%(14/5467),差异有统计学意义(Pearson卡方检验,p<0.05)。

临床应用与阅片要点

  • AI辅助双读系统在报告授权后作为第二读者运行,不中断放射科医生的一线阅片流程,可作为胸片报告的质量保证工具。
  • AI检测到的不一致比例较高(21.1%),其中99.1%(5242/5289)被判定为不具临床相关性或为AI误识别,需要放射科医生审核以评估相关性。
  • 外部放射科医生审核使用专用分析平台,以二分类方式快速分类,平均每例审核时间约3秒,总审核时间不足5小时。
  • 基于报告分析,漏诊结节状阴影使机构1额外发现2.6%(15/567)的结节、机构2额外发现1.5%(10/682)的结节。

局限性

  • 未评估所研究AI工具的独立诊断性能,研究唯一目的是评估AI辅助双读系统的获益。
  • 双读系统主要识别放射科医生未能检测和报告的感知错误(占放射学错误最常见类型,60–80%),但可能无法识别某些认知错误,例如放射科医生报告了发现但误判其意义。
  • 前后位(AP)投影的胸片不符合该监管许可AI软件的分析条件,因此被排除在研究之外。
  • 患者的既往影像检查未纳入AI分析,外部放射科医生审核时也无法获取,可能妨碍其识别随访检查中可能漏诊的发现。
  • 漏诊发现的临床相关性由放射科医生判定,因为患者结局数据不可获得。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Mar 11;34(9):5876–85. doi: 10.1007/s00330-024-10676-w

引言

胸部X线摄影仍然是全球最常进行的放射学检查之一[1]。由于其广泛可及、成本低和辐射暴露低,它是许多心胸疾病诊断和随访的一线影像学方法。尽管胸部X线片的报告是许多放射科医生日常工作的一部分,但即使对经验丰富的阅片者来说,其解读仍可能具有挑战性。众所周知,胸部X线片是三维结构的二维投影,因此存在盲区。由于漏诊肺结节、肺炎和气胸等发现,解读容易出现频繁错误[2]。

既往已对传统放射摄影的漏诊率进行过研究,其结果高度依赖于研究设计和环境[3]。在类似日常临床实践的正常与异常病例混合研究中,放射科医生之间的不一致率为1–3%[4, 5]。胸部X线摄影上未报告的发现可能导致诊断遗漏或延迟。此外,诊断错误可能引发医疗法律问题。漏诊肺癌是针对放射科医生医疗过失诉讼最常见的原因之一[6, 7]。肺癌的早期发现可显著影响患者的治疗选择和预后[8, 9]。其他漏诊放射学发现的临床相关性研究较少;然而,某些未检测到的发现,如装置位置异常和气胸,显然也会对患者结局产生负面影响。

由同行对影像检查进行双重阅片是多个国家减少诊断错误和提高报告质量的常见做法[10, 11]。然而,同行评审是一项耗时的任务,且既往报道的阅片者之间的差异率相当低[12]。因此,应考虑双重阅片系统的成本效益,特别是对于胸部X线摄影等大批量、低复杂度的检查。

使用人工智能(AI)解决方案可能是降低诊断错误风险的另一种方法。多项研究已证明深度学习模型能够对胸部X线片上的发现进行分类,并且已为此开发了多种商业AI应用[13, 14]。在这些工具辅助下的放射科医生在多种发现(如肺结节、肺炎和气胸)上表现出更高的检测性能[15–21]。尽管这些研究证明了对敏感性的有益影响,但在临床实践中将AI软件作为并发阅片者实施可能会导致放射科医生工作量的增加[22]。未无缝整合到工作流程中或包含假阳性发现的AI结果可能会干扰放射科医生的阅片。近期关于胸部X线摄影商业AI应用的验证研究报告了解读时间的增加[23–25],或仅显示有限的数秒阅片时间节省[19, 20, 26, 27]。明显缺乏效率提升可能会阻碍这些工具的广泛采用。

然而,当前人工智能应用有潜力支持影像检查的双重阅读。在这一场景中,人工智能软件作为第二阅读者,在报告签署后识别放射科医师判读中的错误。该方法结合基于人工智能的图像分析和报告的自然语言处理(NLP)来检测差异。NLP模型能够准确分类胸部X线片报告中的发现,此前已被证实[28]。双重阅读者方法的优点是不中断放射科医师的初级阅读工作流程。只有一小部分存在差异发现的检查需要复核。

在本研究中,我们旨在评估一种人工智能辅助的双重阅读系统,以识别常规报告的胸部X线片上具有临床相关性的漏诊发现。我们在两种不同的环境中研究其适用性,即一家综合医院和一家三级肿瘤中心。

材料与方法

研究设计

在两家机构进行了一项回顾性观察性研究:一家二级综合医院,荷兰蒂尔堡Elisabeth-TweeSteden医院(机构1),以及一家三级转诊中心,荷兰阿姆斯特丹荷兰癌症研究所(机构2)。该研究获得机构1伦理委员会(NW2021-57)和机构2机构审查委员会(IRBd19163)的批准。由于研究的回顾性性质,豁免了书面知情同意的要求。

本验证研究中的双重阅读系统由一款基于人工智能的软件应用组成,该应用对胸部X线片及相应放射学报告进行对比分析,随后由放射科医师进行复核(图1)。

图1 人工智能辅助的胸部X线片双重阅读工作流程 查看原图 ↗

患者和影像选择

连续选取机构1自2021年4月至2022年2月、机构2自2018年1月至12月接受胸部X线摄影的成年患者(≥ 18岁)。人工智能软件分析仅限于后前位(PA)投影的胸部X线片;因此,床旁胸部X线片未纳入。图像及相应放射学报告从图像归档和通信系统(PACS)传输至人工智能流程进行分析,机构1通过本地部署实施,机构2则为远程实施。使用关于投影和患者年龄的可用元数据对数据进行分析。排除以前后位(AP)投影采集的胸部X线片。

人工智能分析

所研究的AI软件(ChestEye Quality,Oxipit)已获得CE(Conformité Européenne)认证,作为IIb类医疗器械,并已商业化上市。该软件同时处理胸部X线片及相应报告,以识别漏诊发现。胸部X线片由深度学习算法进行分析,该算法最初经过训练以检测多种影像学发现。该算法被重新用于双重阅片系统,从而仅关注那些一旦漏诊即被认为可能具有临床意义的发现。可触发进一步审核的关键病变如下:结节/肿块、实变、气胸、纵隔气肿、气腹、肋骨骨折和器械位置异常。其他发现(如主动脉硬化、奇叶、脊柱退行性改变)不能触发进一步审核。该软件计算每种发现的概率。此外,生成热图以突出显示的异常,并作为原始图像上的叠加层。此举出于可解释性目的,并便于阅片者核实AI结果。其次,该软件使用基于规则的自然语言处理(NLP)算法(ChestEye Quality,Oxipit)分析放射科医师的相应文本报告,从而以结构化方式提取所报告的发现。利用所获得的信息,该软件自动比较影像学发现与报告发现,以评估可能代表漏诊发现的不一致。

审核

AI检测到的不一致被列于基于网络的分析平台以供进一步审核(补充图S1)。第一次审核是AI供应商(Oxipit)所提供的商业服务的一部分,由该供应商雇用的外部放射科医师(5年经验)执行。该专用平台使外部放射科医师能够批量审核病例。利用影像、放射学报告、AI发现和生成的热图,审核者以二分类方式对每项检查进行分类:(1)放射学报告中无漏诊发现,或漏诊发现无临床相关性;(2)漏诊发现具有临床相关性。具有临床相关性的漏诊发现定义为具有改变诊断和患者管理潜力、且未报告时会对患者结局产生不良影响的发现。外部放射科医师无法获取患者既往影像检查。为提高审核效率,外部放射科医师仅对具有临床相关性漏诊发现的病例提供简要评估,而不对被拒绝的病例提供评估。随后,具有临床相关性漏诊发现的选择结果被返回各机构进行内部审核。各机构的放射科医师(分别为机构1的N.H.,5年经验;机构2的L.T.,5年经验)使用同一分析平台审核病例的临床相关性,从而确认或拒绝AI辅助二次阅片结果。

统计分析

两机构的数据酌情使用卡方检验或Fisher精确检验进行比较。当p < 0.05时拒绝原假设。统计分析由统计学家(R.M.)使用R统计计算环境进行[29]。

结果

共纳入来自21,039名唯一患者的25,104张胸部X线片的总样本(平均年龄61.1岁±16.2[标准差];10,436名男性)。胸部X线片的分布为:机构1为19,637张(78.2%),机构2为5,467张(21.8%)。各机构的患者人口学特征见表1。AI软件因年龄限制或前后位投照排除了1.4%(356/25,460)的X线片。所有剩余病例均由软件成功分析。各机构的详细数据流程图见图2。

表1 患者人口学特征 查看原表 ↗
图2 各机构数据流程图。AP,前后位 查看原图 ↗

自然语言处理

使用自然语言处理(NLP)算法分析胸部X线片的非结构化文本报告,以提取所报告的发现作为标准化标签。各中心之间报告为正常与异常的病例比例不同(卡方检验,p < 0.001)。机构1的报告分类为正常的比例为69.5%(13,646/19,637),机构2为50.6%(2,768/5,467)。机构1中具有异常发现的报告(30.5%,5,991/19,637)被标记为实变者占24.4%(n=1,463),结节/肿块者占9.2%(n=552),气胸者占1.6%(n=93)。相比之下,机构2中具有异常发现的报告(49.4%,2,699/5,467)被标记为实变者占29.9%(n=806),结节/肿块的比例更高,占24.9%(n=672),气胸占11.0%(n=297)。

基于深度学习的图像处理

胸部X线片由AI软件分析以检测和定位异常。随后将图像分析结果与NLP衍生的标签自动进行比较。在大多数病例中,机构1为79.9%,机构2为75.4%,放射学报告中未发现遗漏的发现。在其余病例中,AI图像分析与报告分析之间存在不一致(各机构分别为20.1%,3,942/19,637和24.6%,1,347/5,467)。不一致的比例在机构之间差异有统计学意义(Pearson卡方检验,p < 0.001)。表2显示了不一致发现的类型,其中结节状阴影最常被标记为潜在遗漏的发现。因此,具有不一致发现的检查被标记以供人工审核。

表2 胸部X线片人工智能分析及相应报告后的不一致发现 查看原表 ↗

审核

该人工智能软件在25,104例中发现了5289例(21.1%)的差异。所有不一致的病例均由外部放射科医师复核,其共识别出47项具有临床相关性的未报告发现(表3)。所选病例占所有不一致病例的0.9%(47/5289),相当于所有胸部X线摄影的0.2%(47/25,104)。大多数人工智能检测到的差异(99.1%,5242/5289)被认为无临床相关性,或归因于人工智能软件错误识别的发现。例如,描述性语言较少的放射学报告被人工智能软件标记,因为并非所有影像学发现均在报告中明确记录。在分析10%报告的随机样本(529/5289)后,我们发现17.8%(94/529)含有不够具体的术语,如“已知广泛性疾病”、“放疗后效应”或“淤血”。没有一份报告完全缺乏描述性细节。外部放射科医师的复核使用定制分析平台在不到5小时内完成,平均每例复核时间约为3秒。平均复核时间较短,因为大多数差异在平台上被立即识别为假阳性并排除。仅少数病例需要更长的复核时间。

最后,结果被返回至各机构,由内部放射科医师复核。机构1的放射科医师在28例中的21例(75.0%)确认了具有临床相关性的漏诊发现,机构2在19例中的14例(73.7%)确认了具有临床相关性的漏诊发现。其余结果(12/47,25.5%)被机构放射科医师拒绝,因为该发现并非明确存在(n=7)、为已知且与既往影像相比无变化(n=3)或被认为无临床相关性(n=2)。总体而言,在各机构所有纳入的胸部X线摄影中,分别有0.1%(21/19,637)和0.3%(14/5467)发现了相关漏诊发现。差异具有统计学显著性(Pearson卡方检验,p < 0.05)。

经确认具有临床意义的未报告发现列表见表4。无证据表明这些发现的比例在机构间存在差异(Fisher精确检验,p = 0.6–1)。两机构中大多数均为漏诊的结节状阴影,示例见图3。根据报告分析,这导致各机构分别额外发现了2.6%(15/567)和1.5%(10/682)的结节。漏诊结节状阴影的大小在12例中<1 cm,在13例中≥1 cm。第二常见的具有临床意义的未报告发现为气胸。6例漏诊气胸限于肺尖透亮区(<3 cm)。漏诊气胸的示例见图4。漏诊发现及其胸部X线摄影、报告、人工智能生成结果和放射科医师评估的详细列表见补充材料(附录A,电子补充材料)。

表3 外部放射科医师复核后胸部X线摄影上具有临床相关性的漏诊发现 查看原表 ↗
表4 机构放射科医师复核后胸部X线摄影上经确认具有临床相关性的发现 查看原表 ↗
图3 胸片上一枚漏诊的肺结节被人工智能(AI)辅助双读检出。a 一名63岁卵巢癌患者为分期目的拍摄的正位胸片,报告为正常。b AI软件在右肺上叶检出一枚结节状致密影,以热图(红色)标记。AI检出的结果与放射科医师的报告不一致,导致该病例被标记以供复核。c 轴位CT图像证实存在一枚孤立性肺部病灶(箭头),诊断为卵巢癌转移。AI,人工智能 查看原图 ↗
图4 胸片上一处漏诊的气胸被AI辅助双读检出。a 一名20岁男性患者既往感染COVID-19后出现胸痛,拍摄的正位胸片报告为正常。b AI软件检出左肺尖透亮影(蓝色),符合少量肺尖部气胸,该表现最初被放射科医师漏诊。AI,人工智能;COVID-19,2019冠状病毒病 查看原图 ↗

讨论

据我们所知,这是首项探讨AI辅助双读工作流程用于胸部X线摄影的研究。该研究为回顾性研究,纳入来自两家机构(一家综合医院和一家三级肿瘤中心)的大型队列(n = 25,104)。一款获得临床认证的AI工具被改用作第二阅片者,以识别常规报告的胸片上漏诊的发现。AI软件在21.1%的病例(25,104例中的5289例)中检出不一致的发现。因此,由AI供应商作为商业可用服务的一部分提供的一名外部放射科医师复核了这些不一致之处,并在0.9%(5289例中的47例)中发现了具有临床相关性的漏诊发现。机构内的放射科医师确认47项漏诊发现中的35项(74.5%)具有临床相关性(占全部病例的0.1%)。漏诊的发现主要为未被检出的肺结节,但也包括气胸和实变。尽管肿瘤中心队列中异常胸片的比例高于综合医院,但两家机构之间漏诊发现的类型相似。

AI辅助双读系统可用作胸片报告的质量保证工具。尽管具有临床相关性的漏诊发现比例非常低,但在胸片检查量大的机构中,减少报告错误所带来的潜在临床影响可能相当可观。识别出漏诊肺结节的胸片,可防止原发性肺癌的延迟诊断或癌症患者分期不准确。同样,避免漏诊气胸等时间敏感性病变,可实现更早治疗,有可能缩短康复时间并降低并发症风险。此外,减少诊断错误可保护放射科医师免受医疗事故索赔。

此前有两项研究评估了人工智能软件在部分被报告为正常的胸部X线片中识别遗漏发现的价值[30, 31]。Hwang等[30]发现相关遗漏异常占2.4%(103/4208),假阳性占14.0%(591/4208)。Kaviani等[31]报告,由放射科医师识别的临床重要遗漏发现比例高达11.3%(273/2407)。他们应用一种商业人工智能工具来检测这些遗漏发现,但仅报告了曲线下面积(AUC)值,无法与我们的研究进行比较。尽管如此,我们发现的临床相关遗漏发现比例更低(0.1%),很可能归因于更宽泛的纳入标准、使用了所有可获得的报告以及更严格的临床相关性定义。我们仅将可能改变患者结局的未报告发现视为相关。与既往研究的另一区别在于,我们同时基于人工智能对影像和报告进行分析。这种自动化比较分析很可能是临床采用人工智能辅助双重阅片系统的必要条件。既往研究采用了类似的影像与报告联合分析方法来发现CT扫描中相关的遗漏肺结节[32–34]。在Cavallo等[32]最近的一项研究中,评估了未经认证的人工智能软件在急诊CT扫描中检测大于6 mm的未报告肺结节。在这一特定场景中,该工具仅对0.3%(50/19,246)的分析CT标记了不一致,经复核后,有34份报告(68%)需要添加补充。我们的研究在更广泛的背景下针对多种病变进行,并产生了更高数量的人工智能检测不一致(21.1%),需要外部放射科医师复核结果并评估其临床相关性。当人工智能辅助双重阅片系统应用于临床环境时,重要的是在不显著延迟的情况下对不一致进行外部复核,以确保放射科医师及时获知遗漏病变。我们研究中使用的专用平台通过以便捷列表呈现所有病例,促进了高效复核流程。放射科医师以二分类方式对可能存在不一致的病例进行分类,以缩短复核时间。这种方法很可能是在临床实践中实现成本效益所必需的。未来工作应侧重于减少被标记但无临床相关性的病例数量,以实现自动化双重阅片工作流程,从而无需外部放射科医师协助。这可能会提高基于人工智能的双重阅片系统的成本效益。

然而,在报告授权后应用人工智能软件作为第二阅片者不会中断放射科医师的初级工作流程。我们的结果表明,在大多数X线片(78.9%)中,与报告相比,人工智能分析未提供额外发现。因此,第二阅片者方法避免了许多不必要的人工智能建议,而在同步阅片环境中,这些建议不会对放射科医师的判读产生影响。此外,它降低了不准确的人工智能建议对放射科医师决策产生负面影响的风险[35]。

本研究存在局限性。第一,我们未评估所研究人工智能(AI)工具的独立诊断性能。本研究的唯一目的是评估AI辅助双读系统的获益。Plesner等先前的一项多中心研究评估了同一AI算法,该算法被配置为自主报告正常胸部X线片,并发现其对异常胸部X线片的敏感度(99.1%)高于放射科报告(72.3%)[36]。第二,该双读系统主要侧重于识别放射科医师未能发现并报告所见时的感知错误。这是迄今为止最常见的放射学错误类型(60–80%)[37, 38]。然而,我们的方法可能无法识别某些认知错误,即放射科医师报告了所见但对其意义进行了错误解读的情况。例如,肺结节或实变可能在报告中被描述并被误分类为良性。在后一种情况下,AI软件不会将该病例标记为需进一步复核。第三,采用AP投照的胸部X线片不符合经监管批准的AI软件的分析条件,因此被排除在本研究之外。第四,患者既往的影像学检查未被纳入AI分析,外部放射科医师在复核时也无法获取。因此,这一限制可能妨碍了外部放射科医师发现随访检查中可能被遗漏的任何所见的能力,尤其是在报告不够全面或描述不够详细的情况下。第五,由于无法获得患者结局数据,遗漏所见的临床相关性由放射科医师判定。未来研究应在临床环境中前瞻性评估AI辅助双读系统,以评估放射科医师是否能及时获知遗漏所见,并评估遗漏所见对患者结局的影响。

总之,我们证明AI辅助双读系统能够识别胸部X线片上未报告的所见。在两个机构中,具有临床相关性的遗漏所见发生率均非常低。AI辅助双读阅片方法可作为胸部X线片报告的质量保证工具,以减轻诊断错误,同时不中断放射科医师的主要工作流程。

补充信息

以下是电子补充材料的链接。补充文件1(PDF 3382 KB)

引用

  1. Topff L, Steltenpool S, Ranschaert ER, et al. Artificial intelligence-assisted double reading of chest radiographs to detect clinically relevant missed findings: a two-centre evaluation. Eur Radiol. 2024. PMID: 38466390. doi:10.1007/s00330-024-10676-w
  2. 全文:PMC11364654(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11364654/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。