文献速递胸部技术与安全DR

人工智能排除正常胸部X线片以减少放射科医生工作量的性能研究

Performance of AI to exclude normal chest radiographs to reduce radiologists' workload.
PubMed 文献 · Eur Radiol · 2024-05-17

该研究回顾性分析两家医疗中心连续胸部X线片,评估商用AI系统识别正常胸片及减少报告工作量的潜力。AI系统检测正常胸片的AUC为0.92;在保守操作点,敏感性为53%,对紧急和危急发现的阴性预测值为98%,可减少15%的工作量。

要点

  • AI系统检测正常胸片的AUC为0.92(95%CI 0.905–0.931),两院间无显著差异(P=0.06)。
  • 保守操作点(特异性95%)下,AI识别53%的正常胸片,对紧急和危急发现的NPV为98%,可减少15%工作量。
  • 默认操作点下,AI识别92%的正常胸片,但将28例紧急发现误判为正常,可能临床不可接受。

核心结论

  • 商用AI系统能有效识别正常胸片,通过从报告中剔除半数正常检查,可能减少放射科医生15%的工作量。

研究设计与样本

  • 回顾性分析纳入两家医疗中心2016年10月1日至2016年10月14日的连续胸部X线片,排除随访、床旁、不完整、导入和儿科影像后,最终分析1670张(患者中位年龄61岁,IQR 48–71,男:女=868:802)。
  • 参考标准由三名胸部放射科医生(经验分别为9年、12年、20年)独立阅片,将影像分为正常、临床无关、临床相关、紧急和危急五类,采用多数票归类。
  • AI系统为Lunit INSIGHT CXR3(版本3.1.4.4),对10种胸部异常给出0–100分,正常性评分定义为100减去最高异常评分。

关键影像表现/征象

  • 在保守操作点,AI将60张有异常的胸片误判为正常,其中45张为临床无关、11张为临床相关、4张为紧急发现,无危急发现被误判。
  • 4例漏诊的紧急发现包括:CT证实的肺门肿块、未CT证实的小心旁实变、右下叶小结节(随访CT为胸膜下淋巴结)、疑似陈旧性结核改变。
  • 默认操作点下,AI将311张有异常的胸片误判为正常,其中202张为临床无关、81张为临床相关、28张为紧急发现,无危急发现被误判。

诊断标准与关键数值

  • AI检测正常胸片的AUC为0.918(95%CI 0.905–0.931);医院1的AUC为0.934(95%CI 0.916–0.951),医院2为0.909(95%CI 0.891–0.928),两院间P=0.06。
  • 保守操作点(特异性95%)下,AI标记314/1670(18.8%)为正常,其中254张参考标准为正常,敏感性53%(254/479)。
  • 保守操作点下,对紧急发现的敏感性为99.2%(497/501),对危急发现为100%(19/19),对所有异常的NPV为81%,排除临床无关发现后为94%,再排除临床相关发现后为98%。
  • 默认操作点下,AI检测442/479(92.3%)的正常胸片,对紧急发现的敏感性为94.4%(473/501),对危急发现为100%。

临床应用与阅片要点

  • 作者认为,为广泛接受自主AI系统,应选择保守阈值;更保守的操作点可避免重大错误,但会在漏诊发现数与正常胸片检出率(即工作量减少)之间权衡。
  • 作者指出,所用AI系统并非专为识别正常胸片设计,而是检测10种预定义异常,因此超出其范围的胸部异常可能被误判为正常(如肺门肿块漏诊)。
  • 作者指出,AI系统尚未被批准用于独立报告(正常)胸片,仍需人类专家监督。

局限性

  • 参考标准依赖专家意见;纳入三名专家以减少偏倚,且专家可访问原始报告;若纳入CT数据参考标准可能更强。
  • 分析未纳入床旁和儿科影像,但床旁影像被计入工作量减少的计算中以公平估计潜在时间节省。
  • 未对AI系统进行外部验证;该商用系统并非为检测正常胸片而设计或获得CE标记。
  • 实际工作量减少可能低于报告的15%,因为胸片阅读时间短,正常胸片更短,更复杂耗时的病例仍需放射科医生评估。
  • 需要更大数据集上的进一步研究和验证以及前瞻性研究,以评估AI系统用于胸片的泛化性和可靠性。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 May 17;34(11):7255–63. doi: 10.1007/s00330-024-10794-5

引言

胸部X线摄影是用于识别或排除各种胸部疾病的最常用放射学检查[1]。这也是目前已有多种用于胸部X线摄影的人工智能(AI)系统商业化上市的原因之一[2]。大多数AI系统开发用于检测胸部X线片中的特定异常,例如:肺炎、肺结节、结核或气胸。其他产品则开发用于检测最常见的胸部异常,或尝试评估全部胸部疾病谱并向放射科医师提供报告[2–5]。

除了AI系统在提高胸部X线摄影判读质量方面的潜力[6–10]外,它们还可以致力于减少放射科医师的报告时间[6, 11]。因此,多项研究聚焦于胸部X线片的检伤分类,将紧急发现优先置于放射科医师的工作列表中,并确保其优先被报告[12–14]。另一种节省时间的有效策略是可靠地排除任何相关胸部X线异常的存在,从而消除放射科医师进一步评估的需要。从放射学和社会角度来看,消除对这些正常图像的(冗余)报告将具有重要意义,尤其是在放射科医师工作量不断增加、医师短缺以及社会要求维持医疗预算稳定的时代[15–20]。

既往研究估计,约28–36%的正常胸部X线片可通过AI系统以高置信度被识别。这可使需要放射科医师报告的胸部X线片总数减少8–17%[21–23]。然而,关于AI将放射学检查从放射科医师报告中消除的潜力的数据仍然匮乏,且对此类解决方案的泛化性知之甚少。此外,性能取决于AI系统的工作点,而既往研究尚未对此进行调查。

本研究的目的是探讨一种商业化AI产品在来自两家不同医院的连续临床X线片系列中识别正常胸部X线片的潜力。我们评估了不同的工作点,并估计了可安全地从常规临床工作流程中消除的正常胸部X线片的百分比。

方法

伦理批准声明

由于此为对临床获取数据的回顾性使用,伦理批准将予以豁免(当地机构审查委员会批准号2023-16333)。X线片和报告在分析前已进行匿名化处理。本手稿按照诊断准确性研究报告标准清单[24]编写。

研究人群

回顾性收集2016年10月1日至2016年10月14日期间所有连续的胸部X线摄影及其放射学报告,来源为一家学术医院(Radboudumc,荷兰奈梅亨)和一家大型社区医院(Jeroen Bosch医院,荷兰斯海尔托亨博斯)。研究人群包括住院、门诊和急诊胸部X线摄影。每位患者仅纳入我们纳入期内的首次初始检查,以防止同一患者多次检查带来的偏倚。患者可能在纳入期之前有过既往检查。根据DICOM标签或视觉检查,床旁X线摄影、儿童及胸廓显示不完整的X线摄影,以及从其他医院导入的X线摄影被排除。

参考标准

参考标准由三名胸部放射科医师(S.S.,9年经验;B.G.,12年经验;L.P.B.,20年经验)设定,他们独立审阅了检查,包括后前位和侧位X线摄影(如有)。在此设置中,无法获取AI结果、既往和随访胸部X线摄影(CXR)和/或胸部CT检查。然而,放射科医师可以获取原始报告,包括病史和检查指征。在本研究纳入的胸部X线摄影的原始报告时,未使用任何AI软件。

放射科医师将胸部X线摄影分为以下临床类别:正常、临床无关发现(如医疗设备)、临床相关发现(如心脏增大)、紧急发现(如气腔实变)和危急发现(如气胸)。采用多数投票法将临床类别分配给胸部X线摄影。当未达到多数时,使用三名评分者的平均类别(其中正常代表评分为1,危急发现代表评分为5)。所有发现及其对应的临床类别见表1。

表1 根据参考标准对胸部X线摄影发现的分类 查看原表 ↗

AI分析

所有纳入图像均由Lunit INSIGHT CXR3(版本3.1.4.4)处理。Lunit INSIGHT CXR3是一款CE认证的AI产品(医疗器械法规IIa类),用于评估后前位和前后位胸部X线摄影以检测异常。该AI系统不考虑既往X线摄影,也不分析侧位X线摄影。该AI系统为十种不同的胸部异常(肺不张、实变、纤维化、钙化、结节、心脏增大、纵隔增宽、胸腔积液、气胸和气腹)提供异常评分。异常评分范围为0–100。该AI系统并非设计用于检测正常胸部X线摄影。因此我们计算了“正常度”。其 subsequently 定义为100减去任何异常的最高评分。如果正常度评分高于定义的阈值,则该病例被视为正常。

统计分析

采用受试者工作特征曲线下面积(AUC)评估人工智能(AI)系统检测正常胸部X线片的表现。我们在两个不同的工作点评估了AI系统的性能:一个对应于AUC上特异度95%的工作点,以下称为保守工作点,以及AI系统的默认推荐工作点。默认推荐工作点设计用于检测异常发现,而非设计用于检测正常胸部X线片。在这两个工作点上,计算了检测正常胸部X线片的敏感度,以及针对紧急和危重发现的阴性预测值(NPV)。对于两个工作点,通过将分类为正常的胸部X线片数量除以我们纳入期间胸部X线片总数(排除随访检查和从其他医院导入的X线片)来计算潜在的工作量减少。在保守工作点分析了假阴性紧急/危重发现。统计分析使用SPSS(IBM statistics,版本29)进行。p值<0.05被认为具有统计学意义。

结果

患者人群

共在2141名独立患者中获取了2603张X线片。在排除随访检查(n=462)、床旁X线片(n=297)、导入的X线片(n=61)、不完整X线片(n=11)和儿童X线片(n=102)后,1670张X线片(患者中位年龄61岁(IQR 48–71),男:女 868:802)被纳入分析(图1)。在1670例中有1583例(95%)可获得侧位胸部X线片。在纳入的病例中,479例为正常,332例具有临床无关发现,339例具有临床相关发现,501例具有紧急发现,19例包含危重发现。发现 across 医院的分布见表2。

图1 研究参与者的排除流程图 查看原图 ↗
表2 两家参与医院获取的胸部X线片上发现的分布 查看原表 ↗

AI系统检测正常胸部X线片的性能

AI系统检测正常病例的AUC为0.918(95% CI 0.905–0.931)(图2)。两家医院之间未发现AI性能的显著差异(医院1的AUC=0.934(95% CI 0.916–0.951)vs 医院2的AUC=0.909(95% CI 0.891–0.928);p=0.06)。在我们的保守工作点,AI系统将1670张X线片中的314张(18.8%)标记为正常,其中254张根据我们的参考标准为正常。这对应于53%的敏感度(254/479)。如果这些X线片从常规临床工作流程中剔除,总工作量减少(包括床旁、儿童和不完整胸部X线片)将达2080张中的314张(15.1%)。

在默认工作点(供应商推荐工作点),AI系统检测了479张正常胸部X线片中的442张(92.3%)。在纳入的1670张X线片中,AI识别出753张胸部X线片为正常(45.1%)。这将导致2080张胸部X线片中的753张(36.2%)总工作量减少(图3)。

图2 AI系统在来自两家荷兰医疗中心的连续胸部X线片系列(n=1670)上检测正常X线片的受试者工作特征(ROC)曲线。AUC,曲线下面积 查看原图 ↗
图3 与人工智能系统对正常X线片(黑线)的敏感性以及对紧急/危急发现的敏感性相比的潜在工作量减少。该图显示了以降低对紧急/危急发现的敏感性为代价来增加工作量减少的权衡。最大工作量减少为1670/2080(已分析X线片/已分析X线片+排除的X线片)=80.3%。在此设置下无法实现更高的工作量减少(灰色区域)。 查看原图 ↗

异常检测与错误分析

在我们保守的工作点上,人工智能将60张X线片误分类为正常,而参考标准报告了异常。其中,45张X线片包含临床无关发现,11张X线片具有临床相关发现,4张显示紧急发现(表3)。人工智能系统未将任何危急病例分类为正常。在保守工作点上,332个临床无关发现中的287个(86.4%)、339个临床相关发现中的328个(96.8%)、501个紧急发现中的497个(99.2%)以及全部19个(100%)危急发现均不会被分类为正常。这将对应于所有异常的阴性预测值(NPV)为81%,排除临床无关发现后为94%,同时排除临床无关和相关发现后为98%(表4)。四个被误分类的紧急发现分别为:肺门肿块(CT证实)、心旁小片状实变(未获CT证实)、右下叶(RLL)小结节描述(既往及随访CT显示为胸膜下结节淋巴结)以及疑似轻微结核后改变(图4)。在旨在发现异常而非正常图像的建议默认工作点上,人工智能错误地将311张X线片分类为正常。其中,202张X线片包含临床无关发现,81张X线片具有临床相关发现,28张显示紧急发现(表3)。在此默认工作点上,人工智能系统对紧急发现仍保持敏感,为473/501(94.4%),且未将任何危急发现误分类(表4)。

表3 在保守和默认工作点上人工智能系统分类为正常的X线片中所存在发现的分布 查看原表 ↗
表4 人工智能系统检测所有异常或仅检测紧急和危急发现时的敏感性、特异性、阴性预测值和阳性预测值 查看原表 ↗
图4 在保守工作点上被人工智能系统漏诊的四个具有紧急发现的病例。a 根据早期CT已知右下肢稳定结节,CT上具有胸膜下淋巴结特征。被三位放射科医师中的两位分类为紧急发现。b CT证实左肺门肿块。被全部三位放射科医师分类为紧急发现。c 疑右上肺轻微结核后纤维化改变。被三位放射科医师中的两位分类为紧急发现。d 原始报告描述为右心旁小片状浸润。被三位放射科医师中的两位分类为紧急发现 查看原图 ↗

讨论

这项多中心研究表明,一半的正常胸部X线片可在临床可接受的阈值下被人工智能识别,同时对紧急和危急发现保持高度敏感。这有可能将放射科医师报告胸部X线片的工作量减少15%。

我们的结果与既往发表一致,既往研究显示总工作量可减少8–17%。然而,计算出的工作量减少取决于多个因素,包括AI系统的质量、所选择的AI系统工作点、正常胸部X线片的定义/参考标准、人群,以及计算工作量减少时考虑了哪些X线片。

我们的人群可能与既往研究不同。在Plesner等[23]的研究中,人群年龄略大(69岁 vs 61岁),但正常X线片的比例为28%,与我们的29%相当。在Keski等[22]的研究中,未给出人群人口学资料,正常胸部X线片的比例为46–48%。然而,该研究使用的是来自初级医疗机构的X线片,这可能代表比我们研究中更健康的人群。尽管如此,考虑到所报告的 performance 相当,AI系统似乎对这些人群差异具有稳健性。

与既往研究不同,我们能够为AI系统选择不同的工作点。

在我们的保守工作点,AI系统对紧急或危急发现仍保持敏感性,仅漏诊4项紧急发现,计算得到的敏感性为99.2%,略低于Plesner等报告的99.9%的敏感性。然而,在我们的研究中,53%的所有正常胸部X线片被识别出来。这显著高于Plesner等研究中的28%。这可能是因为与其他研究相比使用了不同的商业AI系统。Keski等研究中报告的显著异常敏感性为99.8%。然而,在该研究中,参考标准基于对原始报告的 natural language processing,且仅由专家审查放射学报告与AI系统之间的差异,这使AI系统的 performance 产生偏倚。

最佳工作点可能因临床情况而异。默认工作点导致检测出92%的所有正常胸部X线片,可能使工作量减少36%。然而,在该工作点,根据我们的参考标准,也有更多含有异常的X线片被分类为正常。这在临床上可能不可接受,而且即使采用保守的工作点,AI系统也并不完美。在保守工作点,AI系统仍漏掉了四项紧急发现,其中一项漏诊是CT证实的肺门肿块。然而,可以推测放射科医师也会有类似的漏诊率,如文献[21, 25–28]所述。这也反映在Plesner等人的研究中原始报告的表现上,其中放射科医师对“关键”异常的灵敏度达到93.5%。为了更广泛地接受自主AI系统的使用,应选择保守的阈值。为避免AI系统的任何重大错误,可以选择更保守的工作点。然而,在漏诊发现的数量和检测出的正常X线片百分比(即工作量减少)之间始终存在权衡。另一个需要考虑的方面是,研究中使用的AI系统并非专门设计用于发现正常X线片,而是用于发现胸部X线片上预先定义的十种不同异常。因此,含有AI系统范围之外胸部异常的胸部X线片在我们的研究中可能被错误地认为是正常的。例如,AI系统检测纵隔增宽,但仅在纵隔上部水平。这可能是漏掉肺门肿块的原因。

我们的研究存在一些局限性。首先,参考标准依赖于专家意见。我们通过将三位专家纳入参考标准来尽量避免偏倚。此外,为进一步优化参考标准,专家们可以查阅原始报告,这为审阅X线片提供了有价值的临床背景。若纳入CT数据,参考标准可能会更为可靠。然而,就本研究目的而言,我们认为使用连续数据胜过CT对照设置可能带来的潜在益处。其次,我们的分析未纳入床旁或儿科图像。另一方面,正常床旁胸部X线片数量较少,且床旁图像通常用于监测患者,而非排除疾病。我们将床旁X线片纳入工作量减少的计算中,以公平估计潜在的时间节省。第三,尚未对AI系统进行外部验证。尽管该AI系统已商业化,但其并非为检测正常胸部X线片而设计,也未获得CE认证用于该用途。外部验证有助于证明AI系统的稳健性。最后,实际工作量减少可能低于我们报告的15%。胸部X线片的阅片时间总体较短,正常X线片更短。因此,更具挑战性和耗时的病例仍需放射科医师评估。此外,该AI系统尚未获批用于(正常)胸部X线片的独立报告,因此需要人类专家的监督。尽管如此,由于胸部X线片数量庞大,通过加快报告甚至将正常胸部X线片从常规临床工作流程中移除,仍可节省大量时间。

总体而言,本研究表明,一款市售AI系统能够有效识别正常胸部X线片,并有望通过将大量正常检查从人工报告中剔除来减轻放射科医师的工作量。这对提高放射科效率具有重要意义,尤其是在工作量不断增加且需要优化医疗预算的背景下。然而,仍需在更大数据集上开展进一步研究和验证,以及前瞻性研究,以评估AI系统用于胸部X线摄影的通用性和可靠性。

引用

  1. Schalekamp S, van Leeuwen K, Calli E, et al. Performance of AI to exclude normal chest radiographs to reduce radiologists' workload. Eur Radiol. 2024. PMID: 38758252. doi:10.1007/s00330-024-10794-5
  2. 全文:PMC11519193(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11519193/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。