市售深度学习算法在创伤后仰卧位胸片中的诊断准确性
该研究在澳大利亚一家一级成人创伤中心回顾性纳入2009年1月至2019年6月1404例钝性创伤患者,以24小时内CT报告为参考标准,比较Annalise.ai与放射科医生对仰卧位胸片的诊断准确性。AI在气胸和肺段/肺叶萎陷的检测上优于放射科医生,在锁骨、肱骨和肩胛骨骨折上劣于放射科医生,在肋骨骨折和纵隔气肿上无统计学差异;联合AI与放射科医生的「混合模型」可提高所有病变的敏感度,但所有病变的敏感度仍太低而无临床实用性。
要点
- AI对气胸(p=0.007)和肺段/肺叶萎陷(p=0.012)的检测优于放射科医生。
- 放射科医生对锁骨(p=0.002)、肱骨(p<0.0015)和肩胛骨(p=0.014)骨折的检测优于AI。
- 肋骨骨折和纵隔气肿的检测在AI与放射科医生之间无统计学差异。
核心结论
- 在真实世界创伤场景中,Annalise.ai算法提供的诊断准确性水平与放射科医生相当。
- 短期内AI可作为与放射科医生协同工作的混合模型,作为有前景的临床决策支持工具。
- 作者指出需要在临床环境中对这些发现进行前瞻性验证。
研究设计与样本
- 回顾性研究,在澳大利亚维多利亚州一家一级成人创伤和三级大学医院(The Alfred Hospital)进行,纳入2009年1月至2019年6月钝性创伤后24小时内完成胸片和CT、且胸片报告在CT之前提供的患者。
- 共识别1404对胸片和CT,4张胸片技术不合格无法被AI处理,最终1400对纳入Annalise.ai解读分析。
- 中位年龄52岁(IQR 33-69),949例(68%)为男性。
- 胸片为仰卧位前后位单视图,几乎所有使用固定Carestream DR Pinnacle X射线机拍摄;胸部CT使用Toshiba One Acquillion和Toshiba One Acquillion Genesis 320层CT,除非禁忌否则使用静脉对比剂。
- 以同期CT报告作为参考标准,分别计算放射科医生胸片报告和AI输出与CT的一致性(Cohen's κ)及敏感度/特异度。
关键影像表现/征象
- AI将右肺下叶部分萎陷导致的密度变化误判为双侧肺尖小气胸(假阳性,放射科医生正确报告)。
- 放射科医生漏诊、AI正确识别的左侧少量气胸,回顾可见明确的胸膜线(AI分割图正确识别)。
- AI漏诊、放射科医生正确识别的左侧深沟征气胸(非典型气胸表现)。
诊断标准与关键数值
- AI对气胸的检测与CT一致性优于放射科医生(p=0.007),对肺段/肺叶萎陷的检测一致性优于放射科医生(p=0.012)。
- AI对锁骨骨折(p=0.002)、肱骨骨折(p<0.0015)和肩胛骨骨折(p=0.014)的检测一致性劣于放射科医生。
- 肋骨骨折和纵隔气肿的检测在AI与放射科医生之间无统计学显著差异。
- AI和放射科医生对所有病变的特异度均大于95%。
- 混合模型(放射科医生或AI任一识别即认为存在病变)下所有病变敏感度提高、特异度轻微下降,但所有病变特异度仍大于95%;所有病变在胸片上的敏感度仍太低而无临床实用性。
临床应用与阅片要点
- AI对气胸和肺段/肺叶萎陷的检测优于放射科医生,可能有助于减少因疲劳或注意力不集中导致的漏诊。
- AI对非典型气胸表现(如深沟征)可能漏诊,需关注AI在此类表现上的局限性。
- AI对肩部带骨折(锁骨、肱骨、肩胛骨)的检测劣于放射科医生,可能因放射科医生可获得额外临床信息或其他影像。
- AI的高特异度提示其可作为检测到异常时的有用辅助工具,但AI未报告异常并不能可靠排除病变。
- 4例(0.3%)AI无法识别胸片为胸片而未产生输出,提示AI是诊断辅助工具而非放射科医生的替代。
局限性
- 胸片和CT虽先后进行但非同时进行,间隔期间可能进行了某些干预(如置入肋间导管),可能影响CT上气胸的存在与否;但两者间隔时间短(中位1.4小时,均在3小时内完成)。
- 在时间紧迫的真实世界报告中,放射科医生知道CT即将进行且将是确定性诊断工具时,胸片报告可能更简短并聚焦于紧急临床发现。
- 本研究仅限于胸片在CT之前报告的情况,这可能排除了大多数重大创伤(通常CT前时间更短)以及大多数正常工作时间之外的创伤。
- 作为回顾性研究,不知道放射科医生在报告胸片时可获得的信息或其他影像。
- 作者指出需要在非创伤环境中评估Annalise.ai的准确性及其融入现有临床工作流程的难易程度。
全文中译16 节 · 点击展开
引言
创伤患者最初的胸部X线片可能包含需要快速诊断的时间关键性病理,并且在创伤接诊和复苏过程中常规进行。1,2 表现往往较细微,可能被遗漏。随着工作量增加以及正常工作时间之外人员有限,放射科医师通常优先报告急诊横断面成像而非平片。这导致图像采集与报告之间存在延迟,并可能延误诊断和治疗。
克服这些问题的一种方法是使用人工智能(AI),它可以在床旁向执业医师提供近乎即时的报告,或向放射科医师标记潜在的异常检查以优先报告。在发展中国家,类似的AI可以提供原本在没有远程医疗服务的情况下可能无法获得的专业知识。
既往研究报道,AI在视觉识别任务(如识别肺栓塞、3 卒中、4 皮肤癌5 和糖尿病视网膜病变6)中的诊断准确性与医师相当。然而,AI在真实世界中的性能高度依赖于训练数据集。当呈现与其训练数据相似的数据时,AI可能表现有效,但由于硬件、曝光和技术方面的差异,在暴露于新环境中获得的图像时,其泛化能力可能较差。因此可以想象,AI在真实世界中的性能可能劣于初始验证研究中呈现的性能。尽管如此,2019年的一项综述报告称,已发表的AI算法中仅有6%经过外部验证。7
本研究旨在独立验证一种AI算法在检测仰卧位前后位(AP)胸片中的创伤性损伤方面的性能,并将其与放射科医师对同一胸片的判读准确性进行比较,以同期CT作为金标准。
方法和材料
研究环境
维多利亚州创伤系统规定,重大创伤患者应在距现场45分钟转运时间内直接运送至创伤中心,并且所有患者均应在重大创伤服务机构接受确定性治疗。本项目在Alfred医院进行,该医院是一家一级成人创伤和三级大学医院,服务于澳大利亚维多利亚州,接收16岁及以上的重大创伤患者。8
纳入和排除标准
这项回顾性研究确定了2009年1月至2019年6月期间的所有病例,即钝性创伤后就诊的患者在到达医院24小时内同时接受了胸部X线片和CT检查,且胸片的影像报告在CT执行之前提供。为确保与算法的公平比较,排除了在胸片报告时已有既往影像检查的患者。这确保了报告放射科医师无法获得可能提高其性能的额外信息,如既往报告。患者通过搜索图像存档与通信系统进行识别。
放射科医师性能和金标准
两名放射科住院医师审阅了胸部X线片和胸部CT的报告。胸部X线片和CT由顾问放射科医师在图像采集当天出具报告。鉴于扫描是在临床环境中采集和报告的,X线片和CT的报告医生不一定相同。此外,受临床工作流程的限制,X线片报告与随后的CT报告之间存在不同的时间间隔。研究时生成的报告中是否存在任何目标病变被记录在电子表格中。目标病变为气胸、肋骨骨折、锁骨骨折、肱骨骨折、肩胛骨骨折、肺叶/肺段塌陷和纵隔气肿。
病变存在与否的Ground truth(金标准)基于同期CT的报告。分别测量放射科医师胸部X线片报告和基于胸部X线片的AI输出与金标准标签的一致性。使用Cohen's κ进行测量。
图1展示了本项目的患者流程图。
AI算法
所评估的AI算法为Annalise.ai®(以下简称Annalise.ai)提供的Annalise CXR软件1.2版。该AI是一种市售的深度卷积神经网络,在超过500,000张胸部X线片上训练,每张均由三名放射科医师手工标注。它被下载到机构服务器上,并对匿名化DICOM数据进行回顾性运行。该AI经过训练可识别100多种不同的病变和变异。在本研究中,我们将检查范围限制在与创伤最相关的发现。
图像采集
创伤胸部X线片通常以单张仰卧前后位(AP)视图在创伤中心拍摄。几乎所有图像均使用固定的Carestream® DR Pinnacle X线机获取。胸部CT在Toshiba® One Acquillion和Toshiba One Acquillion Genesis 320排CT上获取,除非有禁忌,否则使用静脉造影剂。
统计学检验
基线特征以中位数和四分位距(IQR)进行总结。灵敏度、特异度和Cohen's κ统计量使用Microsoft Excel计算。灵敏度和特异度的置信区间使用精确Clopper-Pearson方法通过MedCalc统计计算器(MedCalc Software,Ostend,比利时)计算。Cohen's κ差异的统计学显著性使用10,000次迭代配对bootstrap估计Cohen's κ差异的中位数、第2.5百分位数和第97.5百分位数。P值小于0.05被认为具有统计学显著性。
提出的混合模型
在我们提出的工作流程模型中,AI被整合到报告工作流程中。这创建了一个“混合模型”,即如果放射科医师或AI任一识别出某种病变,则该病变被认为存在。
结果
共识别出1,404对来自不同患者的胸部X线片和CT可供分析。949例(68%)为男性。中位年龄为52岁(IQR 33-69)(表1)。4张胸部X线片技术上不合格,无法由AI处理,最终纳入1,400对由Annalise.ai进行解读。X线片与CT采集之间的中位时间为1.4小时(四分位距0.96–2.64小时)。
在纳入的患者中,927例(66.0%)的CT报告无目标病变,477例(34.0%)有至少一个目标病变,474例有超过一个目标病变(33.4%)。最常见的病变为急性肋骨骨折349例(24.9%),其次为气胸172例(12.3%)(表1)。
使用Cohen's κ评估的与CT的一致性列于表2。结果显示,人工智能在检测气胸(p = 0.007)和肺叶/肺段塌陷(p = 0.012)方面表现统计学上优于放射科医师。人工智能在锁骨骨折(p = 0.002)、肱骨骨折(p < 0.001)和肩胛骨骨折(p = 0.014)方面表现统计学上劣于放射科医师。在评估肋骨骨折和纵隔气肿方面未显示统计学显著差异。
两位放射科医师和Annalise.ai对所有病变均表现出高于95%的高特异度(表3)。还计算了放射科医师或人工智能任一方识别出病变时的灵敏度和特异度,以模拟放射科医师在报告时使用人工智能的潜在效果。所有发现的灵敏度均有所提高,特异度略有下降。然而,所有发现的特异度仍保持在>95%。
各类病变的受试者工作特征曲线见图2。人工智能输出的可用示例见图3。
讨论
Annalise.ai在七种目标病变中的四种上优于或等同于放射科医师的表现,仅在识别肩带骨折方面表现较差。重要的是,人工智能在检测气胸方面优于放射科医师,而在识别肋骨骨折方面未发现统计学差异,这两者是胸部创伤中最常见的病变。
CT被认为是诊断和检测创伤性损伤的金标准。9 其对检测肺、胸膜和胸壁的创伤性损伤具有高灵敏度和特异度。10 这些特性使胸部CT成为理想的金标准。
人工智能在检测气胸方面表现出与CT更优的一致性(以Cohen's κ测量),尽管人工智能与放射科医师之间灵敏度和特异度的个体差异较小且无统计学显著性。这是令人欣慰的,因为气胸可能需要紧急处理,反之假阳性诊断可能导致不必要的胸腔引流管置入。大多数放射科医师漏诊的气胸很可能是小气胸,CT前诊断延迟不太可能具有临床意义。未采集气胸大小的数据,因此尚不清楚人工智能漏诊的气胸是否也是如此。
对人工智能生成的分割图进行复核可能有助于解释漏诊气胸的原因。图3是人工智能的假阳性结果。在此例中,一处肺不张区域(在CT上显示得更清楚)被误认为是胸膜边缘。图4展示了一例放射科医师漏诊但被人工智能识别的气胸。回顾性分析可见,存在明显的气胸(图4b)。这凸显了人工智能的一项优势,即不在于发现超出人类感知能力的气胸,而在于其不受人类易犯错误的影响,例如疲劳或注意力不集中,尽管我们尽了最大努力,这些因素偶尔仍会导致此类漏诊。一例表现为深沟征的左侧气胸被人工智能漏诊,但被放射科医师识别(图5)。此病例凸显了对人工智能性能进行亚组分析的重要性,特别是对于非典型气胸表现,这是人工智能算法需要改进的领域。放射科医师也可能依赖于上下文线索,例如存在肋间导管,来暗示气胸的存在。
人工智能在诊断部分肺萎陷方面也优于放射科医师,尽管这可能是因为放射科医师不认为这在创伤背景下是相关或重要的发现,因此即使识别出来也未将其写入报告。
放射科医师在诊断锁骨、肱骨和肩胛骨骨折方面优于人工智能。对此的一种解释是,放射科医师可能获得了额外的临床信息或其他X线片,这些信息会影响他们的判读。这与人工智能不同,人工智能无法整合额外信息或根据临床怀疑改变其诊断,仅分析胸部X线片。
我们“混合模型”的结果显示,对每一项发现的敏感性均有提高,尽管胸部X线片上所有病变的敏感性仍然过低,不具备临床实用性。另一种可考虑的模型是允许放射科医师决定是否接受人工智能的建议。在这种模型中,人工智能将作为第二阅片者发挥补充作用。这支持了一项先前研究的结果,该研究表明,当向住院医师提供类似的人工智能时,他们在X线片上检测骨折的表现接近专科放射科医师的水平。11 这些不同的模型已在其他放射学场景中进行了试验,例如乳腺癌筛查钼靶,12 而整合人工智能的理想工作流程需要进一步研究。
人工智能与文献的比较
Annalise.ai与其他人工智能的一个重要区别在于,它能够同时识别多种病变。特别是,该人工智能会考虑各种发现之间可能存在的相关性。利用这种相关性,人工智能可以提高或降低其他发现的可能性。这与大多数已发表的人工智能形成对比,后者仅评估单一病变,限制了其临床实用性,并可能加剧人们将人工智能视为实际应用能力有限的二元程序的看法。Hwang等13此前评估了一种可对多种胸部疾病进行分类的算法,然而每张X线片似乎仅有一种病变。人工智能同时准确检测多种病变的能力至关重要,因为超过40%的创伤患者会表现为多发损伤。14
尽管人工智能的总体特异性与放射科医师相似,但既往研究报告了其他人工智能具有显著更高的敏感性。2021年一项纳入10项研究的荟萃分析显示,人工智能在胸部X线片上检测气胸的合并敏感性为0.7(95% CI 0.45–0.87)。15一些人工智能甚至报告在诊断气胸方面敏感性高达90%,显著高于本文报告的结果,尽管特异性略低。16,17这一差异可能归因于方法学差异。在大多数既往研究中,金标准标签基于共识或亚专科放射科医师对同一胸部X线片的判读,而非CT。本文所述较低的敏感性可能反映的是X线摄影的局限性,而非人工智能的局限性。我们队列的仰卧位体位也可能导致敏感性降低。最近评估的一种评估仰卧位气胸的模型同样显示出与其他评估直立位X线片的模型相比敏感性降低。18
先前一种用于肋骨骨折检测的深度学习模型表现出与Annalise.ai相当的性能,敏感性达到44.2%。19值得注意的是,Annalise.ai在使用CT作为参考标准的情况下达到了相似的性能水平,而前者使用的是放射科医师共识X线片审阅,CT作为肋骨骨折检测的金标准明显更为准确。20一种为识别锁骨骨折而开发的算法具有更高的敏感性,达89.7%21;然而,从方法学上尚不清楚该人工智能可获得的X线摄影体位。可能的专用锁骨位或肩部位或许部分解释了人工智能模型之间所见性能差异。
工作流程意义
人工智能系统有潜力以多种方式优化临床工作流程。有几种可能的选择:(1)在采集和处理后立即可供床旁临床医师使用;(2)仅在报告时供放射科医师使用;(3)用于优先处理异常发现,以便放射科医师或床旁临床医师紧急审阅;或这些方式的某种组合。所有这些都有优点和缺点。
人工智能的主要优势在于其能够近乎即时地解读X线片,不受传统工作时间限制,不涉及复阅付费,也不易受到疲劳或饥饿等人为因素的影响。因此,将人工智能的输出仅限制给放射科医生,限制了其在急诊/创伤临床医生提供及时决策支持方面的许多实用性。此前提出的仅将人工智能访问权限限制给放射科医生以减少假阳性或假阴性对患者管理影响的论点,在人工智能运行水平与执业放射科医生相当的情况下(如本研究所示)说服力较低。人工智能报告的胸部X线片高特异性提示,在检测到异常时它可能是有用的辅助工具。然而,对于所有病变,人工智能上无异常并不能可靠地排除病变。
在四例(0.3%)中,人工智能无法将胸部X线片识别为X线片,未能产生输出。此类技术局限性凸显了人工智能作为诊断辅助工具而非放射科医生替代品的角色。
研究的新颖方面
在此,我们使用同期CT为各种创伤相关发现建立金标准。大多数现有的X线片解读研究使用共识亚专科放射科医生对同一图像的解读作为金标准,这很可能不够客观。19,22
除金标准标签外,我们还将人工智能与当时由普通放射科医生出具的報告进行了比较。大多数回顾性研究将人工智能与知道自己参与研究的高级放射科医生阅片者进行比较,这可能高估放射科医生在临床实践中的真实表现。在本研究中,我们将人工智能输出与一个不同的、可能略低的基准进行了比较。该基准是由普通放射科医生在真实世界报告条件下出具并提供给床旁临床医生的真实放射学报告。这可能是对人工智能在实际临床环境中潜在影响更公平的比较。
由于缺乏大型数据集,许多先前的人工智能研究进行了病例对照研究,人为夸大了病变发生率。15,21–24 这些数据集不能代表真实世界患病率,有意义的解读可能较为困难。25,26 在此,我们获得了大量表现一致(钝性创伤)但损伤严重程度和分布各异的患者队列。这使我们能够进行诊断准确性研究而非病例对照研究,提供了更强的有效性证据。
局限性
尽管X线片和CT是在相继很短时间内进行的,但并非同时进行。在此期间可能实施了某些干预措施,例如插入肋间导管,这可能影响CT上气胸的存在/缺失。然而,胸部X线片与CT之间的时间间隔很短(中位数1.4小时,且均在3小时内完成)。因此,与胸部X线片相比,使用CT具有更高的特异性和敏感性,其显著获益很可能超过这一局限性。
此外,在时间紧迫的真实世界报告中,放射科医生知道CT即将进行并将成为决定性诊断工具,X线片报告可能更简短并侧重于紧急临床发现。
本研究仅限于那些在CT采集之前已报告X线片的情况。这可能排除了大多数重大创伤,因为这类情况通常在CT之前的时间间隔较短,同时也排除了大多数在正常工作时间之外发生的创伤,因为由于人员有限,横断面影像的报告被优先处理,而X线片很少被先行报告。
最后,由于这是一项回顾性研究,我们不知道放射科医生在报告胸部X线片时能够获取哪些信息或其他影像资料。放射科医生在检测肩部和肱骨骨折方面能力更强,可能是由于他们在报告时能够获取额外的体位视图或病史。
进一步研究
应开展进一步研究,以评估Annalise.ai在非创伤环境中的准确性,并评估其融入现有临床工作流程的便捷性。我们鼓励其他人对人工智能程序开展外部验证研究,以确保所宣传的准确性能够在临床实践中得到体现。由于人工智能的性能在文献中已被牢固确立为达到或超过放射科医生的判读水平,人工智能性能的关注重点应转向将其性能与CT等金标准进行比较。
结论
本研究表明,在真实世界的创伤环境中,Annalise.ai算法能够提供及时的報告,其诊断准确性与放射科医生相当。短期内,人工智能可能提供一种有前景的临床决策支持工具,与放射科医生以混合模式协同工作。有必要在临床环境中对这些发现进行前瞻性验证。
引用
- Gipson J, Tang V, Seah J, et al. Diagnostic accuracy of a commercially available deep-learning algorithm in supine chest radiographs following trauma. Br J Radiol. 2022. PMID: 35271382. doi:10.1259/bjr.20210979
- 全文:PMC10996416(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10996416/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。