错误的人工智能结果会影响放射科医生吗?若会,我们能做什么?一项关于胸部X线肺癌检测的多读者初步研究
多读者设计研究纳入5名放射科医生分析(原6名,1名因未完全相信封面故事被排除),在4种条件下判读90张胸部X线片(50%为肺癌),假AI结果设置为8例假阳性、4例假阴性(ROC-AUC 0.87)。错误AI使假阴性从无AI时的2.7%升至20.7%–33.0%、假阳性从51.4%升至80.5%–86.0%;告知AI结果将被删除或AI用方框标出可疑区域可减轻该影响。
要点
- 错误AI可诱导放射科医生做出原本正确的错误随访决策:假阴性从无AI时2.7%升至20.7%–33.0%,假阳性从51.4%升至80.5%–86.0%。
- AI用方框标出可疑区域时假阴性低于无方框(33.0% vs 20.7%,p=0.04),假阳性呈非显著下降趋势(86.0% vs 80.5%,p=0.19)。
- 告知AI结果将从患者档案中删除时假阳性低于保留时(86.0% vs 80.5%,p=0.03),假阴性差异未达显著(33.0% vs 26.7%,p=0.13)。
核心结论
- 错误AI结果会使放射科医生在无AI时本可正确判读的病例上做出错误随访决策,该效应在告知AI结果将被删除或AI用方框标出感兴趣区时可被减轻。
研究设计与样本
- 多读者设计,6名放射科医生参与、最终分析5名(1名因未完全相信封面故事被排除),对90张胸部X线片(50%肺癌阳性)在4种条件下判读:无AI、保留AI结果(无方框)、删除AI结果(无方框)、保留AI结果(有方框)。
- AI结果为模拟设置,12例被操控为错误(8例假阳性、4例假阴性),其余78例正确,ROC-AUC为0.87;各条件间AI结果保持不变。
- 参考标准为活检证实的肺癌及2周内CT无结节/肿块;主要结局为是否建议随访CT(是/否),按此判定假阴性、假阳性、真阳性、真阴性。
- 判读使用基于ORTHANC的研究PACS,在临床放射科读片室标准PACS显示器上进行;各读片会话间隔至少1个月,纳入放射科医生的平均间隔为113.8天。
- 无AI条件始终排第一、保留AI(有方框)始终排最后;保留AI(无方框)与删除AI(无方框)的顺序在放射科医生间随机平衡。
诊断标准与关键数值
- 在AI被操控为假阴性的4例中,假阴性率:无AI 2.7%(95%CI 0.4–16.0),保留AI(无方框)33.0%(95%CI 21.5–46.9,p=0.006),删除AI(无方框)26.7%(95%CI 17.7–38.1,p=0.009),保留AI(有方框)20.7%(95%CI 9.4–39.6,p=0.02)。
- 假阴性率保留AI(无方框)33.0% vs 删除AI(无方框)26.7%,差异未达统计学显著(p=0.13);保留AI(无方框)33.0% vs 保留AI(有方框)20.7%(p=0.04)。
- 在AI被操控为假阳性的8例中,假阳性率:无AI 51.4%(95%CI 19.4–82.3),保留AI(无方框)86.0%(95%CI 67.5–94.8,p=0.01),删除AI(无方框)80.5%(95%CI 59.0–92.2,p=0.008),保留AI(有方框)80.5%(95%CI 52.7–93.8,p=0.052,未达统计学显著)。
- 假阳性率保留AI(无方框)86.0% vs 删除AI(无方框)80.5%(p=0.03);保留AI(无方框)86.0% vs 保留AI(有方框)80.5%,差异未达统计学显著(p=0.19);保留AI(有方框)与删除AI(无方框)假阳性率均为80.5%。
- 模拟AI系统的ROC-AUC为0.87,放射科医生被告知各系统ROC-AUC高于0.85。
临床应用与阅片要点
- 作者认为,错误AI结果可影响放射科医生做出错误决策,放射科机构应考虑AI的实施方式,放射学会应为放射科医生制定将AI结果整合进检查报告的指南,放射科医生应接受临床使用AI工具最佳实践的培训。
局限性
- 无法真实模拟AI结果在患者档案中被保留或删除的现实后果,限制了生态效度;实验中放射科医生知道自己在参与研究,不存在任何真实的法律(可发现性)、经济、伦理和心理后果。
- 病例在人工环境中判读且仅有正位片(临床实践中可能还有侧位片);参与者为单一站点的小数量放射科医生;没有删除AI(有方框)条件。
- 放射科医生仅指示是否需要随访,因此当病例阳性且放射科医生判为阳性时,技术上无法确定其关注了正确区域,尽管所有阳性病例仅含一个病灶。
- 条件顺序未完全平衡;使用了比临床实践病理更多的富集数据集;放射科医生常在行政或研究工作时段判读,可能比临床轮班时疲劳程度低;使用的是模拟AI系统而非真实AI系统。
- 为显示放射科医生可被误导(且该效应可被减轻),必须选择可被操控为错误的病例,因而在放射科医生更可能正确的病例上操控了AI,这些病例可能受错误AI影响较小;该局限及上述人工设置相关局限可能削弱了操控的真实效应,从而显示结果的稳健性。
全文中译24 节 · 点击展开
引言
人工智能(AI)在放射学中的应用
在过去十年中,人工智能(AI)在放射学中的应用急剧增加。虽然首个AI系统于2008年获批,但截至2014年仅有6个获得批准,而2020年1月1日至2022年10月11日期间有141个获得批准[1]。2020年对美国放射学会(ACR)成员的一项调查发现,目前约33%的放射科医生报告使用AI,另有20%预计将在未来5年内采用AI[2]。
AI准确性:当AI出错时该怎么办?
在对503项AI算法研究的综述中,胸部CT和胸部X线检查中肺结节或肺癌的诊断成像的受试者工作特征曲线下面积(ROC-AUC)范围为0.864至0.937[3]。这些AI系统对胸部X线异常的敏感度和特异度分别为0.87和0.89。特异度为0.89意味着AI将对100例真阴性病例中的11例给出假阳性诊断。更令人担忧的是,敏感度为0.87意味着AI将对100例真阳性病例中的13例给出假阴性诊断。虽然放射科医生使用AI时的表现优于不使用AI时[4–6],但没有AI系统能100%准确。我们应始终预期存在一定的假阴性和假阳性。
AI错误会带来什么后果?它能否在放射科医生原本会做出正确判断的情况下说服其做出错误判断?一项关于计算机辅助诊断(CAD)的研究表明情况可能如此。Alberdi等[7]让两组不同的阅片者解读乳腺X线摄影;一组在CAD辅助下进行,另一组未使用CAD。当CAD反馈为假阴性时,CAD条件下仅有21%的阅片者提示存在癌症;而这些病例中有46%在无CAD条件下被准确解读为阳性。
另一个问题仍然存在:能否通过简单地修改AI反馈的呈现方式来预防或减轻不准确反馈的有害影响?回答这一问题与ACR数据科学研究所(DSI)所声明的目标一致,即“促进AI应用的开发和实施(着重号为原文所加),以帮助放射学专业人员提供更好的医疗服务”[8]。事实上,尽管大量关注集中在为放射科医生开发AI上,但考察AI如何对放射科医生决策产生不利影响的研究严重匮乏(尽管有前述CAD研究)。为改善患者结局,AI算法以及AI的实施均应得到优化。
优化放射学中的人为因素
能够解决这些问题的一个研究领域是人为因素心理学——研究人与系统之间交互的学科——此处即人与AI之间的交互[9]。少数研究已在放射学背景下考察了人为因素[10–13]。然而,尚无已发表的实证研究在AI实施背景下考察放射科医生中的人为因素,尽管若干理论性论文已涉及此问题[14–17]。
当前研究
据我们所知,本研究是首次尝试考察两个相关问题:(1)不正确的人工智能(AI)结果是否会对放射科医师的诊断表现产生有害影响;如果是,(2)能否优化人为因素以减少这种影响?我们聚焦于两个具有现实意义的关键人为因素:(1)AI结果是被保留还是从患者档案中删除;(2)AI是否对可疑区域进行视觉勾画。假设见表1。
材料与方法
设计
采用完全交叉、完整且平衡的区组设计,所有放射科医师在四种不同条件下(无AI、AI结果保留(无勾画框)、AI结果删除(无勾画框)、AI结果保留(有勾画框))阅读来自90例患者的同一90张胸部X线片(图1)。AI保留(无勾画框)和AI删除(无勾画框)两种条件的顺序在放射科医师之间随机平衡以减少顺序效应。无AI条件始终排在第一位,AI保留(有勾画框)始终排在最后,以确保无污染(即第一条件为标准诊疗,不提供反馈以避免污染后续条件;最后条件精确标示可疑病变)。AI结果经操控以提供8个假阳性(FP)和4个假阴性(FN)。其余78例为正确结果(ROC-AUC为0.87)。病例顺序随机排列。放射科医师对患者个人身份信息设盲,阅片 sessions 间隔至少1个月(纳入放射科医师的平均 session 间期为113.8天)。
掩饰故事
放射科医师被告知,本研究目的是评估已开发的几种不同胸部X线摄影AI程序。因此,放射科医师被告知他们将在几个不同的试验中解读X线片。放射科医师被告知应指示是否需要针对可能的肺部病变进行随访成像。放射科医师不知情的是,存在的唯一病理是肺癌。在一个试验中,放射科医师被告知他们不会有AI(无AI),以便作为该AI系统的对照组。在其他每个 session 中,放射科医师被告知他们将使用一个独特的AI程序解读病例。
AI反馈
每张图像的AI结果以两种方式提供。首先,图像右上角以视觉方式显示“异常”或“正常”。其次,实验者大声读出AI结果以强化保留与删除的操控(补充材料1)。在AI保留(有勾画框)条件下,当AI结果为“异常”时放置一个勾画框。其他条件不使用此类勾画框。由于AI反馈实施方式的影响是研究关注点,AI反馈需要被控制。因此,实际未使用任何真实AI系统。每张图像的AI反馈由MKA选择。这使我们能够控制真阳性(TP)、真阴性(TN)、FP和FN的数量,以及哪些病例属于各类别。AI结果在各实验条件之间相同;因此,仅关于保留、删除或勾画框的指示不同(补充材料1)。
放射科医师被告知每个系统的ROC-AUC值均高于0.85,这接近临床实践[3],且对模拟的AI系统而言确实如此。
病例选择
共使用90张正位胸部X线片(CXR)(50%为肺癌阳性),取自2013年至2016年间接受影像检查的患者。阳性CXR取自CT显示单个优势肺结节/肿块且经活检证实为肺癌、同时在CXR上未检出其他含气腔隙 opacity、实变或大结节的2周内;阴性CXR取自CT显示无结节/肿块的2周内。更多信息见补充材料2。
流程
由于COVID-19,实验者与放射科医师通过视频会议沟通。由六名放射科医师组成的便利样本知情同意并参与(E.H.D.、A.W.P.M.、A.R.K.、S.A.、R.C.W.、T.T.H.),分别具有3、1、14、6、5和12年经验。在约定时间,放射科医师与实验者(M.H.B.)加入视频会议。向放射科医师提醒实验的表面目标(评估若干不同的AI程序)。随后告知放射科医师,本公司AI程序在本次会话中的ROC-AUC高于0.85(会话2–4)。为鼓励尽力参与,告知放射科医师其相对于其他放射科医师的表现将在研究结束时由M.H.B.和M.K.A.(研究副主席兼胸部放射科医师)评估(尽管现实中并无此类评估)。放射科医师查看了一份样本评估表。告知放射科医师,为全面评估每个AI系统,所有图像均取自55–75岁的吸烟者门诊患者,因此数据集为此富集。实际上,如上所述,阳性与阴性病例比例相等,但未告知放射科医师患病率以避免混杂其表现[18]。未提供任何图像的病史。接下来,放射科医师使用基于ORTHANC的研究PACS[19]逐一解读每张匿名图像。所有图像解读均在临床放射科阅片室使用标准PACS显示器进行。除从Orthanc加载病例的方式外,阅片条件与临床实践中所见相同。实验者对金标准设盲。流程见图2。
解读与结局
放射科医师对每张图像回答两个问题:(1)是否建议随访CT成像(是/否);(2)其置信水平(1=完全不确定至5=非常有信心)。所有回答均朗读并由实验者转录。随访成像作为临床决策,被用作主要结局。因此,未对阳性进行随访为FN,未对阴性进行随访为TN,对阳性进行随访为TP,对阴性进行随访为FP。
事后说明与排除
研究结束后,向放射科医生进行了情况说明,并解释了所有欺骗内容。一名放射科医生被排除在分析之外,因此分析仅对剩余5名放射科医生进行。被排除的放射科医生并未完全相信封面故事,并正确推测实验者可能对其行为感兴趣。他/她还报告称未意识到保留 versus 删除的操纵。所有程序均经罗德岛医院IRB批准。
统计分析
所有分析均使用SAS软件9.4版(SAS公司)进行。采用假设二项分布的广义线性混合模型(GLMM)检验不同条件间的假阳性(FP)和假阴性(FN)以验证假设。使用GLMM检验不同条件间的诊断信心。α值预先设定为0.05水平,所有区间估计均按95%置信度计算。分析由统计作者(G.L.B.)完成。
操纵
人工智能(AI)结果操纵(保留 vs. 删除;方框 vs. 无方框)在实验过程中的三个时间点引入:(1)会话开始时的小组指导阶段,(2)实验者口头提供AI结果时,(3)样本评估表填写期间。详见补充材料1。简言之,在AI删除(无方框)条件下,放射科医生被告知AI结果将不会被保存。在AI保留(无方框)和AI保留(方框)条件下,放射科医生被告知AI结果将被保存。与其他两种AI条件不同,AI保留(方框)条件下,当AI提示异常时,会在可疑区域周围提供方框标记。
结果
患者特征
患者年龄中位数为68岁(IQR = 62–77)。总体中,53.3%为女性,46.7%为男性。种族方面,81.1%为白人/高加索人,7.8%为黑人/非裔美国人,1.1%为亚裔,1.1%为夏威夷原住民/其他太平洋岛民,8.9%报告其种族为“其他”。民族方面,8.9%为西班牙裔,91.1%为非西班牙裔。
假阴性
正如假设1所预期,AI将真实病理阳性病例错误判断为“正常”的不正确结果增加了假阴性(图3)。以下我们重点关注AI被操纵产生假阴性AI结果的4个病例。在这些病例中,无AI条件下的假阴性百分比为2.7%(95% CI (0.4, 16.0));AI保留(无方框)条件下假阴性增至33.0%(95% CI (21.5, 46.9))(p = 0.006),AI删除(无方框)条件下增至26.7%(95% CI (17.7, 38.1))(p = 0.009),AI保留(方框)条件下增至20.7%(95% CI (9.4, 39.6))(p = 0.02)。
正如假设2所预期,该效应在AI保留(无方框)条件下高于AI删除(无方框)条件(33.0% vs. 26.7%),但该差异未达到显著性(p = 0.13)。正如假设5所预期,AI保留(无方框)条件下的假阴性高于AI保留(方框)条件(33.0% vs. 20.7%,p = 0.04)。
假阳性
正如假设3所预期,AI将真实病理阴性病例错误判定为“异常”的不正确结果增加了假阳性(图4)。我们以下重点关注AI被操纵而产生假阳性结果的8个病例。在这些病例的无AI条件下,假阳性百分比为51.4%(95% CI(19.4, 82.3));在AI保留(无框)条件下假阳性增至86.0%(95% CI(67.5, 94.8))(p = 0.01),在AI删除(无框)条件下增至80.5%(95% CI(59.0, 92.2))(p = 0.008),在AI保留(有框)条件下增至80.5%(95% CI(52.7, 93.8)),但未完全达到显著性(p = 0.052)。
正如假设4所预期,AI保留(无框)条件的假阳性高于AI保留(删除)条件(86.0% vs. 80.5%,p = 0.03)。正如假设5所预期,AI保留(无框)条件的假阳性高于AI保留(有框)条件(86.0% vs. 80.5%),但未达到显著性(p = 0.19),且其值与删除(无框)条件相同(即均为80.5%)。
信心
关于信心的影响极小,与假设6–7的预期不符。详见补充材料3。
真阳性和真阴性
正如所预期,当AI提供正确的阳性和正确的阴性结果时,放射科医师在所有AI条件下的准确性均高于无AI条件。此外,AI保留(有框)条件的真阳性高于AI保留(无框)条件(p < 0.001)。完整结果见补充材料4。
讨论
随着AI在放射学中的应用持续激增,必须考虑如何将AI纳入临床环境。如果AI总是正确的,这个问题就不重要;在AI假阴性和假阳性率均达到0%的理论情况下,AI实施中的人为因素将无关紧要。然而,AI实施之所以重要,恰恰是因为AI具有随机性且不完美[3]。虽然放射科医师应将AI反馈作为补充信息使用,类似于实验室检查值,但放射科医师的一个重要角色——尤其是在未来几年——是决定如何将可能错误的AI结果整合到最终报告中。正如美国放射学会(ACR)所言,“AI永远不会‘替代’或‘成为’放射科医师的‘替代方案’——[放射科医师]将在AI的监督中发挥关键作用,以确保患者安全”[20]。
不正确的AI会导致放射科医师误入歧途吗?
正如预测的那样,在本研究中,我们观察到错误的AI结果可能导致放射科医生在本应做出正确决策时做出错误决策。例如,当未提供AI时,假阴性率为2.7%。但当AI提供无异常的假反馈时,假阴性率增至20.7–33.0%,取决于AI结果条件。同样,当未提供AI时,假阳性率为51.4%。但当AI提供存在异常的错误结果时,假阳性率增至80.5–86.0%。我们的结果与先前一项研究[7]相似,该研究表明错误的CAD结果会损害放射科医生的表现,尽管只有我们的研究采用了被试内设计以控制放射科医生的效应。我们的研究与逻辑学和认知科学中“诉诸权威”的概念[21]一致,即人会受到权威的影响。据推测,AI系统被感知的准确度越高,放射科医生就越容易受到该系统错误反馈的影响。
能否根据AI实施中的人为因素来减轻错误AI的影响?
有证据表明,AI的实施方式影响了放射科医生的表现。在感兴趣区域周围提供方框比不提供方框导致更少的假阴性(33.0% vs. 20.7%)以及更少假阳性的非显著趋势(86.0% vs. 80.5%)。方框将假阴性从33.0%降至20.7%这一事实可能由认知负荷的差异所驱动。当放射科医生借助方框解读阳性病例时,他们可能有更多的认知资源来仔细搜索表面上的阴性病例,并在AI错误时反驳AI。换言之,在可疑区域周围提供方框可能通过减少视觉搜索图像所需区域来缓解阅片过程中的疲劳,从而即使在未提供方框的病例上也能提高表现[22]。此外,当AI结果被“保留”而非“删除”时,假阳性更高。如果存在该分歧发生的记录,放射科医生不太可能不同意AI(即使AI是错误的)。我们假设,从发现和法律责任的角度来看,当AI有记录时,安全的选项是同意AI。
局限性
最重要的是,我们无法真实模拟AI结果被保留或删除于患者档案中所带来的现实世界后果,从而限制了生态效度。与临床实践不同,本实验中的放射科医生知道他们正在参与研究,不可能因犯错而承受任何真实的法律(可发现性)、经济、伦理和心理后果——缺乏生态效度。
病例在仅提供正位片的人工环境中进行解读(不同于临床实践中可能还可获得侧位片)。参与者包括来自单一中心的小数量放射科医生。没有AI删除(方框)条件。放射科医生仅指示是否需要随访。因此,当病例为阳性且放射科医生判定为阳性时,我们在技术上无法确定他们关注了正确的区域。然而,所有阳性病例仅包含一个病灶。尽管侧位片有价值[23]且在其中一些病例中可能可获得,但本研究中放射科医生仅获得正位胸部X线片,以使所有90个病例的影像标准化。
条件顺序未完全平衡。我们使用了一个富集数据集,其包含的病理病例多于临床实践中通常所见,尽管这对于获得足够阳性病例实际上是必要的,并且与其他阅片者研究一致[24, 25]。放射科医师常在专门用于行政工作或研究的日期解读病例,因此可能比临床值班时疲劳程度更低。使用的是模拟AI系统而非真实AI系统。最后,为了证明放射科医师可能被误导(以及这一点可以被减轻),我们不得不选择那些可被操纵为错误的病例。在这样做时,我们在放射科医师更可能正确、因而推测受错误AI影响较小的病例中操纵了AI。这一局限性,连同上文讨论的与设置人为性相关的其他一些局限性,可能削弱了我们操纵的真实效应,因而显示了结果的稳健性。如果确实如此,这将意味着本研究中观察到的效应在临床实践中实际上更大。
结论与启示
AI常常是正确的,但有时也会出错。由于我们不知道它何时准确,我们必须考虑如何尽量减少放射科医师受错误结果影响的程度。在本研究中,我们表明错误的AI结果可影响放射科医师做出错误决策。然而,当告知放射科医师AI结果已从患者档案中删除而非保留时,以及当AI提供一个以视觉方式勾勒可疑区域的方框时,这种效应会被减轻。事实上,当AI既正确又错误时,包含方框的AI改善了放射科医师的表现。
本研究提供了有力的初步证据,表明AI的人为因素可影响放射科医师。为改善患者照护,放射科实践应考虑AI的实施方式。放射学会应就如何将AI结果整合到检查报告中为放射科医师制定指南。此外,应对放射科医师进行临床使用AI工具最佳实践的培训。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 306 kb)
引用
- Bernstein MH, Atalay MK, Dibble EH, et al. Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography. Eur Radiol. 2023. PMID: 37266657. doi:10.1007/s00330-023-09747-1
- 全文:PMC10235827(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10235827/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。