期望管理与模型透明度对放射科医生在CT肺结节评估中信任与利用AI推荐的影响:模拟使用研究
研究采用2×2重复测量准实验设计,20名来自7个荷兰医疗中心的放射科医生在模拟场景中评估CT肺结节,比较反思式与信息式入场教程及黑箱与可解释AI输出对信任和AI推荐使用的影响。两种教程均显著改善对AI-CAD系统的心智模型(信息式P=.01,反思式P=.01);可解释AI输出组使用后心理信任显著下降(P=.02)。放射科医生根据AI推荐在140次评估中改变了27次结节数量报告、32次恶性预测和12次随访建议,且不同教程和AI输出组间改变次数与信心无显著差异。
要点
- 入场教程可显著改善放射科医生对AI-CAD系统能力与局限的心智模型(信息式P=.01,反思式P=.01)。
- 可解释AI输出组使用AI-CAD后心理信任显著下降(P=.02),提示解释不一致可能损害信任。
- AI推荐使放射科医生在140次评估中改变结节数量27次、恶性预测32次、随访建议12次,多为增加结节数、提高恶性概率和更早随访。
核心结论
- 入场教程有助于放射科医生更好地理解AI-CAD并形成正确心智模型;若AI解释不能在各病例中一致地证实恶性概率,可能损害对AI-CAD系统的信任;使用AI推荐提高了放射科医生对自身评估的信心。
研究设计与样本
- 2×2重复测量准实验模拟使用研究,20名来自7个荷兰医疗中心的放射科医生,使用原型图像查看器评估10例CT血管造影扫描中的偶发肺结节,其中3例用于入场教程、7例用于测试,AI推荐作为第二读者呈现。
诊断标准与关键数值
- AI模型对恶性预测给出阳性预测值0.25(低置信度)、0.30(中置信度)或0.38(高置信度),对良性预测给出阴性预测值0.94(低置信度)、0.97(中置信度)或>0.99(高置信度)。
- 心智模型问卷共11题(5题关于结节检测、6题关于恶性预测),每题正确计1分、错误或不知道计0分,总分0–11分,分数越高表示对AI能力理解越好。
- 心理信任问卷共12条陈述,每条按1(强烈不同意)至5(强烈同意)计分,负向题反向计分后取12题平均分,分数越高表示信任越高。
- AI模型在每例中检测到1–5个肺结节,每例至少找到1个真阳性结节,7例中4例找到1个或多个假阳性结节。
局限性
- 原文未报告局限性。
全文中译31 节 · 点击展开
引言
背景
肺癌是全球癌症相关死亡的主要原因之一[1]。肺癌的早期发现对于提供治愈性治疗和提高生存率至关重要。然而,使用计算机断层扫描(CT)扫描检测和诊断肺癌可能具有挑战性。在CT扫描上,早期肺癌可表现为小结节。然而,这些结节也可能是良性的。恶性风险取决于多种患者因素和肺结节特征,如肺结节的形态、大小和数量。难以检测的结节例如可能很小,而其可感知性可能因其位置靠近CT扫描上视觉相似的正常肺组织(如血管或支气管)而受到妨碍[2-5]。因此,放射科医师可能会在CT扫描上忽视或误诊肺结节。一项先前的研究表明,放射科医师在筛查CT扫描中漏诊了所有肺癌病例的15%。在这些漏诊的癌症诊断中,35%在扫描上不可见,50%未被放射科医师检测到,15%被检测到但未诊断为癌症[6]。
改善CT扫描上肺结节检测和诊断的近期方法是使用人工智能(AI)模型。由AI模型提供建议以辅助放射科医师的诊断协助被称为基于AI的计算机辅助检测或诊断(AI-CAD)[7]。许多关于用于评估CT扫描上肺结节的AI模型的研究已发表,显示出令人鼓舞的性能,检测灵敏度高达98.1%,每次扫描平均仅2个假阳性(FP)[8,9]。
尽管许多AI模型和AI-CAD系统已被开发,但很少有应用于临床实践。尽管大多数关于AI用于肺结节评估的研究集中于AI模型的开发和独立性能[8,10,11],但很少有研究关注临床环境中用户与AI模型的交互超出理论层面[12-16]。然而,人-AI交互对于使放射科医师能够理解并有效使用AI建议以完成其任务、最终实现最高水平的诊断质量和效率至关重要。
信任在放射科医师与AI-CAD系统之间的交互和协作中非常重要[15,17-20]。信任影响最终用户对AI建议的依赖程度,从而影响AI辅助最终用户的性能[18,19]。如果用户对系统的信任度很低,AI-CAD的潜在益处将因不使用而降低,而对系统的过度信任则导致过度依赖,并可能导致在不使用AI-CAD系统时不会发生的错误[15,18]。
信任是一个动态过程。信任会随时间推移和情境变化而改变,并受到许多因素的影响。例如,信任会因AI系统的可靠性、系统的设计、用户的个人特征、既往交互和经验,以及工作负荷和社会文化背景等调节因素而变化[18,21-25]。其中一些因素可以通过系统设计加以影响,目的是促成适当信任的形成。信任校准是指通过使个人对AI的信任与AI的能力相匹配,从而促进适当信任水平形成的干预措施[26,27]。在本研究中,我们引入了2种工具,旨在使用的不同时间点进行适当的信任校准。首先,是入职教程,旨在在初次使用前设定正确的期望。其次,是AI模型可解释性,作为一种信息线索,供临床用户在使用过程中判断支撑AI模型预测的论据的可信度。
我们旨在评估放射科医师对AI-CAD系统的信任以及他们在CT扫描肺结节评估中使用AI建议的情况是否会受到不同入职教程和不同水平AI模型可解释性的影响。
理论论证
信任的定义
信任存在不同的定义和测量方法[15]。在本研究中,我们从2个互补的视角来考虑信任,即认知视角和行为视角[23]。
从认知视角,我们探讨了用户的心智模型和心理信任。心智模型代表一个人“关于系统的静态知识:其重要特征、其运作方式、不同组件如何影响其他组件,以及其组件在面对各种因素和影响时将如何表现”[24]。简而言之,心智模型是用户对AI系统的理解。正确的心智模型预计有助于在用户对AI系统的信任与系统的可信度之间实现适当的信任校准[25]。用户的心里信任是指“用户对人工智能决策辅助工具的建议、行动和决策有信心,并愿意据此采取行动的程度”[28]。由于放射科医师通过使用AI-CAD工具评估CT病例的过程获得经验并学习,并实际看到系统的能力,因此预计与使用系统前相比,他们在使用AI-CAD系统后会对AI-CAD系统具有更好的心智模型(假设1a)和心理信任(假设1b)。
然而,对AI-CAD系统持积极态度并不意味着用户也会按其建议采取行动。因此,我们还采用行为视角,考察信任是否反映在AI建议的使用(依赖和遵从)以及对决策结果相应的影响中[29,30]。放射科医师是否使用AI建议的决定不仅取决于他们对AI-CAD系统的总体信任,还取决于他们是否同意针对某一给定病例的具体AI建议。由于AI建议起到第二读片者的作用,预计放射科医师在AI-CAD辅助下对其评估的信心会高于无辅助时(假设2)。
入职教程
关于如何确保放射科医生对系统能力和局限性有适当预期的研究有限[27]。正如Cai等[31]所建议的,当临床从业者首次接触AI系统时,人-AI入职流程对于他们确定在实践中如何与AI合作可能至关重要。因此,一个告知放射科医生AI-CAD系统能力和局限性的入职教程,预期能够改善放射科医生对AI-CAD系统的心理模型(假设3a)和心理信任(假设3b)。
此外,对自身经验进行批判性反思对于发展能力和自我意识至关重要[32]。因此,假设通过反思性入职教程建立的批判性反思和反馈,将比信息性入职教程带来更好的AI-CAD系统心理模型(假设4a)和心理信任(假设4b)。此外,由于通过反思性入职对AI-CAD系统的理解,放射科医生预期更容易判断是否应遵循AI建议,尤其是当他们对自己评估不完全确定时。因此,预期接受反思性入职的放射科医生比接受信息性入职的放射科医生更频繁地使用AI推荐(假设5)。
AI模型可解释性水平
此外,与黑箱模型相比,当AI模型披露其推荐背后的推理(可解释AI模型)时,预期放射科医生能更好地判断是否可以信任AI推荐。因此,假设在使用AI-CAD系统后,获得可解释AI输出辅助的放射科医生比获得黑箱AI输出辅助的放射科医生具有更好的AI-CAD系统心理模型(假设6a)和心理信任(假设6b)。由于放射科医生在获得可解释AI输出时可以看到推荐背后的推理,预期他们比获得黑箱AI输出辅助的放射科医生更频繁地使用AI推荐(假设7)。
方法
概述
我们采用2×2重复测量准实验设计检验假设:信息性vs反思性入职教程,以及黑箱vs可解释AI输出。在这项模拟使用研究中,我们旨在真实模拟临床实践[33,34]。真实的临床模拟使参与者能够在真实世界临床场景中参与设置,并鼓励参与者像执行临床工作一样真实地执行研究。
原型
图像查看器
开发了一个医学图像查看原型,使放射科医生能够在有或无AI-CAD系统辅助的情况下评估心脏CT扫描中的偶发性肺结节。AI建议被实施为第二阅读者,允许放射科医生首先独立评估病例。该界面基于文献、头脑风暴以及与放射科医生和设计专家的反馈会议进行设计,并针对2种入门教程变体(反思型与信息型)和2种AI输出变体(黑箱与可解释)进行了迭代优化。最终用户界面如图1所示。我们旨在真实模拟放射科医生的临床设置,以促进参与者对肺结节评估任务的适当参与。用户设置的设计尽可能真实地模拟临床实践。开发的界面在显示器上向放射科医生展示,显示器放置在一个单独的安静房间内。该房间位于医院内部,如果放射科医生愿意,灯光可以调暗,与其自身工作空间相当。与临床实践中用于评估CT扫描的图像归档和通信系统类似,放射科医生可以使用计算机鼠标滚动浏览图像、放大、测量以及在软组织和肺设置之间更改窗宽窗位。
临床数据
为进一步提高研究参与度和真实性,使用场景基于真实世界患者病例。我们从荷兰一家大型临床医院回顾性选取了10例伴有偶发性肺结节的CT血管造影扫描。使用了2008年至2015年间获取的扫描,因为这些患者的5年结局已知:他们是否发展为肺癌。一位专家放射科医生为本研究选择了这些病例。在10例选定扫描中,我们使用3例用于入门培训,7例用于测试设计干预的影响。所有CT扫描均在肺癌患者上进行。通过选择这7例CT病例,我们旨在通过纳入较低和较高可疑度的结节(基于大小、毛刺征和实性程度)以及位于较容易和较困难位置(如靠近血管或胸膜)的结节,获得评估复杂性的多样化组合。7例CT病例的特征及AI模型对这些病例的发现呈现于多媒体附录1中。
AI模型
为了在CT扫描上检测和评估肺结节的恶性程度,应用了Trajanovski等人[35]开发的预训练AI框架。该框架依赖于一个两阶段过程,第一阶段执行结节检测,第二阶段为检测到的结节分配恶性概率。在经过验证的结节检测器中,Liao等人[36]开发的结节检测器取得了最佳性能。该结节检测器基于深度学习模型,更准确地说,是基于卷积神经网络。结节检测器检测到的结节作为框架第二阶段的输入,由第二阶段分配癌症恶性概率。框架的第二阶段基于一个卷积神经网络,该网络使用公开可用的国家肺筛查试验数据集[37]进行训练。
在推理过程中,模型以CT扫描作为输入,自动生成结节位置列表(x,y,z)、其半径以及恶性概率。前文所述的原型确保这些信息以直观的方式呈现给临床医生。Liao等人[36]的文章提供了关于训练过程和性能验证的所有相关细节。
在本研究中,使用了Trajanovski等人[35]提出的AI模型,未进行任何额外的微调。具体而言,模型权重保持不变。唯一的调整涉及校准(或重新缩放)模型的输出,以适应恶性病例分布的变化(多媒体附录2 [35,38,39])。
AI建议
AI模型建议通过4个信息线索提供(多媒体附录3):
检测到的结节(通过CT扫描上直接显示的目标标记标示)
每个结节的良性或恶性分类(恶性结节以橙色高亮显示)
模型对良性或恶性分类的置信度(以阴性预测值(NPV)或阳性预测值(PPV)评分以及代表高、中或低置信度的直观图标显示)
在可解释AI输出变体中:作为分类解释的结节特征
AI结节检测和良性或恶性分类(线索1和2)使用所描述的AI模型[35]获得。AI模型检测到的肺结节数量每次扫描在1至5个之间变化。AI模型在每个病例中至少发现一个真阳性肺结节,并在7个病例中的4个发现了1个或多个假阳性结节。关于AI发现的更多信息,见多媒体附录1中的表S1。
恶性分类的置信度(线索3)通过恶性预测的PPV给出,表示被预测为恶性的结节实际上为恶性的概率;通过良性预测的NPV给出,表示被预测为良性的结节实际上为良性的概率。PPV为0.25(低置信度)、0.30(中等置信度)或0.38(高置信度),NPV为0.94(低置信度)、0.97(中等置信度)或>0.99(高置信度;关于PPV和NPV如何计算的说明,见多媒体附录2)。此外,置信度通过一个小条形图显示,指示低、中或高模型置信度。
测试了两种水平的人工智能透明度:黑盒人工智能输出和可解释人工智能输出。黑盒输出意味着放射科医生看不到恶性肿瘤估计所依据的信息。可解释人工智能输出变体提供了与黑盒人工智能输出变体相同的信息,并额外显示了肺结节的特征(提示4);预计该信息有助于理解和解释人工智能计算机辅助诊断(AI-CAD)系统的预测(图1,右列)。对于每个肺结节,提供了以下肺结节特征:长轴直径、实性、边缘特征和位置。结节特征并非由人工智能模型提供,因此是通过2名专家放射科医生共识手动标注进行现实模拟的,这与相关研究[40]一致。然而,参与者并不知道这是模拟的;因此,从放射科医生的角度来看,这些特征也是人工智能生成的[41]。关于人工智能建议的信息提示概述,见多媒体附录3。
入职教程
设计了两种入职教程变体:信息型入职和反思型入职。在信息型入职期间,放射科医生被动接受人工智能能力和常见陷阱的分步介绍,以便他们能够获得对该系统的现实心智模型(图2)。入职教程通过3例CT扫描说明了人工智能模型的能力和陷阱,这些扫描显示了明显的癌症病例、假阳性结节和假阴性结节。关于所有实施问题和解释的概述,见多媒体附录3。在反思型入职期间,放射科医生还参与了主动反思。他们收到了关于4个问题的认知反馈,他们必须回答这些问题以检查他们对AI-CAD系统的心智模型是否正确。
研究方案
在本研究中,如果医生是放射科医生、核放射科医生或放射科住院医师,则有资格参与。我们将参与者称为放射科医生。需要检验若干效应;我们使用了80%的检验效能。对于放射科医生之间的心智模型差异,我们的样本量计算基于均值2与3的比较(SD 0.5)。这导致所需样本量为12名放射科医生。对于心理信任差异,我们的样本量计算基于均值0.5与0.75的比较(SD 0.1)。这导致样本量至少为8名放射科医生。人工智能建议使用方面的差异基于比例比较,数量级为30%与10%。如果我们假设组内系数较低,这导致所需样本量为124次比较。最终,本研究纳入了20名放射科医生,所有人共评估了7例CT扫描,共计140条建议[42]。在这一2×2重复测量设计中,放射科医生被分为4组,每组由5名放射科医生组成。在两种条件之一下使用3例CT扫描进行入门培训后,每名放射科医生评估了7例CT扫描。除CT扫描外,还提供了每名患者的年龄和性别,因为放射科医生在临床实践中评估CT扫描时也会使用患者背景信息。首先,放射科医生在不观察人工智能输出的情况下评估扫描。他们报告了检测到的结节,估计了患者病例的恶性概率(不同于人工智能模型,并非按结节估计),并提供了随访建议。随后,呈现人工智能建议,放射科医生可以调整其初始评估。人工智能检测到的结节和人工智能恶性估计可能促使放射科医生改变其初始评估。该过程在图3的流程图中可视化。
信任的测量
为评估2种类型的人工智能入门教程和2种水平的人工智能输出可解释性对放射科医生对人工智能的信任及其对人工智能建议使用的影响,参与者被要求完成关于3个方面的问卷:放射科医生对AI-CAD系统能力和缺陷的心智模型、对AI-CAD系统的心理信任,以及对人工智能建议的使用。这些问卷在不同时间点完成,如图4示意性所示。
心智模型
心智模型问卷测量放射科医生对人工智能能力和局限性的理解,以揭示他们对AI-CAD系统的期望是否恰当。该问卷共11个问题,其中5个问题与结节检测相关,6个问题与恶性预测相关(完整问卷见多媒体附录4)。问题可回答是、否或我不知道。根据评估相对于AI真实能力是否正确,每题计1分(正确)或0分(错误或我不知道),总分范围为0至11分。分数越高意味着对AI能力的理解越好。心智模型在入职前、入职后以及评估7例CT扫描后分别进行测量。
心理信任
为测量放射科医生对AI-CAD系统的心理信任,问卷改编自Ashoori和Weisz的研究[43]并调整以适应本研究(完整问卷见多媒体附录4)。该问卷考察整体可信度、可靠性、技术能力和个人依附。一个陈述示例如“该模型是可信的”。关于AI模型的12个陈述须以1分(非常不同意)至5分(非常同意)作答。对于负面表述的问题,数据分析时对分数进行反向处理,以使所有问题中分数越高反映对AI-CAD系统的信任越高。随后,对12个问题的分数取平均值。每位参与者的心理信任在入职前、入职后以及评估7例CT扫描后分别进行测量。
AI推荐的使用
为评估放射科医生对AI推荐的使用,其评估及对评估的信心——先无AI辅助、后有AI辅助——记录在问卷中。AI推荐使用在3个评估层面进行测量:检测到的结节数量、恶性概率和随访建议。因此,问卷包括关于发现结节数量、恶性概率(患者层面,以百分比表示)以及根据Fleischner指南[44]的随访建议的问题。随访建议须以1分(考虑3个月时CT、正电子发射断层扫描–CT或组织取样)、2分(3-6个月时CT)、3分(6-12个月时CT)、4分(12个月时CT)或5分(无常规随访)评分。分数越低表示随访越早。此外,各评估层面所给答案的信心须以1分(完全没有信心)至5分(非常有信心)评分。完整问卷见多媒体附录4。参与者被要求在评估每个CT病例时,分别在无AI辅助和有AI辅助的情况下完成该问卷。
分析
心智模型与心理信任
通过比较入职培训前后的评分,以及入职培训后与测试结束时(即评估完所有7次CT扫描后)的评分,评估心智模型和心理信任的变化。这些变化分别在所有放射科医师整体、2个入职培训教程组各自以及2个AI输出组各自中进行评估。比较2个入职培训教程组之间以及2个AI输出组之间评分的变化,以分析入职培训教程类型和AI可解释性水平是否影响放射科医师在CT评估过程中的初始信任和信任维持。此外,我们分析了心智模型和心理信任评分的变化是否受到放射科医师以下任一特征的影响:年龄、性别、工作经验年数、工作中在CT上评估肺部的频率、尝试新信息技术的意愿程度,以及使用AI-CAD工具的频率。
AI建议的使用
通过分析放射科医师在查看AI-CAD建议后调整检出结节数量、恶性概率和随访建议的病例数,评估AI建议的使用情况。此外,我们分析了放射科医师对结节数量评估、恶性预测和随访建议的信心在查看AI建议后是否发生变化,以及其信心是增加还是降低。比较各入职培训教程组之间以及各AI输出组之间AI建议的使用情况及其对放射科医师信心的影响。
二次分析
附加分析与AI建议的使用
此外,评估了同意或不同意AI检出结节的影响。我们分析了AI建议的使用和放射科医师对其评估的信心是否受到以下2个因素的影响:第一,与放射科医师相比,AI检出的是相同还是不同的结节;第二,放射科医师在查看AI建议后是否改变了报告的结节数量。
随访建议的正确性
此外,为评估AI-CAD辅助是否带来临床评估的改善,我们分析了放射科医师在有或无AI建议时是否更常选择正确的随访建议。对于每个病例,由2名专家放射科医师共识回顾性确定根据Fleischner标准的正确随访方案,并作为参考随访建议。将放射科医师提供的随访建议与参考随访建议进行比较,并分析AI辅助是否带来更准确的随访建议。
统计分析
心智模型与心理信任
使用Wilcoxon符号秩检验分析放射科医师在不同时间点的心智模型评分与心理信任评分之间的差异。使用Mann-Whitney U检验对信息型与反思型入职教程组以及黑箱与可解释人工智能输出组的心智模型评分和心理信任评分差异进行统计分析。为控制异质性,我们通过执行多元线性回归分析来检验放射科医师的特征是否影响不同时间点和随时间变化的心智模型评分和心理信任评分。
人工智能建议的使用
执行多水平逻辑回归分析,以评估入职教程类型或人工智能输出可解释性水平是否影响人工智能建议的使用以及放射科医师对其评估的信心。为控制其他因素对结局的潜在影响(仅包括放射科医师和人工智能模型均发现的相同结节、报告结节数量的变化、年龄、性别、从业年限、在CT上评估肺部的频率、尝试新信息技术的意愿以及使用计算机辅助检测工具的频率),这些因素也被纳入多水平回归分析。所有多水平逻辑回归分析均采用相同的分析方案。首先,运行空模型以识别个体水平的方差。第二次回归分析还考虑了入职教程和人工智能输出的变体。第三,添加了人工智能和放射科医师是否仅发现相同结节以及他们是否改变了报告结节数量。最终分析还包括不同的CT扫描和放射科医师特征。
P值<.05被认为具有统计学意义。所有分析均使用Stata(版本17;StataCorp)执行。
伦理考量
本研究获得Philips生物医学实验内部委员会批准(编号ICBE-S-000204),并按照《赫尔辛基宣言》(2013年修订版)进行。参与研究的临床医师均签署了书面知情同意书。
结果
参与者
共有来自7家荷兰医院的20名医师参与了本研究。在20名参与者中,16名为放射科医师(作为专科医师的从业年限中位数为10.5年,范围1-32年),1名为核放射科医师(评估肺部CT扫描的经验为2年),3名为放射科住院医师(住院医师年限中位数为2年,范围1-5年)。在16名放射科医师中,8名(50%)专攻胸部放射学。男女比例为50:50。在参与者中,25%(5/20)年龄在26至35岁之间,35%(7/20)年龄在36至45岁之间,20%(4/20)年龄在46至55岁之间,20%(4/20)年龄在56至65岁之间。
心智模型与心理信任
图5展示了入职培训前、入职培训后以及测试结束时的心智模型和心理信任评分。这些评分分别显示了所有放射科医师合并的数据以及入职教程和人工智能输出两种变体的单独数据。
入职培训后,放射科医生的心智模型评分显著高于入职培训前(P<.001)。入职培训前平均评分为5.7(SD 2.0),入职培训后为8.6(SD 1.9),这支持假设3a。信息性入职培训(P=.01)和反思性入职培训(P=.01)均导致心智模型评分显著升高。这些改善在组间无显著差异;因此,假设4a不成立。在测试结束时,各组的心智模型评分与入职培训后评分无显著差异,这不支持假设1a和假设6a。
将所有放射科医生合并考虑时,心理信任评分随时间无显著变化;因此,假设1b和3b不成立。在两种入职培训教程变体之间,未观察到心理信任评分的显著差异,因此,假设4b不成立。在接收可解释人工智能输出的组中,测试结束时的心理信任显著低于入职培训后(P=.02),这与假设6b相矛盾,值得关注。在接收黑箱人工智能输出的组中,心理信任无显著变化。入职培训后与测试结束时心理信任评分的变化在黑箱输出组与可解释人工智能输出组之间具有显著差异(P=.03)。所有P值见多媒体附录5。
放射科医生受测特征均未在不同时间点显著预测心智模型评分或心理信任评分,也未显著预测随时间的变化。
人工智能建议的使用
在查看AI结果后,放射科医师在140次评估中的27次调整了他们发现的结节,在140次评估中的32次调整了他们估计的恶性概率,并在140次评估中的12次调整了他们的随访建议(图6)。放射科医师主要增加了结节(27个改变病例中的23个),增加了恶性概率(32个改变病例中的24个),并缩短了推荐的随访 period(例如,从6-12个月时的CT缩短至3-6个月时的CT;12个改变病例中的8个)。不包含任何预测变量的空模型显示,关于放射科医师是否做出改变,结果变量中约3%的方差可归因于放射科医师之间的差异。对于恶性预测和随访建议的改变,这一可归因方差分别约为20%和7%。这表明结果中存在一些变异性,可由各个放射科医师来解释。放射科医师的评估未受到 onboarding 教程类型或AI输出类型的显著影响;因此,假设5和7未得到支持。多水平回归分析的所有结果可见于多媒体附录6。
在所有评估层面,放射科医师对评估的信心(n=140)在查看AI-CAD建议后主要增加(在发现的结节中[75/82,91%]的所有改变评估中,在恶性概率中[42/50,84%],在随访建议中[22/28,79%];图7),这支持假设2。多水平回归分析显示,在不含预测变量的空模型中,检测到的结节中改变信心的总方差约20%归因于放射科医师之间的差异。关于恶性预测和随访建议中改变信心,这一总方差的归因分别为10%和7%。放射科医师对其评估的信心未受到 onboarding 教程类型的显著影响,但在控制AI模型是否发现与放射科医师在无AI辅助时相同或不同结节后,受到AI输出类型的影响(第一模型:β=0.143;P=.16;第二模型:β=0.167;P=.04;第三模型:β=0.207;P=.02)。多水平回归分析的所有结果见多媒体附录6。
次要结局
关于使用AI建议的事后分析
在140次评估中的26次,AI模型与无辅助的放射科医师仅发现了相同的结节。在这些情况下,放射科医师改变结节数量的频率低于发现不同结节的情况(第二模型:β=–0.245;P=.003 第三模型:β=–0.437;P=.001;多媒体附录6)。
在140次评估中的27次,放射科医师在使用AI辅助时改变了结节数量。在放射科医师未改变结节数量的情况下,放射科医师对其恶性预测的信心变化比放射科医师确实改变了所发现结节数量的情况更频繁,且大多为增加(第二模型:β=0.369;P<.001;第三模型:β=0.283;P=.001;多媒体附录6)。结节数量是否改变也显著影响放射科医师对其随访建议的信心,但这可能与某些放射科医师的特征有关,因为在控制这些特征后该效应消失(第二模型:β=0.277;P=.02;第三模型:β=0.154;P=.23)。
随访建议的正确性
在没有AI辅助的情况下,放射科医师在140次评估中的94次根据Fleischner标准提供了正确的随访建议(表1)。大多数情况下,正确的随访建议是针对CT病例1、3、5和7提供的,而大多数不正确的随访建议涉及CT病例2、4和6。在有AI辅助的情况下,放射科医师在140次评估中的100次提供了正确的随访建议。在12例中,查看AI结果后随访建议发生了改变。在这12例中的7例,看到AI结果后提供了正确的随访。在1例中,最初给出的正确随访建议在查看AI结果后被改为不正确的随访建议。在3例中,改变后的随访建议仍不正确但更接近正确的随访建议,在剩余1例中,改变后的随访建议偏离了正确的随访建议。
讨论
主要发现
我们的研究表明,入职培训非常重要,因为放射科医生在入职培训后对AI-CAD系统的心智模型显著更为准确。这一发现意味着,入职培训后放射科医生对AI-CAD系统的能力和局限性有了更好的理解,这对于正确使用AI建议很重要。此外,心智模型并未通过实际使用AI-CAD系统而变得更加准确这一事实,强调了入职培训的重要性。Lam Shin Cheung等人[45]的研究支持入职培训的必要性。
我们假设反思性入职培训比信息性入职培训能产生更适当的信任水平,因为反思性入职培训组的放射科医生被触发主动参与认知反思并收到关于其心智模型的反馈。然而,这一假设未得到支持,因为反思性入职培训组放射科医生心智模型评分的增加与信息性入职培训组无显著差异。这一意外发现可能的解释是,信息性入职培训和反思性入职培训期间提供的解释清晰度都很高,因此反思没有显著的附加价值。或者,参与的放射科医生可能具有参与认知反思的自然倾向,即使系统不主动触发他们这样做。
另一个意外发现是,可解释AI输出导致在使用AI-CAD系统评估7例CT扫描期间心理信任显著下降(P=.02),而接受黑箱AI输出的组则并非如此(图5)。显然,当用户收到解释时,他们可能对AI-CAD的可靠性感到不安全。根据参与放射科医生的反馈,我们知道一些放射科医生观察到AI-CAD系统对具有相同视觉特征(如大小和形态)的相似结节提供了不同的恶性预测。这些差异引发了关于为什么具有相似特征的结节具有不同恶性概率的疑问。事实上,这一关键方面对参与者来说仍然感觉像是一个黑箱。显然,提供更多透明度使放射科医生能够观察到AI预测中的不一致性,这可能会降低放射科医生对AI-CAD系统的信任。然而,这种信任下降可能是适当的,因为AI模型的性能可能欠佳且不一致。
在许多CT评估中,放射科医师在查看人工智能(AI)建议后并未对其评估做出任何更改。然而,这并不一定意味着放射科医师不信任AI计算机辅助诊断(AI-CAD)系统。未做出更改可能有多种原因。首先,AI建议可能与放射科医师的评估完全相同。其次,放射科医师可能不同意AI建议,这可能是合理的,因为AI模型也会出错。第三,就恶性肿瘤预测和随访建议而言,AI建议可能不会影响评估,而放射科医师确实同意AI建议。例如,AI模型可能发现一个额外的结节;然而,如果已经检测到另一个更大且更可疑的结节,则该额外结节不会影响放射科医师在患者层面的恶性肿瘤风险预测或随访建议。
另一个重要发现是,放射科医师在使用AI建议后对其评估变得更加自信。这一变化可能是因为AI-CAD系统提供了额外的核查,降低了结节被遗漏的可能性。因此,它给放射科医师提供了一种安全感,从而增强了他们的信心,无论他们是否同意AI输出。
在140次评估中,放射科医师仅在12次评估中在查看AI结果后调整了随访建议,而观察到的结节数量和恶性肿瘤概率的变化更为频繁(分别为27/140,19.3%的评估和32/140,22.9%的评估)。这一发现可以解释为随访建议主要受最可疑结节的影响。因此,当放射科医师已经检测到一个大的可疑结节时,AI-CAD发现一个额外的小结节并不会影响放射科医师的随访建议。在3个评估层面中,随访建议在临床上最为相关。当随访建议被调整时,大多改为更短的随访周期(8/12,67%的评估;例如,从6-12个月CT改为3-6个月CT)。这一发现表明,由于AI建议,放射科医师倾向于更加谨慎,在随访建议中承担更少的风险。在本研究中,更早的随访是合适的,因为所有CT扫描均显示癌症病例,但在临床实践中,在随访建议中更加谨慎和承担更少风险是否总是可取值得商榷,因为这可能增加医疗保健成本。因此,研究AI-CAD系统的成本效益非常重要。
次要发现
当放射科医师在查看AI建议后未更改其结节数量时,恶性肿瘤预测的信心变化显著更为频繁(多媒体附录6)。这可能是由于AI-CAD系统对他们自己也发现的结节提供了恶性肿瘤预测。放射科医师可能基于这一AI-CAD恶性肿瘤建议而更加确信某病例是恶性还是良性。
本研究还证明了应用以用户为中心的设计过程以实现AI-CAD系统适当使用的重要性。这在许多研究和应用中都是缺乏的[46]。放射科医生在反馈中指出,阳性预测值(PPV)和阴性预测值(NPV)难以解读。因此,模型置信度的不同可视化方式可能更为合适,例如仅使用条形图。此外,放射科医生提到,放射科医生在临床实践中用于肺部评估的一些额外功能需要在原型中实现,如多平面重建和最大强度投影,这强调了将AI紧密整合到放射科医生常规工作站中的必要性。此外,他们提到在入门培训期间,他们希望获得更多关于AI模型训练和验证的信息,包括所使用的数据集和参考标准定义,因此这些内容应添加到入门培训原型中。这一需求与Cai等人[31]的研究结果一致,他们探索了病理学中AI-CAD入门培训的信息需求。Ashoori和Weisz[43]提到,关于AI模型训练和测试的信息对于放射科医生对AI-CAD系统的信任很重要。需要纳入放射科医生的反馈,以实现完全满足放射科医生需求的AI-CAD系统。
局限性与未来展望
本研究存在若干局限性。首先,本研究未能完全代表临床实际情况。由于时间限制,我们特意要求放射科医生不要评估整个病例,而是专注于肺结节评估这一组成部分任务。因此,放射科医生知道肺结节评估很重要,这对于因肺部症状而采集的CT扫描具有代表性,但对于偶然发现肺结节的扫描则不具代表性。此外,本研究仅纳入了癌症病例的扫描,这与临床实践不同,临床实践中扫描也可能显示无结节和仅为良性结节。然而,癌症病例数据集对于我们的研究目标是合适的。
其次,在当前原型中,可解释人工智能输出是事后模拟的。在失败代价高昂的医学领域,越来越多的人呼吁建立因果模型,使临床医生能够验证经临床验证的特征对模型预测的因果效应链。然而,这种本质可解释的模型目前仍是例外而非常规做法[47]。在本研究中,我们关注的是当前医学实践的现状,即大多数事后可解释性技术(如果有的话)被用于提高可解释性。重要的是,事后技术是以事后解释与模型预测之间关系的有效性为代价的。事实上,最终用户眼中的解释可能并未传达黑箱为何做出其预测[48]。在本研究中,我们关注的是在医学背景下一种广泛使用的方法对解释用户信任和决策的影响。此外,尽管模拟可解释人工智能输出在人工智能计算机辅助诊断(AI-CAD)系统开发的早期阶段非常有用[33,34],但拥有完全功能的人工智能模型将进一步增加测试的真实性。此外,如果算法能够提供每个结节特征对恶性预测的贡献程度,那将是有价值的。此外,在患者层面计算的阳性预测值(PPV)和阴性预测值(NPV)被应用于结节层面。
第三,本研究仅纳入20名放射科医生和7次CT扫描,需要扩大规模以获得足够的检验效能来检测较小的效应量。在这项初步研究中,接受这一局限性是为了使参与研究的放射科医生的测试耗时更少,并在至少建立一些较大效应的证据后再推迟更大样本的研究。在本研究的病例选择过程中,我们旨在收集相对简单和更具挑战性的病例的混合,考虑到表1中正确随访建议的数量,这一策略效果良好。在未来的大规模研究中,建议使用具有临床代表性的数据集以防止选择偏倚的影响。还需要在更大规模上进行测试,以分析放射科医生如何处理假阳性(FP)发现以及这些发现如何影响他们对AI-CAD的信任。评估放射科医生能识别哪些类型的假阳性发现是很有意义的。此外,分析观察到的结节数量和恶性概率的变化是否基于由专家放射科医生和病理学定义的参考标准是正确的,这也是有用的。这一点很重要,因为必须防止自动化偏倚,即放射科医生过度依赖人工智能建议[40,49]。
结论
当临床决策支持系统实施时,临床医生应接受仔细的入职培训,使其更好地理解AI-CAD系统的能力和局限性。这种理解有助于对人工智能系统建立适当的信任,这在人工智能系统用于临床实践时非常重要。提供更多的人工智能输出透明度,使临床医生能够观察到人工智能建议中的不一致之处,可以降低临床医生对AI-CAD系统的信任。人工智能建议经常增加放射科医生对其评估的信心,即使他们并不完全同意这些建议。
引用
- Ewals LJS, Heesterbeek LJJ, Yu B, et al. The Impact of Expectation Management and Model Transparency on Radiologists' Trust and Utilization of AI Recommendations for Lung Nodule Assessment on Computed Tomography: Simulated Use Study. JMIR AI. 2024. PMID: 38875574. doi:10.2196/52211
- 全文:PMC11041414(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11041414/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。