算法透明性与可解释性措施提高放射科医生对BI-RADS 4病变分类的表现
本回顾性观察者研究纳入4名放射科医生,对200个BI-RADS 4乳腺X线病变(101良性,99恶性)进行分类,评估AI辅助(遮挡可解释性热图、分类和确定性)对诊断准确性的影响。结果显示,联合AI辅助使诊断准确率从75.0%±1.6%显著提高至77.8%±1.2%(提高2.8%±2.3%,95%CI 1.5-4.0%,p=0.045)。对算法的信任主要取决于预测的确定性(100%参与者),且人格特质影响人机交互。
要点
- 联合AI辅助(热图+分类+确定性)可显著提高BI-RADS 4病变诊断准确率。
- 单独热图未显著提高准确率,仅基于热图的更改错误风险更高(55% vs 37%)。
- 预测确定性在70-80%结合合理热图时,促使放射科医生修改初始分类。
核心结论
- AI辅助(热图、分类、确定性)联合应用显著提高放射科医生对BI-RADS 4乳腺X线病变的诊断准确率(提高2.8%±2.3%,95%CI 1.5-4.0%,p=0.045)。
- 对算法性能的信任主要依赖于预测的确定性结合合理的热图,人机交互差异大且受人格特质影响。
研究设计与样本
- 回顾性观察者研究,4名放射科医生(经验2.5-20年)独立分类200个BI-RADS 4乳腺X线病变(101良性,99恶性),参考标准为组织病理学。
- AI模型为ResNet50,在CBIS-DDSM数据集(1696张乳腺X线)上训练,测试集为200张年龄和乳腺密度匹配的全视野数字乳腺X线(CC和MLO视图)。
- 分步提供AI辅助(热图、预测、确定性),采用问卷和观察评估人机交互,使用Big-Five人格模型分析人格特质影响。
关键影像表现/征象
- 热图显示模型激活主要位于肿瘤与周围组织交界区,勾勒病变轮廓,而非放射科医生关注的病变特异性征象如不对称或结构扭曲。
- 放射科医生认为热图对算法质量控制有用(3/4),可比较自身视觉发现与区域重要性(2/4),尤其经验丰富的医生重视其 plausible 性以增加信心。
诊断标准与关键数值
- ResNet50在测试集上敏感度76%,特异度70%,ROC-AUC 0.80;放射科医生无AI辅助时准确率75.0%±1.6%。
- 放射科医生报告当算法预测确定性为70-80%结合合理热图时,会修改初始分类。
- 基于AI辅助的分类更改平均21.3±2.5次(5.3%±0.63),其中64.2%更改为正确诊断;15.1%(95%CI 10.8-19.3%)导致假阴性,34.5%(95%CI 31.2-37.9%)导致真阳性。
临床应用与阅片要点
- AI作为第二读者可提高BI-RADS 4病变诊断准确率,但需结合预测确定性和可解释性热图以增加信任。
- 热图本身不显著提高准确率,且仅基于热图的更改错误风险较高(55% vs 37%),应谨慎单独使用。
- 放射科医生对AI的信任和修改决策受人格特质影响(如神经质高分者更易更改, conscientiousness高分者更改与准确率变化负相关),需注意人机交互的个体差异。
局限性
- 排除无明确肿块的病例,结果不能直接推广到临床常规。
- 未测试不同准确性的其他算法,无法评估AI准确性对读者决策的影响。
- 未分析放射科医生与算法之间的分歧,无法检测系统性失败或算法最有用的病例。
- 确定性显示仅与热图联合评估,无法推断其单独效应;AI辅助类型固定顺序呈现可能导致混杂。
- 不确定性度量未覆盖分布外输入且未校准,未研究其他可视化方法如Grad-CAM和LIME;读者数量少,人格特质影响可能存在混杂。
全文中译22 节 · 点击展开
引言
人工智能(AI)已成为医学应用中一种有前景的诊断工具。近期医学影像研究已证明,AI系统的表现与人类阅片者相当甚至更优,例如在基于乳腺X线摄影的乳腺癌筛查中[1–3]。这些结果鼓励将基于深度学习的计算机辅助诊断(CAD)整合到临床和放射学实践中。然而,包括训练算法泛化能力差[4]以及工作流程整合困难[5]在内的重大技术障碍,阻碍了此类系统广泛引入日常常规工作。此外,人为因素,包括对使用算法的怀疑[6]或对基于算法的预测缺乏信任[7],也可能阻碍临床医生使用算法。因此,成功引入临床实践必须克服若干障碍,并考虑人-AI交互[8]。
研究人-AI交互对将算法预测应用于临床决策的有效性以及对临床结局指标(如诊断或预测准确性)的影响,对于AI系统的临床转化至关重要。早期研究探讨了CAD系统的各种提示类型,已显示基于计算机辅助的不同展示方式对放射科医生的表现以及他们对不同图像区域的注意力具有显著影响[9–12]。然而,近期研究探讨更先进的、基于AI的临床支持系统的影响时,主要集中于展示算法在各种医学影像分类任务中相当甚至更优的表现[13–15]。尽管如此,人类对这些算法的感知及其与算法的交互仍有待更深入研究。首批研究已显示人格特质对人-AI交互及对算法信任的影响[16, 17]。可信机器学习通常被定义为可解释、公平、可验证、透明且稳健[18],对于成功的人-AI协作至关重要[19, 20]。量化预测的不确定性以告知用户模型输出的可靠性,以及以可视化方式展示对基于AI的预测具有高度重要性的图像区域,是创建透明、可解释且可信AI系统的两种方法[21, 22]。尤其在放射学环境中,这提供了基于专家进行质量控制的可能性,并允许增强图像解读,从而可增加对算法的信任。
在本研究中,我们在一个包含1696幅乳腺影像报告和数据系统(BI-RADS)乳腺X线摄影图像的开放数据库(CBIS-DDSM)[23]上训练了一个50层残差神经网络(ResNet50),以对良性和恶性病变进行分类。随后,我们在一个独立的内部测试集上测试该算法,该测试集包含200个在乳腺X线摄影上标注为BI-RADS 4的病变,并附加有来自组织病理学推导金标准的“良性”(n = 101)或“恶性”(n = 99)标签。然后,我们独立分析了算法推导的分类、确定性和注意力图对不同经验水平放射科医生在该独立测试集上对良性和恶性病变分类表现的影响。此外,还观察了人-AI交互以及放射科医生对算法的感知。
材料和方法
网络训练和数据
我们微调了一个ResNet50,其权重在ImageNet [24]上预训练,用于对来自数字乳腺筛查数据库的精选乳腺影像子集(CBIS-DDSM)[23]中2620张乳腺X线摄影图像中的1696张进行病变分类。训练时首先仅训练网络的全连接层,随后逐步解冻较早的层,使用TensorFlow框架[25]。图像包含BI-RADS 4类病变及相应的组织病理学金标准(恶性、良性)。数据增强通过最多旋转90°、翻转、平移10%或最多放大20%来应用。数据以80%/20%的随机划分分为训练集和验证集。ResNet50使用批量大小为64张图像和二元交叉熵作为损失进行训练。初始学习率为0.0001,采用三角形学习策略,若两个epoch内无下降则减半。使用Nesterov加速自适应矩估计(Nadam)[26]作为优化器,并在验证损失连续五个epoch无改善后应用早停。我们训练至收敛,验证损失用于最终模型选择。
独立测试集
从本机构回顾性获取了200张年龄和乳腺密度匹配的全视野数字乳腺X线摄影图像(CC和MLO视图),获取时间为2009年2月至2018年2月,用于网络验证和读者研究。所有乳腺X线摄影图像均各含一个分类为BI-RADS 4类的肿块,所有患者均在诊断性乳腺X线摄影后一个月内接受了活检。组织病理学标签作为金标准(n = 101良性,n = 99恶性)。所有图像均通过在每个病变周围放置边界框进行预处理,并调整至训练集大小以匹配训练数据。通过这样做,裁剪后的图像模拟了应用于乳腺X线摄影图像的目标检测算法的输出,这在人工智能应用中很常见。
基于人工智能的辅助
测试了不同的基于人工智能的辅助方法。通过计算每张图像的基于遮挡的敏感性图[27],创建了突出图像中对分类最重要区域的热图。此处,像素根据其对预测的贡献进行着色。热图单独显示或与原始乳腺X线摄影图像的裁剪图像叠加显示,如图1所示。
此外,显示了使用分类分数计算的ResNet50预测的确定性。由于研究排除了样本外图像,预测的确定性通过计算“恶性”类别的概率来估计,并如此显示,或对于良性分类显示为1-概率。在研究中,将预测类别的概率范围在0到100%之间的显示添加到热图展示中。
读者研究设计
从我们机构招募了四名放射科医师参与该研究,研究于2020年6月至9月期间进行。研究中使用了分辨率为2048 × 2560像素、校准至DICOM GDFS的诊断显示器,环境光设定低于50 lx。所有参与者在此前27个月内均未评估过用于该研究的乳腺X线摄影图像。为尽量减少来自额外信息来源的决策偏倚,未向放射科医师提供任何关于患者的临床元信息。放射科医师代表了不同的熟练程度阶段(一名主治医师,专注于乳腺X线摄影(S.M.,20年经验,每年> 3000例乳腺X线摄影),一名主治医师,专注于腹部影像学(F.L.,7年经验,每年约500例乳腺X线摄影),一名顾问放射科医师(M.E.,6年经验,每年> 1000例乳腺X线摄影),以及一名放射科住院医师(C.M-L.,2.5年经验,每年约500例乳腺X线摄影))。
首先,要求阅片者将模拟目标检测算法输出结果的裁剪图像分类为良性或恶性发现,这些图像来自测试集全部200幅乳腺X线摄影图像。未向其提供额外临床数据,但告知他们所有图像均包含此前分类为BI-RADS 4的病变。6周后的第二步,要求阅片者再次对图像进行分类,以评估阅片者自身内可重复性。紧接着,向放射科医师递增式、叠加式地提供ResNet50生成的不同类型输出显示(热图、预测和确定性),并在研究过程中通过问卷和观察人员观察人-AI交互。每次输出呈现后,阅片者可坚持其原始分类或更改分类。
完成分类任务后,以结构化方式对每位阅片者进行访谈,并回答一份关于其放射学经验及对医学领域AI应用态度的问卷,该问卷附于补充材料中。我们使用基于大五人格模型[29–31]和国际人格项目库[32]条目的公开可用人格测试[28],分析了参与者人格对人-AI交互及由此产生表现的可能影响。由于这些人格特质在成人中被发现基本稳定[33],我们选择该模型作为推测独立于工作经验和年龄的模型。
统计学
统计分析使用Python 3.8.2进行。所有检验均选择双侧显著性水平α = 0.05。为比较放射科医师在有和无AI辅助下的表现,计算了阅片者在各项任务上准确率的算术平均值,并基于放射科医师所做的分类更改计算了带Yates校正的McNemar检验。与国际人格项目库的建议一致,基于各人格特质在大五人格模型[29]各类别中的绝对评分,使用Pearson相关分析人格特质及其与人-AI交互的推断关系。
结果
STROBE清单[34]和内部测试集的患者纳入流程图见补充材料。
模型表现与人类阅片者设置
ResNet50在测试集上达到76%的灵敏度、70%的特异度和0.80的ROC-AUC。放射科医师在无任何人工智能辅助下对裁剪乳腺X线摄影进行分类的准确率为75.0% ± 1.6%。在未提供临床数据的情况下,50%的参与者认为该分类任务比其临床常规工作更困难,其余参与者则认为难度相当。两次评估的Cohen kappa值在0.31至0.60之间,显示阅片者自身一致性为一般至中等,两名主治医师的数值高于两名经验较少的阅片者。
人机协作
对人类表现的影响
总体而言,由热图、分类和网络确定性组成的基于算法的辅助使诊断准确率从75.0% ± 1.6%显著提高至77.8% ± 1.2%(提高2.8% ± 2.3%,95%-CI 1.5%至4.0%,双侧t检验:p = 0.045)。相比之下,仅提供热图时未观察到显著改善。仅基于热图做出的更改具有更高的错误风险(55%对37%)。表1显示了放射科医师在研究不同阶段取得的平均表现。
分类更改
基于算法辅助,参与者平均更改其原始分类21.3 ± 2.5次(5.3% ± 0.63),且大多数(64.2%)更改导致了正确诊断。此外,所有更改中仅15.1%(95%-CI:10.8至19.3%)导致假阴性(即良性)分类,而34.5%(95%-CI:31.2至37.9%)导致真阳性(即恶性)分类。这导致放射科医师在有和无人工智能辅助下的诊断表现出现统计学显著提高(McNemar检验:χ2 = 7.1,p = 0.009)。每位阅片者所做百分比更改的概况见图2。
基于问卷的人工智能辅助评估
对算法辅助的评估和感知通过问卷进行评估,问卷见补充材料(A3)。
热图
热图虽然本身未显著提高诊断准确率,但被放射科医师评价为算法质量控制的有用工具(3/4放射科医师),并允许将其自身视觉发现与区域重要性进行比较(2/4放射科医师)。尤其是经验丰富(即主治医师级别)的放射科医师重视这一可能的质量和合理性控制方面,从而增加了对算法的信心。
预测的确定性
一半的参与者认为模型预测的展示对其最终分类最为重要,而另一半则认为预测的确信度更为相关。然而,所有放射科医生均表示,ResNet50的预测及其确信度均与其对预测有效性的信任相关,并因此影响了他们改变分类的意愿。放射科医生报告称,算法预测的确信度为70–80%并结合合理的热力图,会促使他们修正最初的判断。
对AI整合入临床工作流程的态度
放射学经验
放射科医生平均拥有9.4年的放射学经验,其中3.3年为乳腺X线摄影分析经验。所有放射科医生均表示在疑难病例中会向经验丰富的同事寻求建议,且经验较少的放射科医生比经验丰富者更频繁地这样做。此外,经验更丰富的放射科医生倾向于在临床常规中以首次阅片即达成放射学报告的最终决定,而经验较少的同事则常在短期内重新评估报告以形成最终记录(Pearson's r = 0.97,p = 0.03)。
ResNet50的可能辅助作用
四名放射科医生中有三名表示AI支持帮助其识别了良性和恶性病灶,而一名放射科医生认为AI的主要辅助作用在于识别恶性病灶。这与表1中参与者敏感性和特异性的提高相一致。然而,仅有一半的放射科医生认为在算法辅助下其表现有所改善。
对临床环境中AI的态度
所有放射科医生均认为将AI整合入临床工作流程的影响主要是积极的。在未来实践中,四分之三的人预期AI的参与能节省时间,一半的人预期诊断准确性会提高。然而,一半的人也预见整合AI系统后会更加粗心大意。即便如此,没有参与者预期在临床实践中使用AI工具会导致放射科医生表现下降,且所有人都将作为第二读者(second reader)的整合视为一种可能的应用。放射科医生对应用该算法所预期的潜在获益各不相同。一半的人认为它只对简单病例有帮助,而一名临床医生还预期其对复杂病例也有支持作用。仅有一名放射科医生表示其不预期AI对其未来实践有任何帮助。
人-AI交互
对合作的沟通与感知
四名放射科医生中有三名感到他们是在与算法合作对乳腺X线摄影进行分类,而非与其竞争。此外,其中三人在算法将图像分类为与其相同的类别时感到宽慰,一半的人在预测与其发现不符时感到压力水平增加。这种感知与放射科医生的临床经验无关。与算法的“沟通”因参与者而异,从无互动到将算法当作人类对待不等。特别是一名放射科医生会与计算机对话,当他相信预测正确或识别出导致分类改变的重要方面时赞扬算法(“很棒”、“做得好”),并在预测出现分歧时斥责它(“我们在这一点上确实意见不一致”)。
人格特质的影响
神经质特质得分较高的放射科医师在使用算法工作时,更倾向于改变其原始分类(Pearson r = 0.98)。外向性得分较高的参与者从人工智能辅助中获益更多(Pearson r = 0.96)。此外,尽责性高分与准确率变化呈负相关(Pearson r = −0.96)。宜人性和开放性做出的改变数量或准确率变化均无相关性。表2描述了人格特质与阅片者表现之间的Pearson相关系数。
讨论
我们表明,由注意力热图和算法确定性指示组成的基于人工智能的联合辅助显著提高了放射科医师在BI-RADS 4分类上的诊断准确率(2.8% ± 2.3%,95%-CI 1.5至4.0%,p = 0.045)。在基于人工智能的辅助下改变诊断的意愿最依赖于人工智能确定性水平(所有参与者)。此外,高神经质得分与基于人工智能辅助下做出的改变数量相关(Pearson r = 0.98,p = 0.02),而尽责性则呈负相关(Pearson r = −0.96,p = 0.04)。使用基于人工智能的辅助后阅片者的诊断表现有所提高,所有参与者均表示人工智能可在未来可能的放射学工作流程中充当第二阅片者。与既往文献[2, 35, 36]一致,我们的研究因此支持人工智能在放射学环境中作为第二阅片者。
人工智能应用需要使用可解释性和可解释性工具来产生信任并弥合临床工作流程整合中的差距[18, 19]。在我们的研究中,单独的热图并未提高诊断准确率,并被认为最无用。放射科医师表示,该可视化最初并不直观,因为模型激活主要位于肿瘤与周围实质或脂肪组织之间的过渡区,勾勒出病变轮廓。相比之下,放射科医师关注的是病变特异性方面,如不对称或结构扭曲。然而,所有参与者均表示在研究过程中他们对热图的外观变得“更加适应”,最终认为这是衡量算法预测质量的良好指标,表明对透明度和可理解性有积极影响。这与类似研究一致,即缺乏验证可能性抑制了计算机辅助诊断(CAD)辅助的使用[37],并且与给定任务相符的基于人工智能的辅助比其他类型的人工智能支持更能提高阅片者的诊断准确率[38]。
我们研究中的阅片者对医疗环境中的人工智能主要持积极态度,这与近期关于隐性反算法怀疑的报告[6]相矛盾。这可能代表一种偏倚来源,因为对基于人工智能的辅助持不同态度的放射科医师可能获益不同。
考虑人格特质,神经质(即体验负面情绪的倾向[39])得分较高与研究过程中读者所做修改的数量强烈相关。这与近期发现神经质与对人工智能辅助的信任呈负相关的研究结果[40]形成对比。这种关联可能解释为,在这一人格维度上得分高的个体往往更加自我意识强。此外,我们观察到尽责性与性能提升之间呈负相关,这可能表明更加尽责的放射科医生对人工智能支持信任不足,而是依赖自身技能。这种相关性可能受到混杂因素的影响,即更加尽责的个体在没有模型辅助的情况下已经表现更好。同样的情况也适用于高外向性得分与性能提升之间的正相关,这可能是由于主治放射科医生在外向性上得分最低,在与算法协作时提升最少所导致的混杂效应。这与一项近期研究一致,该研究表明更有经验的阅片者从人工智能辅助中获益少于缺乏经验者[38]。
人工智能在乳腺X线摄影中的应用已被证明可达到高达0.95的ROC-AUC[1],人类阅片者达到平均灵敏度68.9%和特异度88.9%[41]。本研究中仅使用BI-RADS 4类乳腺X线图像这一事实可以解释为何算法和人类均未达到这些水平(ROC-AUC ResNet50:0.80,放射科医生:0.75%)。
局限性
我们认为本研究存在以下局限性:我们排除了无可检测肿块的惠者。由于这些病例代表乳腺X线摄影病变中的一小部分亚组,我们的发现不能直接推广到临床常规。
此外,由于我们没有测试另一种具有不同准确性的算法,我们无法评估人工智能的准确性对读者决策的影响。由于研究发现有缺陷的人工智能会在协作环境中降低人类表现[38],这一方面需要进一步研究。放射科医生与算法之间的差异未进行分析。为检测系统性失败或识别算法最有用的病例,需要进一步探究。
此外,确定性显示的主要效应无法推断,因为我们仅将其与热力图结合进行评估。由于所分析的算法辅助类型始终以相同顺序呈现,参与研究的放射科医生可能基于热力图暂缓改变决策,等待来自预测及其确定性的额外信息,这可能对结果造成显著的混杂影响。为消除这一偏倚,未来研究应改变向放射科医生呈现不同类型人工智能辅助的顺序。我们对不确定性的概念是有限的,因为它不涵盖分布外输入,也不代表校准的不确定性[42]。基于贝叶斯深度学习的技术本能够提供更稳健的不确定性估计[43]。此外,我们没有研究类似范围的可视化可解释性方法(如Grad-CAM[40]和LIME[7])的使用情况。
此外,与算法的沟通,或者说缺乏沟通,很可能受到放射科医生知道自己被观察的影响,可能无法反映他们在临床实践中的行为。由于所有参与者首先在没有人工智能辅助的情况下评估图像,随后在有AI辅助的情况下评估,对图像的回忆可能影响他们的表现。最后,由于阅片者数量较少,我们不能排除混杂因素,特别是关于人格特质对阅片者在AI辅助下改善情况的影响。为克服这些局限性并建立改善人机交互的建议,需要更大样本量和不同设置的研究。由于人格特质和交互的评估代表了与心理学研究的接口,这些研究领域之间的合作将非常有益。
结论
与先前研究一致,我们发现人类与人工智能结合的表现优于两个单独组,并且向阅片者展示算法分类过程的各个方面可增加对算法表现的信任。这凸显了提高透明度和可解释AI系统的重要性。此外,我们的发现表明不同人格特质与人机交互之间存在关联。我们的研究不同于先前调查CAD应用中不同提示类型的研究,因为我们侧重于评估除目标检测之外的不同类型AI辅助的影响。因此,阅片者研究中仅使用了模拟目标检测算法输出的裁剪图像,这对我们的发现构成了局限性。我们鼓励在进一步研究中验证我们的发现,解决顺序偏差并包括不同提示类型。
补充信息
ESM 1(DOCX 740 kb)
引用
- Jungmann, Ziegelmayer, Lohoefer, et al. Algorithmic transparency and interpretability measures improve radiologists' performance in BI-RADS 4 classification. Eur Radiol. 2022. PMID: 36282311. doi:10.1007/s00330-022-09165-9
- 全文:PMC9935738(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9935738/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。