技能提升还是技能退化?AI辅助培训对放射科住院医师的可测量作用:来自疫情的一课
研究纳入8名放射科住院医师,在无AI、按需AI和整合AI三种场景下评估150张COVID-19胸片的多区域Brixia严重度评分。AI支持显著减少评分误差并使评分者间一致性提高22%,住院医师对超过可接受阈值的AI错误表现出韧性,问卷显示工具实用性、可靠性和可解释性高,偏好协作式AI场景。
要点
- 按需AI场景中70%的病例请求了AI支持,轻至中度严重度病例请求更频繁。
- 整合AI场景下评分者间ICC-1从无AI的0.665升至0.813。
- AI错误超过可接受阈值(全局评分>2分)后,住院医师误差增长趋缓,表现对机器故障的韧性。
核心结论
- 高性能且良好整合于诊断工作流的AI工具作为放射科住院医师培训辅助手段具有有益作用的定量和定性证据。
研究设计与样本
- 试点研究,纳入8名放射科住院医师(4名第一年、4名第三年),每人每种场景评估50张图像,共150张来自CbGS数据集的COVID-19胸片,参考标准为5名认证放射科医师标注的共识。
关键影像表现/征象
- Brixia评分将肺部分为六个区域,每个区域根据肺部异常严重程度赋0至3分。
- AI界面提供每个肺区域部分评分的置信水平和可解释性图。
- 按需AI场景中,AI支持在轻至中度Brixia评分病例请求更频繁,最严重病例请求较少。
诊断标准与关键数值
- AI预测误差可接受阈值:每个区域±0.5分(评分范围0-3),全局评分±2分(范围0-18)。
- 评分者间一致性ICC-1:无AI场景0.665,按需AI场景0.788,整合AI场景0.813。
- AI支持使评分者间一致性提高22%。
临床应用与阅片要点
- 作者认为该方法适用于评估放射科培训中的AI工具。
- 问卷显示住院医师偏好协作式AI场景,即在形成评分假设后使用AI,无人偏好无AI场景。
局限性
- 原文未报告局限性。
全文中译11 节 · 点击展开
引言
在医学人工智能快速发展的背景下[1],基于人工智能的工具在诊断影像领域的应用正在显著扩大,医学图像的数量和复杂性不断增加,需要自动化和先进的分析工具[2, 3]。虽然人工智能在转变影像密集型医疗部门方面具有巨大潜力[4],但在真实环境中评估其长期获益和风险仍然具有挑战性[5]。尽管人工智能在提高工作流程效率、准确性和降低医疗成本等方面具有积极影响,但人工智能驱动的决策可能带来复杂的后果[6, 7]。阻碍广泛应用的挑战包括监管障碍、互操作性、验证、集成复杂性、数据安全、伦理问题以及对临床决策的潜在影响[8, 9]。将人工智能整合到临床工作流程中产生的关键问题,从众所周知的偏倚风险[10]到更微妙的学习脱耦效应[11],后者发生在某一专业的新手在与人工智能工具共生的环境中学习新任务时,从而面临无法应对真实世界中更大工作量的风险。更一般地说,随着人工智能的普及和依赖程度增加,存在知识转移或委托给人工智能系统的风险,可能损害批判性思维能力[12]。此外,对自动化的自满以及对算法的厌恶[13]都容易导致各种去技能化效应[14]。为确保下一代专业人员能够在保持基本技能的同时有效地与人工智能协作,我们必须应对临床医生误解人工智能输出或对自动化陷阱反应不足的情况。为减轻所有这些风险,我们必须了解人工智能系统如何与人类互动,以制定在人工智能集成环境中培训医务人员的最佳实践[15–17],并保障安全有效的医疗实践[18–20]。
本文探讨人工智能辅助系统对放射科住院医师的潜在影响,评估在“技能提升”与“去技能化”现象之间表面冲突方面可以推断和测量什么[21]。鉴于住院医师正在接受培训,与经验丰富的放射科医生相比,他们可能更容易受到人工智能的正负两方面影响[12, 22, 23]。虽然人工智能对放射学尤其是住院医师培训的影响已经引发讨论,包括评论[24, 25]、综述[26]和调查研究[27, 28],但该领域仍严重缺乏定量研究。
为弥补这一空白,我们利用BS-Net [29]在一个住院医师队列中开展了一项初步研究。BS-Net是一种多神经网络模型,旨在通过估算综合严重程度评分[30]来自动评估胸部X线片(CXR)上COVID-19肺炎的严重程度,该评估对放射科医师和人工智能而言均是一项具有挑战性的视觉学习任务。此外,其多区域和半定量的性质意味着存在一定程度的评估者间变异。选择BS-Net用于本研究的适宜性取决于几个关键因素。首先,在大型临床工作人员中,其表现优于普通放射科医师,且评估者间变异降低[29]。其次,它已完全整合到意大利最大的医院之一的医院RIS-PACS中,在该医院中,BS-Net的预测可通过专用的RIS界面访问,该界面已整合到临床医生的工作流程中。此外,该工具已由50多名专家组成的跨学科团队使用可信人工智能评估方法[31]进行了广泛评估,目前已被纳入经济合作与发展组织(OECD)人工智能观察站的可信人工智能工具与指标目录[32]。
为评估使用人工智能的住院医师可能存在的“技能提升”效应和“技能退化”韧性,我们测试了三种场景:无人工智能、按需人工智能和整合式人工智能。由于从人工智能中获得切实的临床获益取决于医生管理信任与怀疑之间微妙平衡的能力,我们旨在为这一微妙问题提供观察和证据,该问题也对关键健康知识的可持续性和保存具有深远影响。
材料与方法
人工智能支持的任务与工具
在第一次大流行暴发期间,意大利最大的医院之一——布雷西亚社会福利地方卫生局“Spedali Civili”第二放射科,在临床常规中引入了一种基于胸部X线片(CXR)图像的评分系统,称为Brixia评分[30],用于评估住院COVID-19患者的肺部损害。这是一种多区域评分,即将肺部分为六个区域,转诊放射科医师根据对肺部受累严重程度的局部视觉评估,为每个区域分配0至3的整数评分,如图1(左)所示。
得益于该院约50名放射科医师组成的放射科工作人员的工作,得以收集一个数据集,其中包含仅在2020年春季一个大流行月份内记录的5000张CXR。在该数据集上训练后,BS-Net已证明能够在代表整个临床现实和复杂性的图像上稳健预测Brixia评分值,这些图像涵盖不同的放射摄影采集模式(计算机放射摄影和数字放射摄影)和制造商、采集方向(前后位和后前位)以及患者状况(例如站立、仰卧、有无生命支持系统)。在测试数据集中经五位放射科医师评分的 curated“基于共识的金标准”(CbGS)部分上,BS-Net在预测准确性和评估者间变异方面优于放射科医师(详见[29])。
BS-Net还在医院的放射信息系统/影像归档与通信系统(RIS/PACS)上进行了实验性部署,其中设计了一个用户界面,为放射科医生提供基于人工智能的支持,以确定Brixia评分。该界面以图形方式呈现每个肺区域中每个AI分配的 Partial 评分的置信水平,并附有一张可解释性图,提供关于BS-Net在此类复杂任务中如何运作的洞察(图1,右)。
参与者和数据
利用已实现的BS-Net版本,我们分析了在临床活动中使用该集成AI支持系统对住院医师的学习效果。本研究的参与者为八名接受培训的放射科医生,其中四名处于第一年,四名处于第三年,我们希望与他们探讨两个主要方面。首先,我们研究了AI工具与住院医师之间不同程度的整合如何可能改善其评分表现。其次,我们评估了住院医师在机器故障这一关键事件中接管控制的能力。具体而言,我们在三种不同场景中评估了住院医师的临床表现:无AI:RIS/PACS界面仅呈现CXR用于Brixia评分分级,无任何AI辅助;
按需AI:界面仅显示CXR,但只需点击RIS上的一个按钮即可访问AI支持。访问后,RIS中的一个面板显示AI支持为每个肺区域分配的六个Brixia评分,以及每个评分的置信水平和相应的可解释性图;
集成AI:RIS/PACS界面同时显示CXR和AI支持系统提供的所有信息(置信值和图)。
每位住院医师在每个场景中评估一组50张图像,共计150张图像,属于由五名委员会认证放射科医生标注的CbGS数据集[29]。该数据集被划分为三个固定子集,每个场景一个,以便所有住院医师在相同的图像数据上操作。每个子集的图像为随机选择,以确保年龄、Brixia评分(全局)、性别以及五名放射科医生与CbGS数据集共识评分相比的平均评分误差等变量之间的平衡,如表1所示。
在开始测试之前,参与的放射科医生接受了关于AI系统的培训,向他们展示了由本研究中使用的同一AI模型生成的示例。
指标
鉴于有报道称使用BS-Net对CXR评分具有积极影响,即在提高评分者间一致性方面(见[29]),对于本文考虑的每种场景(无AI、按需AI、集成AI),我们首先计算了在CbGS数据集上计算的平均评分误差的均值和标准差(MAE和SD)。此外,我们根据八名住院医师在测试图像集上评估Brixia评分时的评分者间一致性对所有场景进行了评估。在常用的评分者间一致性指标中,我们使用了组内相关系数(ICC)。
为了评估可能导致技能退化以及在长期内削弱操作者技能持续发展的潜在情况,我们观察了AI支持失败时住院医师的行为。具体而言,在两种AI支持场景中,我们评估了在机器故障情况下,即当AI的预测误差超过约定的“可接受性”阈值时,住院医师是不加批判地依赖AI的建议,还是相反,表现出对错误预测的韧性。
五名专家放射科医师,每位均有数百例使用此类半定量评分系统的经验,同意将每个区域(评分范围为0至3)的可接受误差定为±0.5,将全局评分(范围为0至18)的可接受误差定为±2。这些指标得到了定量和临床观察的支持。首先,±2阈值由同一批放射科医师在CbGS评分时进行的误差数值评估所证实,如表1所示。其次,该阈值得到了评分的预后价值及其作为严重程度指标的相关应用的支持,这源于其应用初期的实验证据和临床观察[33]。
实验活动结束后,我们通过一份涵盖四个维度的表格请实习放射科医师提供他们的意见和体验:一致性、有用性、可信度和未来使用意愿。完整的问卷采用7点李克特量表,见表2。关于评分体验的其他多项选择题见表3。
在结果部分,我们呈现了在三种测试场景中获得的结果:无AI、按需AI和集成AI。我们首先报告关于按需AI场景使用的一些观察和测量结果,与其他场景不同,该场景的特殊性在于由放射科医师自愿请求激活。然后,我们呈现两种AI辅助场景中住院医师在培训活动期间积极使用AI技术相关的潜在获益指标,并将二者与无AI情况进行比较。考虑到两种AI支持场景中的机器故障情况,我们评估了住院医师对AI错误预测的韧性态度。最后,我们报告了旨在评估AI支持场景中整体评分体验的问卷回答。
统计方法
数据分析使用 Python 3.10 及 statsmodels 0.14.2 和 scipy 1.13.0 库进行。描述性统计,包括均值和标准差,用于总结住院医师的人口学特征和评分特征。为评估人工智能辅助对评分准确性的影响,以基于共识的金标准(CbGS)为参考,计算每种场景(无人工智能、按需人工智能、集成人工智能)下评分误差的 MAE 和 SD。场景间 MAE 的差异使用配对 t 检验评估,显著性水平为 p < 0.001。应用 Bonferroni 校正调整显著性水平以考虑多重比较。每种场景中八名住院医师之间的评分者间一致性使用组内相关系数(ICC)[34] 量化。具体而言,采用 ICC-1 评估住院医师之间的绝对一致性,假设他们代表来自更大总体的住院医师随机样本。ICC-1 值范围为 0 到 1,值越高表示一致性越强。
结果
按需人工智能场景的使用情况
在按需人工智能场景中,区分请求人工智能支持和非请求人工智能支持这两种可能情况是有用的。在实验过程中,70% 的病例请求了人工智能支持。
关于请求人工智能支持这一子场景,可作进一步观察。首先,当放射科医师检查的胸部X线片(CXR)显示轻至中度严重程度,即 Brixia 评分从低到中等水平时,更频繁地请求人工智能干预,而对最严重病例的需求较少,如图 2 所示。
其次,由于每个子场景的样本数量相对较少,未观察到评分误差与两个子场景之间存在统计学显著相关性。同样,误差分布在两个子场景(请求人工智能支持 vs. 非请求人工智能支持)之间未显示显著的统计学差异。
对评分一致性的影响
在图 3(上)中,我们呈现了三张热图,每个场景一张,以直观描绘八名住院医师在测试图像集上评估整体 Brixia 评分时的一致性水平。每个场景的 CXR 图像从左到右按基于共识的金标准排序,肺炎严重程度递增。八名住院医师给出的不同整体评分在相关 CbGS 下方的垂直维度上表示,因此更高的空间颜色连贯性对应于更低的评分误差水平。
一致性水平可能提高(从无人工智能到集成人工智能)也在图 3(下)中直观描绘,我们展示了每种场景中每名住院医师给出的整体 Brixia 评分的分布。随着分布从左到右趋于对齐,我们预期评分者间一致性相应上升。
在图4(左)中,我们定量展示了三种场景中(从无AI到集成AI)AI支持水平的增加如何对应于平均误差和误差方差的降低,两者均相对于基于共识的金标准进行测量。请注意,中间场景(按需AI)的评分涵盖了两种子场景:请求AI和未请求AI(即100%的病例)。特别地,无AI与集成AI场景之间、以及无AI与按需AI场景之间的误差差异具有统计学显著性(p值 < 0.001)。
单个住院医师在三种评分场景中的行为在图4(中图和右图)中更为明显,其中场景同样按AI支持水平递增的顺序从左到右排列(无AI、按需AI和集成AI),每条折线对应一位住院医师在所有场景中的表现。如果住院医师从上一场景到下一场景(从左到右)降低了其评分误差的方差,则连接两个评分场景的线段为绿色。相反,如果住院医师增加了所分配评分误差的方差,则该折线为红色。
总体而言,从所进行的测试中可以发现,三种场景中(从无AI到集成AI)AI支持水平的增加与住院医师之间一致性水平的改善相关。事实上,评分者间相关系数ICC-1从无AI场景的0.665上升至按需AI场景的0.788,并在集成AI场景中达到0.813,如表4所示。
对机器故障的韧性度量
在图5中,我们展示了AI方法(BS-Net)产生的(绝对)评分误差与住院医师引入的误差之间的关系,并区分了一年级和三年级住院医师。当AI方法引入的误差超过“可接受”水平(全局评分高于2分,如“指标”部分所述)时,住院医师的误差最初以相似趋势增长(斜率≃1)。然而,当神经网络出现更严重的误差(高于3分)时,住院医师引入误差的斜率显著减小:三年级住院医师的斜率几乎持平,而一年级受训者呈现负向趋势。总体而言,对于高于3分的误差水平,受训者在按需AI场景中维持了2.88的平均绝对误差,在集成AI场景中为2.75。
问卷回答
基于七点范围李克特量表的回答显示,AI支持的感知有用性较高(平均评分5.3/7),信任水平中等(平均评分5/7)。住院医师还报告称,所提供的解释性图谱有助于建立信任(平均评分5/7)。总体而言,受训者体验被认为是积极的,以至于住院医师期待在未来使用它(平均评分5.9/7)。
从回答中可以看出,使用AI的主要动机是获得反馈(无论是出于好奇、获取第二意见、比较还是标准化),其次是补偿疲劳。关于AI支持提供的不同信息,大多数学员主要关注Brixia评分以及与每个类别相关的置信度值。只有一名学员主要关注可解释性图谱。最后,当考虑在临床实践中的使用情境时,首选的交互模式是在放射科医师形成评分假设之后(如按需AI场景),而没有人偏好无AI场景。
关于住院医师对表2和表3中所提问题回答的全面可视化,请参阅补充材料。
讨论
评估AI系统融入临床实践需要进行全面评价[35]。这还涉及认识到将AI相关知识纳入放射科住院医师培训项目的重要性[28]。虽然AI在放射学和住院医师培训中的影响日益得到认可[24–28],但当前工作主要集中于课程内容。重点在于教什么以及如何教育医师关于机器学习、AI技术及其医学应用[36, 37],而非评估AI整合在培训中的实际意义,例如其对诊断性能、技能提升或减轻临床实践中技能退化风险的影响。关于AI支持在放射学实践中效果的定量研究大多集中于有既往经验的放射科医师[38],而在住院医师教育情境中则严重缺乏定量评估。
在这项工作中,我们呈现了一项针对住院医师队列的初步研究,旨在展示并实验如何在住院医师培训情境中对整合于临床工作流程的基于人工智能(AI)支持工具的影响进行定量评估。具体而言,通过利用BS-Net [29]——一种特别适合估计临床严重程度评分的基于AI的支持工具——我们的研究提供了一些有趣的方法学见解和可量化证据,揭示了住院医师培训与AI支持工具使用之间的一些动态关系。
我们的分析显示,70%的病例偏好按需AI支持,尤其是对于更严重的胸部X线片(CXR),凸显了AI整合的自适应特性。住院医师似乎学会了策略性地使用AI,或为推荐收集全面证据,或寻求与现有指南或专家知识不同的解释[39]。然而,未发现AI使用率与错误率之间存在显著相关性,提示其在真实临床场景中的应用是谨慎且情境感知的。
随着AI支持场景(按需AI和整合AI)使用的增加,相对误差显著降低,凸显了AI在提高受训者评估准确性和减少变异性方面的关键作用[40]。无AI场景与两种AI支持场景之间错误率的统计学显著差异进一步强调了AI对诊断准确性的积极影响,为优化放射学实践的讨论做出了贡献[41]。此外,评分者间一致性的改善——各场景间评分者间相关性从0.665提高到0.813——强调了AI支持在增强诊断评估一致性方面的潜力[29, 42],并促进其整合到教育项目中。
在涉及某些病变(如气胸、积液和心脏增大)的病例中——这些病变有时可能误导AI判读——住院医师表现出批判性方法,在按需AI和整合AI场景中,对于超过3分(AI与基于共识的金标准相比)的误差,保持了较低的平均绝对误差。这种韧性表明,AI辅助培训不仅提高了准确性,还鼓励受训者批判性地评估AI生成的评价,促进技术支持和人类专业知识的平衡整合[43]。
问卷回答表明,AI的感知有用性高,信任水平中等,对其未来使用持积极期望。解释图在建立信任方面的重要作用凸显了透明AI决策过程在促进协作学习环境中的重要性[44, 45]。使用AI的动机,如提供反馈和补偿疲劳,与其作为放射学实践中支持工具的演变角色相一致,强调了其在持续、逐步的人类支持并不总是可行的情况下增强教育体验的潜力[46]。
在更广泛的背景下,我们的研究还提出人工智能支持作为一种潜在解决方案,以缓解持续住院医师影子培训中的员工短缺问题[47]。虽然与经验丰富的同事讨论影像学发现和临床-影像学关联对于培养技能和能力至关重要,但这些互动往往因人手不足团队的日常工作负荷而受到限制。用于图像分析的人工智能工具可以作为补充导师,24/7为住院医师提供服务,在现实限制减少了讨论机会时补充——而非替代——面对面互动。
对人工智能工具的优势、机会、劣势和威胁的深入探讨超出了本文的范围。然而,关于人工智能支持的两个关键考量值得关注:一个机会和一个威胁。一方面,人工智能工具的图像分析具有可解释性图和置信水平功能,通过指导严重程度评估和诊断同时指示人工智能的置信度来帮助住院医师。这在培训中具有明确的教育价值。另一方面,依赖预先包装的结果可能令人安心,尤其是在疲劳或处理复杂病例时。然而,这也可能导致搜索满足效应,有可能忽略可能影响诊断的偶发发现。过度依赖人工智能可能带来降低初级和高级放射科医师诊断技能的风险。
平衡人工智能的教育益处与技能退化的风险至关重要。这需要持续的研究、伦理考量和监管框架,以确保人工智能被负责任地整合,保护放射科医师的核心能力。需要持续研究以优化人工智能在住院医师培训和放射科中的角色,在最大化其益处的同时最小化风险。
补充信息
电子补充材料
引用
- Savardi M, Signoroni A, Benini S, et al. Upskilling or deskilling? Measurable role of an AI-supported training for radiology residents: a lesson from the pandemic. Insights Imaging. 2025. PMID: 39881013. doi:10.1186/s13244-024-01893-4
- 全文:PMC11780016(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11780016/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。