人工智能引导的支气管镜培训优于人类专家指导:一项随机对照试验
该非盲平行组随机对照试验在模拟环境中比较了AI增强现实导航系统(Ambu Broncho Simulator)与专家导师指导对重症医师支气管镜操作表现的影响。40名至少做过1例ICU机械通气患者支气管镜的重症医师随机接受30分钟AI引导(AIG,n=19)或专家指导(ETG,n=21)培训,随后完成无辅助的最终测试。AIG组平均段间时间(MIT)缩短7.9秒(p=0.027)、操作时间(PT)缩短77秒(p=0.022)、 revisits减少7段(p=0.019),效应量均为中等;诊断完整性和结构化进度无显著差异。两组NASA-TLX认知负荷无显著差异。作者认为AI培训可能改变重症支气管镜培训模式,但需在患者中验证。
要点
- 在模拟环境中,30分钟AI增强现实引导培训使重症医师最终测试的MIT较专家指导组缩短7.9秒(p=0.027,效应量0.35)。
- AI组操作时间较专家指导组缩短77秒(p=0.022,效应量0.36), revisits减少7段(p=0.019,效应量0.37)。
- 两组诊断完整性(DC)和结构化进度(SP)无显著差异(DC差0段,p=0.668;SP差0分,p=0.376)。
- 两组NASA-TLX总体认知负荷无显著差异(中位差+6分,p=0.538)。
- 作者认为该AI系统可能改变重症支气管镜培训的未来,但需在患者中通过临床研究验证。
适用人群与场景
- 在ICU中已至少对1例危重患者独立完成过1次支气管镜操作的重症医师。
- 研究在模拟环境中进行,非真实患者。
研究设计与关键结果
- 非盲平行组随机对照试验,40名重症医师随机分配至AI引导组(AIG,n=19)或专家导师组(ETG,n=21),在模拟环境中接受30分钟支气管镜培训。
- 主要终点MIT(操作时间/诊断完整性)AIG较ETG缩短7.9秒(p=0.027),效应量0.35(中等)。
- 次要终点PT AIG较ETG缩短77秒(p=0.022,效应量0.36);SR AIG较ETG减少7段(p=0.019,效应量0.37)。
- DC(差0段,p=0.668)和SP(差0分,p=0.376)两组无显著差异。
- NASA-TLX总体认知负荷两组无显著差异(中位差+6分,p=0.538)。
- 剔除3例ETG基线异常值后的二次分析结果相似:MIT缩短7.4秒(p=0.049),PT缩短74秒(p=0.039)。
证据类型、等级与局限
- 证据类型:随机对照试验(RCT),在模拟环境中进行,非盲设计。
- 局限:研究样本量虽与该领域先前研究相当且把握度足够,但不足以进行亚组分析(如既往支气管镜经验对两组表现的影响)。
- 局限:3例ETG参与者因培训前测试表现极差作为异常值被剔除进行二次分析,尽管随机化适当,但导致两组基线表现存在显著差异。
- 局限:AI系统不提供关于灵活性(如壁碰撞和管腔中心性)的反馈。
- 局限:未来研究应解决该AI系统对支气管镜技能保留的影响。
- 作者结论:需要在患者中通过临床研究验证。
对床旁实践的改变
- 作者认为,使用AI系统培训使重症医师支气管镜操作更快、更高效,可能改变重症支气管镜培训的未来。
- 作者认为,AI系统提供的即时、非语言反馈可能让学习者更专注,并可能提供心理安全感,从而优化学习。
- 作者认为,AI系统可让学习者独立进行刻意练习和掌握学习,在ICU基于操作技能的学习中尤其有价值。
- 作者认为,专家临床导师可被解放出来补充学习者培训,例如改善操作手法、灵活性及其他基于价值的支气管镜技能。
- 作者认为,该AI系统的可迁移性和对患者的影响需要紧急评估。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译10 节 · 点击展开
(未能翻译,以下为原文)Question: Is training with an AI system that incorporates augmented reality comparable to bedside, expert tutor instruction in improving bronchoscopy performance of critical-care physicians?
(未能翻译,以下为原文)Findings: In this unique, simulated, randomized controlled trial, those who trained using the AI system demonstrated significantly better post-training bronchoscopy performance when compared to those who received expert tutor instruction. The AI arm demonstrated a mean intersegmental time (procedure time/ number of segments visited) that was 7.9 seconds quicker (p = 0.027) and showed a moderate effect size of 0.35 as per Cohen’s classification.
(未能翻译,以下为原文)Meaning: Training using an AI system resulted in better, faster, and more efficient bronchoscopy performance by critical-care physicians when compared to expert human tutor instruction; this could change the future of bronchoscopy training in critical care and warrants validation in patients through clinical studies.
柔性支气管镜检查对于危重症患者的最佳管理至关重要,使支气管镜操作熟练度成为重症监护医师的一项基本技能 (1, 2)。其应用是机械通气患者的标准诊疗措施 (3),最常见的适应证为诊断性或治疗性。重症监护支气管镜操作的高水平胜任能力有助于改善多项操作结局,如诊断阳性率、不良事件数量、操作者间的一致性,以及最终的患者安全与管理。
在重症医学领域,与呼吸医学相比,获得必要支气管镜技能和能力的机会和结构性安排可以说更少。缺乏专门的支气管镜排班、ICU中支气管镜需求的偶发性,以及其在重症医师装备中较为非传统的定位,都促成了这一问题。专科培训前住院医师,或实际上高年资住院医师,如果不是在呼吸危重症方向上,将受到实践和培训中这种差异的影响。其直接后果是,大多数ICU在支气管镜培训中仍然采用目前有争议的Halstedian“看一个、做一个、教一个”范式(4),即接受培训的重症医师很可能在其能力发展的早期就对真实患者实施操作。这种学徒式方法引发了患者安全担忧(4, 5),研究也提到新手支气管镜医师的并发症发生率增加以及诊断和治疗结果欠佳(5–7)。专门且一致的专家导师指导可提供知识、技能获取和能力评估,但耗费大量时间和资源。因此,在支气管镜培训期间,一种可靠的辅助手段或替代专家导师提供的反馈和评估的方法,可能对培训项目具有影响力。
(未能翻译,以下为原文)Virtual reality (VR) simulation bronchoscopy improves performance (5, 8–14) and provides effective experiential learning opportunities that forego patient risk (15). However, VR does not provide the haptic feedback that practice on a model or human endobronchial tree offers. Now, a novel artificial intelligence (AI) bronchoscopic positioning system exists, that uses augmented reality (AR) to teach bronchoscopy differently to existing instructor delivered-hands-on courses or VR systems – the Ambu Broncho Simulator. Recent studies using this system have already demonstrated its ability to improve the bronchoscopy performance of pulmonary bronchoscopists of all experiences when used (16).
(未能翻译,以下为原文)The current study compares guidance and feedback from the AI system to that delivered by expert tutors, for attaining bronchoscopy performance skills in critical-care physicians.
材料与方法
研究设计
在英国伦敦帝国理工学院切尔西和威斯敏斯特医院的一个模拟环境中,开展了一项针对重症监护医师的平行组随机对照试验(RCT)。该研究遵循了模拟研究的《试验报告统一标准》指南(17)(补充材料1,http://links.lww.com/CCM/H701)。参与者通过电子邮件以及国家、区域和地方重症监护网络的广告受邀参加。使用在线排程平台(Calendly;https://calendly.com/)安排志愿者参与。既往在ICU对危重症患者至少进行过一次无监督支气管镜检查者符合研究参与条件。研究信息表和知情同意书在参与前发送。参与者由KA随机分配至人工智能培训组(AIG)或专家导师组(ETG)。采用由Sealed Envelope(Sealed Envelope,伦敦,英国)生成的非盲、1:1分层区组随机化,在培训前立即在各层内分配参与者。按性别(男性、女性)和支气管镜经验(新手,< 10次/中级,10–99次/专家,≥ 100次支气管镜检查)分层,应用大小为二和四的随机排列区组。
操作在逼真的硅胶支气管镜仿真肺模型(Koken支气管镜训练LM-092,Koken,LTH,东京,日本)上进行,该模型包含五级支气管的模拟结构(补充材料2,http://links.lww.com/CCM/H701)。使用一次性柔性支气管镜(aScope 5 Broncho HD 5.0/2.2,Ambu,巴勒鲁普,丹麦)完成每项操作。支气管镜连接至便携式监视器(aView 2 Advance,Ambu,巴勒鲁普,丹麦),其图像转播至参与者使用的40英寸电视显示屏(补充材料3a,http://links.lww.com/CCM/H701)。人工智能系统(Ambu Broncho Simulator,原型版本AmbuBPS-trainingGUIDE v.0.0.1,Ambu)连接至支气管镜设置,以捕获所有操作的数据并为AIG组的参与者提供培训。
两组全程由人工智能系统测量的操作指标已在事前向参与者说明:
操作时间(PT):当主隆突可视化时计时器自动开始,当内镜被取出且主要研究者之一按下软件键盘上的“escape”键时计时结束。
诊断完整性(DC):以进入的肺段总数来衡量。DC 的最高分为 18 分,分配为右肺 10 个段和左肺 8 个段(第 1+2 段融合,无第 7 段)。
平均段间时间(MIT):计算为 PT/DC。此指标用于代表整体操作效率。既往研究已显示 PT 可作为支气管镜操作表现的指标(18)。然而,这并不总是与操作表现直接相关(例如,PT 很快但 DC 极低,即未完整检查所有肺段)。较低的分数提示更好的操作效率(即在更短时间内到达更多肺段)。
结构化进度(SP):每当参与者按正确的升序观察到下一个连续肺段时,即给予 1 分。
肺段重复访问(SR):以任何肺段在已被观察并进入后再次被访问的总次数来衡量。
参与者在研究前没有阅读材料或资源。所有参与者被要求在尽可能短的时间内,以有序的方式完成一次训练前基线完整支气管镜检查(观察右侧 10 个段和左侧 8 个段)。随后,参与者接受了 30 分钟的支气管镜培训。
随机分配至 AIG 的参与者使用 AI 系统进行自主训练(补充材料 3b,http://links.lww.com/CCM/H701)。AI 系统通过三个功能提供反馈,这些功能在支气管镜检查进行时实时叠加在屏幕上(图 1):
屏幕标签——显示可见支气管的名称,直至肺段水平。标签遵循 Yamashita 命名系统(19),其中 RB2 为右上叶后段。这些标签以增强现实(AR)方式叠加在支气管和肺段上。一旦进入某个肺段,标签从白色变为绿色。
肺树图——显示在屏幕右下角,提供支气管镜在肺树中位置的信息。当支气管在远处首次被观察时,肺树区域变为浅绿色,当进入相应肺段时变为深绿色。
SP 评分——显示在屏幕左侧,所有肺段以白色字体列出。当从隆突开始按升序连续访问支气管肺段时给予分数。如果按正确顺序进入,列出的肺段从白色变为绿色。如果未按顺序进入,肺段字体变为红色。例如,按以下顺序进行支气管镜检查:主隆突 -> RB1 -> RB2 -> RB3,将得 3 分。按以下顺序探查:主隆突 -> RB3 -> RB1 -> RB2,将得 1 分(20)。
AI 系统的用户可选择训练期间激活的三个反馈功能的数量。每次练习运行结束时,AIG 参与者在显示器上收到自动反馈,详细说明其 PT、DC 和 SP 评分。AIG 参与者被提醒最终测试将在没有 AI 任何辅助的情况下进行,因此鼓励至少进行一次关闭所有 AI 反馈功能的测试运行。主要研究者在训练期间观察 AIG,不提供任何反馈,仅在 AI 系统出现问题时待命。
被随机分配到ETG组的人员接受了两位肺与重症监护专家顾问的一对一指导,这两位顾问在执行和教授支气管镜检查方面合计拥有超过30年的经验(>6500例支气管镜检查)。两组均获得一张A3大小的支气管树示意图,标注了肺段解剖结构,仅在培训期间可根据需要使用。ETG组参与者在培训期间未接受任何AI反馈,仅在其最终测试支气管镜检查后收到AI测量的表现指标。其培训期间的表现反馈基于专家导师的评论和指导(补充材料3a,http://links.lww.com/CCM/H701)。
两组均被要求在培训后最终测试中尽可能在PT、DC、SP和SR方面取得最佳成绩。两组使用相同设备。在30分钟培训结束时,两组均在不借助AI或专家导师协助的情况下执行了最终测试支气管镜检查。研究流程图见补充材料4(http://links.lww.com/CCM/H701)。
最终测试后,所有参与者完成了一份感知工作负荷评估工具——NASA任务负荷指数(NASA-TLX)(21)。该方法提供有关参与者任务特定认知负荷的信息,涉及心理需求、身体需求、时间需求、努力、表现和挫折感等领域(21)(补充材料5,http://links.lww.com/CCM/H701)。
AI系统自动记录并评分所有操作,提供用于分析和比较培训前后支气管镜检查表现的数据。该AI系统已被验证能够评估支气管镜检查表现,其能力与人类专家评分者相当(22)。
数据收集于2023年12月4日至8日(周一至周五)为期5天的期间内进行。所有参与者在研究前均给予口头和书面知情同意,并提供其人口学信息(表1)。根据我们当地和国家指南,这项不涉及患者的模拟研究无需伦理批准。
结局指标
评估的主要结局指标为MIT(PT/DC)。次要结局为PT、DC、SP和SR。
基于先前使用AI系统训练和测试支气管镜操作表现的研究(18),估计在α 0.05水平下以80%把握度检测到PT或DC的统计学显著差异需要每组20名参与者(补充材料6,http://links.lww.com/CCM/H701)。
统计分析
所有数据使用社会科学统计软件包第29版(PASW v29.0;IBM Corp,Armonk,NY)进行分析。直方图、Q-Q图和Shapiro-Wilk检验分析提示所有结局指标数据应按非正态分布处理。因此,MIT、PT、DC、SP和SR以中位数和四分位距报告,并使用非参数检验比较组间差异——独立样本采用Mann-Whitney U检验,同一参与者不同时间点的配对观察采用Wilcoxon符号秩检验。NASA-TLX评分比较采用Mann-Whitney U检验。
结果
基线特征
四十名参与者自愿招募入研究,其中21名分配至ETG,19名分配至AIG。两组在性别分配、年龄或既往支气管镜经验方面无显著差异(表1)。
最终支气管镜测试表现
两组在训练前至训练后测试评分均表现出显著改善(表2)。
在最终测试支气管镜中,AIG(中位数差值,p):更高效,MIT(–7.9秒,0.027)和SR(–7次重访,0.019),且显著快于ETG(–77秒,0.022)(图2;以及补充材料7,http://links.lww.com/CCM/H701)。根据Cohen分类,MIT、PT和SR的差异具有中等效应量(分别为0.35、0.36和0.37)。
两组间DC(0个段,0.668)和SP(0分,0.376)无差异(补充材料7,http://links.lww.com/CCM/H701)。
由于两组间基线训练前评分存在显著差异,进行了二次分析(补充材料8,http://links.lww.com/CCM/H701)。ETG组的三名参与者(编号23、31和35)作为离群值被排除,因其训练前PT评分超过组数据第三四分位数的1.5(×)倍四分位距以上。这些离群值的训练前PT评分显著差于先前研究报告的结果,包括一项测试无既往支气管镜经验的见习医学生的研究(18)。剔除离群值后,两组在PT、DC、MIT和SP的基线支气管镜表现方面无显著差异(补充材料9,http://links.lww.com/CCM/H701)。剔除离群值后的二次分析显示结果与我们的主要分析相似(表3;以及补充材料10,http://links.lww.com/CCM/H701),显示AIG训练后表现显著更高效且快于ETG(中位数差值,p):MIT(–7.4秒,0.049)和PT(–74秒,0.039)(补充材料11,http://links.lww.com/CCM/H701)。
参与者分配编号及训练前后表现测试结果见补充材料12–14(http://links.lww.com/CCM/H701)。两组中各位临床医生的既往支气管镜经验见补充材料15和16(http://links.lww.com/CCM/H701)。
感知认知负荷测量
在NASA-TLX评分上,两组间总体感知工作负荷(中位数差异,p)(+6分,0.538)及工作负荷各亚组测量(图3;以及补充材料17和18,http://links.lww.com/CCM/H701)均未发现显著差异。
讨论
本研究首次将使用增强现实(AR)的新型人工智能(AI)系统支气管镜培训与当前公认的金标准——床旁专家导师指导教学——对医师的培训进行比较。与ETG相比,使用AI系统进行30分钟自主、持续培训并接受即时AI反馈,使支气管镜操作表现显著改善。尽管两种培训方法均改善了支气管镜操作表现(任何培训期预期均会如此),但AIG组表现出显著更快的操作时间(PT)和平均段间时间(MIT),证明其比ETG组受训者更快速、更高效。在机械通气患者中行支气管镜操作时,操作效率和PT是重要因素,因为PT越长,因低氧血症或其他生理不稳定导致病情恶化的倾向越高(23, 24)。此外,AIG中自主引导式培训的性质未导致额外的受试者心理应激,NASA-TLX评分相似即为证据。这是一项新发现,对未来支气管镜培训可能具有开创性意义,尤其对重症监护医师而言。
在某些领域,自动化系统如何可能比已被认可的专家导师指导标准取得更好的表现?所提供的非言语性即时反馈可能使AIG参与者练习时更加专注(25),消除面对面指导可能带来的言语干扰。此外,在没有被人师感知评判风险的情况下提供表现反馈,可能提供了额外的心理安全感,更好地优化了学习以及参与者随后的表现(26)。研究表明,通过虚拟现实模拟学习所提供的心理安全感可带来心流状态,从而产生更好的学习结果(27)。反思来看,本研究可能未能证明两组在认知负荷上的显著差异,原因在于NASA-TLX问卷的实施时机。得分可能反映的是对必须完成两组共同的“最终测试”的感知。在训练期结束时(最终测试之前)实施问卷,将能更好地洞察两种教学方式(AIG与ETG)之间的认知负荷差异。需要进一步的定性研究来充分探讨学习者对这种使用增强现实人工智能反馈系统的自主学习所感知到的益处。
我们研究中使用的AI系统所提供的无限次、可重复的操作练习并附带即时反馈,使使用者能够独立地进行刻意练习和掌握学习,以获得支气管镜技能。这种学习方法在获取ICU相关操作技能方面显示出特殊价值(28–30),并与更好的患者结局相关(31–34)。可以说,ETG组所接受的30分钟专门一对一支气管镜培训,在现实ICU环境中由于竞争性的工作压力而极难持续复制。高工作量和危重患者所带来的显著时间需求(35–39)在很大程度上使得像ETG组那样持续提供的培训不切实际,导致支气管镜培训的提供更加异质化。一个能够匹配并超越 scarce 的“金标准”资源——一对一辅导——所提供的支气管镜表现改善的AI培训系统的可用性,是此类系统的一大优势。专家临床导师随后可以被释放出来补充学习者培训,例如改善操作手法、灵活性以及其他基于价值的支气管镜技能和能力。事实上,Jiang等人在虚拟现实模拟器上使用专家引导练习展示了教学纤维光导插管的好处(12)。在另一项虚拟现实支气管镜培训研究中(5),参与者给出反馈,要求使用模拟系统但有真人导师促进。AI系统对增强现实的使用很可能扩展导师的教学能力。屏幕上的叠加标签和肺树图为师徒双方提供了在现实世界中无法获得的清晰可见的参考点和符号,使抽象内容更加具体,并在教学中更容易描述,减少误解并改善沟通。未来研究应探讨使用AI系统的专家导师促进培训与本研究中测试的方法在改善支气管镜表现方面的比较。
本研究中的人工智能系统还具备在医师培训中更广泛应用的潜力。既往研究显示,该人工智能系统能够有效地用于掌握式学习和自主学习支气管镜操作(40)。此外,虚拟现实系统此前已被证明在评估操作表现方面与支气管镜专家相当(11),而这一特定系统已被验证在评估支气管镜操作能力方面与人类评分者相当(22)。这引出了一个有趣的前景:将Ambu Broncho Simulator用作独立的培训系统,可远程评估医师的自主学习和支气管镜操作能力的展示。这将对呼吸病学和重症医学中支气管镜培训标准的课程设置产生重大影响。
本研究具有若干优势。第一,随机对照试验(RCT)设计对于理解该系统相对于最佳实践——即专家导师指导教学——的附加价值至关重要。第二,增强现实(AR)系统与物理幻影肺模型交互,确保使用者获得触觉反馈,例如支气管镜移动时的动态阻力,提供优于其他虚拟支气管镜模拟器的模拟体验,并更普遍地反映外科实践培训的发展(41)。第三,人工智能系统软件记录了所有支气管镜操作表现指标,消除了人为误差的可能性,提供准确、一致和标准化的反馈(8, 14, 22)。
本研究存在局限性。第一,尽管研究规模与该领域既往研究相当,且针对结局指标进行了效力计算,但样本量不足以进行亚组分析,例如分析既往支气管镜经验对两组支气管镜操作表现影响的作用(39)。第二,从ETG组移除了三例离群值进行二次分析,因为其培训前测试表现指标极差,导致两组间培训前支气管镜操作表现指标存在显著差异(表1),尽管随机化是适当的。对参与者操作视频的审查未发现测量、数据录入或处理错误。一个可行的解释是,我们随机化分层的一部分是基于纯粹以“支气管镜操作次数”来分配支气管镜经验。确实,值得注意的是,这是迄今为止唯一在干预前客观测量培训前基线表现的研究。在未来的培训研究中,这可能被证明是“支气管镜经验”更有用的替代指标,并进一步凸显了以数量为基础的能力目标的实用性存疑(2)。第三,人工智能系统不提供关于灵巧性方面的反馈,如壁碰撞和管腔中心性。这些操作表现指标在某些虚拟现实平台中可获得(42, 43),若将其纳入该人工智能系统,将降低游戏化诱导的鲁莽行为风险,并进一步提高系统的保真度。最后,未来研究应探讨该人工智能系统对支气管镜技能保持的影响。
结论
使用增强现实(AR)的人工智能支气管镜定位与反馈系统(Ambu Broncho Simulator)在提高重症监护医师的支气管镜操作效率(更优的MIT和SR)和操作时间方面优于专家辅导。这可能对支气管镜技能的课程培训和评估产生显著的积极影响。其可迁移性及对患者的影响亟待评估。
致谢
我们感谢Ambu允许我们在本研究中使用的Broncho Simulator。
补充材料
参考来源
- Agbontaen KO, Cold KM, Woods D, et al. Artificial Intelligence-Guided Bronchoscopy is Superior to Human Expert Instruction for the Performance of Critical-Care Physicians: A Randomized Controlled Trial. Crit Care Med. 2025. PMID: 40111112. doi:10.1097/CCM.0000000000006629
- 全文:PMC12047642(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12047642/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。