医师修订AI生成草稿与ICU临终关怀书面解释评分更高相关:一项基于场景的单中心横断面研究
该单中心、基于场景的横断面研究纳入45名参与者(15名医师、15名护士、15名非医疗专业人士),针对3个ICU临终关怀临床场景的15个问题,比较医师单独、AI(ChatGPT)单独及医师修订AI草稿三种书面解释。三个预设主要结局(医疗有效性由医疗专业人士评分、共情由医疗专业人士评分、共情由非医疗专业人士评分)均显示医师-AI协作评分显著高于另外两组,共情差异大于医疗有效性;医师单独与AI单独之间多数比较无显著差异。结论提示医师修订LLM草稿可能提升ICU临终关怀沟通质量,但临床重要性不确定,需多中心前瞻性研究验证。
要点
- 在ICU临终关怀书面解释中,医师修订AI草稿的医疗有效性评分显著高于医师单独(P<0.001)和AI单独(P<0.001),医师单独与AI单独无显著差异(P=0.210)。
- 医师修订AI草稿的共情评分(医疗专业人士评)显著高于医师单独和AI单独(均P<0.001),医师单独与AI单独无显著差异(P>0.999)。
- 非医疗专业人士评共情:医师修订AI草稿显著高于医师单独(P=0.019)和AI单独(P=0.019),医师单独与AI单独无显著差异(P>0.999)。
- 医师修订AI草稿获得≥4分的估计比例在医疗有效性为85.4%(医师单独64.6%、AI单独53.3%),共情(医疗专业人士评)为85.2%(43.0%、42.1%)。
- 研究为单中心、基于场景的初步研究,未进行先验样本量计算,评分者间一致性有限(ICC 0.116–0.283),临床重要性不确定。
适用人群与场景
- 纳入45名参与者:15名医师、15名护士(均非本院ICU所属)及15名非医疗专业人士(年龄≥18岁、高中及以上学历)。
- 研究场景为ICU临终关怀,模拟三种危及生命的状况:需VA-ECMO的脓毒性休克、恶性肿瘤患者的严重呼吸衰竭、心脏骤停后综合征。
- 排除标准原文未提及。
诊断标准与关键阈值
- 医疗有效性采用研究者自制的5点Likert量表(1=非常差,可能造成误解或伤害;5=非常好,科学依据充分、符合指南、无需重要补充),非已验证工具。
- 共情采用5点Likert量表(1=无共情,5=非常有共情),参考日文版CARE Measure的概念框架,但未作为正式评分工具。
- 预设主要结局三项:医疗有效性(医疗专业人士评)、共情(医疗专业人士评)、共情(非医疗专业人士评)。
处置流程与药物剂量
- 医师-AI协作流程:将临床场景以预定义提示输入ChatGPT生成草稿,再由医师根据问题特定指令(要求清晰、共情的解释,涵盖病情、治疗理由、潜在并发症、预后和照护计划)修订草稿。
- AI单独组:使用相同预定义提示生成回答,原样使用,不修改(包括不纠正打字错误)。
- 医师单独组:由未参与场景开发的 intensivists 独立生成回答,遵循与协作组相同的问题特定指令。
- 使用的LLM为GPT-5.0(ChatGPT Plus;OpenAI),通过网页界面生成,生成参数不可手动控制。
红旗征与不能漏的情况
- 原文未提及
研究设计与关键结果
- 研究类型:单中心、基于场景的横断面研究,纳入45名参与者(15医师、15护士、15非医疗专业人士),无退出或缺失数据。
- 医疗有效性(医疗专业人士评,n=30):医师-AI协作 vs 医师单独 P<0.001,vs AI单独 P<0.001;医师单独 vs AI单独 P=0.210;Kendall‘s W=0.64(95%CI 0.49–0.80)。
- 共情(医疗专业人士评,n=30):医师-AI协作 vs 医师单独 P<0.001,vs AI单独 P<0.001;医师单独 vs AI单独 P>0.999;Kendall’s W=0.70(95%CI 0.54–0.80)。
- 共情(非医疗专业人士评,n=15):医师-AI协作 vs 医师单独 P=0.019,vs AI单独 P=0.019;医师单独 vs AI单独 P>0.999;Kendall‘s W=0.33(95%CI 0.08–0.76)。
- 敏感性分析(线性混合模型):医疗有效性医师-AI协作 vs 医师单独估计值0.42(95%CI 0.33–0.50,P<0.001);共情(医疗专业人士评)估计值0.98(95%CI 0.86–1.10,P<0.001);共情(非医疗专业人士评)估计值1.21(95%CI 1.03–1.40,P<0.001)。
- 探索性分析(评分≥4的估计比例):医疗有效性医师-AI协作85.4%、医师单独64.6%、AI单独53.3%;共情(医疗专业人士评)85.2%、43.0%、42.1%;共情(非医疗专业人士评)75.9%、30.3%、35.6%。
- 评分者间一致性有限:单测ICC医疗有效性0.116(95%CI 0.073–0.186),共情(医疗专业人士评)0.283(95%CI 0.203–0.397),共情(非医疗专业人士评)0.282(95%CI 0.195–0.403)。
证据类型、等级与局限
- 证据类型:单中心、基于场景的横断面研究(初步研究),依据STROBE声明报告。
- 未进行先验样本量计算,基于可行性计划每组招募15人;无证据等级或推荐强度分级。
- 局限:单中心、样本量小(45人)、场景模拟而非真实临床沟通、评分量表为研究者自制(医疗有效性未验证)、评分者间一致性有限、AI生成仅单次未评估重复生成变异性、无法区分LLM草稿贡献与医师修订或两阶段流程的贡献;原文结论称临床重要性不确定,需多中心、过程匹配的前瞻性研究。
对床旁实践的改变
- 在ICU临终关怀书面沟通中,可考虑采用医师修订LLM生成草稿的工作流程,可能提高医疗有效性和共情评分,尤其共情提升幅度更大。
- 不应直接使用LLM单独生成的解释而不经医师审核,因AI单独在部分分析中评分低于医师单独(如医疗有效性敏感性分析估计值−0.17,95%CI −0.26至−0.08)。
- 该流程不能替代医师单独沟通,因医师单独与医师-AI协作的差异在模拟场景中观察,真实临床效果和患者结局未知。
- 适用人群为ICU临终关怀场景中患者或家属的书面解释;不适用于原文未提及的其他场景或人群。
- 常见陷阱:评分者间一致性低(ICC 0.116–0.283),提示评分主观性强,不能将评分差异直接等同于临床沟通质量改善。
指南或共识出处
- 原文未提及
全文中译15 节 · 点击展开
背景
重症监护病房(ICU)中的临终(EOL)决策通常涉及不给予或撤除生命维持治疗[1]。因此,推荐采用共享决策,使治疗决策与医学证据以及患者的价值观、目标和偏好相一致[2]。高质量的沟通对于支持替代决策者以及减轻家庭成员和丧亲家属的心理痛苦至关重要[3, 4]。医学上准确且临床适宜的信息对于患者及其家属理解患者病情、预后和治疗选择至关重要。与此同时,共情沟通有助于在临床医生与家属之间建立信任,提供情感支持,并促进患者和家属表达其关切和价值观。这些信息性要素和关系性要素相辅相成,共同支持知情、以患者为中心的共享决策[2–5]。然而,临床医生的沟通技能参差不齐,获得正式培训的机会仍然有限[6, 7]。因此,家属可能得到不充分的解释,并在预后理解上存在差异[8]。
大语言模型(LLM)是一种旨在处理和生成文本的人工智能(AI),近年来已被探索作为支持医学沟通的工具[9]。既往在一般临床环境中的研究表明,LLM可以生成被认为具有共情性和高质量的解釋[10, 11]。然而,LLM也可能生成不准确或过于笼统的信息,且可能无法充分考虑个体临床情况,这凸显了医生审核的必要性[12]。人在回路工作流程——即由医生审核和编辑LLM生成的草稿——也已被应用于患者门户消息,并从实施情况、医生工作量和响应相关时间等方面进行了评估[13, 14]。然而,这些协作工作流程主要集中于门诊环境中的患者门户消息。目前尚不清楚医生对LLM生成草稿的修订是否与ICU临终护理中更高的沟通质量评分相关。
本研究旨在在模拟ICU临终场景中,比较由医生单独、基于LLM的聊天机器人单独或通过医生修订LLM生成草稿所产生的书面解释,在沟通质量的两个互补维度上的表现:医学有效性和共情性。医学有效性反映所提供信息的准确性和临床适宜性,而共情性反映对患者及其家属情感需求、关切和价值观的回应性。我们假设,医生–AI协作生成的回复在医学有效性和共情性两方面均会被评为高于任一单独方式。
方法
研究设计与设置
本研究为单中心、基于情景的横断面研究,于2025年9月1日至11月30日在日本札幌医科大学医学部重症监护医学系开展。本研究经札幌医科大学伦理委员会批准(批准号:7-1-14;2025年6月11日),并获得所有参与者的书面知情同意。所有收集的数据均经匿名化处理,由主要研究者以密码保护方式存储。本研究按照加强流行病学观察性研究报告(STROBE)声明[15]进行和报告。
参与者
参与者通过张贴在札幌医科大学医学部重症监护医学系网站上的研究公告招募,包括医疗专业人员(医生和护士)和非医疗专业人员。医疗专业人员的纳入标准为不属于我院ICU的医生或护士。医疗专业人员的招募涵盖不同专业和临床环境,而非专门针对ICU专科医生。非医疗专业人员的纳入标准为成年人(年龄≥18岁),教育水平为高中及以上,以确保对临床情景有充分的理解。共纳入45名参与者,包括15名医生、15名护士和15名非医疗专业人员。
变量
根据评分领域和评分者群体的组合,预先设定了三个主要结局指标:(1)由医疗专业人员评定的医学有效性,(2)由医疗专业人员评定的共情性,(3)由非医疗专业人员评定的共情性。对于每个主要结局指标,在仅医生、仅人工智能(AI)和医生-AI协作应答组之间进行评分比较。次要结局为医疗专业人员评定的医学有效性与共情性之间的关联。医疗专业人员评定医学有效性和共情性,而非医疗专业人员仅评定共情性,均使用5点Likert量表。
医学有效性
5点医学有效性量表由研究者专门为本研究开发,并非源自先前验证过的工具。该量表旨在评估所提供信息的准确性、临床适宜性和完整性,以及其引起误解或伤害的可能性。医学有效性评分如下:(1)(很差),表示回答包含不正确或无依据的医学信息,可能对患者造成误解或伤害;(2)(差),表示回答缺乏充分的医学依据,遗漏重要信息或包含不恰当的解释;(3)(可接受),表示回答包含一些不准确或不足的信息,但总体保持医学有效性;(4)(好),表示回答总体适当且可被临床实践接受,大多数必要信息得到充分传达;(5)(很好),表示回答具有科学依据,符合当前指南和证据,无需重要的补充信息。
共情性
共情评分如下:1表示没有共情,2表示轻度共情,3表示中度共情,4表示有共情,5表示非常有共情。为指导共情评估,参与者事先获得《咨询与关系共情(CARE)量表》[16]的日文译本。由于原始CARE量表是为面对面临床咨询开发的,本研究未将其用作正式评分工具;仅选取部分概念作为评估书面沟通的参考框架。
数据收集
我们机构的三名重症监护医师开发了三个模拟ICU临终关怀的临床情景。这些情景涵盖ICU中遇到的三种代表性危及生命的状况:(1)需要静脉-动脉体外膜氧合治疗的感染性休克,(2)恶性肿瘤患者的严重呼吸衰竭,以及(3)心脏骤停后综合征。针对每个情景,准备了面向患者或家属的说明,包括患者背景、临床经过、治疗和预后。此外,每个情景包含患者或家属向医生提出的五个问题,所有情景共15个问题。针对每个问题,准备了三种类型的回答:仅医生、仅AI和医生–AI协作回答。参与者阅读所有情景及相应回答,然后评估回答文本的质量。
回答由以下三组生成。关于所需临床信息和共情沟通的相同问题特异性指令应用于仅医生组和医生–AI协作组。这些指令要求清晰且富有共情地解释指定的临床信息,包括(如适用)患者病情、治疗理由、潜在并发症、预后和照护计划。仅AI组的提示同样强调医学适当性和共情。
在本研究中,“AI”指ChatGPT,一种基于LLM的聊天机器人。“LLM”用于指代底层模型或技术,而“AI”保留在组标签中以确保清晰和一致。仅医生组
未参与情景开发的重症监护医师在不借助LLM的情况下独立生成回答。对于每个问题,他们遵循与医生–AI协作组相同的关于所需临床信息和共情沟通的问题特异性指令。2.仅AI组
将临床情景使用预定义提示输入ChatGPT,以生成面向患者或家属的医学上有效且富有共情的解释。生成的回答按原始形式使用,未作任何修改,包括更正排版错误。3.医生–AI协作组
我们机构中未参与情景开发、且与分配到仅医师组和仅人工智能组的医师不同的其他重症监护医师,使用ChatGPT生成了医师–人工智能协作回复。具体而言,临床情景使用与仅人工智能组相同的预定义提示词输入ChatGPT。随后,医师根据与仅医师组所接受的相同的、关于所需临床信息和共情沟通的问题特异性指导,对生成的草稿进行修订。
回复由七名重症监护医师生成。所有回复作者均具有超过10年的临床经验,并在日本获得重症监护医学专科委员会认证。对于每个情景,仅医师回复和医师–人工智能协作回复由不同的重症监护医师撰写,而所有仅人工智能回复均由一名重症监护医师输入情景和预定义提示词后由ChatGPT生成。在仅人工智能组和医师–人工智能协作组中,每个问题仅允许输入一次提示词,且除预定义文本外不允许提供额外指示。每个问题的临床情景和所提供的指示见附加文件1。附加文件2包含相同的问题和指示以及完整的仅医师、仅人工智能和医师–人工智能协作回复。输入ChatGPT的预定义提示词见附加文件3。
本研究使用的LLM为GPT-5.0(ChatGPT Plus;OpenAI)。所有LLM生成的回复均于2025年8月1日至8月15日期间使用基于网页的ChatGPT用户界面生成。除附加文件3中提供的预定义提示词外,研究者未指定额外的系统级指示或自定义指示。由于使用的是基于网页的界面,温度、top-p和随机种子等生成参数无法手动控制。提示词和所有生成的回复均为日语,不涉及翻译过程。每个问题仅生成一个回复,未评估重复生成之间的变异性。为尽量减少既往对话历史可能带来的偏倚,我们在所有交互中使用了新创建的账户和临时聊天(Temporary Chat)功能。
偏倚
对于每个情景,由一名未参与回答生成或评估的研究合作者将医生随机分配到仅医生组和医生–人工智能协作组。该过程使用按顺序编号的不透明信封进行,以确保分配隐藏。对于15个问题中的每一个,每位参与者评估所有三个相应的回答:一个仅医生回答、一个仅人工智能回答和一个医生–人工智能协作回答。每位参与者评估45份回答文本;医疗保健专业人员跨两个领域提供90个评分,而非医疗保健专业人员提供45个共情评分。每个问题的三个回答一起呈现,但其顺序使用计算机生成的随机数进行随机化。在每个情景内,问题按预定义顺序呈现,以保持情景的临床和叙述连续性;因此,问题顺序未进行随机化。参与者被告知该研究比较不同类型的书面回答;然而,他们对每个回答属于仅医生组、仅人工智能组还是医生–人工智能协作组设盲。
研究规模
由于这是一项初步的、基于情景的研究,且关于预期效应量的先前信息有限,未进行基于统计功效的先验样本量计算。基于可行性,我们计划在医生、护士和非医疗保健专业人员组中各招募15名参与者。
统计分析
对于三个预设主要结局中的每一个,作为主要分析,在参与者水平使用Friedman检验比较三个回答组。作为敏感性分析,对评分水平数据拟合线性混合效应模型;作为探索性分析,拟合广义线性混合效应模型检验评分≥4的概率。次要结局,即医疗保健专业人员评定的医学有效性与共情之间的关联,使用线性混合效应模型单独分析。
对于主要分析,对每位参与者计算每组15个回答(三个情景中的五个问题)的评分平均值,并使用Friedman检验比较各组之间所得的参与者水平平均评分。计算Kendall's W作为效应量[17],95%置信区间(CI)使用10,000个参与者水平bootstrap样本估计,这些样本保留了每位参与者内三个匹配的组评分。为控制三个预设主要结局的总体错误率,Friedman检验使用Bonferroni校正的显著性阈值0.0167(0.05/3)。对于Friedman检验中存在显著差异的结局,使用Dunn多重比较检验[18]进行事后两两比较,双侧P < 0.05被认为具有统计学显著性。
针对同样三个主要结局的敏感性分析,采用线性混合效应模型来解释各问题间重复评分的问题。模型将应答组作为固定效应,并为参与者和问题设置随机截距。由于每个问题都与特定的临床情景相关联,情景层面的变异由问题层面的随机截距来代表。应答作者未作为随机效应纳入,因为作者数量较少且作者未在各应答组之间完全交叉。参数估计采用限制性最大似然法进行,并使用Satterthwaite方法近似固定效应的自由度[19]。报告了效应估计值及其95%置信区间(CIs)。
在探索性分析中,评分≥4编码为1,评分≤3编码为0,并使用广义线性混合效应模型比较各应答组获得评分≥4的概率。应答组作为固定效应纳入,并为参与者和问题设置随机截距。报告了比值比(ORs)及其95%置信区间。
对于次要结局,医疗有效性与医疗专业人员评定的共情之间的关联采用线性混合效应模型进行分析。以医疗有效性作为因变量,将共情、应答组及其交互作用作为固定效应纳入,参与者和问题作为随机截距;报告了各组特异性β系数及其95%置信区间。
在一项事后分析中,对45份应答文本分别针对每个主要结局评估了评分者间信度。采用双向随机效应模型计算绝对一致性下的单次测量组内相关系数(ICCs)及其95%置信区间。
在另一项事后分析中,应答长度定义为排除空格和换行后的日文字符数。字符数在匹配组间采用Friedman检验进行比较,若总体检验显著则随后进行Dunn两两比较。主要结局的线性混合效应模型还以每100个字符的均值中心化字符数作为固定效应重新拟合。
除非另有说明,双侧P < 0.05被认为具有统计学意义。参与者层面的平均评分以中位数及四分位距(IQRs)汇总。广义线性混合模型、线性混合效应模型和ICC分析使用R版本4.3.1(The R Foundation for Statistical Computing,维也纳,奥地利)拟合,而所有其他分析使用GraphPad Prism 10(GraphPad Software,波士顿,马萨诸塞州,美国,版本10.6.1 [892])进行。所有分析均使用完整病例数据;由于无缺失数据,未进行插补。
结果
2025年9月1日至11月30日期间,共纳入45名参与者,包括15名医生、15名护士和15名非医疗专业人员。所有入组参与者均对三个情景下每组的全部应答进行了评价;无退出或缺失数据(图1)。
参与者特征见表1,参与者水平的平均得分以中位数形式列于表2。Friedman检验显示,在所有预设的主要结局上均存在显著的组间差异,包括由医疗专业人员评定的医学有效性(P < 0.001)和共情(P < 0.001),以及由非医疗专业人员评定的共情(P = 0.007)(图2)。相应的Kendall's W值分别为:医疗专业人员评定的医学有效性为0.64(95% CI 0.49–0.80),医疗专业人员评定的共情为0.70(95% CI 0.54–0.80),非医疗专业人员评定的共情为0.33(95% CI 0.08–0.76)。三个共同主要结局的评定者间一致性均有限。单次测量ICC分别为:医疗专业人员评定的医学有效性为0.116(95% CI 0.073–0.186),医疗专业人员评定的共情为0.283(95% CI 0.203–0.397),非医疗专业人员评定的共情为0.282(95% CI 0.195–0.403)(附加文件4:表S1)。
对于由医疗专业人员评定的医学有效性(n = 30),主要分析显示,医师–人工智能协作回答获得的评分显著高于仅医师回答和仅人工智能回答(医师–人工智能协作 vs. 仅医师,P < 0.001;医师–人工智能协作 vs. 仅人工智能,P < 0.001),而仅医师回答与仅人工智能回答之间未观察到显著差异(P = 0.210)(表3)。敏感性分析支持医师–人工智能协作回答的评分高于仅医师回答(估计值,0.42;95% CI 0.33–0.50;P < 0.001)。与主要分析相反,在该模型中,仅人工智能回答的评分低于仅医师回答(估计值,− 0.17;95% CI − 0.26 至 − 0.08;P < 0.001)(表4)。在探索性分析中,医师–人工智能协作组、仅医师组和仅人工智能组中评分≥ 4的估计比例分别为85.4%、64.6%和53.3%(表5)。医师–人工智能协作组获得评分≥ 4的比值比高于其他两组,仅医师组的比值比高于仅人工智能组(表6)。因此,医师–人工智能协作回答评分较高在各分析中保持一致,而仅医师回答与仅人工智能回答之间的差异取决于分析方法。
对于由医疗保健专业人员评定的共情(n = 30),主要分析显示,医师–人工智能协作回答的评分显著高于仅医师回答和仅人工智能回答(医师–人工智能协作 vs. 仅医师,P < 0.001;医师–人工智能协作 vs. 仅人工智能,P < 0.001),而仅医师回答与仅人工智能回答之间无显著差异(P > 0.999)(表3)。敏感性分析支持医师–人工智能协作回答的评分高于仅医师回答(估计值,0.98;95% CI 0.86–1.10;P < 0.001)。仅人工智能回答与仅医师回答之间未观察到显著差异(估计值,0.12;95% CI 0.00–0.24;P = 0.054)(表4)。在探索性分析中,医师–人工智能协作组、仅医师组和仅人工智能组中评分≥4的估计比例分别为85.2%、43.0%和42.1%(表5)。医师–人工智能协作组获得评分≥4的几率高于其他两组,而仅医师组与仅人工智能组之间无显著差异(表6)。这些分析一致支持医师–人工智能协作回答的共情评分更高,仅医师回答与仅人工智能回答之间无明确差异。
对于由非医疗保健专业人员评定的共情(n = 15),主要分析显示,医师–人工智能协作回答的评分显著高于仅医师回答和仅人工智能回答(医师–人工智能协作 vs. 仅医师,P = 0.019;医师–人工智能协作 vs. 仅人工智能,P = 0.019),而仅医师回答与仅人工智能回答之间无显著差异(P > 0.999)(表3)。敏感性分析支持医师–人工智能协作回答的评分高于仅医师回答(估计值,1.21;95% CI 1.03–1.40;P < 0.001)。与主要分析相反,在该模型中仅人工智能回答的评分略高于仅医师回答(估计值,0.22;95% CI 0.04–0.40;P = 0.016)(表4)。在探索性分析中,医师–人工智能协作组、仅医师组和仅人工智能组中评分≥4的估计比例分别为75.9%、30.3%和35.6%(表5)。医师–人工智能协作组获得评分≥4的几率高于其他两组,而仅医师回答与仅人工智能回答之间无显著差异(表6)。因此,医师–人工智能协作回答评分更高的结果在各分析中一致,而仅人工智能回答与仅医师回答之间的小差异仅在敏感性分析中观察到。
在三个预设的主要结局中,主要分析显示医师–人工智能协作回答的评分高于仅医师回答和仅人工智能回答,这一模式在敏感性和探索性分析中亦观察到。相比之下,仅医师回答与仅人工智能回答之间的比较在不同分析方法间存在差异:主要分析中任何结局均未观察到显著差异,而医学有效性差异在敏感性和探索性分析中均观察到,非医疗保健专业人员评定的共情差异仅在敏感性分析中观察到。
在事后回复长度分析中,仅医师、仅人工智能(AI)和医师–AI协作回复的中位字符数分别为336(IQR,259–531)、234(IQR,181–248)和499(IQR,283–645)。仅医师回复和医师–AI协作回复均长于仅AI回复,而前两者之间无差异(附加文件5:表S2和表S3)。对回复长度进行校正后,估计的组间差异与未校正的敏感性分析基本无变化,且字符数与任何主要结局均无关(附加文件6:表S4)。
作为二次分析,各组特定斜率(β)在仅医师组为0.29(95% CI 0.24–0.34;P < 0.001),在仅AI组为0.38(95% CI 0.32–0.44;P < 0.001),在医师–AI协作组为0.41(95% CI 0.34–0.48;P < 0.001)。这些发现表明,在所有组中,共情与医学有效性均呈正相关(表7)。
讨论
本研究比较了在模拟ICU临终(EOL)情景中,由医师单独生成的书面解释、由基于大语言模型(LLM)的聊天机器人单独生成的书面解释,以及由医师对LLM生成草稿进行修订后的书面解释。在主要分析中,医师–AI协作回复在所有三项主要结局上均获得高于仅医师回复和仅AI回复的评分。然而,由于仅对最终回复进行了评估,无法区分LLM生成草稿、医师修订以及两阶段起草与修订过程各自的贡献。因此,这些发现应解释为协作工作流程整体与更高评分之间的关联,而非LLM生成草稿具有特定贡献的证据。
在主要分析中,医师-人工智能协作组与仅医师组在参与者层面的中位评分差异为:医学有效性0.3分,共情1.1分(由医疗专业和非医疗专业评估者共同评分)。因此,感知共情方面的差异比医学有效性方面的差异更为明显。然而,由于这些由研究者开发的5分制量表尚无经过验证的临床有意义差异阈值,这些差异的临床重要性仍不确定。
医师-人工智能协作回复在医学有效性方面获得了最高评分。然而,由于医疗专业评估者中未纳入任何委员会认证的重症医学科医师,这些发现应被解读为来自不同专科和临床环境的临床医师的评估,而非对ICU临终沟通的权威专家评估。既往研究提示,大语言模型(LLM)生成的知情同意文书可能更全面地覆盖关键信息[20]。然而,我们未系统比较LLM生成的初始草稿与医师修订后的最终回复,也未描述医师修订的性质和程度。因此,纠正不准确信息、补充临床相关细节、纳入情境特异性信息以及改善组织结构仍只是可能的解释,而非已证实的机制。
在共情方面,医师-人工智能协作回复从医疗专业和非医疗专业评估者处均获得了最高评分。然而,在15名非医疗专业评估者中,Kendall's W较小且其95% CI较医疗专业评估者更宽;因此该发现应谨慎解读。既往研究报告LLM生成的回复具有较高的感知共情[10, 11, 21]。医师对LLM生成草稿的修订可能通过纳入患者背景和使用更具支持性的语言而改善了共情。然而,由于未对修订内容进行分析,共情评分较高的原因仍不清楚。
仅医师回复和医师-人工智能协作回复比仅人工智能回复更长,而前两者之间无差异。对字符数进行调整未实质性改变组间估计值,且字符数与任何主要结局均无关联。因此,回复长度本身不能解释协作回复获得较高评分,尽管其他文本特征可能有所贡献。
仅医师回复与仅人工智能回复之间的差异在不同分析方法间不一致。在敏感性分析中,与仅医师回复相比,仅人工智能回复从医疗专业人员处获得的医学有效性评分略低,但从非医疗专业人员处获得的共情评分略高。这些差异可能反映了分析方法和数据结构的差异;然而,由于估计差异较小且尚无经过验证的临床有意义差异阈值,应谨慎解读。
局限性
本研究存在若干局限性。第一,基于情景的设计限制了对真实世界ICU沟通的评估,因为书面情景无法捕捉非语言沟通或实际家庭会议的情感背景。第二,仅由15名非医疗专业人员提供的共情评分所产生的肯德尔W系数较小、不确定性较医疗专业人员更宽,因此应更加谨慎地解读。这些评分间接反映了患者和家属的视角,而非对实际患者或家属获益的直接证据。第三,本单中心研究仅使用一个LLM版本、一个预定义提示词以及每个问题一次生成回答来评估三个ICU情景。由于未评估重复生成之间的变异性,LLM生成输出的可重复性和可能范围仍不确定。对其他环境、替代提示词措辞、模型、模型版本和输出的可推广性也有限。第四,评估程序可能引入了几种偏倚。较大的评分负担可能导致疲劳,固定问题顺序可能引入顺序效应。同时呈现可能促进了比较性而非独立性判断,并放大了感知到的组间差异。尽管采用了随机回答顺序和隐藏组别标签,文体特征仍可能揭示回答的生成方式,且未评估盲法是否成功以及对AI的态度。第五,由于仅医师回答和医师–AI协作回答由不同医师生成,写作能力的差异可能影响了结果。第六,研究特定的医学有效性量表未经过正式验证,而CARE量表并未针对纯文本评估进行验证,仅作为概念性指导使用。所有三项主要结局的评分者间一致性均有限。评分者中未纳入委员会认证的重症医学科医师;因此医疗专业人员评分反映的是异质性临床医师的评估,而非ICU终末期沟通的专科评估。第七,未评估医师修改的内容和程度以及所需的时间和精力。因此,导致更高评分的因素以及协作工作流程的效率仍不清楚。第八,未纳入流程匹配的对照,即由另一位医师审阅和修改一位医师的草稿。因此,LLM生成草稿的贡献无法与两阶段起草-修改流程的一般效应相区分。
结论
在这项关于ICU终末期护理沟通的基于情景的研究中,医师–AI协作回答获得了最高评分,共情方面的差异比医学有效性更为明显。然而,LLM生成草稿的具体贡献无法与随后的医师修改或两阶段起草-修改流程的一般效应相区分。有必要进一步开展多中心、流程匹配的前瞻性研究。
补充信息
附加文件1。本研究使用的临床情景。本文件包含三个模拟重症监护病房临终关怀的临床情景全文。这些情景涵盖需要静脉-动脉体外膜氧合治疗的脓毒性休克、恶性肿瘤患者的严重呼吸衰竭以及心脏骤停后综合征
附加文件2。仅医师、仅人工智能以及医师-人工智能协作回答的完整集合。本文件包含三个临床情景中全部15个问题的完整回答文本。对于每个问题,均提供仅医师组、仅人工智能组以及医师-人工智能协作组的回答
附加文件3。输入ChatGPT以生成回答的提示词。本文件包含针对每个临床情景中的每个问题输入ChatGPT的预设提示词。该提示词用于生成仅人工智能组的回答以及医师-人工智能协作组的初始草稿
附加文件4。三个预设主要结局的评分者间信度。本文件包含三个预设主要结局的单次测量组内相关系数及95%置信区间
附加文件5。三个回答组之间回答长度的比较。本文件包含仅医师组、仅人工智能组和医师-人工智能协作组回答长度的描述性统计,以及回答长度的总体比较和事后两两比较结果
附加文件6。回答长度校正的敏感性分析。本文件包含使用线性混合效应模型并校正回答长度的额外事后分析结果。对于每个共同主要结局,表S4呈现回答组和均值中心化字符数的估计效应,以每100个日文字符表示,并附95%置信区间和P值。
参考来源
- Kokita A, Haruna J, Goto Y, et al. Physician-revised AI-generated drafts are associated with higher ratings of written explanations in end-of-life care in the intensive care unit: a scenario-based single-center cross-sectional study. J Intensive Care. 2026. PMID: 42634076. doi:10.1186/s40560-026-00930-2
- 全文:PMC13501828(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13501828/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。