大语言模型辅助急诊科出院记录生成:一项比较效果研究
该研究在韩国一家2400张床位的三级医院开展,基于592例急诊病例微调轻量级大语言模型(Y-KNOT-EDN),并在50例测试病例中由6名急诊医师先后手工书写和编辑模型草稿完成300对记录,再由3名独立医师盲法用4C量表(完整性、正确性、简洁性、临床实用性)评分。结果显示LLM辅助记录在完整性(4.23 vs 4.03)、正确性(4.38 vs 4.20)、简洁性(4.23 vs 4.11)和临床实用性(4.17 vs 3.85)上均优于人工记录(均P<.001),每份记录书写时间中位数从69.5秒降至32.0秒(P<.001)。与未编辑的LLM草稿相比,LLM辅助记录简洁性更优(4.23 vs 3.98,P<.001)、临床实用性相当(4.17 vs 4.16,P>.99),但完整性和正确性略低。作者结论认为该辅助工具可减少书写时间且不损害记录质量。
要点
- 在50例测试病例中,LLM辅助记录较人工记录将每份出院记录书写时间中位数从69.5秒(95%CI 65.5-78.0)降至32.0秒(95%CI 29.5-36.0),P<.001。
- LLM辅助记录在完整性(4.23 vs 4.03)、正确性(4.38 vs 4.20)、简洁性(4.23 vs 4.11)和临床实用性(4.17 vs 3.85)上均高于人工记录(均P<.001)。
- 与未编辑的LLM草稿相比,LLM辅助记录简洁性更优(4.23 vs 3.98,P<.001)、临床实用性相当(4.17 vs 4.16,P>.99),但完整性(4.23 vs 4.34,P=.001)和正确性(4.38 vs 4.45,P<.001)较低。
- 50份LLM草稿审计发现6例遗漏和1例虚构,虚构内容为未执行的操作(夹板固定、换药),6名医师中5名在编辑时删除,仅经验最少的医师未删除。
- 在仅由急诊医师管理的病例中,LLM辅助记录的临床实用性优于人工记录和LLM草稿;在涉及1次或多次专科会诊的病例中,未编辑的LLM草稿临床实用性高于人工记录和LLM辅助记录。
适用人群与场景
- 成人患者(年龄≥17岁)及非疾病类儿科患者(如创伤、中毒或烧伤),且通常由急诊医师管理。
- 排除在儿科急诊由儿科医师诊治后出院的儿科患者,以及死亡患者。
- 研究场景为韩国首尔一家2400张床位的城市学术三级医院的一级急诊科,年就诊量约60000例,约70%患者由急诊医师出院。
研究设计与关键结果
- 研究类型为在体(in silico)随机序贯比较效果研究,单中心,测试病例50例,患者平均(SD)年龄57.7(23.1)岁,28例(56%)为女性,创伤与内科病例比为17:33,韩国分诊与急迫度量表分布为2级5例、3级15例、4级23例、5级7例。
- 6名急诊医师先在虚拟电子病历中手工书写50例出院记录(共300份),经1小时洗脱后,以随机顺序在预载LLM草稿的界面中编辑完成另300份LLM辅助记录;3名独立急诊主治医师盲法对每例的三种记录(人工、LLM草稿、LLM辅助)用4C量表(1-5分)评分。
- LLM辅助记录 vs 人工记录:完整性4.23(95%CI 4.17-4.28)vs 4.03(95%CI 3.96-4.09),正确性4.38(95%CI 4.33-4.42)vs 4.20(95%CI 4.14-4.26),简洁性4.23(95%CI 4.18-4.28)vs 4.11(95%CI 4.05-4.17),临床实用性4.17(95%CI 4.11-4.23)vs 3.85(95%CI 3.78-3.91),均P<.001。
- LLM辅助记录 vs LLM草稿:简洁性4.23 vs 3.98(95%CI 3.91-4.04),P<.001;临床实用性4.17 vs 4.16(95%CI 4.11-4.21),P>.99;完整性4.23 vs 4.34(95%CI 4.29-4.39),P=.001;正确性4.38 vs 4.45(95%CI 4.41-4.49),P<.001。
- 书写时间中位数:总体从人工69.5秒(95%CI 65.5-78.0)降至LLM辅助32.0秒(95%CI 29.5-36.0),H-L中位降低35.0秒(95%CI 29.5-41.5);仅急诊医师管理病例从69.0秒降至33.0秒,H-L降低24.0秒;单专科会诊从67.5秒降至30.0秒,H-L降低43.0秒;多专科会诊从80.5秒降至38.5秒,H-L降低48.5秒;所有bootstrap成对中位数比较P<.001。
- 混合模型分析显示LLM辅助下书写时间显著缩短,时间比为0.43(95%CI 0.39-0.47),P<.001。
- 敏感性分析(每名评估者仅取前50例,共150例)显示LLM辅助记录在临床实用性上优于人工记录(4.43 vs 4.17,P=.03),在完整性(4.43 vs 4.20,P=.06)、正确性(4.75 vs 4.69,P=.96)和简洁性(4.36 vs 4.27,P>.99)上非劣于人工记录。
- 评估者间一致性ICC:完整性0.58(95%CI 0.50-0.64),正确性0.39(95%CI 0.27-0.47),简洁性0.62(95%CI 0.55-0.68),临床实用性0.55(95%CI 0.48-0.62)。
证据类型、等级与局限
- 证据类型为单中心比较效果研究,设计参照ISPOR比较效果研究报道指南和TRIPOD-LLM报道指南。
- 原文报告局限性:Y-KNOT-EDN的微调和验证在单一机构内进行,存在对本地记录风格和临床实践过拟合的风险;仅50例精心选择的病例用于在体测试,可能不能反映繁忙城市急诊科的全部临床复杂性;尽管通过随机化病例顺序尽量减少回忆偏倚,医师仍可能因先前接触临床场景或随时间提高效率而受益;4C量表虽提供清晰聚焦的记录质量评估,但范围和验证仍属初步,未来应纳入更全面的新评估框架;评估依赖4C量表和文本相似性指标,未直接测量患者理解或满意度,未来应进行随机抽样的患者理解与满意度评价;正确性和临床实用性的评估者间信度仅为一般至中等,提示出院记录定性评估存在主观性和变异性,需要更先进严格的评估框架;有意排除某些不可靠或不完整的电子病历字段可能限制模型处理高度复杂场景的能力。
对床旁实践的改变
- 在急诊出院记录书写流程中,医师可先由院内大语言模型生成草稿,再在此基础上编辑定稿,以缩短书写时间;本研究显示总体书写时间时间比为0.43(95%CI 0.39-0.47)。
- 作者认为,尽管领域特异性微调后基线质量较高,简短的临床医师审阅仍是必要的,以捕捉罕见的虚构内容;审计中1例虚构记录了未执行的操作(夹板固定、换药),6名医师中5名在编辑时删除。
- 对于仅由急诊医师管理的病例,LLM辅助记录的临床实用性优于人工记录和LLM草稿;对于涉及专科会诊的病例,未编辑的LLM草稿临床实用性高于人工记录和LLM辅助记录,提示不同会诊复杂度下编辑策略可能需区别对待。
- 适用人群为成人(≥17岁)及非疾病类儿科患者(创伤、中毒、烧伤),且排除由儿科医师诊治后出院的儿科患者和死亡患者;该研究在虚拟电子病历环境中进行,未评估真实临床环境中的患者结局。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译15 节 · 点击展开
引言
急诊科(ED)的出院记录对于确保高质量的患者照护至关重要,其通过记录治疗细节、支持复诊患者的连续性以及促进向社区照护的平稳过渡来发挥作用。1,2 然而,在急诊科混乱且紧急的环境中,创建高质量的出院记录往往具有挑战性且耗时,导致记录延迟、不完整或缺失。3,4 由于低质量的出院记录可能导致处方不准确、随访延迟和再入院率增加,1,2 近年来利用大语言模型(LLMs)辅助出院记录书写引起了关注。5,6,7
既往探索基于LLM的出院记录生成的研究主要依赖于专有模型,8 这在真实临床环境中可能违反数据安全政策。9,10,11,12 虽然一些研究者尝试通过使用开源LLM或在安全的私有云环境中部署专有模型来解决这些问题,但这些解决方案在真实临床环境中的表现往往有限,尤其是在准确性和上下文理解方面。13,14 此外,较大模型所需的计算资源对全院部署构成了实际挑战。为解决这些局限性,我们开发了治疗知识导航器(Y-KNOT)项目,专注于使用轻量级架构创建一个高效的、基于LLM的本地助手,在性能与计算效率之间取得平衡。该项目的首个实现——Y-KNOT急诊科出院记录生成助手(Y-KNOT-EDN)——通过处理来自电子健康记录(EHR)的结构化临床信息,专门针对急诊科记录工作流程。本研究在虚拟EHR环境中评估了基于Y-KNOT-EDN使用的记录质量和模式变化,以验证其有效性和安全性。
方法
Y-KNOT-EDN的开发
本比较效果研究在韩国首尔一家拥有2400张床位的城市学术三级转诊医院进行。该医院的1级急诊科每年处理约60000人次患者就诊,负责管理首尔西北部地区的重症急诊病例。在该急诊科,约70%的患者由急诊医师办理出院,其出院记录通常由急诊医学医师或住院医师撰写。延世大学机构审查委员会批准了本研究,并因使用回顾性数据而豁免知情同意。研究设计和报告遵循国际药物经济学与结果研究学会(ISPOR)比较效果研究报告指南以及多变量预测模型个体预后或诊断透明报告(TRIPOD)LLM报告指南。15
Y-KNOT-med-base 是 Y-KNOT-EDN 背后的核心模型,其技术细节(包括模型架构和预训练过程)此前已有描述。16 简言之,我们基于一个市售的文本生成 transformer 模型(Llama3-8B;Meta)开发了一个轻量级大语言模型(LLM),使用 9.0 GB 的通用数据和 90.4 GB 的医学知识数据对其进行进一步预训练,并使用真实急诊(ED)离院病例通过指令微调对其进行微调(补充材料 1 中的 eMethods 1)。对于指令微调,我们检索了 2022 年 9 月 1 日至 2023 年 8 月 31 日期间就诊于急诊的患者数据。符合条件的记录要求急诊和离院文书完整且在 48 小时内定稿。该研究纳入成人患者(年龄≥17 岁)以及通常由急诊医师处理非疾病状况(如创伤、中毒或烧伤)的儿科患者。在儿科患者中,排除了在儿科医师处就诊于儿科急诊并随后离院的患者。死亡患者被排除。数据经过分层以确保每月分布均匀,最终得到 2028 例病例。从这些病例中,2 名急诊医师——一名委员会认证的急诊医师(J.H.K.)和一名急诊科四年级住院医师(J.P.)——选取了 592 例具有代表性的病例用于对 LLM 进行指令微调。选择标准强调常见的急诊就诊表现、不同的复杂程度以及临床记录的完整性,以确保真实的急诊离院场景(补充材料 1 中的 eFigure 1)。急诊医师审查了每名患者的完整病历,以确定每份离院记录中 6 个核心组成部分的可靠来源——病史、就诊原因、检查医嘱、检查结果、专科会诊详情和后续计划——以确保 Y-KNOT-EDN 生成的离院记录尽可能接近急诊医师所生成的记录。虽然主要诊断并非由 Y-KNOT-EDN 直接生成,但其被捕获在电子健康记录(EHR)系统的结构化模板中,从而确保叙述聚焦于全面的离院细节,而诊断则作为结构化数据记录在其他位置(补充材料 1 中的 eFigure 2)。
仅选择始终可得且可靠的数据源作为大语言模型(LLM)的输入。基于急诊科(ED)中2种可能的临床路径——需要专科会诊的患者或仅由急诊医师管理的患者——我们开发了2条不同的处理流程。在需要1次或多次专科会诊的病例中,系统利用急诊科初始记录和专科会诊申请单,以获取患者病史、检查发现和基础检查的简明而准确的概要,即急诊医师在申请专科会诊时通常记录的关键细节(图1)。相比之下,若仅由急诊医师管理,Y-KNOT-EDN仅参考急诊科初始记录和处方清单(图2)。在任一流程汇集相关数据后,向LLM提供一组预定义的指令提示,随后由其生成初始草稿。最后,基于规则的机制插入标准化的患者教育声明并精简冗长的处方术语,确保最终草稿符合出院记录的临床和法律要求。两名医师(J.P.和一名具有27年临床经验的儿科医师)在整个指令调优过程中评估了LLM的输出。指令提示的整体结构示例及LLM输出见图1和图2。用于指令调优的代表性病例的更详细筛选与整理过程见补充材料1中的eMethods 2。
Y-KNOT-EDN的计算机模拟随机序贯评估
在排除该指令调优数据集后,采用分层抽样选取50例独立病例进行测试,以确保覆盖不同会诊复杂程度:20例无专科会诊,20例需要单次专科会诊,10例需要多次会诊。所有出院报告均包含韩文和英文条目的混合内容。
计算机模拟随机序贯评估分两步进行,见补充材料1中的eFigure 1。首先,6名急诊医师被要求在虚拟电子健康记录(EHR)环境中,分别在不使用和使用Y-KNOT-EDN辅助的情况下,为50个代表性测试病例撰写急诊科出院记录。在第1阶段,医师在虚拟EHR界面中手动撰写出院记录,共产生300份手动记录。经过1小时的洗脱期后,第2阶段以随机顺序呈现相同病例,并将LLM草稿预加载到EHR界面中供直接编辑,共产生300份LLM辅助记录。两个阶段均记录了完成记录所需的时间,并就Y-KNOT-EDN的用户体验进行了简要调查。随后,3名分别具有6年、8年和9年急诊科经验的急诊主治医师——均与生成手动记录和LLM辅助记录的6名医师完全独立——对3种记录类型(手动记录、LLM草稿和LLM辅助记录)进行了盲法评估。我们使用4C指标(完整性、正确性、简洁性和临床实用性)17,18来捕捉临床文档摘要的关键方面,其定义列于补充材料1的eTable 1中。使用定制界面以随机顺序同时显示3种记录类型(补充材料1中的eFigure 3),均采用1至5分的Likert量表进行评分。每个病例的3种记录类型也以随机顺序呈现,仅标记为A、B和C,确保评估者无法仅凭呈现顺序识别所评估的记录类型。此外,由于相同的50份LLM草稿被重复评估6次,可能引入偏倚,因此进行了敏感性分析。为消除评估者在评估过程中识别出LLM草稿的可能性,仅使用每个50个病例的首次评估结果进行了单独分析。我们还审核了50份LLM草稿的遗漏和虚构内容;遗漏内容与6名医师的手动记录进行交叉核对,虚构内容则在每名医师的LLM辅助记录中检查是否得到纠正。
相似性分析
为定量评估每名临床医师的LLM辅助记录更接近于其手动记录还是LLM草稿,我们以LLM辅助记录作为参考文本,计算其与手动记录和LLM草稿的文本相似性和语义相似性(补充材料1中的eFigure 1)。对于文本相似性,使用面向召回率的要点评估替身(ROUGE-L)指标。ROUGE-L侧重于精确措辞,衡量生成文本中的n-gram(词序列)与参考文本中n-gram的重叠程度;评分范围为0至1,较低分数表示生成文本与参考文本之间的重叠较低,较高分数表示重叠较大。相比之下,对于语义相似性,使用BERTScore通过分析文本的上下文嵌入来评估意义相似性,捕捉底层概念的相似程度,而不仅仅是所使用的具体词语。BERTScore范围为0至1,较低分数表示生成文本与参考文本之间的语义相似性较低,较高分数表示语义相似性较高。
统计分析
对于临床分析,对3种记录类型进行了Friedman检验。如果出现显著差异,则使用带有Bonferroni校正的Wilcoxon符号秩检验进行两两比较。两两效应量通过Hedges g进行量化。鉴于评分的主观性,随后评估了评分者间信度;为对齐评分分布,每位评分者的评分在每个指标内进行z分数标准化。标准化后,我们使用Pingouin 0.5.5版本(Python软件基金会)计算了双向随机效应、一致性、多评分者组内相关系数。
每份记录的书写时间也进行了非参数分析。手动记录(第1次会话)与LLM辅助记录(第2次会话)之间的就诊内差异通过配对Hodges-Lehmann(H-L)中位数差进行汇总。归因于LLM辅助的书写时间缩短还通过交叉随机效应对数正态混合模型进行建模,该模型包含LLM使用和3级复杂度的固定效应,以及患者病例和医生书写者的随机截距。对于相似性分析,使用Shapiro-Wilk检验检查正态性。如果评分呈正态分布(P > .05),则使用配对t检验;否则,应用Wilcoxon符号秩检验。所有95% CI使用1000次重采样百分位自助法,所有统计显著性均为双侧。
结果
总体结果
在50例测试病例中,平均(SD)年龄为57.7(23.1)岁;28例患者(56%)为女性,22例(44%)为男性。创伤与内科病例之比为17:33,韩国分诊与急迫度量表分布包括5例患者为2级、15例患者为3级、23例患者为4级、7例患者为5级。基于4C指标的临床分析结果如图3所示。LLM草稿的平均评分在完整性(4.34;95% CI,4.29-4.39)和正确性(4.45;95% CI,4.41-4.49)方面均高于LLM辅助记录(完整性4.23 [95% CI,4.17-4.28;P = .001];正确性4.38 [95% CI,4.33-4.42;P < .001])和手动记录(完整性4.03 [95% CI,3.96-4.09;P < .001];正确性4.20 [95% CI,4.14-4.25;P < .001])。LLM辅助记录的平均评分在这两项指标上也均优于手动记录(均P < .001)。在简洁性方面,LLM辅助记录(4.23;95% CI,4.18-4.28)的平均评分最佳,优于手动记录(4.11;95% CI,4.05-4.17;P < .001)和LLM草稿(3.98;95% CI,3.91-4.04;P < .001)。手动记录也比LLM草稿更简洁(P = .004)。在临床实用性方面,LLM草稿(4.16;95% CI,4.11-4.21)和LLM辅助记录(4.17;95% CI,4.11-4.23)的实用性相似(P > .99),且两者均比手动记录(3.85;95% CI,3.78-3.91;均P < .001)更有用。详细结果——包括95% CI、Hedges g和H-L估计值——见补充材料1中的e表2。
分析显示,完整性的组内相关系数为0.58(95% CI,0.50-0.64),正确性为0.39(95% CI,0.27-0.47),简洁性为0.62(95% CI,0.55-0.68),临床实用性为0.55(95% CI,0.48-0.62)。补充材料1中的eFigure 4显示了两两5×5评分热图,展示了评估者评分一致和不一致的区域。这些结果表明,评估者间在简洁性和完整性方面具有中等可靠性,在临床实用性方面具有一般一致性,而在正确性方面可靠性相对较低。
基于会诊复杂度的亚组结果
对于仅由急诊医师管理的病例,LLM辅助记录在临床实用性方面优于手动记录和LLM初始草稿。有趣的是,对于涉及1次或多次专科会诊的病例,未经编辑的LLM草稿在临床实用性方面优于手动记录和LLM辅助记录。详细结果见补充材料1中的eFigure 5和eTable 3。
敏感性分析
仅纳入每位评估者前50例病例(共150例)的敏感性分析显示,LLM辅助记录在临床实用性方面优于手动记录(4.43 [95% CI,4.30-4.55] vs 4.17 [95% CI,4.04-4.31];P = .03),且在完整性(4.43 [95% CI,4.30-4.55] vs 4.20 [95% CI,4.05-4.35];P = .06)、正确性(4.75 [95% CI,4.63-4.85] vs 4.69 [95% CI,4.56-4.79];P = .96)和简洁性(4.36 [95% CI,4.21-4.49] vs 4.27 [95% CI,4.10-4.44];P > .99)方面非劣于手动记录(补充材料1中的eTable 4)。LLM辅助记录在简洁性方面得分高于LLM草稿,而其他指标未见显著差异。
相似性分析:ROUGE和BERTScore
图4展示了比较LLM辅助记录与手工记录及LLM草稿的ROUGE-L评分和BERTScore。一方面,LLM辅助记录与手工记录相比的平均ROUGE-L评分为0.69(95% CI,0.67-0.72),低于LLM辅助记录与LLM草稿相比的ROUGE-L评分(0.83 [95% CI,0.80-0.85]),差异为0.14(95% CI,0.11-0.17;P < .001)。这一发现在医师2至6中尤为明显,而对于医师1,手工记录与LLM辅助记录的文本相似度在统计学上无差异,但略高于LLM草稿(0.59 [95% CI,0.52-0.65] vs 0.54 [95% CI,0.49-0.60];P = .40)。另一方面,BERTScore表明LLM辅助记录与手工记录及LLM草稿之间均具有强语义相似性。总体而言,LLM辅助记录与手工记录相比的BERTScore为0.93(95% CI,0.93-0.94),低于LLM辅助记录与LLM草稿相比的BERTScore(0.97 [95% CI,0.96-0.97]),差异为0.04(95% CI,0.03-0.04;P < .001)。两个值均表明高语义相似性。LLM草稿在语义上与LLM辅助记录的匹配程度略高于手工记录,这一模式在医师2至6中表现明显。然而,对于医师1,差异无统计学意义,且手工记录与LLM辅助记录的语义相似度略高于LLM草稿(0.90 [95% CI,0.90-0.91] vs 0.89 [95% CI,0.88-0.90];P = .08)。完整ROUGE评分和BERTScore的详细结果见补充材料1中的eTable 5。
手工记录与LLM辅助记录书写时间的比较
基于中位数的估计显示,使用LLM助手时书写时间持续减少(图5和补充材料1中的eTable 6)。总体而言,中位时间从手工记录的69.5(95% CI,65.5-78.0)秒降至LLM支持下的32.0(95% CI,29.5-36.0)秒,H-L中位数减少35.0(95% CI,29.5-41.5)秒。在仅由急诊科医师书写的记录中,中位数从69.0(95% CI,58.0-78.5)秒降至33.0(95% CI,28.0-39.0)秒,H-L减少24.0(95% CI,20.0-32.0)秒。对于单一专科会诊,中位数从67.5(95% CI,60.0-83.0)秒降至30.0(95% CI,26.0-34.0)秒,H-L减少43.0(95% CI,35.0-52.0)秒。对于多专科会诊,书写时间从80.5(95% CI,68.5-92.5)秒降至38.5(95% CI,28.0-46.0)秒,H-L减少48.5(95% CI,31.0-55.0)秒。所有bootstrap成对中位数比较均在P < .001水平显著。
此外,混合模型分析证实,LLM辅助下书写时间显著缩短(时间比,0.43;95% CI,0.39-0.47;P < .001)。基于病例复杂度的分层分析显示一致的效率提升(补充材料1中的eFigure 6)。
Y-KNOT-EDN的用户体验
对使用Y-KNOT-EDN撰写出院记录的6名医生进行了一项关于Y-KNOT-EDN用户体验的简要调查。他们高度评价Y-KNOT-EDN的一致性、连贯性和节省时间的优势,但对患者安全以及记录最终定稿前需要修订表达了中等程度的担忧(补充材料1中的eTable 7)。
LLM草稿的错误审核
在对50份LLM草稿进行的针对性审核中,发现了6例遗漏和1例虚构(示例汇总于补充材料1中的eTable 8)。为了解遗漏的背景,我们检查了全部6名医生中每一例遗漏对应的手工记录(6例×6名医生=36份记录):36份中有21份(58%)遗漏了同一项目,提示其显著性较低,而非安全关键细节。唯一的虚构记录了未实施的操作(夹板固定、敷料),并在6份LLM辅助记录中的5份中被删除——除经验最少的医生外所有医生均删除——表明尽管基线质量较高,简短的临床医生审核仍然必要。
讨论
在这项针对用于生成急诊科出院记录的在站LLM的计算机模拟、随机序贯比较有效性评估中,我们的主要发现是LLM辅助显著缩短了记录时间:医生在LLM辅助下的书写时间显著更短(时间比,0.43 [95% CI,0.39-0.47;P < .001])。此外,与手工创建的记录相比,LLM辅助记录在完整性、正确性、简洁性和临床实用性指标上均表现出更好的质量,尽管绝对差异不大。这些发现表明,LLM整合可在维持记录质量的同时为急诊科工作流程带来显著的效率提升,代表了对繁忙急诊科具有临床意义的进步。
这些结果扩展了既往的初步观察,即大语言模型(LLM)可以协助临床文书工作,但通常缺乏领域特定的微调,14 可能产生幻觉,13 或在使用专有模型时存在违反数据隐私的风险。9,10,12 我们的方法有意设计为克服这些障碍。首先,我们在一个开源且轻量的80亿参数模型上构建了Y-KNOT-EDN,部署于安全的本地环境中。这种闭环架构避免了对敏感患者数据的潜在泄露以及违反国内关于跨境数据传输的法规。19 其次,我们利用急诊医师的临床洞见,系统性地识别出院记录的基本组成部分,并标准化其结构,使之符合常规临床实践中的自然记录方式。此外,我们从电子健康记录(EHR)中识别了可靠且一致的数据来源,同时有意排除可能导致LLM输出中出现幻觉或不一致的信息。我们根据病例复杂性开发了不同的流程,特别是病例是否需要单一或多次专科会诊,因为这些场景之间临床信息的可及性和性质存在显著差异。为了量化领域特定微调后的残余风险,我们对LLM草稿进行了50例审核,检查虚构和遗漏情况。我们发现了6处保留上下文的遗漏;值得注意的是,在相应医师手写记录的58%中,相同条目也被遗漏,表明这些是低显著性而非安全关键性的细节。有1处虚构记录了未开具或未执行的操作;6名医师中有5名——除经验最少者外的所有人——在编辑时将其删除。综合来看,领域特定微调产生了较高的基线质量,19 但仍需临床医师简要审阅以捕捉罕见的虚构内容。11
优势与局限性
我们研究的一个主要优势是系统性地对3种不同的记录类型——手写、LLM草稿和LLM辅助——进行了头对头比较,采用独立评估者的盲法评价。7 通过分离医师对LLM草稿编辑的作用,我们既识别了微调模型的高基线性能,也识别了用户行为引入的变异性。相似性分析显示,对于大多数医师而言,编辑后的记录更接近LLM生成的草稿,而非其自己手写的记录。这一发现有助于解释完成时间的显著缩短:医师主要是在现有草稿上进行修改以符合个人风格,而非从头生成全新文本,从而在完整性和简洁性之间取得平衡。
尽管这些结果令人鼓舞,但仍存在重要的局限性。第一,Y-KNOT-EDN 的微调和验证是在单一机构内进行的,这本身就存在对本地记录风格和临床实践过拟合的风险。第二,仅使用了 50 例精心挑选的病例进行计算机模拟测试;这些病例可能无法反映繁忙的城市急诊科所遇到的完整临床复杂性范围。第三,尽管我们试图通过随机化病例顺序来尽量减少回忆偏倚,但医生仍可能因先前接触过该临床情景而获益,或随时间推移提高了效率。第四,我们使用了 4C 指标,对记录质量提供了清晰、聚焦的评估,但在范围和验证方面仍属初步。未来工作应纳入更全面、近期开发的评估框架。20,21 第五,我们的评估依赖于 4C 指标和文本相似度指标,这些指标评估临床实用性,但不直接测量患者理解度或满意度。由于既往研究表明出院指导往往难以被患者理解,未来工作应进行随机抽样的非专业评估,以评价患者理解度和满意度。22 第六,正确性和临床实用性的评分者间信度仅为一般至中等,突显了出院记录定性评估中固有的主观性和变异性,提示需要更先进、更严格的评估框架。23 最后,我们有意决定排除某些不可靠或不完整的电子健康记录字段,这可能限制模型处理高度复杂情景的能力。
结论
在这项比较效果研究中,与手动记录相比,使用大语言模型(LLM)助手与急诊科出院记录书写时间缩短相关,且未损害记录质量。通过减轻医生工作负荷并提高记录质量,该 LLM 助手代表了利用人工智能服务于临床实践的重要进展。12 未来研究将聚焦于完善其与临床工作流程的整合,并评估其对患者照护和医生福祉的长期影响。
参考来源
- Song JW, Park J, Kim JH, et al. Large Language Model Assistant for Emergency Department Discharge Documentation. JAMA Netw Open. 2025. PMID: 41118162. doi:10.1001/jamanetworkopen.2025.38427
- 全文:PMC12541540(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12541540/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。