多智能体大语言模型框架用于急性缺血性卒中急诊治疗推荐:开发与验证研究
本研究开发并验证了一个结构化多智能体大语言模型框架,用于急性缺血性卒中(AIS)治疗推荐和TOAST分型。框架包含摘要智能体、指南一致性短链思维智能体和多项选择约束智能体。在2家医院回顾性病例(A组1055例、B组721例)、PubMed文献病例(C组144例)和前瞻性病例(D组161例)中,框架使各模型治疗推荐准确率范围从0.546-0.737提升至0.687-0.851(A组),平均提升18.9%。在前瞻性医生研究中,LLM辅助使治疗决策正确率从73.1%升至88.6%(OR 2.86,95%CI 2.27-3.60;P<.001),低年资和非专科医生获益最大。作者认为该框架可能缩小专业知识相关的决策差距,但尚需前瞻性多中心研究评估对工作流程和临床结局的影响。
要点
- 多智能体框架使各模型治疗推荐准确率平均提升18.9%,A组模型准确率范围从0.546-0.737升至0.687-0.851。
- 前瞻性医生研究中,LLM辅助使治疗决策正确率从73.1%升至88.6%(OR 2.86,95%CI 2.27-3.60;P<.001),TOAST分型正确率OR 3.63(95%CI 2.85-4.64;P<.001)。
- 低年资和非专科医生获益最大:低年资专科医生治疗准确率0.667升至0.833,低年资非专科医生0.600升至0.846,高年资非专科医生0.667升至0.850。
- 多智能体框架使平均临床安全评分从3.70升至4.01,幻觉率从33.6%降至20.6%,遗漏率从38.5%降至24.5%。
- 作者强调该系统仅应作为人在回路中的决策支持工具,最终治疗决策仍由医生负责,并需前瞻性验证工作流程和患者结局。
适用人群与场景
- 回顾性队列来自2家三级医院:A组为三级甲等医院2018年1月至2025年1月筛查的1228例急性脑血管病患者中纳入的1055例;B组为三级乙等医院2018年5月至2025年3月筛查的938例中纳入的721例。
- C组为PubMed 2024年1月至2025年1月检索的327篇卒中病例报告中纳入的144篇,主要为诊断困难或临床复杂的病例。
- D组为A中心2025年2月至5月连续入组的213例患者中纳入的161例前瞻性病例。
- 前瞻性医生研究纳入12名医生,来自中国4个省市(湖南、广东、吉林、上海),包括低年资5名、高年资5名、专家2名,涵盖卒中专科和非专科医生。
研究设计与关键结果
- 研究类型为多智能体LLM框架的开发与验证研究,最终分析1937例临床病例(平均年龄68.0岁,SD 13.6;女性761例,39.29%)和144篇PubMed病例报告。
- 多智能体框架使各模型治疗推荐准确率范围在A组从0.546-0.737升至0.687-0.851,B组从0.587-0.698升至0.671-0.813,C组从0.507-0.646升至0.667-0.750。
- 在C组中,GPT-4o治疗推荐准确率提升14.9%(0.750 vs 0.653),但TOAST分型准确率下降6.7%(0.486 vs 0.521)。
- 多智能体框架使平均临床安全评分从3.70升至4.01,平均幻觉率从33.6%降至20.6%,平均遗漏率从38.5%降至24.5%;多智能体DeepSeek-R1-671B幻觉率10.9%、遗漏率14.7%、临床安全评分4.36/5。
- 前瞻性医生研究中,LLM辅助使治疗决策正确率从73.1%升至88.6%(OR 2.86,95%CI 2.27-3.60;P<.001),TOAST分型正确率OR 3.63(95%CI 2.85-4.64;P<.001)。
- 亚组分析:低年资非专科医生治疗决策OR 3.96(95%CI 2.64-5.96),高年资非专科医生OR 3.22(95%CI 2.13-4.87);TOAST分型相应OR分别为4.66(95%CI 3.01-7.22)和4.27(95%CI 2.74-6.66);专家专科医生估计值为正但未达统计学显著。
- 医生对AI辅助推理的感知有效性平均评分为3.849分(5分Likert量表)。
证据类型、等级与局限
- 证据类型为多中心、多来源的开发和验证研究,包括回顾性真实世界病例、前瞻性病例、文献来源病例以及前瞻性医生-人工智能交互实验。
- 局限:框架在基于病例的场景而非实时急诊室环境中评估,无法评估可用性、临床医生信任、延迟、决策时间、床旁整合、患者结局和不确定性升级。
- 局限:排除标准可能产生比真实急诊卒中救治更标准化的数据集,排除信息不完整、慢性期表现、合并紧急情况或拒绝/中止治疗的病例,可能低估信息有限和操作受限场景。
- 局限:虽减少遗漏和幻觉事件,但提出的部署防护措施未在前瞻性临床工作流程中测试,限制了对操作安全性的结论。
- 局限:用于分类自由文本输出的自动评分器可能引入评估误差,尤其对模糊或内部不一致的回答。
- 局限:商业LLM的快速迭代和专有系统访问受限可能影响可重复性和长期稳定性。
对床旁实践的改变
- 作者认为结构化多智能体LLM框架可能改善指南一致性AIS决策支持、输出安全性和可审计性,但剩余的安全关键错误提示临床部署前需谨慎。
- 作者认为此类系统仅应作为人在回路中的决策支持工具使用,最终治疗决策仍由医生负责。
- 作者建议未来基于工作流程的研究应前瞻性测试防护措施,包括不确定性信号、指南和本地方案对齐、禁忌症审查、信息缺失或模糊时推迟、高风险警告以及完整记录模型输入、输出和推理轨迹。
- 原文未据此给出推荐。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译23 节 · 点击展开
引言
卒中仍是全球范围内致残和致死的主要原因之一,低收入和中等收入国家承受的疾病负担最为沉重[1,2]。尽管急性缺血性卒中(AIS)的管理需要在狭窄的治疗时间窗内做出快速而精准的决策,但全球范围内的卒中诊疗资源和诊断专业能力仍严重不均衡。受社会经济不平等、地理障碍以及资源有限和高收入环境中劳动力短缺的驱动,这些差异导致关键的延误和误诊,恶化患者结局,并加剧了及时获得专科级诊疗服务方面的不平等[3-7]。这些系统性挑战使公平获得循证AIS管理成为紧迫的全球优先事项。正如世界卒中组织《全球卒中宣言》所强调的那样,该宣言呼吁在全球建立公平、循证的卒中体系,迄今为止扩大人力和培训的努力仅取得了有限且不均衡的进展[8,9]。
大语言模型(LLMs)已显示出支持临床信息综合和决策的潜力,为改善AIS决策支持的一致性和可及性提供了可能的策略[10]。LLMs在诊断推理、鉴别诊断生成和信息综合方面已展现出强大能力[11-15]。然而,LLMs能否为AIS治疗选择提供可靠、符合指南且临床安全的决策支持,仍尚未充分确立。大多数现有研究为基准驱动或理论驱动,聚焦于MedQA(美国医师执照考试)等任务,这些任务不能充分反映真实世界中基于指南的临床决策[16,17]。这一差距凸显了使用真实世界AIS数据和医师决策实验进行系统性基于病例的评估的必要性。
我们的框架通过结构化临床推理增强LLMs,以支持符合指南的治疗选择和更可靠的AIS决策。本研究有2个目标:在多中心、多来源评估中确定多智能体设计是否能改善LLM在真实世界AIS决策任务中的表现,以及在涉及不同资历和专科背景医师的人机交互实验中评估其对医师决策准确性的影响。我们进一步考察了LLM辅助是否优先惠及经验较少的临床医师并缩小与专业知识相关的决策差距,从而支持跨不同诊疗环境的更一致、安全和可及的卒中诊疗决策支持。
方法
伦理考量
获得上海交通大学医学院附属上海市第六人民医院医学伦理委员会机构审查委员会批准(批准号2024-KY-203),研究于2024年11月22日在中国临床试验注册中心注册(ChiCTR2400092800)。所有参与者均获得知情同意。本研究按照《赫尔辛基宣言》及相关伦理指南和法规进行。
研究设计
整体研究设计和数据来源总结于图1。该示意图突出了多中心回顾性和前瞻性真实世界临床病例与PubMed病例报告的结合、多智能体框架的应用,以及对模型性能和人机交互的评估。
数据收集
我们回顾性筛选了来自2个三级诊疗中心的临床病例:来自中心A的1228例病例(A组,2018年1月至2025年1月,三级甲等医院)和来自中心B的938例病例(B组,2018年5月至2025年3月,三级乙等医院)。所有病例均为诊断为急性脑血管疾病患者的去标识化就诊记录。此外,从PubMed检索了2024年1月至2025年1月间的327份卒中病例报告(C组),这些报告主要代表诊断困难和临床复杂的表现。 for前瞻性验证,2025年2月至5月期间在中心A连续入组了213例患者(D组)。各组的详细纳入和排除标准见多媒体附录1中的补充材料方法部分和图S1。
患者病例
为确保患者隐私,所有个人可识别信息均已删除。每例病例被格式化为一个段落,包含以下全部或部分要素:患者年龄和性别、主诉、目前症状、病史(包括疾病和用药)、相关家族史、体格检查结果、实验室检查结果和影像学报告。
独立LLMs的评估
为评估LLM在生成AIS治疗建议和根据急性卒中治疗ORG 10172试验(TOAST)分类标准进行卒中亚型分型方面的性能,每个模型被要求生成治疗建议及相应的TOAST分类结论。共测试了七个模型:Baichuan-M1-14B [18]、GPT-OSS-20B [19]、Qwen2.5-32B [20]、DeepSeek-R1-Distill-Qwen2.5-32B [21]、GPT-OSS-120B [19]、DeepSeek-R1-671B [21]和GPT-4o(OpenAI;仅用于C组数据集)[22](多媒体附录1中的表S1)。来自A至D组的真实世界临床病例用于此评估。输出以自由文本格式生成,无预定义选项,反映了临床推理的概率性质。为确保一致且可重复的评估,使用自动评分智能体来量化所有LLMs的准确性(多媒体附录1中的补充材料方法部分)。
所有LLMs均在其默认参数配置下以单轮交互方式进行评估,未进行额外的人工调优。模型推理使用官方vLLM框架执行,提供优化环境以实现高效的大规模部署。所有模型均在由8块NVIDIA H20-141GB图形处理单元(GPUs)组成的集群上使用官方Docker版本运行。为进行版本控制,除GPT-OSS-20B和GPT-OSS-120B部署于v0.10.1外,所有模型均应用vLLM v0.8.4,从而确保实验的可重复性和透明度。
多智能体框架
概述
除单独评估外,我们还实施了一个多智能体框架,以检验结构化推理和约束输出能否提升模型在AIS特定任务中的表现。该框架整合了三个组件:(1)一个面向工作流程的摘要智能体,从冗长的临床叙述中提取疾病相关证据;(2)一个符合指南的推理路径思维链(Short-CoT)智能体,强制执行结构化诊断步骤;(3)一个受临床启发的多项选择约束智能体,将输出标准化于循证决策边界内。
摘要智能体
为减轻冗长病例token导致的性能下降并确保提取显著细节,实施了一个面向工作流程的摘要智能体。该智能体使用DeepSeek-R1配合少样本提示,为下游推理生成结构化病例摘要。
Short-CoT智能体
Short-CoT模块被设计为4个关键诊断步骤的简明序列,映射临床决策树。该模块由神经科医师、介入放射科医师和急诊科医师协作开发,通过重构现有临床指南而成(提示词见多媒体附录1中的补充材料方法)。
多项选择约束智能体
对于受临床启发的最终决策,经多智能体框架增强的模型使用4个预定义类别作为答案选项进行评估:溶栓、机械取栓、标准药物治疗以及非AIS或非卒中情况。该约束不仅提高了一致性,还使模型输出与临床可解释的类别对齐。
替代框架组成
我们还评估了3种替代框架组成:F1包含Short-CoT智能体和多项选择约束智能体,但省略了摘要智能体;F2包含指南衍生的长CoT(Long-CoT)智能体和多项选择约束智能体,但省略了摘要智能体;F3包含摘要智能体和Long-CoT智能体,并结合多项选择约束智能体。该部分使用Long-CoT智能体增强所选LLM的决策。Long-CoT涉及将临床指南过滤并重构为AIS的结构化决策路径(提示词见多媒体附录1中的补充材料方法)[23]。
模型层面性能与输出安全性评估
模型层面评估的金标准定义为临床记录中记录的实际治疗决策及相应TOAST分型,并由2名资深卒中临床医师独立验证指南一致性:一名拥有>10年经验的神经科医师和一名拥有>15年经验的神经介入医师。对于指南一致性存在分歧或模糊的病例,进行联合重新评估,入组资格由共识确定。
模型层面的主要结局是大语言模型(LLMs)的总体治疗准确性和TOAST诊断准确性。准确性为病例层面的正确比例;TOAST F1为各类别一对多F1的宏平均,诊断F1基于二分类正确性(1/0)计算。模型层面的次要结局包括安全性相关评估,涵盖指令依从性、结构化危害性评估及其他探索性安全性指标。对于每个病例,任何遗漏或幻觉的存在均计为一次事件(是或否),事件率按每病例事件数计算(事件数/总病例数)[24,25]。
综合多中心、多来源与跨场景评估
使用PubMed病例报告和外部队列进行验证
为对该框架进行临床验证,我们使用6个开源LLM分析了B组的真实世界病例。为进一步检验跨模型家族的泛化性,我们还在C组(PubMed病例报告)中评估了6个开源LLM和一个额外的闭源LLM。PubMed病例报告数据集可公开获取,主要由诊断具有挑战性的病例组成。因此,该数据集对多智能体框架在不同难度和复杂性患者中的泛化性提供了更严格的检验。
由多层级和多专科医师进行的前瞻性临床验证
为评估LLM辅助的临床影响,我们于2025年2月至5月在A中心开展了一项前瞻性、盲法医师研究(批准号2024-KY-203)。从中国4个城市或省份(湖南、广东、吉林和上海)招募了12名具有不同AIS专业知识的医师,包括初级(n=5)、高级(n=5)和专家层级(n=2),并包括卒中专科医师和非专科医师。连续纳入符合条件的患者,并在入组时随机分配至AI辅助组(有LLM支持)或标准审阅组(无LLM支持)。每个病例仅由一名指定医师评估一次。
在AI辅助组中,回顾性评估中表现最佳的模型(DeepSeek-R1)生成治疗建议、TOAST分类和结构化推理。这些模型输出与每个分配病例的常规可用临床材料一起提供给医师。医师还对AI辅助推理的感知有效性提供了5点Likert评分(评分越高表示感知有用性越大)。在标准审阅组中,医师审阅相同的病例材料,不提供任何模型输出或超出常规医院系统的额外计算机辅助决策支持。
参考标准为多学科团队最终决定。其他设计细节,包括样本量估计和分配程序,见多媒体附录1中的补充材料方法。
统计分析
所有分析均在Python(版本3.10;Python软件基金会)中完成。统计显著性设定为双侧P<.05。二分类变量和连续变量以描述性方式汇总。独立模型与经多智能体框架增强的大语言模型(LLM)之间的准确率差异采用McNemar检验,F1分数差异通过自助重采样(1000次迭代)估算,并计算95%CI。配对有序结局采用Wilcoxon符号秩检验进行比较。消融研究将完整的多智能体框架与预定义的变体进行比较,这些变体移除或替换了关键模块(摘要智能体、指南衍生的长思维链(Long-CoT)与短思维链(Short-CoT)、自由形式输出与受限多项选择输出)[26]。我们拟合了医师-病例水平的二项-逻辑广义线性混合效应模型(GLMM),以决策正确性作为二分类结局,以LLM支持作为治疗决策和TOAST分型的主要固定效应[27]。事件率——包括遗漏和幻觉频率——以及AI辅助组与非辅助组之间的差异,酌情采用卡方检验或Fisher精确检验进行分析。结局指标和定义汇总于多媒体附录1中的表S2。
结果
患者特征
在A中心,回顾性筛查了1228例病例,1055例(85.91%)纳入A组。在B中心,筛查了938例,721例(76.87%)纳入B组。此外,2025年2月至5月期间在A中心前瞻性筛查了213例病例,其中161例(75.59%)纳入D组。在检索到的327篇PubMed病例报告中,144篇(44.04%)符合纳入标准并纳入C组。我们最终分析了2018年1月至2025年5月期间的1937例临床病例(平均年龄68.0岁,SD 13.6岁;n=761,39.29%为女性),以及2024年1月至2025年1月期间识别的144篇PubMed病例报告(表1)。
独立LLM之间的基线性能差异
图2A和2B以及多媒体附录1中的图S2展示了独立LLM和经多智能体框架增强的LLM的简化系统架构。性能因模型规模而差异显著。独立较大规模LLM在治疗推荐和TOAST分型方面始终优于较小规模模型(表2)。此外,多智能体框架在所有评估模型中一致改善了宏平均灵敏度和特异度(多媒体附录1中的表S3)。例如,在合并队列中,GPT-OSS-120B在治疗推荐方面达到0.724的准确率,而Baichuan-M1-14B为0.570,GPT-OSS-20B为0.464(均调整P<.0001;表2)。各亚组的性能趋势一致(多媒体附录1中的表S4-S7)。TOAST分型也观察到类似的差距,DeepSeek-R1超越所有较小模型。这些结果确立了模型规模作为基线性能的关键决定因素。
多智能体框架在各LLM中引发的改进
多智能体框架增强在所有模型中均显著改善了结果(图2C-2H和图3A;多媒体附录1中的图S3),与独立LLM相比平均改善18.9%。在A组中,Baichuan-M1-14B准确性提高25.8%(F1评分+15.1%),而DeepSeek-R1-671B改善较为温和(准确性+23.3%,F1评分+12.7%)。对于TOAST分型,GPT-OSS-20B准确性提高39.0%(F1评分+4.9%),而GPT-OSS-120B仅提高2.5%(F1评分−2.1%)。值得注意的是,GPT-OSS-20B表现出输出不稳定且增益波动。总体而言,这些发现表明,虽然模型规模对于基线准确性仍然关键,但多智能体框架缩小了规模相关差异,使较小模型能够接近较大模型的临床实用性。
跨组和多来源验证
在B组和C组中的验证表明所有组均获得一致的性能提升(图2C-2H和图3A;多媒体附录1中的表S4-S7)。框架增强的DeepSeek-R1-671B在治疗推荐和TOAST分型中均达到最高准确性。在C组中,GPT-4o在治疗推荐方面准确性提高(+14.9%,0.750 vs 0.653),但在TOAST分型中下降(−6.7%,0.486 vs 0.521),反映了“其他原因”和隐源性亚型的优势。替代框架组合的结果见图4。总体而言,这些发现证实该框架在异质性队列中提供了可靠的增益。
框架组件的贡献
A组的广义线性混合模型分析证实,多智能体框架与AIS治疗推荐准确性更高独立相关(比值比[OR] 1.72,95% CI 1.63-1.81;P<.001),并与适当再灌注策略选择增加相关(图3B)。
在消融研究(仅平均聚合)中,与自由形式答案格式相比,使用多项选择约束时治疗推荐性能有所改善(约束 vs 自由形式:+0.038),思维链(CoT)提示优于直接提示(长 vs 直接:+0.052;短 vs 直接:+0.063),提示治疗推荐受益于结构化答案格式和显式推理支架。摘要仅对治疗推荐产生适度的平均增益(摘要 vs 无摘要:+0.006)。相反,诊断从摘要中获益更多(+0.041),且在自由形式答案格式下表现更好(约束 vs 自由形式:−0.051),这促使针对不同任务选择特定的提示策略和答案格式控制。
使LLM推理符合安全临床部署的要求
除准确性外,我们可视化了代表性成功和失败案例的逐步推理轨迹,以刻画失败模式和与部署相关的临床安全风险(图5A和5B)。由于仅凭准确性无法完整反映临床适用性,我们进一步评估了输出安全性。与独立LLM相比,多智能体框架获得了更高的平均临床安全性评分(4.01,SD 0.35 vs 3.70,SD 0.43)以及更低的平均幻觉率(20.6% vs 33.6%)和遗漏率(24.5% vs 38.5%;图5C-5E;多媒体附录1中的表S8)。其他探索性安全性指标见多媒体附录1中的表S9。这些发现表明,结构化推理可能提高可靠性并降低不安全内容进入临床工作流程的风险。
LLM支持使经验较少的医生受益
整合大语言模型(LLM)支持显著提升了医师表现,其中在治疗决策方面,经验较少的医师获得的提升最为明显(初级专科医师从0.667提升至0.833;非专科医师从0.600提升至0.846)。基于医师-病例决策层面的观察数据(每位医师每个病例1次观察),我们拟合了以决策正确性为二分类结局的二项-逻辑广义线性混合模型(GLMM),将LLM支持、医师经验和专业背景作为固定效应,并为病例和医师设置随机截距。经调整后,LLM支持与更高的正确治疗决策几率相关(OR 2.86,95% CI 2.27‐3.60;P<.0001),也与更高的正确TOAST分型几率相关(OR 3.63,95% CI 2.85‐4.64;P<.0001;多媒体附录1中的图S4)。估计的关联在初级医师和非专科医师中最强。对于治疗决策,初级非专科医师的OR为3.96(95% CI 2.64-5.96),高级非专科医师为3.22(95% CI 2.13-4.87);对于TOAST分型,相应的OR分别为4.66(95% CI 3.01-7.22)和4.27(95% CI 2.74-6.66)。专家专科医师显示出正向但不显著的估计值,与较高基线表现水平下的天花板效应一致(P<.001)。医师对该辅助功能的评价也为正面,平均评分为3.849分(满分5分)。在高级医师和专科医师中,改善较为有限(图6)。
讨论
本研究超越了基准式评估,通过涵盖回顾性、前瞻性和文献来源病例的多中心、多来源评估,推进了大语言模型(LLM)在急性缺血性卒中(AIS)决策支持中的临床转化。第一,结构化多智能体框架改善了与指南一致的治疗选择,同时产生更可靠且临床上可问责的输出,其幻觉率和遗漏率更低。第二,在一项涉及不同资历和专科背景医师的人机交互实验中,该框架提高了医师决策准确率,其中在初级医师和非专科医师中观察到的提升最大。总体而言,这些发现表明,整合LLM的系统既可增强内在决策可靠性,也可提升下游临床表现,在卒中专业知识可及性不均衡的情况下,为改善AIS诊疗的一致性、安全性和公平性提供了一种实用手段。
全球卒中护理方面的不平等现象依然根深蒂固,低收入和中等收入国家受限于有限的资源和专科专业知识,而高收入国家则面临急诊服务过度拥挤和劳动力压力。现有的大语言模型(LLM)评估在很大程度上局限于简化的基准任务,未能捕捉疾病管理的真实世界复杂性[16,20,21]。为弥补这一差距,我们将LLM应用于真实世界临床病例和文献来源病例,从而模拟真实临床场景并反映异质性情境。在复杂环境中性能下降,部分原因在于处理长标记输入方面的局限性[28,29]。为应对这一挑战,我们的多智能体框架纳入了自定义设计的摘要智能体,从临床叙述中提取显著特征,提高了不同场景下的准确性。增强型LLM在各模型规模下的准确率为0.541至0.830——这一水平与问答式或模拟患者场景相当[13,30],且始终高于独立LLM。
本研究是将LLM辅助的AIS决策支持转化为临床实践的第一步,重点在于减少因临床专业知识不均衡而导致的护理差异性。既往研究表明,思维链(CoT)提示和固定答案格式可以部分解决这些局限性[31,32]。我们的多智能体框架引入了面向工作流程、与指南一致的结构,在提高决策准确性的同时保持临床一致的推荐意见,支持未来临床整合的可行性。与依赖不断扩大的专有模型的方法[33]不同,我们的结果表明,受工作流程启发的结构化设计改进可以在不增加模型规模的情况下带来实质性收益,有望降低采用门槛并支持更广泛地获取专科级决策支持。
我们的评估提供了迄今为止最全面的临床实践模拟之一,为LLM在AIS工作流程中的部署奠定了基础。尽管前景可观,大规模部署仍存在意外有害后果的风险[34,35]。通过整合来自多中心、多层级医院的数据、回顾性和前瞻性真实世界病例、文献来源的高难度病例,以及不同级别和专科医师之间的人机交互,我们的评估捕捉了AIS护理的异质性和复杂性。值得注意的是,LLM对经验较少的医师获益最大,缩小了在经验、专科和地域方面的专业差距,这与既往关于接近专家级性能的报道一致[36,37]。与世界卒中组织《全球卒中宣言》相一致——该宣言强调高质量的卒中护理应是普遍可及的[2,38]——我们的结果进一步支持了利用人工智能赋能策略促进全球卒中系统公平性的论据。
本研究系统评估了安全性,这是临床部署的关键前提。由于大语言模型(LLM)预测下一个词元而不验证证据,它们仍然容易产生幻觉,这可能侵蚀信任并生成有害或误导性建议[39,40]。在我们的评估中,幻觉和遗漏并未被消除,但发生频率相对较低,多智能体DeepSeek-R1-671B的幻觉率为10.9%,遗漏率为14.7%,总体临床安全评分为4.36分(满分5分)。这些发现表明,尽管安全问题仍然存在,但错误率处于决策支持用途可能可接受的范围内,支持谨慎临床整合的可行性[41]。多智能体增强的LLM进一步表现出更强的指令依从性、更低的幻觉和遗漏率以及更可靠的结构化输出,从而解决了实际部署的一个关键障碍。
我们的结果表明,结构化多智能体LLM框架可能改善与指南一致的AIS决策支持、输出安全性和可审计性,但剩余的安全关键错误凸显了临床部署前需要谨慎。此类系统应仅作为人在环路中的决策支持工具使用,最终治疗决策仍由医师负责。未来基于工作流程的研究应前瞻性测试保障措施,包括不确定性信号提示、指南与本地方案对齐、禁忌证审查、在信息缺失或模糊时推迟、高风险警告,以及完整记录模型输入、输出和推理轨迹。
本研究存在若干局限性。第一,该框架是在基于病例而非实时急诊室环境中评估的,无法评估可用性、临床医生信任、延迟、决策时间、床旁整合、患者结局和不确定性升级。第二,排除标准可能产生了比真实世界急诊卒中救治更标准化的数据集。通过排除信息不完整、慢性期表现、竞争性紧急状况或拒绝治疗或中断治疗的病例,本研究可能低估了信息有限和操作受限的场景。第三,尽管该框架减少了遗漏和幻觉事件,但所提出的部署护栏未在真实临床工作流程中前瞻性测试,限制了对操作安全性的结论。第四,用于对自由文本独立LLM输出进行分类的自动评分器可能引入了评估误差,特别是对于模糊或内部不一致的响应。最后,商业LLM的快速迭代和对专有系统的受限访问可能影响可重复性和长期稳定性。未来前瞻性多中心工作流程研究应在更复杂的真实世界条件下评估该框架,并预先设定安全护栏、对不确定输出进行人工裁定以及患者层面结局评估。
总之,我们的多中心评估表明,结构化的多智能体大语言模型(LLM)框架显著增强了与指南一致的急性缺血性卒中(AIS)决策(平均准确率提升:18.9%)和输出安全性。关键在于,LLM支持大幅提高了医生在治疗(OR 2.86,95% CI 2.27‐3.60)和TOAST分型(OR 3.63,95% CI 2.85‐4.64)两方面做出正确决策的几率,其中在经验较少和非专科临床医生中获益最为明显。这些发现凸显了该框架在缩小专业差距和支持公平卒中诊疗方面的潜力,值得在临床部署前对真实世界工作流程和患者结局开展进一步的前瞻性评估。
补充材料
参考来源
- Yan B, Zhang R, Chen L, et al. A Multiagent Large Language Model Framework for Emergency Treatment Recommendation in Acute Ischemic Stroke: Development and Validation Study. J Med Internet Res. 2026. PMID: 42531250. doi:10.2196/96304
- 全文:PMC13423760(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13423760/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。