文献速递创伤与烧伤儿科与产科急症重症综合管理与镇静镇痛

多模态大语言模型与急诊医师烧伤评估对比:一项前瞻性非劣效性研究

Multimodal large language model versus emergency physicians for burn assessment: a prospective non-inferiority study.
PubMed 文献 · Scand J Trauma Resusc Emerg Med · 2026-02-05
一句话结论在急诊科标准化照片条件下,多模态大语言模型估算区域体表面积与急诊医师非劣效,但烧伤深度分类一致性仅轻微,作者认为其仅可作为体表面积估算的辅助工具。

这项前瞻性、单中心诊断准确性与一致性研究于2025年7月22日至9月8日在三级急诊科连续纳入52例急性烧伤患者,共64个区域病例(35例儿童、29例成人),比较单一多模态大语言模型(gpt-5-chat-latest)与18名急诊医师对标准化三视图照片的区域体表面积(TBSA)和深度评估,以三人专家小组共识为参考标准。主要终点为区域TBSA绝对误差的非劣效性(界值3个百分点):模型平均绝对误差1.40个百分点(中位1.00),医师中位平均绝对误差0.89个百分点(中位0.75),Hodges-Lehmann中位差0.25,单侧95%上限0.50,达到非劣效但未达优效。深度一致性模型二次加权kappa仅0.14,医师共识为0.69,模型系统性低估更深烧伤。作者认为该模型仅可作为TBSA估算的窄定义辅助工具,深度判断仍应由临床医师主导。

要点

  • 区域TBSA估算:模型平均绝对误差1.40个百分点(中位1.00),87.5%在±3个百分点内、98.4%在±5内;医师中位平均绝对误差0.89个百分点(中位0.75),96.9%和100%在±3和±5内。
  • 非劣效性达到:模型与医师中位绝对误差的Hodges-Lehmann中位差0.25个百分点,单侧95%上限0.50,低于预设界值3个百分点,未达优效(上限<0未满足)。
  • 深度分类一致性:模型与专家小组二次加权kappa 0.14(95%CI −0.06至0.39),仅轻微;医师共识与小组kappa 0.69(95%CI 0.44至0.89)。
  • 模型深度系统性低估:专家小组判定的16例深二度中13例被模型判为浅二度,唯一全层烧伤也被降为浅二度;模型未标注任何全层烧伤。
  • 作者结论:支持模型作为TBSA估算的第二读者辅助角色,深度输出视为不可靠且不可操作,深度依赖决策仍应由临床医师主导。

适用人群与场景

  • 急诊科连续就诊的急性烧伤患者,定义为伤后24小时内首次就诊,不限烧伤机制(烫伤、火焰、接触、化学、电击或混合)。
  • 纳入标准:有协议合格三视图照片、有模型和至少一名医师及专家小组有效输出;排除:无同意/ assent、无法获得协议合格图像、同一发作的随访或慢性伤口就诊、非烧伤或孤立吸入性损伤无可见皮肤烧伤、拍照临床不安全。
  • 分析单位为烧伤区域:多区域烧伤时每个按协议拍照的解剖区域作为独立区域病例分析;区域TBSA仅计入部分厚度或更深烧伤,排除纯表皮/红斑区域。
  • 共52例患者贡献64个区域病例(35例<18岁,29例≥18岁)。

诊断标准与关键阈值

  • 区域TBSA以年龄适配的Lund-Browder解剖区域定义,表示该区域对全身表面积的百分点贡献。
  • 深度分类采用三级分类:浅二度(superficial_partial)、深二度(deep_partial)、全层(full_thickness)。
  • 非劣效性界值Δ*预设为3个百分点,代表常规急诊决策的临床等效而非烧伤中心级精度。
  • 阈值临床准确性预设:成人≥20% TBSA、儿童≥10–15% TBSA(敏感性、特异性、ROC-AUC)。

红旗征与不能漏的情况

  • 模型系统性低估烧伤深度:专家小组16例深二度中13例被模型判为浅二度,唯一全层烧伤被降为浅二度,模型未标注任何全层烧伤;作者指出该模式对深度依赖决策构成临床风险。

研究设计与关键结果

  • 研究类型:前瞻性、单中心诊断准确性与一致性研究,2025年7月22日至9月8日在三级学术医院急诊科连续筛查413例急性烧伤就诊,纳入52例患者共64个区域病例(35例儿童、29例成人)。
  • 参考标准:三人专家小组(1名烧伤外科医师、2名急诊医师)共识,小组内部一致性TBSA ICC=0.97、深度二次加权kappa=0.86。
  • 主要终点:模型区域TBSA平均绝对误差1.40个百分点(中位1.00),87.5%在±3内、98.4%在±5内;医师中位平均绝对误差0.89个百分点(中位0.75),96.9%在±3内、100%在±5内;Hodges-Lehmann中位差0.25,单侧95%上限0.50,低于3个百分点界值,达到非劣效但未达优效。
  • TBSA一致性:模型与小组Lin CCC 0.642(95%CI 0.347至0.851),Bland-Altman平均偏差+0.15个百分点(95%限−4.47至+4.76);医师中位与小组CCC 0.897(95%CI 0.773至0.954),平均偏差+0.78个百分点(95%限−1.20至+2.76);18名医师间TBSA ICC 0.71。
  • 校准:模型TBSA对小组回归截距1.05、斜率0.71(R²=0.42);医师中位截距0.74、斜率1.01(R²=0.88)。
  • 深度:小组判定47例(73.4%)浅二度、16例(25.0%)深二度、1例(1.6%)全层;模型判定59例(92.2%)浅二度、5例(7.8%)深二度、0例全层;模型与小组精确一致48/64(75.0%),二次加权kappa 0.14(95%CI −0.06至0.39);医师共识与小组精确一致54/64(84.4%),kappa 0.69(95%CI 0.44至0.89);模型与医师共识kappa 0.13(95%CI −0.06至0.34)。
  • 亚组:儿童模型平均绝对误差1.39 vs 医师0.96个百分点(中位均1.0);成人模型1.41 vs 医师0.80个百分点(中位0.5);躯干和面部模型误差略大于四肢,但每区域病例数少,精度有限。
  • 图像质量:医师评分中位9分(1–10量表,IQR 8–9),图像质量与绝对TBSA误差无显著关联(模型Spearman ρ≈0.13,医师ρ≈0.02,均p>0.3)。

证据类型、等级与局限

  • 证据类型:前瞻性、单中心诊断准确性与一致性研究;报告遵循STROBE和STARD,并对照STARD-AI扩展和CLAIM。
  • 局限(原文报告):单中心学术中心且烧伤专家同址,向社区医院、院前或低资源环境的外推性不确定;图像质量统一且协议化,较低分辨率、运动模糊、遮挡、取景不佳或非标准光照下性能可能下降;肤色多样性和光照变异性有限,跨色素沉着和光照条件的泛化性不确定;仅评估一个模型配置的一个时间点,版本更新或混合架构可能改变性能;未与最先进计算机视觉烧伤工具比较,也未评估对临床行为或患者结局的下游影响;次要和亚组分析未预先把握度,应谨慎解读。

对床旁实践的改变

  • 作者认为,在标准化成像工作流下,可考虑将大语言模型作为TBSA估算的第二读者。
  • 作者认为,深度输出应视为不可靠且不可操作;深度依赖的管理应继续由临床医师主导,并在可行时辅以激光多普勒成像等辅助技术。
  • 作者指出,该模型系统性低估更深烧伤,不适用于依赖准确区分深二度与全层烧伤的决策。

提炼说明

  • 原文未涉及「处置流程与药物剂量」「指南或共识出处」,故未列出这些栏目。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:Scand J Trauma Resusc Emerg Med. 2026 Feb 5;34:54. doi: 10.1186/s13049-026-01577-6

背景

准确评估烧伤面积和深度是早期管理的基础,可指导液体复苏、转诊至专科中心、手术规划和预后预测。首次接触时估算体表总面积(TBSA)的错误很常见:多项比较转诊医院与烧伤中心的研究记录了系统性高估,有时高估5–10个百分点或更多,这对过度复苏、不必要的转诊和资源使用具有影响[1, 2]。深度评估同样具有挑战性;即使是经验丰富的临床医生,与组织学或基于愈合的参考标准相比,对部分厚度烧伤也仅显示中等程度的一致性[3, 4]。与此同时,基于智能手机的远程医疗和基于图像的会诊已成为扩展烧伤专业知识的实用工具,通常在TBSA方面达到良好的一致性,但在深度方面表现较为有限,尤其是仅基于标准彩色照片时[5, 6]。这些局限性促使人们寻找可扩展的、基于图像的决策支持系统,以稳定早期烧伤评估而不替代专科医生的判断。

计算机视觉的最新进展已产生深度学习模型,可分割烧伤创面、将面积转换为%TBSA,并在某些情况下对深度进行分类,其在精选数据集中的表现接近专家评估者[7–9]。然而,大多数此类系统与特定训练语料库紧密耦合,很少经过外部验证,且尚未整合到常规急诊科工作流程中。与此同时,移动健康路线图强调,基于图像的诊断支持必须嵌入真实临床环境,考虑一线约束、异质性图像质量和组织因素,才能改善诊疗[10]。大语言模型(LLM)如今提供了不同的范式:作为通用多模态系统,能够处理图像和结构化临床元数据,原则上可以在无需任务特定再训练的情况下提供烧伤评估,并可随着基础模型的演进随时间更新。

在急诊医学领域,LLM正被探索用于分诊、诊断推理和文书记录,但迄今大多数评估使用的是病例摘要或回顾性测试集,针对真实患者中与临床医生基准表现的前瞻性评估有限[11, 12]。据我们所知,此前尚无研究前瞻性地比较通用多模态LLM与急诊医生使用标准化临床照片和多专家参考标准进行区域级烧伤评估的表现。因此,我们在一家三级急诊科开展了一项前瞻性、单中心诊断准确性和一致性研究,比较基于LLM的TBSA和深度估计与急诊医生的估计,以三名专家组成的专家组作为参考。主要目的是评估LLM的TBSA估计是否不显著差于急诊医生,次要目的包括比较深度一致性、校准以及按年龄和解剖区域的亚组表现。

方法

研究设计与设置

这项前瞻性、观察性、单中心诊断准确性与一致性研究在一所三级学术医院的急诊科(ED)进行。招募窗口为2025年7月22日至2025年9月8日,在此期间对所有连续就诊的急性烧伤急诊病例进行筛查。该工作比较了大语言模型(LLM)与急诊医师生成的区域级烧伤面积(TBSA)和烧伤深度估计,以三人专家小组参考标准为对照。机构非干预性方案预先规定了设置、资格和核心分析;程序遵循良好临床实践和《赫尔辛基宣言》,临床成像均获得书面知情同意。

参与者和分析单元

我们连续纳入因急性烧伤就诊的急诊科病例,定义为伤后24小时内的首次就诊。未根据烧伤机制(烫伤、火焰、接触、化学、电击或混合)进行排除。除< 24小时阈值外,我们未记录确切的伤后时间。

分析单元为烧伤区域。对于多区域损伤,按方案拍摄的每个区域构成一个独立的区域病例,并独立分析。区域级TBSA表示该区域对患者总体表面积贡献的百分点,仅计入部分厚度或更深烧伤,排除纯表皮/仅红斑区域。筛查和入组在常规ED运营期间遵循前瞻性连续抽样;成像在初始稳定后、广泛敷料包扎前尽可能进行。成人提供书面知情同意;未成年人由法定监护人同意,并在适当时获得 assent。

排除标准为:(i)无同意/ assent;(ii)未能获得符合方案的图像(三个标准化视图且质量 adequate);(iii)同一发作的随访或慢性伤口就诊;(iv)非烧伤损伤或无可见皮肤烧伤的孤立性吸入性损伤;以及(v)成像在临床不安全的情况。

区域预先使用适合年龄的Lund–Browder解剖区域定义。如果烧伤连续延伸跨越多个Lund–Browder区域,按方案拍摄的每个解剖上不同的区域被视为独立的区域病例,区域级TBSA仅反映该区域的百分点贡献。排除仅红斑(表皮)烧伤并仅入组疑似部分厚度或更深受累损伤的决定,由负责初始评估的烧伤ED临床医生在拍照前于床旁做出。

索引测试和比较器

索引测试为单一多模态大语言模型(gpt-5-chat-latest;OpenAI,美国加利福尼亚州旧金山),通过OpenAI HTTPS API访问。本研究的所有推断均于2025年12月30日通过OpenAI平台上的公共“gpt-5-chat-latest”端点运行;未使用其他模型或供应商端点。在研究时,该端点被提供商记录为通用、遵循指令的模型,具备联合文本-图像推理能力。浏览器工具和外部网络访问被禁用。对于每个区域-病例,我们仅提交一次API请求,包含三张标准化照片(一张正交前位和两张斜位视图)以及最少的临床元数据(年龄、性别、身高、体重和目标解剖区域)。冻结的提示词(附录A)规定了严格的JSON模式,包含三个必需键:(i)tbsa_percent(0–100,成像区域贡献的百分点),(ii)depth_class(分类:浅二度、深二度或全层),以及(iii)rationale(自由文本,≤ 80词)。提示词在运行任何研究病例之前已最终确定,未在研究图像上进行迭代调整;冻结后,未进行非正式的提示词调整,也未进行逐病例的提示词修改。采样配置为确定性(温度0.0,top_p 1.0,每病例一次完成);未进行手动编辑、重新运行或逐病例提示词修改。必要时对图像进行缩放,使长边不超过1400像素,以JPEG质量80重新压缩,并在传输前剥离EXIF元数据。API超时设置为90秒,作为避免无限等待的务实上限;如果请求因技术原因失败(例如传输或服务器错误),则以相同参数自动重试一次。生成的JSON输出逐字存储,最终分析数据集以加密校验和方法学清单冻结。自由文本“rationale”字段逐字保留以确保透明度/可审计性,并进行了定性审查以评估合理性并为错误特征描述提供信息,但未将其视为终点,也未用于任何定量推断分析。

急诊医师作为比较组。18名委员会认证或具备委员会认证资格的急诊医师使用与提供给LLM相同的三张照片和最少的元数据,独立对每个区域-病例进行评分。评分者对LLM和参考标准输出以及彼此设盲;病例顺序个体化随机化。评估记录在安全的电子病例报告表中,强制字段包括TBSA估计、深度分类(使用相同的三分类本体)和图像质量标记。评分前,每位评分者收到一份简短的校准包,包括每个深度分类的两个示例病例以及适合年龄的Lund–Browder图表的复习资料。

所有病例级LLM输出(tbsa_percent、depth_class和自由文本rationale),连同提示词级年龄和人体测量文本,以去标识化形式提供于补充表S1中。

参考标准(专家小组)

一个由三名成员组成的专家小组(一名烧伤外科医生、两名急诊医生)作为参考标准。小组成员使用与年龄相适应的Lund–Browder图表独立估算区域级TBSA,并从相同的去标识化图像和最少元数据中分类深度(浅二度、深二度、全层)。当SOP失败导致无法有效判读时,允许评定为不可评估。差异触发结构化裁决:当TBSA范围≤2个百分点且深度多数一致时自动接受;否则,进行匿名循环重新评分,随后根据需要举行简短的同步审查。最终共识采用TBSA中位数和深度多数意见(三方平局在无一致意见时默认为深二度)。共识前一致性以ICC(TBSA)和二次加权kappa(深度)汇总。

结局指标

主要终点:LLM与专家小组共识相比的区域级TBSA绝对误差(%),并检验其相对于医生中位绝对误差的非劣效性。非劣效性界值(Δ*)预先设定为3个百分点。我们预先设定3个百分点的非劣效性界值(Δ),以代表常规急诊科决策中的临床等效性,而非烧伤中心级别的精确度。这一选择反映了早期急诊科管理和转诊决策通常由实用的TBSA切点指导,并且区域TBSA估计中低个位数范围内的较小绝对差异在常规实践中不太可能改变初始液体复苏和处置决策。此外,既往文献记录了即使使用标准化图表,临床医生之间TBSA估计仍存在不可忽视的变异性,支持将低个位数容差作为非劣效性框架下合理的“不劣于典型实践”界值[13, 14]。

关键次要终点:(i)LLM和个体医生相对于参考的深度一致性(二次加权kappa);(ii)通过Lin一致性相关系数(CCC)和Bland–Altman偏倚/ limits评估TBSA的连续一致性;(iii)基于阈值的临床准确性:成人≥20%和儿童≥10–15% TBSA(敏感性、特异性、ROC–AUC;DeLong比较 versus 医生中位数);(iv)医生之间的评定者间变异性(双向随机效应ICC;绝对误差的离散度);(v)校准(斜率/截距和分箱校准误差);(vi)排除具有重大图像质量标记的区域病例后的敏感性分析。

样本量和把握度

本研究被构想为嵌入常规急诊科运营中的实用性前瞻性诊断准确性和一致性评估,采用固定入组窗口而非正式的事前把握度计算。在入组窗口内,我们获得了64个可分析的区域病例。次要分析和亚组分析未事前进行把握度计算,应谨慎解读。

统计分析

分析人群

全分析集包括具有方案依从性成像以及来自LLM、至少一名医生和参考小组的有效输出的区域病例。符合方案集排除了被≥2名小组成员评定为不可评估的区域病例。对于烧伤涉及多个解剖学不同区域的患者,每个拍摄区域被视为独立的区域病例;因此,一些患者贡献了不止一个观察值,导致患者水平的聚类。

描述性统计

连续变量以均值 ± 标准差或中位数[四分位距]汇总;分类变量以 n(%)表示。TBSA 值表示该区域占全身面积贡献的百分点。

主要分析

设 Δ_i 为区域-病例 i 的 LLM 绝对误差与医师中位绝对误差之间的配对差值。若 Δ_i 的 Hodges–Lehmann 中位数单侧 95% CI 上限(聚类 bootstrap,5,000 次重抽样,按患者聚类)≤ Δ*,则判定为非劣效;若上限 < 0,则判定为优效。所有主要和次要推断分析均使用患者水平聚类 bootstrap 重抽样(患者有放回抽样;每个重复样本内保留所有区域)来处理患者内聚类;对于一致性指标(如 κ、CCC),聚类 bootstrap 置信区间使用 2,000 次重复计算。主要或次要终点均未拟合混合效应模型;推断依赖于预先设定的患者水平聚类 bootstrap 框架。

次要分析

深度一致性采用二次加权 kappa;连续一致性采用 CCC 和 Bland–Altman;阈值准确性采用 ROC–AUC 及 DeLong 比较;医师间评分者变异性采用 ICC;校准通过回归/图形;图像质量敏感性分析。探索性亚组分析(年龄 < 18 岁 vs ≥ 18 岁;解剖区域)为描述性分析,并在层内使用相同的患者水平聚类 bootstrap 方法;未拟合混合效应交互模型。主要/次要结局的缺失数据未进行插补;超出 [0,100] 的值被标记为录入错误。

图像采集与质量保证

照片在清创前以及在使用任何可能改变伤口外观的制剂(如有色消毒剂)之前获取;必要时,仅用清盐水/水轻柔冲洗以去除明显碎屑,不改变皮肤颜色。图像在常规急诊科诊疗期间使用可用的智能手机相机拍摄,同时满足下文所述的预先设定最低图像质量要求。每个区域-病例我们采集三个标准化视图(一个正交前视图,两个约 ± 30–45° 的斜视图)。最低规格:长边 ≥ 2,000 px;原生拍摄无数码变焦;对焦充分且照明弥散;在可行时画面内包含公制标尺或 1 cm 网格(掌面可接受并记录);JPEG 质量 ≥ 90% 或无损;取景包括整个病变区及周围 2–3 cm 皮肤。未达到关键标准(分辨率/对焦/曝光)的图像在该区域被排除,并记录原因代码。面部/身份标识被遮蔽;EXIF 数据被剥离;文件存储在加密存储库中并带有访问日志。

伦理与报告

机构非干预性方案和当地批准 governs 实施。临床摄影的书面同意来自成人,未成年人来自法定监护人。报告遵循 STROBE 和 STARD 的观察性和诊断准确性要素,并对照 STARD-AI 扩展进行交叉核对,用于以 AI 为中心的诊断准确性研究;AI 特异性报告遵循 CLAIM [15, 16]。冻结的提示词(附录 A)和模型设置已存档。

结果

在入组期间(2025年7月22日至2025年9月8日),共筛查了413例因急性烧伤就诊于急诊科的患者。其中,52例患者按照研究方案入组并接受影像检查,由于部分患者在一个以上解剖学上独立的区域存在烧伤,共贡献了64个烧伤区域病例。其余359例就诊者未入组,原因包括孤立的一度/仅红斑性烧伤不属于研究范围、无明显部分厚度受累的浅表损伤、未同意或无法获得知情同意、同一发作的随访就诊以及非烧伤或编码错误的疾病(各原因计数见图1)。另有5例就诊涉及广泛全层烧伤且需立即进入ICU,在这种情况下无法在临床上可行地按照方案进行摄影(图1)。

在52例唯一患者中,43例贡献1个区域病例,6例贡献2个区域病例,3例贡献3个区域病例。在这64个区域病例中,35个发生于年龄小于18岁的患者,29个发生于年龄18岁及以上的成人。所有64个区域病例均具有来自LLM、医师组和专家组的完整TBSA和深度输出,因此被纳入全分析集和符合方案集。没有区域病例因专家组无法评估而被排除。区域病例的基线特征,包括年龄分布、解剖部位、专家组深度分类和图像质量评分,总结于表1。专家组表现出极好的评估者间一致性,TBSA估计的ICC = 0.97,深度分类的二次加权κ = 0.86,支持将专家组共识作为参考标准。

与专家组相比,LLM在估计TBSA方面显示出较小误差。LLM与专家组TBSA之间的平均绝对误差为1.40个百分点,中位绝对误差为1.00个百分点。总体而言,87.5%的病例位于专家组TBSA ± 3个百分点以内,98.4%位于 ± 5个百分点以内。以Lin氏CCC量化的连续一致性为0.642,表明LLM与专家组TBSA值之间具有中等一致性(聚类自助法95% CI 0.347至0.851)。对LLM与专家组TBSA差值(LLM减专家组)的Bland–Altman分析显示平均偏倚为+ 0.15个百分点,95%一致性界限范围为− 4.47至+ 4.76个百分点,提示大多数LLM估计值位于围绕专家参考值的狭窄且临床可接受范围内。这些总结性准确性和一致性指标见表2,专家组、LLM和医师TBSA估计值的逐病例分布见图2。

预先设定的非劣效性分析将LLM的绝对误差与急诊医师在每个区域-病例的中位绝对误差进行比较,两者均以专家组为参照。配对差值Δ_i(LLM绝对误差减去医师中位绝对误差)的分布以零为中心(Hodges–Lehmann中位数0.25个百分点),该中位数的单侧95%置信区间(CI)上限为0.50个百分点。该上限远低于3个百分点的非劣效性界值,且未达到优效性标准(上限<0),表明LLM在区域水平TBSA误差方面不劣于医师共识,无明显证据显示系统性优势或劣势。在限制为每名患者随机选择一个区域-病例的敏感性分析中,非劣效性结论不变(在重复随机选择中单侧95%上限始终<3)。各病例的配对绝对误差及非劣效性阈值见图3。该终点未拟合支持性混合效应模型;预设的患者水平聚类 bootstrap 分析构成了主要结局的推断性比较。

与专家组直接比较时,急诊医师的TBSA误差略小于LLM。医师中位数与专家组TBSA之间的平均绝对误差为0.89个百分点(中位数0.75个百分点),分别有96.9%和100%的病例在专家组±3和±5个百分点范围内。医师中位数与专家组TBSA之间的一致性较高(Lin's CCC 0.897;聚类 bootstrap 95% CI 0.773至0.954)。医师的Bland–Altman分析显示平均偏倚为+0.78个百分点,95%一致性界限为−1.20至+2.76个百分点,表明医师相对于专家小组倾向于略微高估TBSA,但离散度较LLM更窄。在18名急诊医师中,TBSA的评定者间变异性适中:组内相关系数(双向随机效应、绝对一致性)为0.71,表明医师间TBSA估算具有实质性一致性(表2)。

校准分析进一步说明了这些差异。对于LLM,将LLM TBSA对专家组TBSA进行回归得到的截距为1.05,斜率为0.71(R2 = 0.42),提示存在一定程度的极值压缩,倾向于将数值拉向分布中心。对于医师中位数,相应的截距和斜率分别为0.74和1.01(R2 = 0.88),表明相对于专家组接近恒等校准,且解释方差显著更高。在以医师中位TBSA为参照的补充比较中,LLM再次表现出相似的性能:LLM与医师中位TBSA之间的平均绝对误差为1.57个百分点,中位绝对误差为1.00个百分点。在该比较中,84.4%的病例在医师共识±3个百分点范围内,96.9%在±5个百分点范围内。LLM与医师共识TBSA的Lin's CCC为0.63(聚类 bootstrap 95% CI 0.361至0.834),与以专家组为参照的估计高度一致,进一步证实LLM的TBSA估算紧密聚集于专家评估和临床医师评估周围。

烧伤深度分类的一致性低于TBSA。采用三级本体分类,专家小组将64例中的47例(73.4%)归类为浅二度,16例(25.0%)为深二度,1例(1.6%)为全层。相比之下,LLM将59例(92.2%)归为浅二度,5例(7.8%)归为深二度,未将任何病例标记为全层。LLM与专家小组在烧伤深度上的完全一致见于64例中的48例(75.0%)。然而,大多数不一致反映为深度低估:专家小组评为深二度的16例中有13例被LLM归类为浅二度,唯一的全层病例也被降级为浅二度。LLM与专家小组之间烧伤深度的二次加权kappa为0.14(95% CI − 0.06至0.39),表明尽管完全一致的比例相对较高,但超出机遇的一致性仅为轻微,并突显大多数差异发生在临床相关的类别边界处。在实际意义上,κ = 0.14反映的是经机遇校正后接近机遇水平的一致性。相对较高的原始一致率(75%)与较低的κ之间的差异符合患病率/边际不平衡(“kappa悖论”)效应,即某一类别(此处为浅二度)的占优势使用和其他类别(尤其是全层)的稀少使用会膨胀机遇一致率并压低κ。值得注意的是,LLM未能正确识别唯一的全层病例,并系统性地将较深的烧伤(深二度和全层)降级为浅二度,这一模式对依赖深度的临床决策构成临床风险。所有评估者组的深度分布和一致性指标汇总于表3,三级本体分类的完整混淆矩阵见补充表S2A–C。

急诊医师在烧伤深度方面与专家小组的一致性显著更高。基于18名医师的众数分类,浅二度、深二度和全层分别被分配到42例(65.6%)、19例(29.7%)和3例(4.7%)。总体而言,64例中有54例(84.4%)被医师共识与专家小组分类为相同类别,大多数差异发生在相邻类别之间。医师共识与专家小组的二次加权kappa为0.69(95% CI 0.44至0.89),符合显著一致,而LLM与医师共识的κ为0.13(95% CI − 0.06至0.34),再次处于LLM–专家小组比较中观察到的轻微一致范围(补充表S2A–C)。当LLM直接与医师众数深度分类进行比较时,64例中有42例(65.6%)存在完全一致。总之,这些发现表明,在此背景下,LLM以较小的数值误差再现了专家小组水平的TBSA估计,但相对于专家和一线临床医师均倾向于系统性低估烧伤深度,尤其是对于较深的损伤(表3)。

探索性亚组分析未发现年龄或解剖区域存在显著的效应修饰。在儿科病例中,LLM的TBSA平均绝对误差为1.39个百分点,医师中位数为0.96个百分点,两种方法的中位数均为1.0个百分点。在成人病例中,相应的平均绝对误差分别为1.41和0.80个百分点,中位数均为0.5个百分点。按区域分层的汇总显示,LLM在躯干和面部烧伤中的误差略大于上肢和下肢烧伤,医师估计中也观察到类似模式,但程度较轻。然而,每个区域的病例数较少限制了亚组比较的精确性,且LLM在任何特定亚组中均未表现出明显一致的系统性高估或低估模式。

基于图像质量的预设敏感性分析受到摄影输入质量普遍较高的限制。医师评定的图像质量中位数为9分(1–10分量表,四分位距8–9),仅极少数评分低于8分(表1)。在这一狭窄范围内,图像质量与LLM或医师的TBSA绝对误差之间均无有意义的关联(LLM的Spearman ρ ≈ 0.13,医师的ρ ≈ 0.02,两者p > 0.3),排除少数评分较低的病例后,任何主要或次要估计值均无实质性变化。针对较大区域TBSA贡献的阈值判别分析受到本样本中高TBSA区域数量较少的限制,未发现LLM与医师共识之间存在重大定性差异。

图1 急诊科烧伤就诊、入组患者及分析的烧伤区域-病例流程图。在招募期内,共筛查413次就诊,入组52例患者,64个区域-病例纳入全分析集和符合方案集 查看原图 ↗
表1 纳入区域-病例的特征 查看原表 ↗
表2 区域水平TBSA准确性和与专家小组的一致性 查看原表 ↗
图2 64个急性烧伤区域的逐病例区域水平烧伤面积估计。对于x轴上的每个病例,白色箱线图描绘了18名急诊医师TBSA评估值的分布(中位数、四分位距和须线)。箱线图总结了每个病例的医师间变异性,并非与橙色(专家小组)或蓝色(LLM)点估计值相关联的独立标记系列。橙色菱形标记表示该病例的专家小组TBSA中位数,蓝色圆形标记代表大语言模型(LLM)估计的TBSA。y轴显示区域水平TBSA,单位为百分点 查看原图 ↗
图3 LLM和急诊医师相对于专家小组在64个烧伤区域中的TBSA绝对误差。对于x轴上的每个病例,垂直成对的标记显示LLM(橙色“×”标记)和医师中位数(蓝色三角形标记)的绝对误差(y轴,单位为百分点)。位于3和5个百分点的水平虚线参考线分别表示预设的非劣效界值和更宽的±5个百分点误差带 查看原图 ↗
表3 各评估者的烧伤深度分布及一致性指标 查看原表 ↗

讨论

在这项前瞻性、单中心评估中,大语言模型(LLM)在估算烧伤面积方面达到了与急诊医师非劣效的表现,而在烧伤深度分类方面表现明显较差。该模型在区域层面的TBSA估计通常接近专家小组参考值和临床医师的评估,保持在为临床相关性预设的非劣效性界值范围内。相比之下,其与专家在深度方面的一致性仅为轻微,而急诊医师则达到显著更高的一致性。这些发现支持基于LLM的工具在标准化 photographic 条件下用于TBSA估算的有限辅助作用,但表明依赖深度的决策应仍由专家临床控制,并在有条件时由专用模态支持。

我们的TBSA结果与已有文献一致,显示人类烧伤评估存在变异性。一项综合28项研究的系统综述报告,转诊临床医师与烧伤中心之间的TBSA估计常常存在差异,且在早期救治中倾向于高估[3]。Swords等同样发现转诊机构对转运儿童存在显著高估,并将更大的高估与临床上重要的液体过度复苏相关联[17]。相比之下,嵌入的烧伤专业知识似乎改善一致性:Yoo等报告急诊医师与烧伤病房工作人员之间为中度至高度一致性和极佳可靠性,精确TBSA估计的平均差异为低个位数[14]。总之,这些数据支持我们非劣效性设计的前提——即低个位数的TBSA差异反映常规急诊科实践而非烧伤中心精确度——并为我们的发现提供背景,即该环境中LLM的TBSA准确性与急诊医师相当。

深度评估仍是更容易出错的任务。即使经验丰富的临床医师,与组织学或基于愈合的参考标准相比,也可能错误分类深度[3, 5, 18, 19]。远程医疗和基于智能手机的烧伤评估研究同样显示TBSA估算良好,但深度表现较为有限,在部分厚度边界附近频繁发生错误分类[5, 18, 20]。在我们的研究中,LLM的深度一致性仅为轻微,尽管原始一致性表面上较高,这与某一类别占主导且稀疏类别对机会一致性贡献不成比例时的患病率/边际不平衡(“kappa悖论”)效应一致。关键在于,LLM未能识别全层病例,并系统性地将更深的损伤降级,这种模式对依赖深度的管理构成临床风险。

近期计算机视觉研究提供了有用的背景。基于精选烧伤图像数据集训练的专用深度学习系统已报告在分割和TBSA估计方面表现良好[7, 8],一些混合或卷积方法已报告在预测严重程度或手术需求方面具有高准确率/AUC[7, 21, 22]。然而,一项系统综述强调了常见的局限性,包括数据集小且同质、偏倚以及外部验证有限——尤其是在肤色多样性和真实世界采集变异性方面[21]。远程医学研究同样表明,虽然远程评估可以改善可及性,但深度分类往往仍不太可靠,可能需要诸如激光多普勒成像等辅助技术[5, 18, 19]。在此背景下,我们的前瞻性ED数据集和专家共识参考表明,通用LLM可以接近临床医生的TBSA表现,但尚未达到任务优化成像系统所报告的深度分类性能——这凸显深度分级可能需要模态和任务特异性优化,而非通用多模态推理。

更广泛地说,我们的结果呼应了新兴急诊医学LLM文献中的主题:有前景的独立能力并不自动转化为可靠的临床效用。综述强调,大多数证据仍基于 vignettes 或 bench testing,而非前瞻性临床评估[12, 23, 24]。在一项将GPT-4作为诊断辅助的随机试验中,与传统资源相比,提供模型访问并未显著改善医生的诊断推理[25]。同样地,在此LLM在一项受约束的几何任务(TBSA估计)上表现良好,却在一项密切相关但具有临床后果的任务(深度)上失败,提示部署应聚焦于严格指定的角色并配备明确的升级路径,而非广泛的自动化期望。

本研究具有支持可解释性的优势:前瞻性连续入组、在真实急诊科(ED)进行标准化摄影、经裁定的多专家参考标准,以及由18名急诊医师使用与LLM相同输入进行的盲法评估。TBSA评估锚定于预先设定的非劣效性框架,并采用具有临床意义的界值[3, 14, 17]。然而,关键局限性制约了其外推性。本研究为单中心学术机构,且同址具备烧伤专科能力;对社区医院、院前救治或低资源环境的外部效度尚不确定。尽管非专科机构的TBSA估算通常准确性较低[3, 5, 17],但不应假定LLM在此类条件下的表现会更好。我们数据集中的图像质量均一且高度标准化;在较低分辨率、运动模糊、遮挡、取景不佳或非标准光照下,性能可能下降。肤色多样性和照明变异性有限,跨色素沉着和光照条件的泛化能力仍不确定。我们在单一时间点评估了一种模型配置;性能可能随版本更新或混合架构而变化。最后,我们未与最先进的计算机视觉烧伤工具进行比较,也未评估对临床医生行为或患者结局的下游影响。因此,我们的结果应被解释为通用多模态LLM在ED烧伤评估中能力的有界快照,而非AI性能的上限估计。

在实践层面,我们的发现支持在标准化成像工作流程下考虑将LLM作为TBSA估算的第二阅片者,同时将深度输出视为不可靠且不可据此采取行动。依赖深度的管理应继续由临床医生主导,并在可行时辅以激光多普勒成像等技术[19]。未来工作应优先开展多中心外部验证、更多样化的成像和肤色分布,以及在真实工作流程中评估人机协作,以确定TBSA支持工具能否安全改善急性烧伤照护的一致性和公平性[5, 10, 18, 20]。

结论

在这项前瞻性、基于图像的诊断研究中,通用多模态LLM在估算区域级TBSA方面达到与急诊医师非劣效的性能,绝对误差小,且相对于多专家小组的偏倚极小,提示其可能可作为急诊科早期烧伤面积量化的辅助工具,尤其是在烧伤专科能力有限的情况下。然而,该模型系统性低估烧伤深度,与专家和临床医生深度分类仅呈轻微一致性,表明其尚不适合用于依赖准确区分深二度与全层烧伤的决策。这些发现既凸显了基于LLM的工具在急性烧伤照护中的前景,也揭示了其当前局限性:它们可能通过改善TBSA估算来帮助稳定早期液体复苏和转诊决策,但安全的临床整合将需要深度评估的进一步开发和验证,以及对一线工作流程中模型使用的审慎监管。

补充信息

补充材料1。

补充材料2。

补充材料3。

参考来源

  1. Aykut A, Karayıl AR, Yıldırım C, et al. Multimodal large language model versus emergency physicians for burn assessment: a prospective non-inferiority study. Scand J Trauma Resusc Emerg Med. 2026. PMID: 41645231. doi:10.1186/s13049-026-01577-6
  2. 全文:PMC12969848(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12969848/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。