文献速递技术与安全CTMRDR

GPT-4.1与Llama 3.3 70B零样本评估未能检出放射报告中的临床相关错误

GPT-4.1 and Llama 3.3 70 fail to detect clinically relevant errors in radiology reports in zero-shot evaluation.
PubMed 文献 · Eur Radiol · 2026-06-19

该回顾性研究纳入256份CT、MRI和X线报告,每份生成4种预设错误变体共1024份,在零样本基线下评估GPT-4.1和Llama 3.3 70B的错误检出与分类能力。结果显示性能由错误类型主导:对不适当建议检出最佳,对生理不可能表现检出最差,两阶段成功率最低仅1.9%。

要点

  • LLM对需推理的生理不可能错误检出极差,两阶段成功率可低至1.9%。
  • 对模式化不适当建议检出较好,GPT-4.1在X线中两阶段成功率达81.2%。
  • CT报告检出普遍优于MRI和X线,尤其解剖错误和生理错误差距明显。

核心结论

  • 通用LLM在零样本下检出临床相关错误的能力高度依赖错误类型,对需领域推理的生理不可能错误漏检超过90%。

研究设计与样本

  • 回顾性研究,单中心256份报告(CT 104、MRI 104、X线48),每份生成4种错误变体共1024份。
  • GPT-4.1(2025-04-14)和Llama 3.3 70B instruct在零样本、无领域训练或提示优化下评估,温度设为0,单次运行。
  • 参考标准为两名认证放射科医生独立验证注入错误具有临床意义,分歧经共识解决。

诊断标准与关键数值

  • 错误分为E1解剖错误标记、E2生理不可能或无意义表现、E3诊断不一致、E4不适当建议四类。
  • GPT-4.1总体错误检出准确率66.5%(95%CI 63.6–69.1),分类准确率65.4%(95%CI 62.4–68.3),两阶段成功率48.2%。
  • Llama 3.3 70B总体检出准确率54.0%(95%CI 50.9–57.0),分类准确率48.5%(95%CI 45.4–51.8),两阶段成功率36.0%。
  • GPT-4.1对E2两阶段成功率:CT 16.3%、MRI 8.7%、X线12.5%;Llama 3.3 70B最低为MRI E2的1.9%。
  • GPT-4.1对E4检出率:CT 72.1%、MRI 79.8%、X线85.4%,分类准确率分别为86.7%、91.6%、95.1%。

临床应用与阅片要点

  • 当前通用LLM不宜独立用于放射报告质控,尤其对生理不可能和解剖错误等需推理的错误类型。
  • LLM对不适当建议等模式化错误检出较好,可作为辅助提示但需人工复核。
  • CT报告因术语标准化程度较高,模型表现优于MRI和X线,阅片时仍需警惕模型漏检。

局限性

  • 采用基线零样本配置,可能低估经领域微调或提示优化后的性能。
  • 每模型仅单次评估运行,虽温度设为0仍不能完全排除API输出波动。
  • 使用合成错误病例,可能限制对真实报告变异性的推广。
  • 未与放射科医生进行正式盲法比较,未评估与对应影像的一致性。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2026 Jun 19;36(11):8149–59. doi: 10.1007/s00330-026-12697-z

引言

全球范围内每年执行的X线摄影、计算机断层扫描(CT)和磁共振成像(MRI)检查数量持续增加,放射科的工作负荷也随之不断上升。这种日益增长的临床工作负荷与放射学报告更容易出现错误相关[1]。大语言模型(LLM)凭借其在通用语言任务中的出色表现,也引起了人们对放射学任务的关注[2–4]。近年来,已有研究在广泛的应用场景中对它们进行了评估,包括但不限于信息提取、结构化、摘要生成、决策支持和错误检测[5–12]。

然而,语言流畅性的高性能并不必然等同于临床安全性。随着LLM越来越多地被考虑整合到临床工作流程中,一个关键问题是它们识别和解读具有医学意义的错误的能力,尤其是那些可能被忽视并导致诊断延迟或患者伤害的错误[13]。此外,LLM可能被滥用于网络攻击,通过向放射学报告中注入虚假医疗数据,以从不必要的检查或随访中获利[14]。

研究已凸显了这一差距,强调虽然LLM可以模仿专家的措辞,但它们往往缺乏领域特定的推理能力,例如,当用于简化放射学报告时,可能导致患者得出有害的结论[15–17]。更近期以来,评估LLM检测放射学报告中临床相关错误的能力已成为一个日益受关注的领域,反映了对自动化系统在医疗文档和诊断支持方面日益增长的依赖,研究结果提示生成流畅性与事实可靠性之间存在脱节[18, 19]。此外,尽管具有多模态和检索增强生成能力的模型具有更好的上下文理解能力,但它们并未解决逻辑一致性和临床优先级方面的根本局限性[15]。很少有研究在不同模态之间对这些工具进行基准测试,据我们所知,其中仅有少数在此背景下对Llama模型进行了系统评估[12]。

遵循公式化模式的错误(如相互矛盾的建议)与需要领域特定推理的错误(如识别生理上的不可能性)之间存在关键区别。LLM可能在检测前者方面表现良好,却无法识别后者,然而大多数评估并未系统性地检验这一区别。

在本研究中,我们提出了一个用于系统性评估LLM在放射学报告中错误检测能力的评估框架,并将其应用于GPT-4.1和Llama 3.3 70B作为初始基准。使用涵盖CT、MRI和X线的256份放射学报告,每份报告均被修改加入四类临床相关错误(共1024个),我们评估LLM的表现是否受错误类型支配,检验以下假设:基于模式的错误检测与依赖推理的错误检测之间存在差距。评估框架和数据集已公开提供,以促进未来模型的基准测试。

材料与方法

研究设计

本回顾性分析经伦理批准(2024-590-S-CB),因数据为合成性质而豁免知情同意。我们评估了为测试临床相关错误检测能力而创建的结构化放射学报告。研究流程示意图见图1。

图1 研究概览。A 汇编了一套256份原始放射学报告,包括104份MRI、104份CT和48份X线报告。这些报告作为基线参考。B 每份报告扩增为四份,每份副本包含一个从四个预定义错误类别中刻意引入的单一错误(E1:解剖学错误标注,E2:生理上不可能或无意义的发现,E3:诊断不一致,E4:不适当的建议)。该过程共生成1024份伪造报告。C 对完整的1024份伪造报告集进行错误检测评估(是否存在错误),随后将错误分类为四个类别之一,并计算两阶段成功率(即检测和分类均正确),使用GPT-4.1和Llama 3.3 70b进行评估。 查看原图 ↗

数据集构建

报告回顾性选取自单一学术医学中心的匿名常规临床检查。共纳入涵盖三种成像模式的256份放射学报告。这些报告回顾性选取自单一学术医学中心进行的匿名常规临床检查。CT检查(n = 104)包括胸部(n = 28)、腹部(n = 28)、颅脑(n = 24)和肌肉骨骼(n = 24)检查。MRI检查(n = 104)包括脑部(n = 28)、脊柱(n = 28)、腹部(n = 24)和肌肉骨骼(n = 24)区域。X线检查(n = 48)包括胸部(n = 24)和肌肉骨骼(n = 24)检查。

对于每份报告,我们创建了四个报告变体,每个变体包含不同类型的错误(n = 1024)。每个错误(E)变体标记为1至4(例如E1)。错误由一名委员会认证的放射科医师(T.A.D.)和一名四年级放射科住院医师(I.L.)创建并注入报告中。E1(解剖学错误标注)将病变置于错误的解剖位置,可能导致不适当的操作。E2(生理上不可能或无意义的发现)描述了违反基本生物学或物理学原理的发现。E3(诊断不一致)包含影响诊断和分期的矛盾陈述。E4(不适当的建议)建议的管理措施与所描述的发现相矛盾(表1)。原始数据集为德语,使用基于大语言模型的翻译工具(即DeepL)翻译为英语。在错误注入过程中,所有翻译均由作者手动审查并验证准确性。所得的英文版本作为所有后续错误变体的基础数据集。数据集公开 available 于 https://doi.org/10.5281/zenodo.17529445。

两名委员会认证的放射科医师(L.C.A.和K.K.B.)独立验证每个错误均代表具有潜在临床后果的合理错误。分歧通过共识讨论解决。

表1 各错误类别的示例及其临床相关性 查看原表 ↗

模型评估

我们评估了GPT-4.1(2025-04-14发布,OpenAI)和Llama 3.3 70b instruct(Meta),这两个模型被选为医学人工智能研究中部署最广泛的两个大语言模型家族的代表性模型,从而能够对专有架构和开源架构进行比较。纳入开源模型对于临床部署场景尤为重要,因为在数据隐私法规要求本地托管并排除使用基于云的专有API的情况下,开源模型具有特殊相关性。每个模型均接收标准化提示,要求先进行错误检测(二分类决策),然后进行错误分类(四个类别)(图2)。

模型通过OpenAI API(GPT-4.1)和Together AI API(Llama 3.3 70b,半精度,未量化)访问。每份放射学报告作为独立的API调用进行处理。所有API调用的温度参数设为0,其他所有参数保持默认值。模型在零样本设置下评估,不提供训练示例、医学背景或提示优化,以评估基线模型性能。所使用的确切提示见补充材料。每个模型进行了一次评估运行。

图2 两个模型接收的标准化提示,要求先进行错误检测(二分类决策),然后进行错误分类(四个类别) 查看原图 ↗

统计分析

主要终点包括错误检测准确率(将含有错误的报告正确识别为含错误的报告比例)、错误分类准确率(将检测到的错误正确归类为E1-E4类别的比例)和两阶段成功率(检测和分类均正确的报告比例)。性能指标总体计算,并按影像模态(CT、MRI和X射线)和错误类别(E1-E4)分层。错误类别、模态和模型之间的比例差异使用卡方检验评估,当预期单元格计数低于5时应用Fisher精确检验。统计显著性定义为p < 0.05。所有报告的p值均为双侧。使用比例和计数的描述性统计总结模型性能。95%置信区间(CI)使用百分位自助法(10,000次自助抽样)计算,为比例估计提供无分布假设的CI。未进行正式的先验功效分析,因为数据集大小由临床可获得性决定。然而,凭借1024份含错误报告和主要比较(E4 vs E2检测)中观察到的超过25个百分点的效应量,本研究具有足够的统计功效来检测所报告的差异幅度,这由不重叠的95%自助CI所证实。所有分析使用R 4.3.1版本进行。

结果

主要性能指标

使用百分位自助法,两个模型的主要性能指标均处于中等水平。GPT-4.1的错误检测准确率为66.5%(95% CI:63.6–69.1),Llama 3.3 70B为54.0%(95% CI:50.9–57.0)。GPT-4.1和Llama 3.3的错误分类准确率分别为65.4%(95% CI:62.4–68.3)和48.5%(95% CI:45.4–51.8)。两个模型在两阶段成功率上表现最低(GPT-4.1为48.2%,Llama 3.3为36.0%)。主要性能指标见表2。

表2 主要性能指标及95% CI(百分位自助法) 查看原表 ↗

错误类型分析

不同错误类别E1-E4的性能差异显著,揭示了具体的知识缺口。GPT-4.1(72.1–85.4% vs 33.7–47.9%,所有模态p < 0.001)和Llama 3.3(61.5–72.9% vs 25.0–39.6%,p < 0.001)的E4检出率均超过E2检出率。GPT-4.1在所有错误类别中的检出率均显著高于Llama 3.3(总体:66.5% vs 54.0%,p < 0.001)。对于E1错误(GPT-4.1:81.7% vs 49.0%,p < 0.001)和E2错误(GPT-4.1:46.2% vs 33.7%,p = 0.048),基于CT的检出率显著高于基于MRI的检出率。

E1错误(解剖结构错误标注)表现出明显的模态差异。CT的检出率为81.7%(GPT-4.1)和67.3%(Llama 3.3 70b),而MRI仅为49.0%(GPT-4.1)和33.7%(Llama 3.3 70b)。检测MRI E1错误的总体成功率为33.7%(GPT-4.1)和19.2%(Llama 3.3 70b),表明大多数可能导致部位错误操作的解剖学错误将未被检出。

错误类别E2(生理上不可能的发现)的检出率普遍较低。对于CT,检出率为46.2%(GPT-4.1)和32.7%(Llama 3.3 70b)。MRI(33.7%和25.0%)和X线(47.9%和39.6%)的表现进一步下降。即使被检出,分类准确性也相当低:GPT-4.1仅正确分类了CT中35.4%的已检出E2错误,MRI则降至25.7%。

错误类别E3(诊断不一致)的表现处于中等水平。GPT-4.1的检出率为88.5%(CT)、71.2%(MRI)和75.0%(X线)。然而,分类准确性差异显著,尤其是X线,仅55.6%的已检出错误被正确分类。

两个模型对E4错误(不适当建议)的检出表现均最佳。GPT-4.1的检出率为72.1%(CT)、79.8%(MRI)和85.4%(X线),检出后的分类准确性优异(分别为86.7%、91.6%和95.1%)。相比之下,Llama 3.3 70b的检出率为61.5%(CT)、67.3%(MRI)和72.9%(X线),对已检出E4错误的分类准确性分别为71.9%、80.0%和91.4%。

两个模型按错误类别E1–E4分层的所有性能指标汇总于图3。

图3 A–D GPT-4.1和Llama 3.3 70b的综合性能。A 临床相关错误的总体分类准确性。B 四类错误类别(E1:解剖结构错误标注;E2:生理上不可能/无意义的发现;E3:诊断/临床不一致;E4:错误建议)的混淆矩阵,显示真实类别与预测类别的绝对数量和百分比。C 按成像模态(X线 n = 192,MRI n = 416,CT n = 416)分层的错误检出和分类性能。D GPT-4.1按错误类别分层的分类准确性及95% CI,浅色柱表示所有报告,深色柱表示错误被正确检出的报告 查看原图 ↗

模态特异性性能

在大多数错误类别中,模型对CT报告错误的检出性能始终优于其他模态。性能差距在E1和E2错误中最为显著。对于E1错误,GPT-4.1在CT中的总体成功率超过MRI 33.6个百分点(67.3% vs 33.7%),Llama 3.3 70b超过27.0个百分点(46.2% vs 19.2%)。按成像模态分层的性能概览见图3C。

两阶段分析

在所有报告中,两种模型均表现出高度可变的表现,且依赖于错误类型和成像模态。GPT-4.1的总体成功率范围为8.7%至81.2%(分别为MRI E2和X射线E4)。Llama 3.3 70b表现出持续较低的表现,成功率范围为1.9%至66.7%(分别为MRI E2和X射线E4)。值得注意的是,检测和分类均正确的报告比例显示出 substantial 的性能下降。即使初始检测率看似合理,分类准确性不佳也导致总体成功率较低。这在所有模态的E2错误中最为明显,本已不高的检测率因分类失败而进一步降低,导致GPT-4.1的总体成功率低于17%,Llama 3.3 70b低于2%。两阶段性能以桑基图展示(图4),相应成功率汇总于表3。

图4 桑基图,展示GPT-4.1和Llama 3.3-70b的两阶段LLM性能(检测→分类),按成像模态(CT、MRI和X射线)分层 查看原图 ↗
表3 两阶段LLM性能指标及95% CI(百分位自助法):GPT-4.1和Llama 3.3-70b在CT、MRI和X射线中各错误类型(E1–E4)的检测→分类 查看原表 ↗

讨论

我们对GPT-4.1和Llama 3.3 70b在1024份含错误放射学报告中的系统评估揭示了一种由错误类型而非整体模型能力主导的显著性能层级。两种模型在不适当建议上表现最佳(E4:总体成功率高达81.2%),在生理上不可能的发现上表现最差,尽管后者代表对自然规律的明显违反(E2:低至1.9%),解剖错误标记(E1)和诊断不一致(E3)介于这两个极端之间。然而,E3与E4之间的确切排序因模型和模态而异,绝对性能水平差异显著,CT持续优于MRI和X射线。这一模式表明,错误类型是性能的主要决定因素,E2错误一致代表最大挑战,而模态调节绝对幅度。CT报告上持续较高的表现可能反映CT报告特有的更标准化解剖术语和报告惯例,这可能与模型训练数据中的统计模式更紧密对齐。这些结果反映了通用LLM的基线能力,不应被解释为可实现性能的上限。领域特定的微调、提示工程或整合结构化医学知识的混合架构可能改变观察到的性能层级。

我们的发现揭示了当前LLM的一个基本局限性:无法区分语言上合理但医学上不可能的文本。GPT-4.1的总体成功率为8.7%(MRI),Llama 3.3 70b为1.9%(MRI),这些模型漏掉了超过90%的生理上不可能的发现。这可能反映LLM通过统计下一词预测[20]运作而不编码领域特定知识,而不适当建议与公式化训练模式更紧密对齐[21, 22]。语言合理性与医学可能性之间的这一区别代表了对自主临床部署的重大挑战。

我们研究中观察到的GPT和Llama在不同错误类型和成像模态上的性能差异与Gertz等人的研究结果一致,他们证明GPT-4达到了与人类放射科医生相当的总体检出率(82.7%),尤其是对于拼写错误或遗漏等更表层的错误[23, 24]。此外,与我们的研究结果一样,对于更复杂的错误类型,性能明显下降。Schmidt等人发现,GPT-4在识别各种类型的临床相关语音识别错误方面优于LLaMA-2–70b-Chat,精确率分别为76.9%和62.5%[11]。值得注意的是,模型性能接近已发表人类基准的唯一情况是GPT-4.1在X射线报告中的不当建议(E4)上,其总体成功率为81.2%,接近Gertz等人报告的人类放射科医生82.7%的检出率[23]。对于所有其他错误类别,尤其是生理上不可能的发现(E2),两个模型均远低于预期的人类性能,总体成功率低至1.9%(Llama 3.3,MRI E2),而这些错误是放射科培训学员能够立即识别的。

值得注意的是,我们的两阶段分析突显了当前基于大语言模型(LLM)的系统的一个关键局限性:即使初始检测性能看似可接受,糟糕的分类也会大幅降低临床实用性。综合我们的发现与现有文献,基于GPT-4的模型虽然能在基础校对任务上接近人类水平,但在可靠解读复杂临床内容或上下文不一致方面仍有不足。因此,当前LLM作为辅助工具(用于校对或文档模板等任务)可能有价值,但不应在无人工监督的情况下自主部署用于临床质量保证,尤其是在上下文推理至关重要的模态和错误类型上。这些已知局限性——包括幻觉[25]和易受对抗性滥用[3, 14, 26]——因以下证据而进一步加剧:微调(Sun等人[12]:F1 = 0.828)和提示优化(Schmidt等人[11]:F1提升5–15%)可改善表层错误的检测,但尚未在依赖推理的错误上进行测试,而我们的模型恰恰在这类错误上失败最为严重。

尽管架构不同,两个模型表现出相同的性能层级,这表明模式识别与推理之间的差距是当前LLM方法的根本性局限,而非模型规模或训练数据的产物[27]。

本研究的一项局限性是使用了基线模型配置。虽然这使我们能够评估基本能力,但可能低估了通过领域特定微调或提示工程所能达到的性能。因此,我们的发现反映的是基线诊断推理水平,不应被解释为模型性能的上限。此外,每个模型仅进行了一次评估运行。尽管温度被设为0以强制执行确定性解码并最小化输出变异性,但由于服务器端实现因素导致的在线API输出中的微小方差仍无法完全排除。使用统计聚合的重复运行可以提供更稳定的性能估计,尽管观察到的效应量大小(例如,E4错误与E2错误之间总体成功率的36–69个百分点差异)表明随机变异不太可能改变主要结论。本研究的另一个局限性是使用了合成错误案例。虽然这种方法确保了测试条件之间的一致性,但可能限制了对放射学报告真实世界变异性的推广性。然而,这些案例由委员会认证的放射科医生系统构建和验证,以反映合理的和临床相关的错误。此外,本研究未进行与人类放射科医生的正式盲法比较。虽然两位委员会认证的放射科医生验证了所有注入的错误均可检测且具有临床意义,但在与LLM评估相当的条件下进行直接的人类性能基准测试将提供额外的背景信息,并计划作为后续工作的优先事项。此外,本研究仅关注放射学报告中的错误,未评估与相应图像的一致性。未来研究应解决这一空白,以更好地评估LLM的临床价值。最后,这些发现特定于基线零样本配置下的GPT-4.1和Llama 3.3 70b。鉴于LLM发展的快速步伐,更新的模型、微调变体或具有检索增强生成能力的模型可能表现不同。此处报告的具体性能数据可能被取代,而本研究中提出的评估框架和错误分类法对于未来模型的基准测试仍具有其价值。

总之,当在零样本设置下应用于GPT-4.1和Llama 3.3 70b时,所提出的评估框架在评估放射学报告中的临床显著错误时揭示了一个系统性的性能层级;对于遵循公式化模式的不恰当建议,总体成功率高达81.2%,但对于需要领域特定推理的生理上不可能的发现,成功率低至1.9%。这一层级在CT、MRI和X射线模态中以及在专有和开源架构中均持续存在,表明它反映了当前大型语言模型(LLM)在语言能力与医学推理之间的根本差距。除非通过领域特定训练或整合医学知识的混合架构来弥合这一差距,否则不能依赖LLM对放射学报告进行自主质量保证。这些发现适用于在零样本设置下评估的通用LLM。领域特定的微调、提示优化或整合医学知识库的混合架构可能产生不同的性能特征,应使用本文提出的框架进行评估。

补充信息

电子补充材料

引用

  1. Akinci D'Antonoli T, Adams LC, Lübberstedt J, et al. GPT-4.1 and Llama 3.3 70 fail to detect clinically relevant errors in radiology reports in zero-shot evaluation. Eur Radiol. 2026. PMID: 42319406. doi:10.1007/s00330-026-12697-z
  2. 全文:PMC13661699(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13661699/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。