文献速递神经技术与安全MR

评估大型语言模型生成脑MRI序列级协议的性能:GPT-4o、o3-mini、DeepSeek-R1与Qwen2.5-72B的表现

Evaluating large language model-generated brain MRI protocols: performance of GPT4o, o3-mini, DeepSeek-R1 and Qwen2.5-72B.
PubMed 文献 · Eur Radiol · 2025-09-03

本回顾性研究基于150例脑MRI申请单构建的仿真病例,由两名神经放射学家建立参考方案,比较GPT-4o、o3-mini、DeepSeek-R1和Qwen2.5-72B在基础与增强(嵌入本地标准方案与序列说明)两种条件下生成脑MRI序列级方案的准确性。结果显示o3-mini表现最优(基础2.65±1.61,增强1.94±1.25),增强条件下所有模型准确性均显著改善(校正p<0.001),o3-mini增强条件与住院医师水平相当(1.94±1.25 vs 1.77±1.29和1.77±1.28)。

要点

  • 准确指数为冗余序列与缺失序列数之和,越低越好;o3-mini增强条件1.94±1.25,与住院医师的1.77±1.29和1.77±1.28相当。
  • 所有模型在嵌入本地标准方案与序列说明后准确指数均显著改善(校正p<0.001),主要来自冗余序列减少。
  • o3-mini增强条件不必要对比剂使用比例为10.0%(15/150),与基础条件无统计学显著差异(校正p=1.0)。

核心结论

  • 大型语言模型在脑MRI协议生成方面展现出有前景的潜力,尤其是在通过上下文学习增强后。
  • o3-mini表现最优,其次为GPT-4o。
  • 表现最佳的模型(o3-mini增强条件)准确指数与住院医师相当。

研究设计与样本

  • 回顾性研究,基于本地影像申请单衍生150例仿真脑MRI病例,病例为德语。
  • 由两名拥有7年经验的神经放射学家独立建立参考方案并判定关键序列,分歧经共识裁定。
  • 评估GPT-4o、o3-mini、DeepSeek-R1和Qwen2.5-72B在基础与增强(嵌入20个本地标准方案及27个可用MRI序列说明)两种条件下的协议生成表现。
  • 两名放射科住院医师(分别有18和16个月神经放射学经验)独立为全部150例定义方案作为对照。
  • 准确指数定义为冗余序列与缺失序列数之和,组间比较采用双侧配对t检验,并用Benjamini-Hochberg法控制FDR为0.05。

诊断标准与关键数值

  • 参考方案平均包含5.5±1.50个序列(范围2–10),其中关键序列平均3.22±1.1个(范围1–6)。
  • 两名神经放射学家序列水平一致率为96.0%(平均Cohen κ=0.74),关键序列一致率为97.3%(平均Cohen κ=0.75)。
  • o3-mini准确指数最低(基础2.65±1.61,增强1.94±1.25),其次为GPT-4o(基础3.11±1.83,增强2.23±1.48)、DeepSeek-R1(基础3.42±1.84,增强2.37±1.42)、Qwen2.5-72B(基础5.95±2.78,增强2.75±1.54)。
  • 增强条件不必要对比剂使用比例:Qwen2.5-72B从33.3%(50/150)降至23.3%(35/150)(校正p<0.001);DeepSeek-R1从11.3%(17/150)升至18.0%(27/150)(校正p=0.024);GPT-4o从12.7%(19/150)升至18.0%(27/150)(校正p=0.022);o3-mini基础与增强均为10.0%(15/150)(校正p=1.0)。

临床应用与阅片要点

  • 放射科住院医师的准确指数分别为1.77±1.29(每例冗余0.72、缺失1.05个序列)和1.77±1.28(每例冗余0.60、缺失1.17个序列)。
  • 住院医师方案的不必要对比剂使用比例最低,分别为6.0%(9/150)和9.3%(14/150)。
  • 作者指出,在实现MRI协议(半)自动化之前,仍需解决保障患者数据隐私的技术基础设施、优化并测试以防止患者伤害、避免完全自动化和过度依赖(自动化偏差)等问题。
  • 作者指出,基于LLM的MRI协议自动化工具的临床整合取决于监管批准,此类工具直接影响诊断和后续患者管理,需接受严格监管。
  • 作者指出,将外部文档轻松替换可能使系统无缝适应机构特定的协议标准。

局限性

  • 研究使用仿真患者病例,但数据来自真实患者记录且仅做与MRI协议无关的微小修改,作者认为这不太可能影响结果的普适性。
  • 作者指出,在实现MRI协议(半)自动化之前仍有若干障碍需要解决,包括保障患者数据隐私的技术基础设施、优化和测试以防止患者伤害、避免自动化偏差,以及影像申请单中临床病史不充分的问题。
  • 作者指出,基于LLM的MRI协议自动化工具的临床整合取决于监管批准。
全文中译18 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Sep 3;36(3):1644–55. doi: 10.1007/s00330-025-11989-0

引言

脑部磁共振成像(MRI)是一项复杂的诊断检查,可用于评估各种神经系统疾病。根据对患者病史和临床问题的回顾来确定脑部MRI扫描合适序列的过程,通常称为“方案制定”,是一项关键任务,要求放射科医生谨慎平衡临床必要性与效率。

一方面,成像方案应足够全面以涵盖临床适应证。遗漏关键的MRI序列可能导致需要重复检查(也称为召回检查)。事实上,据报道方案错误是此类召回最常见的原因(28%),其次是解剖覆盖不足(21%)[1]。另一方面,方案应限于必要的序列,以尽量减少扫描时间和医疗费用。随着MRI需求的持续增长[2],增加患者获得MRI的机会和缩短等待时间的策略是持续关注的主题[3–5]。此外,最佳MRI方案可以减少不必要的对比剂暴露,因为对比剂具有潜在不良反应如过敏反应[6]。

医疗机构通常采用一套针对常见临床场景的标准化成像方案,例如“脑部MR用于脑转移瘤”或“脑部MR用于多发性硬化症”[7]。然而,这些方案在更复杂的病例中往往被证明不够充分,需要个体化的方案调整。重要的是,方案制定仍然是一项耗时的、非判读性任务,加重了放射科医生的工作负担,加剧了本已不断增加的时间需求[8, 9]。在一项分析学术神经放射学阅片室工作流程的研究中,发现方案制定占放射科医生工作日时间的6.2%,并被确定为图像判读的常见中断来源[10]。

鉴于这些挑战,先前的研究评估了人工智能(AI)工具在选择或确定放射学成像程序方面的潜力[7, 11–15]。Wong等人训练了一个循环神经网络,将脑部MRI病例分类为八种预定义脑部MRI方案之一[7]。多项研究使用大语言模型(LLM)来预测最合适的成像模态、解剖区域以及对比剂应用的必要性[12–15]。Suzuki等人分析了GPT-4(生成式预训练变换器4)在仅基于疾病名称建议在标准脑部MRI方案中添加单个脑部MRI序列方面的表现,这限制了场景的真实性[11]。因此,本研究旨在评估LLM基于真实临床病例建议细粒度、序列级脑部MRI方案的能力。

方法

研究设计

机构审查委员会豁免了伦理审批。

病例选择

基于当地影像数据库中的真实患者病例,开发了一套包含150例德语虚构脑部MRI病例的数据集。为此,获取了影像申请单中列出的精简病史和临床问题,以及人口学信息。随后,对每例原始数据进行修改,将年龄范围偏移5–10岁,并将病史中原发临床或影像学发现的位置替换为合理的替代位置(例如,用“左侧额叶脑出血”代替“右侧顶叶脑出血”)。所有涉及位置的引用均被手动移除,具体日期被替换为相对时间描述(例如“2年前”),以实现完全匿名化。根据主要临床问题,病例被分为五个类别(血管性、肿瘤性、炎症性、退行性、杂项)。此外,若参考方案与任何当地标准MRI方案完全一致,病例被归类为“典型”;若不一致,则归类为“非典型”。

脑部MRI参考方案

两名各自拥有7年经验的委员会认证神经放射科医师(J.B.和T.F.)独立为150例病例中的每一例定义了合适的脑部MRI方案(图1)。此外,两名放射科医师确定了每例病例的关键MRI序列,即因其临床相关性而不可或缺、缺失则必须重新进行脑部MRI检查的序列。评估者间存在分歧的病例通过共识裁决。两名委员会认证神经放射科医师在序列层面上的评估者间一致性水平使用Cohen's kappa确定。

图1 研究设计。两名委员会认证神经放射科医师建立了参考脑部MRI方案,分歧通过共识解决。采用GPT-4o、o3-mini、DeepSeek-R1和Qwen2.5-72B基于病例描述生成脑部MRI方案。对于每个模型,方案生成在两种条件下进行:(1)附加涉及当地标准方案和序列说明的上下文学习(增强型),以及(2)不附加外部信息(基础型)。此外,两名放射科住院医师为同一病例样本定义了MRI方案 查看原图 ↗

LLM选择与访问

为了纳入开放权重和封闭权重类别中的最先进模型,选择了以下最先进LLM:GPT-4o(“gpt-4o-2024-08-06”,OpenAI, Inc.,美国旧金山;封闭权重)、o3-mini(“o3-mini-2025-01-31”,OpenAI, Inc.,美国旧金山;封闭权重)、Qwen2.5-72B(“qwen2p5-72b-instruct”,阿里云,新加坡;开放权重)和DeepSeek-R1(“deepseek-r1-0528”,杭州深度求索人工智能基础技术研究有限公司,中国杭州;开放权重)。

GPT-4o 和 o3-mini 通过 OpenAI 官方应用程序编程接口(API)在 https://platform.openai.com/docs/models 访问。DeepSeek-R1 和 Qwen2.5-72B 通过 Fireworks AI 访问,这是一个生成式人工智能推理平台,其服务器部署在美国和欧洲(https://fireworks.ai/models)。对于所有模型,均应用结构化输出模式以获得遵循结构化 JSON(JavaScript 对象表示法)模式的响应,从而能够对 LLM 生成的方案进行程序化分析。对于 GPT-4o、DeepSeek-R1 和 Qwen2.5-72B,选择温度设置为 0 以确保确定性输出,而 o3-mini 不支持温度参数。使用 GPT-4o 和 o3-mini 的查询分别于 2025 年 2 月 6 日和 2025 年 2 月 16 日执行。DeepSeek-R1 和 Qwen2.5-72B 的查询均于 2025 年 2 月 6 日执行。模型详细信息见表 1。

表 1 模型详细信息 查看原表 ↗

LLM 提示

基础提示使用五个未纳入测试数据集的虚构患者病例进行迭代优化。针对最初观察到的对某些 MRI 序列名称的误解,在基础提示中添加了较少见序列的简要描述。最终基础提示定义如下:

“您是一位资深神经放射学家,任务是为给定临床病例制定脑 MRI 方案。考虑患者的人口学特征、病史和临床问题。综合这些信息以制定 MRI 方案。对于每个序列,指示‘是’或‘否’。遵循提供给您的数据模式。仅包括临床相关序列,避免冗余或不必要的序列。以下是对较不常见序列的简要说明。CISS(稳态构成干扰序列):一种具有高空间分辨率的 3D 梯度回波序列。CE_1st_pass_Angio(对比增强首过血管成像):一种动态成像技术,使用钆对比剂在对比剂首次通过循环时显示血管。CSF_Drive:一种用于评估脑脊液流体力学的专用序列。CSF_PCA(相位对比血管成像):测量搏动性脑脊液流速和方向。T1_BB(黑血成像):抑制血液信号以用于血管壁成像。TRAK_4D(4D 时间分辨 MR 血管成像 with Keyhole):一种 4D(时间分辨)MR 血管成像技术,可捕捉血流随时间的动态变化。TRANCE_4D(4D 时间分辨血管成像 using 非对比增强):一种非对比增强 4D MRA 技术,主要基于心脏触发序列用于血管结构成像。在‘reasoning’字段中,说明您纳入每个序列的理由。”

对于每个模型,查询使用“基础”查询(无额外上下文)和使用上下文学习(一种通过在提示中嵌入任务相关信息来引导模型行为的方法 [16])的“增强”查询执行。在增强条件下,向模型提供了来自当地机构的 20 个标准化脑 MRI 方案(补充表 1),以及 27 个可用 MRI 序列中每个序列的临床适应证说明(补充表 2,由 SS 和 SHK 创建),所有这些都包含在模型的上下文窗口内。

以下提供了其中一项说明:

“TOF-MRA(时间飞跃法磁共振血管成像)是一种非增强、静态技术,用于颅内动脉成像。它通过显示正常血流来确认主要血管的通畅性和走行,并在观察到正常血流模式时排除显著狭窄或闭塞。TOF-MRA是静态血管成像的基本序列,应纳入旨在评估脑动脉的扫描方案中。”

我们用于执行LLM查询的Python代码已公开在我们的GitHub仓库中,地址为https://github.com/shk03/llm_brain_mri_protocols。

LLM准确性评估

通过与参考方案进行比较,计算冗余序列数、总缺失序列数和关键缺失序列数来评估LLM在制定脑MRI方案方面的表现。冗余序列与缺失序列之和被定义为“准确性指数”,作为方案制定准确性的总体指标。此外,还计算了不必要使用对比剂的病例数(即方案中至少包含一个增强后序列)。

为便于分析,“T2*”和“SWI”(磁敏感加权成像)序列被视为等效。同样,“T1 Dixon”和“T1 MPRAGE”被视为可互换。

住院医师制定的脑MRI方案

两名放射科住院医师进一步为全部150例病例制定了MRI方案,作为LLM生成方案的对照。这两名放射科住院医师分别具有18个月和16个月的专职神经放射学经验(K.S.和L.S.)。为模拟真实场景,住院医师在必要时可查阅本地方案标准。

处理时间和成本

报告了模型推理时间和API推理成本。住院医师记录了总体方案制定时间,据此计算每例病例的平均方案制定时间。住院医师成本根据德国大学医院PGY-2住院医师的薪资估算[17]。假设汇率为1欧元=1.18美元(截至2025年7月4日)。

统计分析

所有统计分析均在Python(版本3.13.2)中使用“SciPy”和“statsmodels”库进行。使用双侧配对t检验基于准确性指数和涉及不必要对比剂使用的病例频率进行组间比较。

考虑到多重检验导致I类错误风险增加,采用Benjamini–Hochberg程序将错误发现率(FDR)控制在0.05。每次比较均报告FDR校正后的p值。统计显著性设定为p<0.05。

结果

数据集

数据集包含150例病例,性别分布均等(50.0%为女性)。患者年龄中位范围为56–60岁。“血管性”病例最常见(26.7%),其次为“肿瘤性”病例(24.7%)。相反,与退行性病变相关的病例相对较少(6.7%)。大多数病例(64.7%)被归类为“非典型”,依据是相应参考方案与任何本地方案标准脑MRI方案存在差异(表2)。

表2 数据集概览 查看原表 ↗

处理时间和成本

每例平均模型推理时间从5.5秒(GPT-4o [增强版])到18.4秒(o3-mini [基础版])不等。两名住院医师的平均方案制定时间分别为51.0秒和42.0秒。每例平均模型推理成本从0.006美元(GPT-4o [基础版])到0.021美元(DeepSeek-R1 [增强版])不等。两名住院医师每例方案制定成本估计分别为0.594美元和0.489美元(表3)。

表3 模型与住院医师的处理时间和成本 查看原表 ↗

参考方案

两名神经放射科医师之间达到了高度的一致性,在所有MRI序列上一致率为96.0%(平均Cohen's κ = 0.74),关键序列一致率为97.3%(平均Cohen's κ = 0.75)。参考脑部MRI方案平均包含5.5 ± 1.50个序列(范围:2–10),其中3.22 ± 1.1个序列(范围:1–6)被归类为关键序列。最常包含的序列是FLAIR(100.0%;150/150),其次是磁敏感加权成像(SWI)(74.0%;111/150)和弥散加权成像(DWI)(72.7%;109/150)。相比之下,TOF-MRA增强后、CE首过血管造影和动态增强后T1序列使用较少(各0.7%;1/150)。65.3%(98/150)的方案需要使用对比剂。归类为"炎症性"的病例平均序列数最高(6.2 ± 1.4),而"退行性"病例最低(4.2 ± 0.4)。然而,典型病例(5.5 ± 1.4)和非典型病例(5.5 ± 1.5)的序列数相同。

方案制定表现

图2展示了一个包含大语言模型(LLM)输入和输出的脑部MRI样本病例。补充图1和补充图2展示了两个样本评估。最低的准确性指数(表示性能更优)出现在o3-mini(基础版:2.65 ± 1.61;增强版:1.94 ± 1.25),其次是GPT-4o(基础版:3.11 ± 1.83;增强版:2.23 ± 1.48)和DeepSeek-R1(基础版:3.42 ± 1.84;增强版:2.37 ± 1.42)(图3)。Qwen2.5-72B的准确性明显较低(基础版:5.95 ± 2.78;增强版:2.75 ± 1.54)。o3-mini始终以显著优势优于其他模型,超过GPT-4o(基础版:校正p < 0.001,增强版:校正p = 0.007)、DeepSeek-R1(基础版:校正p < 0.001,增强版:校正p < 0.001)和Qwen2.5-72B(基础版:校正p < 0.001,增强版:校正p < 0.001)。

GPT-4o在基础条件(校正p < 0.001)和增强条件(校正p < 0.001)下均优于Qwen2.5-72B,但与DeepSeek-R1相比无显著差异(基础:校正p = 0.052;增强:校正p = 0.174)。所有四种模型在附加领域知识后准确率均显示出高度显著的改善(基础 vs 增强;所有模型校正p < 0.001)。重要的是,这一改善主要由不必要的(冗余)MRI序列的大幅减少所驱动,而关键序列遗漏率基本保持稳定。例如,使用o3-mini的增强查询将冗余序列从基础条件的均值1.75降至增强条件的1.07,而序列遗漏频率基本不变(基础:0.89;增强:0.87)。在所有四种模型中,增强条件导致关键序列遗漏比例更小(GPT-4o:0.33 [基础],0.23 [增强];o3-mini:0.32 [基础],0.22 [增强];Qwen2.5:0.27 [基础],0.14 [增强];DeepSeek-R1:0.84 [基础],0.21 [增强])。在所有情景中,除使用DeepSeek-R1的基础查询外,模型推荐的冗余序列均多于遗漏序列,反映出倾向于过度全面的方案推荐这一普遍趋势。

两名放射科住院医师的准确率指数分别为1.77 ± 1.29(每例0.72条冗余序列和1.05条遗漏序列)和1.77 ± 1.28(每例0.60条冗余序列和1.17条遗漏序列)。在所有序列中,两名住院医师达到中等程度的评估者间一致性,平均一致率为92.81%,Cohen's κ为0.57。

方案制定准确率因病例类型而异。在所有四种模型中,'退行性'病例的方案制定准确率最高(准确率指数[基础]:2.48,准确率指数[增强]:1.73)。相比之下,'血管性'病例(准确率指数[基础]:4.34,准确率指数[增强]:2.47)和'杂类'病例(准确率指数[基础]:4.19,准确率指数[增强]:2.80)的方案制定表现较差(图4)。

图2 典型脑MRI病例。在增强条件下,额外向大语言模型(LLM)的上下文窗口中提供了MRI序列说明及本地标准方案。对所有模型均应用结构化输出模式,以获得符合结构化JSON(JavaScript对象表示法)模式的回答。 查看原图 ↗
图3 模型在制定脑MRI方案中的表现。'增强'表示模型接受了额外的领域特定知识——本地标准方案及MRI序列适应症说明。准确率指数(遗漏序列与冗余序列之和)用于统计比较模型在有无领域知识情况下的表现。*** 校正p < 0.001 查看原图 ↗
图4 按病例类型分层的准确率指数(n = 150)。准确率指数定义为LLM生成方案与两名委员会认证神经放射学医师共识方案相比的遗漏序列与冗余序列之和。准确率指数越高表示方案制定准确率越低。 查看原图 ↗

不必要的对比剂使用

在Qwen2.5-72B中,增强条件导致不必要的对比剂给药病例大幅减少(基线:33.3% [50/150],增强:23.3% [35/150],校正p < 0.001),而在DeepSeek-R1(基线:11.3% [17/150],增强:18.0% [27/150],校正p = 0.024)和GPT-4o(基线:12.7% [19/150],增强:18.0% [27/150],校正p = 0.022)中观察到相反的趋势(图5)。在o3-mini中未观察到统计学显著差异(基线:10.0% [15/150],增强:10.0% [15/150],校正p = 1.0)。住院医师方案中不必要对比剂应用的发生频率最低(分别为6.0% [9/150]和9.3% [14/150])。

图5 大语言模型生成方案中建议不必要对比剂给药的病例比例。*** 校正p < 0.001 查看原图 ↗

讨论

本研究评估了四种最先进的大语言模型在有无通过上下文学习进行增强的情况下,创建细粒度、序列级脑部MRI方案的表现。

总之,大语言模型在脑部MRI方案制定中展现出良好的应用前景。涉及本地标准方案和MRI序列说明的上下文学习 consistently 带来了方案制定准确性的显著且高度统计学意义的提升。值得注意的是,表现最佳的大语言模型(使用增强查询的o3-mini)达到了与拥有约1.5年专职神经影像学经验的放射科住院医师相当的准确性水平,展示了自动化这一耗时流程的潜力。本研究扩展了既往研究的发现,揭示了大语言模型在生物医学领域的整体潜力[18–20],更具体地是在(半)自动化影像方案制定方面的潜力[11–15]。尽管使用了虚构的患者病例,但研究结果的普适性不太可能受到影响,因为数据来源于真实世界患者记录,仅经过了与MRI方案无关的微小修改。

然而,在实现MRI检查方案制定(半)自动化之前,仍有若干障碍有待解决。确保患者数据隐私得到保护的技术基础设施——无论是通过部署在本地硬件还是安全的云平台上——是基于大语言模型(LLM)的系统任何临床实施的前提条件[21]。开放权重模型如DeepSeek-R1——在本研究中表现出合理的性能——为本地部署提供了可行选择。此外,基于LLM的系统应针对预防任何患者伤害进行优化和测试。制定影像检查方案涉及排除特定成像模式(如存在心脏起搏器)或对比剂给药(如已知过敏)的潜在禁忌证[22]。避免完全自动化和过度依赖自主决策系统所带来的任何威胁(一种心理现象,也称为自动化偏见[23, 24])至关重要。影像申请单中临床病史不充分是放射科医生面临的另一个常见挑战,需要额外人工审查电子病历(EMR)。近期研究探索了利用LLM评估临床病史完整性[25]以及通过挖掘EMR中的相关信息来补充申请单的可能性[13]。未来,能够自主编排多项任务的代理式LLM系统[26]可支持端到端自动方案制定工作流程,评估潜在禁忌证、利用EMR提取的数据丰富临床病史,并最终生成量身定制的影像检查方案。

至关重要的是,基于LLM的自动化MRI检查方案制定工具的临床整合取决于监管批准。指导或决定影像检查方案的MRI方案制定工具直接影响诊断和随后的患者管理,使其受到严格的监管监督。近期,首个基于大语言模型(LLM)的临床决策支持工具在欧盟获得了IIb类医疗器械认证,标志着AI驱动临床工具的一个重要里程碑[27]。然而,许多作者强调需要新的监管框架,以充分反映生成式AI工具的独特特征,如高输出变异性和可解释性差[28, 29]。

在本研究中,通过上下文学习对大型语言模型(LLM)进行了增强,从而提高了方案准确性。用外部信息源丰富LLM查询一直是一个备受科学关注的领域,有望在减少幻觉的同时提高响应准确性[30]。一种被广泛采用的方法——检索增强生成(RAG)——利用预先索引的外部数据库,在响应生成过程中动态检索相关信息[31]。然而,随着具有广泛上下文窗口的LLM的出现,现在可以通过上下文学习方法直接处理大量信息,从而无需复杂的检索架构——尽管代价是计算资源增加[32]。截至本文撰写时,Gemini 2.0 Pro(Google LLC)具有最大的上下文窗口,可容纳多达200万个token,相当于约3000页文本[33]。本研究中使用的外部文档仅跨越4013个token,足够紧凑,可容纳在所有被评估LLM的上下文窗口内。能够轻松替换外部文档的选项可能允许无缝适应机构特定的方案标准。

有趣的是,GPT-4o——一种非推理型LLM——的MRI方案性能仅略逊于o3-mini,并与DeepSeek-R1相当,后两者均被认为是当前最先进的推理型LLM[34, 35]。推理模型旨在通过思维链等技术将问题分解为更小的逻辑步骤,已知在复杂数学或逻辑推理任务中表现出色。与非推理型LLM相比,据报道它们能更好地处理训练数据之外的任务,尽管代价是处理时间增加[36]。在临床环境中,这些结构化推理能力可能有助于提高透明度和可解释性,使临床医生能够更好地理解和验证模型的输出。尽管直接比较受到o3-mini和GPT-4o未公开规模的限制,我们的结果表明,非推理型LLM在各种任务中可以具有竞争力,有时能与推理模型匹敌。这强调了根据具体任务需求定制模型选择的重要性。

局限性

本研究存在若干局限性。第一,为确保分析的可行性,未考虑影响检查可评估性的特定MRI协议参数,如方向和层厚。第二,某些MRI序列(T1 MPRAGE与T1 Dixon、T2*与SWI)被视为可互换,尽管它们具有不同的技术特性,且在评估特定解剖结构或病变时的诊断效用略有差异。第三,用于评估LLM协议制定性能的准确性指标隐含地赋予冗余序列和缺失序列同等权重,尽管序列的遗漏可能具有更大的临床意义。尽管该方法并不完美,但其允许在单一指标中综合评估临床相关性和操作效率。第四,o3-mini不支持温度参数,因此无法在各模型间完全标准化。然而,既往研究表明温度设置对LLM性能仅具有边际影响[19, 20]。第五,模型成本估算未考虑将这些工具整合到临床常规中的间接成本。最后,这是一项单中心研究,其发现需要在多样化临床环境中进行外部验证。数据集来源于单一机构,可能反映当地的记录实践、诊断工作流程和协议制定模式。此外,不同机构可用的MRI序列可能存在差异。未来研究应采用来自多个机构的真实影像申请和相应MRI协议的代表性数据集。此外,统一注释指南并纳入广泛的专家放射科医师小组参与参考协议定义,将有助于支持基准测试工作的可重复性和泛化性。

总之,我们证明了LLM在自动化脑部MRI协议制定方面具有广阔的潜力,尤其是在辅以本地协议制定标准时。o3-mini表现出优越的性能,其次是GPT-4o。

补充信息

电子补充材料

引用

  1. Kim SH, Schramm S, Schmitzer L, et al. Evaluating large language model-generated brain MRI protocols: performance of GPT4o, o3-mini, DeepSeek-R1 and Qwen2.5-72B. Eur Radiol. 2025. PMID: 40900267. doi:10.1007/s00330-025-11989-0
  2. 全文:PMC12963086(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12963086/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。