大语言模型时代神经影像学中MRI序列方案分配的自动化
该回顾性研究纳入100份神经影像学MRI报告,比较开源模型LLaMA 3.1 405B和专有模型GPT-4o在有无检索增强生成(RAG)时分配MRI序列和对比剂方案的表现,并与四位放射科医生的选择对比。整合RAG后两模型序列预测准确率显著提升(GPT-4o从43%升至81%,LLaMA 3.1从38%升至70%),对比剂预测亦提升;GPT-4o(联合RAG)序列预测与放射科医生相当(81% vs. 81%,P = .89),RAG可提供机构特异性方案推荐。
要点
- 整合RAG显著提升两模型MRI序列和对比剂预测准确率(P < .001或P = .006)。
- GPT-4o(联合RAG)序列预测准确率81%,与放射科医生平均81%相当(P = .89)。
- 两模型(联合RAG)对比剂预测与放射科医生无显著差异(94% vs. 91%,P = .37;92% vs. 91%,P = .48)。
核心结论
- 大语言模型作为MRI序列方案分配决策支持工具展现出较大潜力,性能与放射科医生相似。
- RAG增强了LLM提供准确、机构特异性方案推荐的能力。
研究设计与样本
- 回顾性研究,从2023年1月至12月共13,960份报告中随机抽取128份,排除后纳入100份神经影像学报告进行分析。
- 使用12台MRI设备(4台1.5 T MAGNETOM Aera和8台3 T MAGNETOM Skyra,Siemens),对比剂为Gadovist®或Dotarem®。
- 由一名13年经验的神经放射科医生依据63个机构方案指南建立金标准,四位放射科医生(两名7年经验主治医师和两名第一年住院医师)完成相同任务作对比。
- 模型为OpenAI GPT-4o(gpt-4o-2024-08-06)和Meta LLaMA 3.1 405B,RAG系统使用OpenAI text-embedding-ada-002嵌入模型,检索前4个最相关方案。
- 采用基于token的对称准确率评估序列预测,Bootstrap估计95%CI,Wilcoxon符号秩检验和McNemar检验比较,P < 0.05为显著。
诊断标准与关键数值
- 无RAG时序列预测准确率:LLaMA 3.1 405B 38%(95%CI 0.35–0.41),GPT-4o 43%(95%CI 0.4–0.45)。
- 无RAG时对比剂预测准确率:LLaMA 3.1 405B 77%(95%CI 0.69–0.85),GPT-4o 79%(95%CI 0.71–0.87)。
- 联合RAG时序列预测准确率:LLaMA 3.1 405B 70%(95%CI 0.65–0.76),GPT-4o 81%(95%CI 0.75–0.86)。
- 联合RAG时对比剂预测准确率:LLaMA 3.1 405B 94%(95%CI 0.89–0.98),GPT-4o 92%(95%CI 0.86–0.97)。
- 放射科医生平均准确率:序列81% ± 0.21,对比剂91% ± 0.24;GPT-4o(联合RAG)与放射科医生比较序列P = 0.89、对比剂P = 0.48,LLaMA 3.1(联合RAG)与放射科医生比较对比剂P = 0.48。
临床应用与阅片要点
- RAG系统检索正确率:GPT-4o正确检索81/100个临床问题,LLaMA 3.1正确检索78/100个。
- 检索错误最常见原因为选择过于特异的方案,而模糊临床问题需要能覆盖多种鉴别诊断的通用方案。
- 其他检索错误包括医学术语误解、脑与脊柱方案混淆、以及由既往诊断而非当前症状驱动的检索。
- 作者认为大语言模型作为MRI序列方案分配的决策支持工具展现出较大潜力,RAG可增强机构特异性方案推荐能力。
局限性
- 专有模型无法本地部署,数据隐私挑战限制其临床适用性,患者数据使用前需彻底去标识化。
- 幻觉仍是重要问题,尽管RAG等策略已被证明可减轻该问题并明显减少其发生。
- 方案分配预测错误可能导致MRI检查中关键发现被遗漏,潜在需要召回患者。
- 开源模型LLaMA 3.1 405B在主任务上表现显著较差,提示随着任务复杂度增加,开源与专有模型性能差距可能扩大。
全文中译13 节 · 点击展开
引言
MRI采集协议分配是放射学工作流程中的关键步骤,确保为患者诊疗提供充分的影像检查。然而,这一过程耗时较长,约占放射科医生工作班次的6.2% [1]。各机构根据MRI设备可用性、检查时间限制以及其他临床科室(如放疗或外科)的具体需求等因素定制其协议。这种缺乏标准化的状况带来了挑战,尤其对经验较少的医生而言 [2]。手动选择协议不仅耗时,而且容易出错,在培训中的医生中观察到更高的错误率 [3]。此外,新MRI医嘱的持续涌入打断了放射科医生的工作流程,使他们的注意力从关键的图像判读任务上转移。为应对这些挑战,多项研究探索了利用人工智能(AI),特别是机器学习技术来实现协议分配的自动化 [4–10]。
基于Transformer的大语言模型(LLMs)的引入代表了自动化语言处理的重大进步 [11],其在医学领域的应用正在迅速扩展 [12]。在放射学中,LLMs尤其被探索用于总结和简化报告、提取结构化数据以用于研究目的和临床质量评估 [13, 14],以及翻译报告以增强跨语言患者护理 [15]。基于LLM的某些放射学协议类别预测已有研究,但相关研究在很大程度上排除了具体MRI协议及其多样化序列 [16]。
由于其自回归特性,LLMs倾向于生成听起来令人信服但不准确的回答,这一现象被称为幻觉。这在医疗领域尤其成问题,因为幻觉可能对患者健康产生负面影响。检索增强生成(RAG)是一种有助于缓解该问题的新方法,通过为LLMs提供额外上下文。具体而言,系统查询一个由自定义文本数据组成的外部数据库,检索与任务最相关的信息——类似于搜索引擎——并将其传递给模型,从而生成特定情境下的回答 [17]。该技术特别适用于以下医学任务:所需信息不一定存在于模型的初始训练数据中,且诊断和治疗指南持续更新。新的见解可以轻松添加到数据库中,且无需像机器学习模型那样重新训练模型。
RAG在医学中的应用已在多项研究中得到探讨,涵盖从回答疾病特异性问题到回忆指南信息和提供指南特异性建议,结果令人鼓舞 [18–22]。
本研究旨在评估LLMs在神经放射学中根据患者临床问题分配MRI协议的性能。它比较了开源模型与专有模型之间回答的准确性,并检验了在同一模型中加入RAG是否能提高准确性。
材料与方法
人群
本回顾性研究从某大学医院神经放射科获取了MRI检查报告。该研究经大学伦理委员会批准(编号EA4/062/20)。由于研究的回顾性性质,免除了知情同意的要求。从2023年进行的检查所产生的总共13,960份报告中,使用放射信息系统(RIS)以固定随机状态42随机抽取了128份报告样本。这种随机化选择最大程度减少了因基于疾病模式或连续MRI医嘱中申请医师的聚类所导致的选择偏倚。所选报告包括2023年1月3日至2023年12月20日期间进行的检查。所有报告均涉及接受脑部或脊柱不间断MRI检查的神经放射学患者,作为本研究的纳入标准。排除标准及相应数量详见图1。MRI检查使用12台不同的MRI设备进行:四台为1.5 T MAGNETOM Aera,八台为3 T MAGNETOM Skyra(Siemens,慕尼黑,德国)。使用的对比剂为Gadovist®(Bayer,勒沃库森,德国)或Dotarem®(Guerbet,维勒班特,法国)。数据收集遵循《赫尔辛基宣言》的伦理标准,遵守严格的临床研究数据保护指南。患者数据经匿名化处理以确保隐私和保密性,遵循严格的临床研究数据保护指南,且未与AI系统共享任何可识别患者信息。
数据提取
RIS数据集以.csv文件形式提供,包含患者人口学数据、MRI设备名称及相应报告。使用基于正则表达式的文本提取从报告中提取关键信息,包括症状、适应证、临床问题和成像程序。由于1.5 T与3 T方案之间的差异,设备列被重命名以标明磁场强度。数据提取使用Python(版本:3.12.3,[23])完成,使用了NumPy和Pandas包(版本分别为1.26.4和1.5.3)。
神经放射科当前使用的方案指南以便携式文档格式(PDF)文件提供。为便于在RAG系统中使用,对该文档进行了手动基本格式调整,该文档包含63个不同的MRI方案。
参考标准的建立
为建立参考标准,一位具有13年经验的神经放射学家(J.S.)审查了所有临床问题,并根据方案指南为每位患者选择了适当的MRI方案。
为比较模型与放射科医师的表现,两位具有七年经验的委员会认证普通放射科医师(S.G.、J.N.)和两位第一年放射科住院医师(F.A.、L.F.)完成了相同任务。研究设计概述于图2。
模型
我们使用OpenAI的GPT-4o(版本gpt-4o-2024-08-06)作为专有模型,Meta的LLaMA 3.1 405B作为开源模型,两者均基于GPT架构。GPT-4o是OpenAI的最新模型,于2024年5月13日发布,支持最多128,000个token的上下文,估计参数规模约为1.8万亿[24]。Meta的LLaMA 3.1 405B于2024年7月23日发布,同样支持128,000个token,拥有4050亿参数,是当时可用的最大开源模型[25]。
两个RAG流程均使用单一嵌入模型OpenAI的“text-embedding-ada-002”[24],以确保检索结果的一致性。LLaMa 3.1 405B以非量化格式在Replicate[26]上运行,该平台为大型开源模型提供必要的计算资源。
RAG系统
本研究区分两种工作流程:非RAG场景和RAG场景。两者均以患者的临床问题为起点,旨在预测最佳MRI序列,同时确定是否需要对比剂。
为搭建RAG系统,首先使用LangChain的递归字符文本分割函数将指南分割为段落,最大块大小为400个字符,零重叠,确保各MRI方案之间的分离。嵌入模型将每个段落转换为连续的高维向量表示并存储在向量数据库中,从而捕捉文本数据的语义关系和相似性。患者的临床问题用于查询向量存储中的数据。基于相似性搜索,检索出四个最相关的MRI方案,随后将其纳入提示中。所构建的设置如图3所示。
在RAG场景中,模型从检索到的前四个选项中选出合适的方案,并严格按照方案中列出的内容输出MRI序列。在未指定方案的非RAG场景中,模型从包含所有方案中提及的序列的列表中选择MRI序列,确保尽管MRI序列命名不统一,名称仍保持一致。
为评估模型对医学术语的掌握和推理能力,还要求其解释临床问题中的缩写、识别任何明确提及的诊断,并为患者建议三个最可能的鉴别诊断。
提示以德语呈现给所有四个模型,温度参数设置为0.1以确保低变异性和高可重复性。模型访问和RAG实现通过Python(版本:3.12.3,[23])中的应用程序编程接口(API)处理,使用Replicate(版本:0.32.1)、OpenAI(版本:1.37.1)和LangChain软件包(版本:Community:0.2.9,Text Splitters:0.2.2,OpenAI:0.1.17)。
本研究中所用方法的源代码可在 GitHub 上公开获取 [27]。
统计分析
MRI 序列预测的准确性使用基于 token 的对称准确率进行评估。真实值(GT)序列和模型预测均被拆分为单个 token,每个 token 代表一个 MRI 序列(例如,轴位 T1)。该指标在真实值与预测之间进行双向比较,对所有 MRI 序列一视同仁,而不考虑其顺序。采用这种方法,遗漏和多余的 MRI 序列均会对准确性产生负面影响。
采用 Bootstrapping 作为一种统计重采样方法,用于估计准确性测量的 95% 置信区间。该方法从原始输出数据中反复进行有放回抽样,以近似该指标的分布,从而无需过多消耗资源的输出生成即可实现准确的置信区间估计。为评估评分者之间的一致性,同时考虑到随机猜测可能导致正确预测的可能性,计算了放射科医师方案选择的 Cohen's kappa。
对于 LLM 输出与放射科医师方案选择的统计比较,MRI 序列采用 Wilcoxon 符号秩检验,对比剂给药采用 McNemar 检验,P < 0.05 被认为具有统计学意义。计算了放射科医师结果的平均准确率和标准差,以便进行单一比较。
由查询触发的从向量存储中的文档检索,如果目标方案出现在检索到的前四个方案中,则视为成功,错误经人工评估。
统计分析在 Python(版本:3.12.3,[23])中使用以下附加包进行:Scikit-learn、Statsmodels 和 SciPy(版本分别为 1.5.1、0.14.3 和 1.14.0)。
结果
有无 RAG 的 LLM 预测
无 RAG 时预测 MRI 序列的准确性,LLaMA 3.1 405B 为 38%(95% CI:0.35–0.41),GPT-4o 为 43%(95% CI:0.4–0.45)。对于对比剂预测,LLaMa 3.1 405B 达到 77% 的准确性(95% CI:0.69–0.85),而 GPT-4o 达到 79%(95% CI:0.71–0.87)。纳入 RAG 后,LLaMa 3.1 405B 在 MRI 序列预测方面达到 70% 的准确性(95% CI:0.65–0.76),在对比剂预测方面达到 94%(95% CI:0.89–0.98)。使用 RAG 的 GPT-4o 在 MRI 序列预测方面达到 81% 的准确性(95% CI:0.75–0.86),在对比剂预测方面达到 92%(95% CI:0.86–0.97)。
实施RAG后,两个模型在序列预测和对比剂给药方面的准确率均显著提高(序列预测:GPT-4o 43%,GPT-4o结合RAG 81%,P < 0.001;LLaMA 3.1 38%,LLaMA 3.1结合RAG 70%,P < 0.001;对比剂预测:GPT-4o 79%,GPT-4o结合RAG 92%,P = 0.006;LLaMA 3.1 77%,LLaMA 3.1结合RAG 94%,P < 0.001)。比较两个模型,GPT-4o在预测MRI序列方面准确率显著更高(GPT-4o结合RAG 81%,LLaMA 3.1结合RAG 70%,P < 0.001)。相反,在预测对比剂给药方面,LLaMA 3.1显示出略微优越的准确率,但未达到统计学显著性(GPT-4o结合RAG 92%,LLaMA 3.1结合RAG 94%,P = 0.48)。
所用LLM和受试放射科医师的方案预测(即对MRI序列和对比剂给药的预测)与金标准的比较见图4。
表2展示了两个结合RAG的模型针对四个随机选取的临床问题的翻译输出示例,以及相应的金标准(GT)。
放射科医师的方案选择
在方案选择中,放射科住院医师2对MRI序列的准确率为82%(95% CI:0.76–0.88,κ = 0.67),对比剂选择的准确率为91%(95% CI:0.85–0.96,κ = 0.78)。放射科住院医师1对MRI序列的准确率为81%(95% CI:0.75–0.86,κ = 0.59),对比剂的准确率为91%(95% CI:0.86–0.96,κ = 0.78)。放射科医师2选择方案的准确率为:MRI序列83%(95% CI:0.78–0.88,κ = 0.61),对比剂88%(95% CI:0.82–0.94,κ = 0.72)。放射科医师1对MRI序列的准确率为79%(95% CI:0.74–0.85,κ = 0.56),对比剂给药为93%(95% CI:0.88–0.97,κ = 0.83)。所有四名放射科医师计算得出的平均准确率为:MRI序列81% ± 0.21,对比剂给药91% ± 0.24。
将这些结果与GPT-4o结合RAG进行比较,两项任务均未发现显著差异(序列:放射科医师81%,GPT-4o结合RAG 81%,P = 0.89;对比剂:放射科医师91%,GPT-4o结合RAG 92%,P = 0.48)。同样,放射科医师与LLaMA 3.1在对比剂预测方面无显著差异(放射科医师91%,LLaMA 3.1 94%,P = 0.48)。然而,放射科医师在序列预测方面准确率显著更高(放射科医师81%,LLaMA 3.1 70%,P < 0.001)。
RAG系统
RAG系统在使用GPT-4o时对100个临床问题中的81个正确检索了方案,使用LLaMA 3.1时正确检索了78个。大多数检索错误是由于选择了过于具体的方案。在这些情况下,模糊的临床问题需要能够处理多种鉴别诊断的通用方案,但系统检索到的是针对单一症状或疾病的疾病特异性方案。涉及同一类别内方案混淆的错误(例如,肿瘤随访与复发)被归类为“正确亚组内的错误方案”。其他错误包括对医学术语的误解、脑与脊柱方案的混淆,以及由既往诊断而非患者当前症状驱动的检索。错误类型的详细分类见表3。
讨论
放射学方案分配的自动化在保持安全性和高质量诊疗的同时,具有显著减少放射科医生日常工作量的潜力。在本研究中,我们评估了检索增强的开源和专有大语言模型在神经放射学实践中预测MRI方案分配的能力。
使用RAG使LLaMa 3.1 405B的序列预测准确率从38%显著提高至70%(P < 0.001),使GPT-4o从43%显著提高至81%(P < 0.001),与无RAG时的性能相比实现了至少1.8倍的提升。OpenAI的GPT-4o在MRI序列预测方面表现出显著优于开源模型的准确率(P < 0.001),达到了与放射科医生相当的水平(P = 0.89)。
多项研究探索了利用机器学习实现MRI协议选择的自动化[4–9]。涵盖所有身体部位协议或仅聚焦于肌肉骨骼影像的研究,使用卷积神经网络或支持向量机达到了相似的准确率(83–87%)[4–7]。在神经影像学领域,Brown等人确定梯度提升机为最有效模型,准确率达95%;而Chillakuru等人采用自然语言处理(fastText、XGBoost),在脊柱MRI中达到83%的准确率,在脑部MRI中达到85%。然而,各研究的任务复杂度差异显著。我们纳入了全部63个神经影像学协议,而其他研究仅纳入2至9个协议,未能反映临床常规的复杂性[4, 8]。重要的是,我们的方法保留了放射科医师所面对的原始临床问题格式,利用了LLM的自由文本处理能力。相比之下,既往研究需要预处理才能使机器学习模型适应自由文本输入。然而,临床指征的自由文本输入至关重要,因为协议选择不能仅依赖入院诊断或提取的特征,这些缺乏足够的临床细节[28]。尽管存在这些复杂性,GPT-4o在结合RAG时的序列选择准确率达到81%,与Chillakuru等人的结果相当。他们的错误倾向于选择过于笼统的协议,而我们模型的错误主要归因于选择过于具体的方案。所有这些研究的关键局限性在于,由于MRI序列命名不规范和机构特定协议,机器学习模型在泛化方面面临挑战。设备频繁更新和协议指南不断演变进一步需要定期重新训练模型——这一过程需要专家投入、时间和培训相关成本,使得这些模型难以无缝适应新信息。
Gertz等人研究了GPT-4基于临床问题预测适当影像检查方式的能力,在识别影像检查方式(X线、闪烁显像、CT、MRI)、解剖区域和对比剂期相方面的总体准确率达到84%[16]。然而,其模型并未详细涉及具体的MRI协议或序列。我们的研究推进了这项工作,实现了跨广泛机构特定协议的MRI协议分配自动化,在检索详细协议信息方面达到了高准确率。
Kim等人研究了仅使用大语言模型(LLM)在神经放射学中自动分配MRI协议。在一项与我们的研究相似的研究设计中,开源和专有LLM均被要求分配MRI协议,分别在有和无外部医学知识访问权限的条件下进行。然而,他们的研究未使用检索增强生成(RAG),而是通过在提示中直接提供机构MRI协议及相应解释来采用上下文学习。总体而言,OpenAI的o3-mini取得了最高性能,其次是GPT-4o以及开源模型DeepSeek-R1和Qwen-2.5-72B。与我们的发现一致,整合外部知识提高了所有被评估模型的准确性。随着LLM的上下文窗口不断扩大,上下文学习成为RAG的一种替代方案[10]。然而,这种方法大幅增加了token数量,导致推理时间更长、计算成本和能耗更高。此外,RAG通过实现对生成LLM响应所用源文档的客观可追溯性,提供了更高的透明度。这有助于缓解LLM常被提及的“黑箱”局限性[29]。鉴于时间效率和来源可追溯性在临床环境中的重要性,基于RAG的方法在医疗保健中比单独使用LLM展现出更大的实际适用性。
RAG作为一种创新方法,正在医学领域快速发展[29],在多种任务中展现出高准确性,例如疾病特异性治疗推荐[18, 21]、基于指南的临床决策支持[19, 20]以及放射学特定查询[22]。例如,Ferber等人证明了RAG在肿瘤治疗决策中的有效性,观察到在使用GPT-4实施时准确性从57%提高到84%。这凸显了RAG在复杂临床环境中显著增强LLM驱动的决策支持系统的潜力。同时,RAG仍是一个活跃的研究领域,其架构在提高检索准确性和整体模型性能方面不断取得进展。代理式RAG引入LLM的多步骤、迭代式使用以增强规划、反思和推理[30],而混合搜索通过结合语义搜索和关键词搜索来改进检索[31]。这两项进展对于优化RAG在医疗保健中的应用尤其具有前景。
与先前比较开源和专有模型的研究不同,本研究中使用的开源模型LLaMa 3.1 405B在主任务上表现显著较差[32, 33]。先前的研究通常将LLM局限于结构化框架内的多项选择题,而我们的研究采用了更为开放的方式,增加了决策过程的复杂性。这表明随着任务复杂性增加,开源模型与专有模型之间的性能差距可能会扩大。然而,专有模型无法在本地部署,这带来了一个显著局限性:数据隐私挑战限制了其临床适用性,因为患者数据在使用前需要经过彻底的去标识化处理——这是一个复杂的过程[33]。令人鼓舞的是,数据隐私方面的进步或开源LLM的改进可能很快解决这些局限性。
数据隐私并不是基于大语言模型(LLM)的工具在临床应用中必须解决的唯一挑战。幻觉仍然是一个重要问题[29],尽管诸如检索增强生成(RAG)等策略已被证明可以缓解这一问题,并可显著减少其发生。方案分配中的预测错误可能导致MRI检查中遗漏关键发现,潜在地需要召回患者——这一结果既耗时,在最坏情况下,也不利于患者健康[34]。因此,在临床环境中使用的人工智能工具被归类为医疗器械,并受到严格的监管。因此,目前尚无法实现让放射科医生在方案选择决策中完全自主的系统。然而,一个进一步完善的、由LLM和RAG驱动的工具,在持续的人类监督下运行——类似于所提出的NLP模型整合[8]——可以为放射科医生提供有意义的支持。
我们的研究存在局限性。第一,相关文档的检索并未始终按预期发挥作用,在某些情况下导致LLM无法选择正确的方案。在研究期间,我们通过提示工程和增加检索文档数量来解决这一问题,这带来了显著改善。然而,仍需进一步优化以充分发挥LLM的潜力——例如,通过实施先进的RAG架构或通过改进搜索技术(如混合搜索)来增强检索,而不是仅依赖语义搜索[30, 31]。第二,方案选择存在差异,因为放射科医生可能使用不同但有效的方法来达到相同的诊断目标。例如,放射科医生可能选择方案1并添加方案2中的序列,这在本研究中是不允许的选项,但可以通过指示LLM建议多个方案来克服。第三,模型缺乏时间戳,临床问题有时提到症状发作但没有具体时间间隔,这使得对时间敏感方案的决策复杂化,例如急性或亚急性期的卒中方案。未来研究应整合时间数据。第四,我们的结果基于模型在德语方案分配中的表现,因此可能不能直接适用于其他语言。然而,先前的研究表明,LLM在英语和德语中可达到相当的任务表现[35]。最后,样本量较小可能限制我们研究结果的普遍性。
结论
MRI方案分配是放射学中一项常规但耗时且易出错的任务,突显了自动化的临床需求。我们证明,使用整合大语言模型与检索增强生成的流程进行自动化MRI方案制定,在预测机构特定方案方面实现了高准确率。这种方法代表了一种新颖的自动化方案分配解决方案,与先前的研究不同,具有长期跨机构实施的强大潜力。鉴于计算机科学和人工智能的快速发展,未来研究应侧重于使模型适应新兴技术,特别是通过优化检索过程。此外,研究模型对其他成像模态和解剖区域的可迁移性将具有重要的临床价值。
引用
- Reiner LN, Chelbi M, Fetscher L, et al. Automated MRI protocoling in neuroradiology in the era of large language models. Radiol Med. 2025. PMID: 40643871. doi:10.1007/s11547-025-02040-9
- 全文:PMC12454495(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12454495/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。