文献速递神经介入技术与安全DSA

比较七种微调开源大语言模型在急性缺血性卒中机械取栓报告中总结和预测结局相关信息的表现

Comparing performance of seven fine-tuned open-source large language models in summarizing and predicting outcome-relevant information from mechanical thrombectomy reports in patients with acute ischemic stroke.
PubMed 文献 · Eur Radiol · 2025-11-17

单中心回顾性研究将2000份德国机械取栓报告分为1900份训练集与100份测试集,对七种开源大语言模型进行LoRA微调并做定量与定性评估。四种最佳模型总结质量相近,仅报告穿支次数及准确率存在显著差异,各模型从报告所见预测TICI评分的正确率为66%至71%。

要点

  • 四种最佳模型从报告所见推断TICI评分的正确率为66%至71%(p=0.89),各模型间无显著差异。
  • Gemma-2-9b最常提及穿支次数(56/100例,56%),Mistral-7b-instruct提及后的正确率最高(29/38例,76.32%)。
  • 四模型幻觉率相近(23%至25%,p=0.97),最常见为再通血管侧别错误(占全部幻觉的44.74%)。

核心结论

  • 四种经人工评估的大语言模型均能有效总结取栓报告,预测TICI评分呈中等准确度,整合入放射科工作流程可能提升效率,但需进一步临床验证。

研究设计与样本

  • 单中心回顾性研究,纳入2013年9月至2024年8月德国Charité Berlin的2000份急性缺血性卒中机械取栓神经介入放射学报告,按操作代码识别。
  • 报告分为训练集1900份用于LoRA微调、测试集100份用于评估,采用便利抽样并随机分配以减小选择偏倚。
  • 七种开源模型为Meta-Llama-3.1-8b-bnb-4bit、mistral-7b-instruct-v0.3-bnb-4bit、gemma-2-9b-bnb-4bit、Llama-3.2-1B-bnb-4bit、Llama-3.2-3B-bnb-4bit、OpenBioLLM-8b和BioMistral-7b,均以4比特量化和LoRA微调。
  • 定量评估以原始总结印象为参考计算ROUGE-1、ROUGE-2、ROUGE-L、METEOR、BERTScore(F1)和BLEU,定性评估由放射科住院医师对定量得分最高的四种模型进行,分歧时咨询神经放射学专家。

诊断标准与关键数值

  • TICI评分按提示中列出的0至3级及2c级标准定义:0=无灌注,1=渗透但无灌注,2a=远端分支充盈低于50%,2b=远端分支充盈至少50%,2c=近乎完全灌注,3=完全灌注。
  • 定量指标以BioMistral-7b最高:ROUGE-1为0.47、ROUGE-2为0.30、ROUGE-L为0.43、METEOR为0.46、BERTScore(F1)为0.82;BioMistral-7b与mistral-7b-instruct的BLEU均为0.20。
  • 人工评估中TICI评分正确率为66.27%至71.08%,Meta-Llama-3.1最佳(71.08%,p=0.89)。
  • 再通血管提及率为71%至84%(BioMistral-7b最高84%,p=0.14),提及者中正确率为59.15%至64.29%(BioMistral-7b最高,p=0.90)。
  • 血管侧别提及率为54%至64%(mistral-7b-instruct最高64%,p=0.47),侧别正确率为70.37%至78.69%(gemma-2-9b最佳,p=0.76)。

临床应用与阅片要点

  • 作者认为将微调大语言模型整合入放射科工作流程可能加速决策并通过自动总结报告和评估再通成功改善患者结局。
  • 作者指出未来工作应增强上下文理解、处理模糊输入并限制幻觉。
  • 原文未据此给出推荐。

局限性

  • 作者指出未来工作应增强上下文理解、处理模糊输入并限制幻觉。
  • 结论写明其整合入放射科工作流程需进一步临床验证(warranting further clinical validation)。
  • 事后功效分析显示检测10个百分点差异的功效约为42%至52%,较小差异(约10个百分点)可能仅作探索性解读。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Nov 17;36(5):3661–75. doi: 10.1007/s00330-025-12122-x

引言

随着人口增长和人口结构变化,对放射学检查的需求日益增加[1]。这导致医疗数据量不断增加,在高效记录、分析和沟通方面给医疗专业人员带来了重大挑战。血管内机械取栓术数量的增加与这一趋势相一致[2–4],相应地对神经介入医师的需求也在增长[5]。

作为缺血性卒中的时间关键性手术,机械取栓需要及时的放射学报告以评估手术结果并指导持续的患者管理。机械取栓术后报告复杂,包含多维数据,涵盖技术方面、所用材料、血管造影发现、基于影像的治疗结果评分、解释性见解以及持续管理建议(包括随访护理)。大语言模型(LLMs)具有处理大型文本数据集的能力,为从自由文本放射学报告中自动摘要和结构化数据提取开辟了新可能性[6–10],从而增强放射学工作流程。利用这些模型生成结构化输出(如即用型报告摘要)可支持临床医生并提高整体医疗效率。然而,LLM生成的摘要用于取栓报告尚未被研究。可用LLM数量的增加呈现出异构能力,受模型架构、训练数据和医学数据集微调等因素影响,这些均影响其适用于放射学应用的程度[11, 12]。鉴于具有不同能力的LLM数量不断增加,比较这些模型对于确定总结机械取栓报告的最佳性能工具至关重要。本研究旨在通过评估开源LLM为取栓报告生成的摘要的正确性和完整性,系统评价其临床使用价值。研究结果可为LLM整合到临床实践中提供见解,通过自动化放射学报告摘要优化卒中护理路径中时间关键性信息的沟通。此外,我们假设LLM能够仅从报告发现部分可靠地预测“脑缺血溶栓”(TICI)评分[13],尽管该分类基于取栓术后量化血管再通成功程度的血管造影图像。这使我们能够通过仅从文本描述推断血管造影分类来专门测试LLM执行概念迁移和推理的能力。

材料与方法

研究设计

本单中心回顾性研究经伦理委员会批准(德国柏林夏里特医院[方案编号EA1/115/24]),机构审查委员会豁免了书面知情同意。

数据收集与分析

2013年9月至2024年8月期间,共收集了2000份以德语撰写的急性缺血性卒中患者机械取栓术的神经介入放射学报告(研究设计见图1),并通过其操作代码进行识别。机械取栓术的神经介入放射学报告通常遵循标准化结构,包括执行介入操作的医师、技术细节、详细所见部分以及总结性印象。这种区分确保了客观影像所见与其在印象部分中的临床解读之间保持清晰分离。进行分析时,将报告分为两个组成部分:(1)相应病例的所见部分,包括执行介入操作的医师和技术细节;(2)总结性印象。印象部分应理想地描述干预是否成功以及是否伴有或不伴有并发症。应描述再通的血管及其侧别,明确干预过程中所需的导管通过次数,并在相关时纳入额外信息,如操作相关并发症。训练时,每个大语言模型(LLM)接收所见部分以及印象部分。测试时,模型仅接收所见部分作为输入,并以先前进行的微调为基础生成相应的摘要。

图1 研究流程示意图,从数据收集、处理/拆分到微调和评估 查看原图 ↗

训练与测试

数据集被分为训练集(N = 1900)用于低秩适应(LoRA)[14]模型微调和测试集(N = 100)用于性能评估。所有影像报告均通过便利抽样纳入,并随机分配至训练队列和测试队列,以尽量减少选择偏倚并确保病例分布具有可比性。由于闭源模型的透明度有限,给医学领域的实施带来了重大挑战[15],我们仅纳入开源模型。选择了七个开源LLM(五个通用模型和两个医学领域模型)进行微调:Meta-Llama-3.1-8b-bnb-4bit [16, 17]、mistral-7b-instruct-v0.3-bnb-4bit [18, 19]、gemma-2-9b-bnb-4bit [20, 21]、Llama-3.2-1B-bnb-4bit [22]、Llama-3.2-3B-bnb-4bit [23]、OpenBioLLM-8b [24] 和 BioMistral-7b [25],其中 OpenBioLLM-8b(基于 Meta-Llama-3-8b 模型)和 BioMistral-7b(基于 Mistral-7b-Instruct-v0.1)已针对医学用例进行了微调。选择这些模型进行比较是由于其多样化的架构、不同的规模和专业化水平(通用和医学领域)。所有模型均经过微调以有效总结报告,同时保持临床准确性,详见下文。有关微调过程的更多细节见下文。

提示词设计

我们通过应用程序编程接口(API)以完全相同的方式对所有七个大型语言模型(LLM)进行了指令性提示,提示内容为(译自德语):“请以清晰、简洁且医学上准确的评估总结神经放射学介入报告的结果。请特别关注用于再通治疗成功与否的TICI分级,其结构如下:0 = 无灌注(0%)或无闭塞部位远端的顺行血流;1 = 穿透但无灌注。造影剂可穿透至梗阻远端,但对正常供血区的充盈极少;2a = 低灌注,远端分支充盈范围小于可视区域的50%;2b = 显著灌注,远端分支充盈范围至少占可视区域的50%;2c = 近乎完全灌注,除少数远端皮质血管内血流缓慢或存在小的远端皮质栓塞外;3 = 完全灌注,所有远端分支均正常充盈。”我们以德语进行提示,重点在于总结结果并特别强调TICI评分。由于TICI分级已被修改两次(2003年的TICI [13]、2013年的改良TICI评分(mTICI)[26]以及2019年的扩展TICI(eTICI)[27]),我们在提示中明确解释了(e)TICI评分的每一个等级,以便LLM考虑到放射科医生原始总结中所使用的(e)TICI评分2c扩展分级。

技术特殊性

在训练和评估过程中,所有大语言模型(LLM)均使用Unsloth的FastLanguageModel API [28]进行初始化,通过4比特量化实现高效加载和处理以提高内存效率,并配置最大序列长度为4096个标记。量化是一种降低数值表示精度的技术,例如将浮点精度从16位或32位降低到4位或8位,以减少内存使用并加速计算 [29]。我们采用了参数高效微调(PEFT),指调整预训练大模型参数以使其适应特定任务或领域的过程,同时最小化引入的额外参数数量或所需计算资源 [30]。具体而言,我们使用了LoRA,一种保持原始参数冻结、仅通过矩阵分解调整相对少量额外参数以在有限资源下优化训练的微调方法 [14]。模型使用学习率3e-4、批量大小4和混合精度训练(脑浮点16位或半精度浮点16位)进行微调。所有模型均进行4比特量化,并使用LoRA(秩 r = 16,α = 16,dropout = 0)对每个Transformer块的每个投影层(q_proj、k_proj、v_proj、up_proj、down_proj、o_proj、gate_proj)进行微调,使用Unsloth中的PEFT实现,启用rslora和梯度检查点。分词依赖于每个基础模型原始的SentencePiece分词器,并封装以Unsloth的ChatML模板,通过在每一层级固定随机种子(NumPy = 1,数据集打乱 = 42,Trainer = 0)确保可重复性。训练进行了三个轮次,使用梯度累积以提高效率。补充图面板(补充图1)展示了每个模型在三个轮次中的训练损失轨迹。在所有七个案例中,损失稳步下降并趋于平稳,没有任何显著反弹,表明收敛稳定且无明显过拟合证据。训练在四块NVIDIA A100图形处理器上进行,通过4比特量化和梯度检查点实现优化内存管理。我们的微调配置文件、提示模板和评估脚本可在GitHub获取(https://github.com//ibrarad/radiology-llm-finetuning-summarization)。

研究评估

采用两步评估流程评估所有模型在总结机械取栓报告方面的性能。

定量评估

我们以原始摘要为参考,使用定量指标基于单字的面向召回率的摘要评估替身(ROUGE-1)、基于双字的面向召回率的摘要评估替身(ROUGE-2)、面向召回率的摘要评估替身最长公共子序列(ROUGE-L)[31]、带显式排序的翻译评估指标(METEOR)[32]、来自变换器的双向编码器表示评分(BERTScore [F1])[33]和双语评估替身(BLEU)[34],对全部七个大语言模型(LLM)生成的摘要进行了评估。这些指标共同提供了一个稳健的框架,从内容覆盖、连贯性、语义相似性和语言准确性方面评估模型生成摘要的质量,并因此被广泛认可[35]。ROUGE-1、ROUGE-2、ROUGE-L [31]依赖于精确的词或短语匹配,侧重于词汇匹配而非更深层的语义,目的如下:ROUGE-1衡量模型生成摘要与参考(此处为介入神经放射科医生生成的)摘要之间单字(单个词)的重叠程度。它评估捕获基本内容的能力。ROUGE-2与ROUGE-1类似,但考虑双字(两词)重叠,从而提供关于短语保留和上下文准确性的洞察。ROUGE-L衡量生成摘要与参考摘要之间的最长公共子序列。它评估文本的流畅性和逻辑连贯性[31]。METEOR、BERTScore(F1)和BLEU超越了表面层面的匹配,评估生成文本的含义或意图:METEOR评分基于单字匹配评估摘要质量,纳入同义词、词干提取和释义,使其特别适用于多样化的语言变体[32]。BERTScore(F1)使用来自BERT等变换器模型的上下文嵌入来计算生成摘要与参考摘要之间的语义相似性[33]。它侧重于意义保留,并与人类判断相一致。BLEU评分通过分析n元精度来评估生成摘要与参考摘要之间的对应关系[34]。

训练和评估使用Python(版本3.10.14)及多个软件包进行:datasets(版本2.21.0)、numpy [36](版本1.26.4)、pandas [37](版本2.2.3)、pytorch [38]及pytorch-triton(版本3.0.0)、torch(版本2.4.0)、torchaudio(版本2.4.0)、torchvision(版本0.19.0)、transformers [39](版本4.47.1,)、trl [40](版本0.10.1)、unsloth [28](2024.8)和evaluate(版本0.4.3)。

定性评估

由四种表现最佳的LLM(根据所有定量指标的汇总得分选出,补充表S1)生成的摘要(N = 100,来自测试集)由一名二年级放射科住院医师(S.E.)进一步进行定性评估,当LLM生成的信息与金标准之间存在差异时,咨询了一名八年资历的诊断与介入神经放射学家(J.N.)进行进一步评估。在进一步的定性评估中比较定量得分最高的四种模型仍然提供了相对较大的模型样本,但尽管其定量结果相似,彻底的专家分析仍能揭示显著差异。与定量评估(生成的摘要与原始总结印象的比较)不同,定性评估将生成的摘要与详细的原始所见进行比较。该评估侧重于生成摘要中所包含关键信息的完整性和正确性。评估了以下方面:TICI评分(正确性)

再通血管(是否提及;如是,正确性)

再通血管侧别(是否提及;如是,正确性)

介入过程中导管通过次数(是否提及;如是,正确性)

相关附加信息(例如并发症:建立腹股沟入路通路的问题或导致围介入期夹层)(是否提及;如是,完整性和/或正确性)

幻觉数量

语法错误数量

我们对所有类别进行了非常详细的分析(详细概览表见补充表S2)。例如,TICI评分最初被分类为:完全正确、部分正确、不正确、未提及或不清楚(无参考生成)。

在N = 100份测试集报告中,N = 83份在所见部分包含了TICI评分作为参考,因此仅这些被用于该类别中的放射科医师评估。此外,重要附加信息仅存在于N = 53份报告中。图2提供了生成摘要与原始总结印象部分比较的示例。

图2 展示示例性原始总结与各LLM特定生成摘要(译自德语),其中部分人工分析类别以颜色标记(红色:血管,浅蓝色:血管侧别,绿色:TICI评分,紫色:通过次数,蓝色:附加信息)。A 与相对简洁的原始总结相比,各LLM均描述了再通血管和TICI评分,但存在轻微差异。B 没有LLM提及围介入期自限性出血这一并发症,并明确描述不存在并发症。此外,所提及的通过次数和生成的TICI评分也存在差异(本例中TICI无参考) 查看原图 ↗

统计学评估

在统计检验中,我们将所有类别二分为“完全正确”与“不完全正确”,因为在关键介入治疗中,任何不正确或不完整的信息都会带来风险。我们采用双尾四样本χ2检验来评估大语言模型(LLM)之间的性能差异。如果总体检验显示具有统计学显著性(p < 0.05),则进行事后两两χ²检验,以确定各LLM配对之间的差异是否具有统计学显著性。我们对不同测试集大小的代表性二分类结局进行了事后功效分析(双侧McNemar检验,α = 0.05,不一致率 = 25%),结果表明,检测模型间10个百分点差异的功效约为42%至52%,检测15个百分点差异的功效为75%至85%。因此,我们的研究具有足够的功效来揭示中等程度的性能差距(≥ 15个百分点),而较小的差异(约10个百分点)可视为探索性结果。分析及图表制作使用Python(版本3.9.13)及多个软件包完成,包括Pandas(版本2.2.2)、NumPy(版本1.20.0和1.23.1)、SciPy(版本1.13.1)和Matplotlib(版本3.7.1和3.6.3)。图1使用biorender(https://app.biorender.com)的素材制作。

结果

定量评估

使用定量指标评估的七个LLM的性能详见图3(数值见补充表S1)。在ROUGE评分(ROUGE-1、ROUGE-2、ROUGE-L)方面,所有模型表现相似,BioMistral-7b获得最高分(ROUGE-1:0.47,ROUGE-2:0.30,ROUGE-L:0.43)。BioMistral-7b在METEOR中也领先,得分为0.46。大多数模型获得相似的BERTScore(F1)值(0.81–0.82),其中BioMistral-7b和mistral-7b-instruct表现出最佳的语义对齐。各模型的BLEU评分相对较低,差异轻微,BioMistral-7b和mistral-7b-instruct再次得分最高(BLEU:0.20)。OpenBioLLM-8B在所有定量指标上均显著劣于所有其他LLM(补充表S2)。

图3 柱状图展示七个被评估的开源LLM(Meta-Llama-3.1-8B-bnb-4bit、mistral-7b-instruct-v0.3-bnb-4bit、BioMistral-7b、gemma-2-9b-bnb-4bit、Llama-3.2-1B-bnb-4bit、Llama-3.2-3B-bnb-4bit、OpenBioLLM-8b)在总结急性缺血性卒中患者机械取栓放射学报告方面的定量性能指标 查看原图 ↗

定性评估

表现最好的四个模型——Meta-Llama-3.1-8b-bnb-4bit、mistral-7b-instruct-v0.3-bnb-4bit、gemma-2-9b-bnb-4bit、BioMistral-7b——被纳入进一步定性评估,所有结果见表1(图形展示见图4)。各模型在摘要中报告每次介入所需通过次数方面(p = 0.03)以及这些摘要的准确性方面(p < 0.01)存在统计学显著差异。与gemma-2-9b相比,Mistral-7b-instruct显著更常正确描述通过次数(正确/报告[%]:29/38 [76.32%] vs. 23/56 [41.07%],p < 0.01)。

在其他任何类别中均未观察到显著差异。正确的TICI评分在各模型间范围为66.27%至71.08%,其中Meta-Llama-3.1表现最佳,正确得出评分的比例为71.08%(p = 0.89)。再通血管的报告率范围为71%至84%(p = 0.14),BioMistral-7b达到最高百分比(84%)。在已报告的病例中,59.15%至64.29%被正确总结,BioMistral-7b再次达到最高百分比(p = 0.90)。关于解剖侧别,报告率范围为54%至64%,mistral-7b-instruct达到最高 rate(64%;p = 0.47)。报告正确再通侧别的比例范围为70.37%至78.69%,gemma-2-9b表现最佳(p = 0.76,表2)。相关附加信息在摘要中报告频率较低,范围为24.53%至37.74%,BioMistral-7b与gemma-2-9b并列37.74%(p = 0.41)。Gemma-2-9b的完全正确提及率最高,为50%(p = 0.68)。幻觉率中等,在所有模型中一致存在(23%–25%;p = 0.97)。我们系统地对幻觉进行了分类,并在表3中总结了其相对频率。最常见的错误类型为再通血管侧别错误(占所有幻觉的44.74%)和虚构再通血管包括血管节段(30.70%)。值得注意的幻觉包括Passes(4.39%)、腹股沟至灌注时间(2.63%),以及虚构闭塞范围(2.63%)。多标签错误,即单条摘要同时包含两种幻觉,发生率为6.14%。

语法错误率范围为12%至21%,gemma-2-9b错误率最高(21%;p = 0.26)。

图4 条形图展示了对四款表现最佳的大语言模型在总结介入性急性缺血性卒中治疗放射学报告方面的手动评估结果的定性性能指标(以%表示) 查看原图 ↗
表1 放射科医师对大语言模型生成的摘要的完整性和正确性的手动比较分析 查看原表 ↗
表2 对存在统计学显著差异的摘要类别进行事后两两χ2检验的p值展示 查看原表 ↗
表3 经定性评估的大语言模型中各幻觉类型的频率及相对比例 查看原表 ↗

讨论

本研究评估了七款开源、微调的大语言模型在总结和预测急性缺血性卒中患者机械取栓神经介入放射学报告中与结局相关信息方面的性能。

我们的主要目的是系统比较不同大语言模型在针对此用例进行微调后总结专业医学信息的性能,其中四款表现最佳的模型接受了手动评估。作为次要目的,我们分析了这四款顶级大语言模型仅利用报告发现来预测TICI评分(一种基于血管造影的取栓后再灌注结局指标)的能力,以评估概念迁移和推理能力。

所有七个开源模型均展现出总结机械取栓报告的能力,在定量指标上结果相对相似,其中OpenBioLLM-8b表现中等偏差。在四个表现最佳的模型中,Meta-Llama-3.1-8b-bnb-4bit、mistral-7b-instruct-v0.3-bnb-4bit、gemma-2-9b-bnb-4bit和BioMistral-7b在大多数类别中未显示出统计学显著差异,提示各大型语言模型(LLM)性能相似,每个LLM至少在一个类别中取得最佳结果。这表明在专业医学数据集上对预训练LLM进行微调可使性能趋于收敛,使其能够在各种任务中取得相似结果。研究表明,医学领域微调可使LLM之间的模型性能趋于一致,并使较小的微调模型能够超越未经微调的大型模型[41, 42]。唯一的显著差异是Gemma-2-9b最常报告通过次数,而Mistral-7B-Instruct在此方面最为准确。所有四个LLM在仅根据 findings 部分预测TICI评分方面表现中等良好,正确率范围为66%至71%,凸显了LLM纯粹从文本数据对再通成功进行分类的潜力。

大多数现有关于放射学摘要的文献侧重于简化语言以促进患者理解[43–46],较少针对医学专家以改善工作流程[6–9],尤其不像本研究那样针对神经介入放射学。

四个表现最佳的LLM之间的定量指标非常相似(图5A)。然而,人工评估显示出明显但仅少数显著的差异(图5B)。虽然定量指标提供了标准化比较,但这凸显了它们能否充分反映复杂医学数据异质性的问题。应当注意,定量指标使用原始摘要印象部分作为参考,而人工评估使用原始 findings,因此可比性可能有限。尽管如此,这一差异凸显了对复杂医学文本进行定性分析的重要性。与人类判断相关性较差的担忧也反映在文献中,文献描述了对自动化评估方法日益增长的需求,这些方法能够越来越匹配人类评估,但更高效且更具成本效益[47–50]。

大语言模型(LLMs)在识别并将相关附加发现作为操作相关并发症进行优先级排序方面的能力高度不一致。在许多情况下,只有一个模型准确描述了相关的补充发现,反映出难以对多样化的医学数据赋予重要性,这可能是由于复杂性和变异性所致。这与表明LLMs可能缺乏语境理解并在高阶推理中表现不佳的研究一致[51, 52]。相反,当报告中明确提及像TICI评分这样结构化、定义明确的指标时,所有四个LLMs都将此信息纳入其摘要中,展示了对明确数据的可靠处理;然而,在LLM训练中仍需要改进优先级排序和语境理解[51, 53],特别是在处理异质性数据时。尽管存在这些挑战,并考虑到TICI评分高度依赖于介入医师且基于血管造影图像,LLMs仅从发现部分预测正确TICI评分仍表现相当良好。然而,仅从自由文本报告推断TICI可能因异质性报告实践或不完整描述而引入变异性,这可能影响临床决策。因此,未来的工作应探索将自动文本分析与直接图像评估相结合的多模态方法,以提高TICI评分判定的稳健性和临床有效性。

大型语言模型(LLMs)可能生成与事实不符的输出,称为幻觉 [54, 55],这在医学领域尤其令人担忧,因为临床决策依赖于精确数据。我们观察到的全部四种模型的幻觉率为23–25%,处于医学文本摘要所报道的广泛范围内 [56, 57],其中幻觉血管侧别(44.74%)和再通血管(30.70%)占所有观察到的幻觉的大多数。这些错误可能反映了放射学报告中侧别和血管术语的频繁强调和重复,尤其是再通血管的情况下,可能的段名称种类繁多(例如,M1、A1、P2),这增加了模型错误组合术语的倾向。幻觉示例包括mistral-7b-instruct错误地描述胼胝体周围动脉和A1段,而报告发现中从未提及这些内容;关于“从腹股沟到灌注的时间”的错误细节(被BioMistral-7b幻觉两次);以及对干预结果的错误描述(成功分类为不成功)。严格的验证和定期监测可能有助于防止幻觉在临床环境中的传播。避免报告摘要设置中幻觉的具体策略可能包括以下内容:为每个生成的陈述分配模型衍生的置信度评分,并标记或抑制低于预定义阈值的输出(置信度评分);将模型的输出限制在经过验证的解剖和程序事实的精选存储库中,以防止发明不存在的结构或结果(知识约束);用清晰的指令和说明性示例优化提示,使摘要基于源数据并阻止推测性语言(改进的提示工程);纳入检索增强生成,将最相关的报告段落包含在提示中,确保血管名称和干预结果等关键细节直接来源于原始文本;在小型、专家注释的数据集上微调模型,其中正确与错误的摘要被明确标记,从而教会模型区分事实信息与潜在幻觉。

由于通道数并不总是明确报告,模型在解释上经常出现分歧,gemma-2-9b显著更频繁地尝试推导确切的通道数。这种变异性反映了通过从上下文推断来推导隐含信息的难度 [51, 53]。

大多数摘要在语法上是正确的(主要是简单错误,例如缺少标点符号)。然而,有一份非常冗长、复杂的报告(未超过最大输入序列长度),生成的摘要在句子中间截断。这种情况在mistral-7b和BioMistral中均出现,表明复杂病例可能超出某些LLMs的处理能力或其在大段文本上保持连贯性的能力。

在常规临床环境中,LLM可嵌入RIS/PACS,在图像采集后立即自动生成报告印象草稿。除生成报告摘要外,该系统还能以机器可读形式提取结构化参数(闭塞部位、TICI分级、通过次数、侧别),从而支持临床研究数据管道或自动化登记与质量保证报告等下游应用。在这些使用场景中,放射科医师应对所有生成的输出进行最终验证和签核。

LLM在报告印象中生成的错误可能误导下游诊疗和随访决策,例如不必要的影像检查或错误部位的干预。将该使用场景扩展到结构化数据提取时,错误提取的参数可能传播到研究数据库、自动化登记系统和质量保证指标中,损害研究有效性和性能监测;因此,放射科医师的审核仍然至关重要。

LLM生成幻觉的中等发生率会增加每个病例的审核时间,因为需要进行更全面的核查。通过实施置信度评分机制,仅标记低确定性陈述,放射科医师可以将注意力集中在最不可靠的输出上,从而最大限度地减少额外审核时间并保持净效率增益。

图5 雷达图显示用于介入性急性缺血性卒中治疗放射学报告摘要的四种表现最佳LLM的A定量指标和B人工评估结果。A显示性能非常相似,差异非常细微(Meta-Llama-3.1-8b-bnb-4bit、mistral-7b-instruct-v0.3-bnb-4bit、gemma-2-9b-bnb-4bit、BioMistral-7b)。B在评估类别中显示出更大的偏差,尤其是与A相比。信息以%给出,区分了报告事件的比例(n;n = %意味着报告事件的数量也对应%数值,因为我们在100份报告上测试(= 100%),即Meta-Llama-3.1-8b在100份报告中的71例中提到了血管,这也对应于71%的病例)。(c,%)表示报告事件中有多少被正确报告(c是正确性的缩写) 查看原图 ↗

局限性

本研究存在若干局限性。本研究受限于单中心设计和相对适中的样本量,鉴于参与介入医师数量有限,这可能反映出一致的报告风格。然而,Charité是最繁忙的神经介入卒中中心之一,每年完成大量机械取栓术,并由多样化的专家团队实施。这种高手术量与操作者多样性的结合有助于部分抵消单中心数据集固有的同质性。为简化可解释性,我们仅将模型输出分为两类:“完全正确”或“不完全正确”,后者包括部分正确、未提及以及最终不明确的信息。虽然这种方法确保了更严格的标准,但可能因未能区分轻微不准确与重大错误而低估了模型性能。虽然PEFT减少了内存、计算需求并提高了适应性,但它可能并不总能达到与完全微调相同的性能。

此外,缺乏独立的验证队列妨碍了持续过拟合评估,尽管我们的100份报告测试集是随机抽样以反映总体分布,但其相对较小的规模可能限制了我们研究结果的可推广性。这些模型因其规模和4位量化而面临局限性,虽然计算效率高,但可能妨碍上下文保留和医学细节的准确捕捉。与更大的架构相比,这可能降低表征准确性并增加复杂医学文本中的错误。原始总结印象各不相同且部分不完整——由于这些被用于训练和定量评估,这可能引入偏倚并导致模型性能不一致。此外,我们的提示对TICI评分非常具体,但缺乏示例总结,这本可以在生成的总结中带来更多一致性。

结论

我们的研究结果说明了用例特定微调大语言模型(LLMs)通过生成放射学报告总结来增强放射学工作流程的潜力,同时强调了在总结复杂医学数据集方面的局限性,特别是在纳入如TICI评分等多模态数据时。虽然结构化和明确的信息被可靠地纳入,但在处理异质性、优先排序额外发现和避免幻觉方面仍存在挑战。这些见解强调了进一步改进LLMs的必要性,重点关注上下文理解、处理模糊输入的稳健性以及对幻觉信息的防护措施。未来研究应优先开发领域特定模型和数据集,以应对这些挑战并提高LLMs在临床实践中的可靠性。

补充信息

电子补充材料

引用

  1. Eminovic S, Lindholz M, Dell'Orco A, et al. Comparing performance of seven fine-tuned open-source large language models in summarizing and predicting outcome-relevant information from mechanical thrombectomy reports in patients with acute ischemic stroke. Eur Radiol. 2025. PMID: 41249547. doi:10.1007/s00330-025-12122-x
  2. 全文:PMC13086895(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13086895/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。