开放权重大语言模型用于脑MRI报告病理分类的比较评估
Comparative Evaluation of Open-Weight Large Language Models for Pathological Brain MRI Reports Classification: From Prompts to a Fine-Tuned Model
RSS 订阅 · Academic Radiology
本研究在单一神经放射中心1385份脑MRI自由文本报告上比较4个开放权重大语言模型(约20–35B参数)。报告分为病理与非病理,病理报告进一步分为5个诊断类别。Qwen3.5-35B-A3B在二分类任务中取得宏观F1为0.84,多标签分类为0.81,QLoRA微调后多标签宏观F1为0.83,微调相对0-shot基线在宏观F1、微观F1、宏观精确率和完全匹配上有统计学支持的改善。
要点
- 最适合作为内部索引和语义检索工具,支持快速报告检索、队列识别、内部审查与神经放射研究数据仓储。
- 微调与少样本提示策略互补,无一者持续优于另一者,可结合使用以提升报告分类稳定性。
- 模型在边缘标注病例上易出错,且常漏掉次要标签,临床部署前需关注报告标注一致性与多标签完整性。
核心结论
- 开放权重大语言模型在无需大量任务专属训练的情况下,对神经放射报告分类展现出较强能力。
- QLoRA微调可进一步提高多标签分类性能,支持整合进可扩展的语义放射数据流水线。
- 现有证据来自单一意大利中心且无外部验证,微调增益在较小留出测试集上估计,宏观F1改善置信区间下限接近零。
- 该方法目前最佳定位为内部索引和语义检索工具,广泛推广需额外的外部多中心验证后才能用于临床部署。
研究设计与样本
- 研究语料为单一神经放射中心的1385份脑MRI自由文本报告。
- 评估4个规模相当的开放权重大语言模型:GPT-OSS-20B、Magistral-Small-2509、Gemma-4-31B、Qwen3.5-35B-A3B,参数约20–35B。
- 报告标签分为病理性与非病理性,病理性报告进一步分为5个诊断类别:肿瘤形成、血管性、炎症/感染、神经退行性、其他。
- 模型通过0-shot和少样本提示配合多数投票聚合进行评估,最佳模型再应用QLoRA低秩适配微调进行多配置比较。
诊断标准与关键数值
- 二分类任务在最佳模型Qwen3.5-35B-A3B上宏观F1为0.84。
- 多标签分类在最佳模型Qwen3.5-35B-A3B上宏观F1为0.81。
- QLoRA微调后多标签任务宏观F1为0.83。
- 微调相对0-shot基线,宏观F1、微观F1、宏观精确率和完全匹配的bootstrap 95%置信区间均排除零,但宏观召回率未排除零。
- 多数投票聚合优于单次预测,错误分析显示模型在边缘标注病例上困难,常漏掉次要标签。
临床应用与阅片要点
- 可用于内部报告语义索引与快速检索,辅助放射科医生在历史报告中定位相似病例。
- 适用于结构化队列识别,例如按肿瘤、血管、炎症/感染、神经退行等类别筛选研究人群。
- 适合作为神经放射研究数据仓储的规模化表型工具,支持基于文本报告的自动化表型提取。
- 可结合主动学习策略,利用模型不确定性优先标注边缘病例,提升训练数据构建效率。
- 临床部署前需进行外部多中心验证,注意单中心报告书写习惯与标签定义可能影响泛化能力。
局限性
- 证据仅来自单一意大利神经放射中心,缺乏外部验证。
- 微调增益在较小的留出测试集上估计,宏观F1改善置信区间下限接近零。
- 宏观召回率改善未排除零,提示模型对部分类别的召回提升证据不足。
英文原文(摘要)· 点击展开
Publication date: Available online 14 October 2026 Source: Academic Radiology Author(s): Claudio Demaria, Claudio Crema, Mario Verdicchio, Valentina Brancato, Vincenzo Alfano, Luca Basso, Giuseppe Pontillo, Damiano Archetti, Silvia Fostinelli, Silvia De Francesco, Michela Pievani, Cesare M. Baronio, Alberto Boccali, Nicola Toschi, Arturo Brunetti, Alberto Redolfi, Marco Aiello
来源:Academic Radiology,查看原文。版权归原作者所有。
引用
- Academic Radiology:Comparative Evaluation of Open-Weight Large Language Models for Pathological Brain MRI Reports Classification: From Prompts to a Fine-Tuned Model
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。