开放权重大语言模型用于脑MRI报告病理分类的比较评估
Comparative Evaluation of Open-Weight Large Language Models for Pathological Brain MRI Reports Classification: From Prompts to a Fine-Tuned Model
RSS 订阅 · Academic Radiology
本研究在单一神经放射中心1385份脑MRI自由文本报告上比较4个开放权重大语言模型（约20–35B参数）。报告分为病理与非病理，病理报告进一步分为5个诊断类别。Qwen3.5-35B-A3B在二分类任务中取得宏观F1为0.84，多标签分类为0.81，QLoRA微调后多标签宏观F1为0.83，微调相对0-shot基线在宏观F1、微观F1、宏观精确率和完全匹配上有统计学支持的改善。
要点
- 最适合作为内部索引和语义检索工具，支持快速报告检索、队列识别、内部审查与神经放射研究数据仓储。
- 微调与少样本提示策略互补，无一者持续优于另一者，可结合使用以提升报告分类稳定性。
- 模型在边缘标注病例上易出错，且常漏掉次要标签，临床部署前需关注报告标注一致性与多标签完整性。
核心结论
- 开放权重大语言模型在无需大量任务专属训练的情况下，对神经放射报告分类展现出较强能力。
- QLoRA微调可进一步提高多标签分类性能，支持整合进可扩展的语义放射数据流水线。
- 现有证据来自单一意大利中心且无外部验证，微调增益在较小留出测试集上估计，宏观F1改善置信区间下限接近零。
- 该方法目前最佳定位为内部索引和语义检索工具，广泛推广需额外的外部多中心验证后才能用于临床部署。
研究设计与样本
- 研究语料为单一神经放射中心的1385份脑MRI自由文本报告。
- 评估4个规模相当的开放权重大语言模型：GPT-OSS-20B、Magistral-Small-2509、Gemma-4-31B、Qwen3.5-35B-A3B，参数约20–35B。
- 报告标签分为病理性与非病理性，病理性报告进一步分为5个诊断类别：肿瘤形成、血管性、炎症/感染、神经退行性、其他。
- 模型通过0-shot和少样本提示配合多数投票聚合进行评估，最佳模型再应用QLoRA低秩适配微调进行多配置比较。
诊断标准与关键数值
- 二分类任务在最佳模型Qwen3.5-35B-A3B上宏观F1为0.84。
- 多标签分类在最佳模型Qwen3.5-35B-A3B上宏观F1为0.81。
- QLoRA微调后多标签任务宏观F1为0.83。
- 微调相对0-shot基线，宏观F1、微观F1、宏观精确率和完全匹配的bootstrap 95%置信区间均排除零，但宏观召回率未排除零。
- 多数投票聚合优于单次预测，错误分析显示模型在边缘标注病例上困难，常漏掉次要标签。
临床应用与阅片要点
- 可用于内部报告语义索引与快速检索，辅助放射科医生在历史报告中定位相似病例。
- 适用于结构化队列识别，例如按肿瘤、血管、炎症/感染、神经退行等类别筛选研究人群。
- 适合作为神经放射研究数据仓储的规模化表型工具，支持基于文本报告的自动化表型提取。
- 可结合主动学习策略，利用模型不确定性优先标注边缘病例，提升训练数据构建效率。
- 临床部署前需进行外部多中心验证，注意单中心报告书写习惯与标签定义可能影响泛化能力。
局限性
- 证据仅来自单一意大利神经放射中心，缺乏外部验证。
- 微调增益在较小的留出测试集上估计，宏观F1改善置信区间下限接近零。
- 宏观召回率改善未排除零，提示模型对部分类别的召回提升证据不足。
引用
- Academic Radiology：Comparative Evaluation of Open-Weight Large Language Models for Pathological Brain MRI Reports Classification: From Prompts to a Fine-Tuned Model
供执业医师工作参考，不替代临床判断；数值与分级以指南原文为准。