使用微调大语言模型对脑部MRI报告进行自动分类
本研究回顾性纳入759份训练、284份验证和164份测试脑部MRI报告,由放射科医生分为无肿瘤、治疗后肿瘤和治疗前肿瘤三组,微调日文BERT模型进行分类,并在测试集上与两位放射科医生比较。微调大语言模型总体准确率0.970(95%CI 0.930-0.990),与放射科医生相比准确率、敏感度和特异度均无统计学显著差异(p≥0.371),分类速度约快20-26倍。
要点
- 微调大语言模型对脑部MRI报告三分类总体准确率0.970(95%CI 0.930-0.990),与放射科医生无显著差异。
- 治疗前肿瘤组敏感度0.978、特异度0.958,可用于从大量报告中筛出未治疗脑肿瘤病例。
- 模型分类耗时57秒,比两位放射科医生分别快约26倍(1487秒)和20倍(1131秒)。
核心结论
- 微调大语言模型在脑部MRI报告分类上表现与放射科医生相当,且所需时间显著更少。
研究设计与样本
- 回顾性研究,训练集759份、验证集284份、测试集164份脑部MRI报告,来自单一机构。
- 由一名2年经验放射科医生初分三组,一名13年经验放射科医生核实,作为参考标准。
- 使用日文BERT预训练模型(12层、768隐藏维度、12注意力头、约1.1亿参数)微调,15次训练各10轮,选验证集准确率最高模型。
- 测试集由两位放射科医生(6年和1年影像经验)手动分类,与模型比较。
诊断标准与关键数值
- 模型总体准确率0.970(95%CI 0.930-0.990),与两位读片医生相当。
- 模型对第1/2/3组敏感度分别为1.000/0.864/0.978,特异度分别为0.991/0.993/0.958。
- 区分第2、3组与第1组的AUC为0.994(95%CI 0.982-1.000),区分第3组与第1、2组的AUC为0.992(95%CI 0.982-1.000)。
- 模型与读片医生在准确率、敏感度、特异度上均无统计学显著差异(p≥0.371)。
临床应用与阅片要点
- 模型可在临床工作流程中提醒医生注意报告中意外发现的脑肿瘤,防止遗漏需进一步检查的病例。
- 模型可帮助从大量影像报告档案中识别相关病例,用于构建脑肿瘤研究队列及对照组。
- 模型对治疗后肿瘤报告(第2组)敏感度0.864,略低于人类读片医生,但原文认为因治疗后患者密切随访,此问题可能并非关键弱点。
局限性
- 本研究为单机构回顾性研究,影像报告格式可能因机构而异,推广到其他医院可能需要调整模型。
- 数据来自大学医院,疾病分布可能与其他机构不同。
- 研究仅关注脑肿瘤的存在,未评估识别其他病变的能力。
- 微调使用的是日文预训练数据,结果不一定适用于其他语言。
- 未来需要使用不同机构、语言和疾病分布的数据集验证该方法。
全文中译11 节 · 点击展开
引言
脑肿瘤占新诊断癌症的1.4% [1]。尽管脑肿瘤较为罕见,但其对患者预后和生活质量有着显著影响 [2]。胶质母细胞瘤是起源于胶质细胞的最常见原发性脑癌类型,尽管接受了综合医学治疗,患者在诊断后2年内几乎均致命 [2]。此外,中枢神经系统癌症被认为在全球造成770万伤残调整生命年 [2]。这种显著的死亡率和发病率需要适当的临床管理和科学研究的推进。
MRI已被公认为脑肿瘤管理的主要影像学方式,包括诊断、治疗计划和监测 [3]。MRI在神经肿瘤学中的广泛采用导致多年来影像报告的大量积累。有效利用这一海量数据在改善患者护理和支持研究方面具有巨大潜力。然而,手动整理大量数据是一项耗时的任务,因此自动化是可取的。开发一个用于提取未治疗脑肿瘤报告的自动化系统可作为警报机制,防止临床医生忽视意外的脑肿瘤并促进及时评估。此外,它还可以通过从大量病例中高效创建患者队列来促进研究。然而,自由文本形式的影像报告使自动化分析变得困难 [4]。
近年来,自然语言处理(NLP)在医学领域的应用引起了广泛关注。NLP是人工智能的一个领域,侧重于计算机与人类语言之间的交互 [5]。大语言模型(LLM)的出现彻底改变了NLP的性能,导致对其临床应用进行了广泛研究 [6]。LLM已被应用于众多影像学任务,例如自动化成像方案选择 [7]、根据重要发现生成报告印象 [8]、根据影像模式列出鉴别诊断 [9],以及根据简短关键词生成影像报告 [10]。一个日本双向编码器表示变换器(BERT)模型在检测可操作影像报告方面表现出良好性能,受试者工作特征曲线下面积(AUC)为0.9516 [11]。
LLM可以进一步在影像学专用数据集上进行训练,这被称为微调。这种方法有可能提高模型在影像学相关任务上的性能,同时减少幻觉 [6]。例如,针对影像学任务微调的基于变换器的语言模型在异常句子分类、报告编码和报告摘要方面表现优于基线模型 [12]。
尽管通用的大规模LLM如GPT-4在各种影像学任务上已展现出可观的表现 [6],但这些模型可能带来各种问题,例如需要外部数据传输。微调一个更小的、本地托管的LLM是解决这些问题的有前景的方法。这种方法允许模型下载并在本地环境中运行,保护患者隐私。此外,使用较小的模型可降低计算成本,使其无需大量资源即可运行。
尽管已有许多关于大语言模型(LLM)在临床环境中应用的报道,但关于LLM专门用于自动化脑肿瘤报告分类的文献仍然缺乏。本研究旨在探讨利用微调后的LLM对脑肿瘤报告进行正确分类(分为治疗前、治疗后和非肿瘤病例)的效果。我们假设微调后的LLM能够在保持高准确率的同时,显著减少完成这一复杂任务所需的时间。
材料与方法
本回顾性研究获得了本院机构审查委员会的批准,由于本研究的回顾性设计,委员会豁免了获取患者书面知情同意的要求。
数据集
在本院图像归档与通信系统中检索符合条件的病例。收集脑MRI检查的放射学报告,用于训练、验证和测试数据集。我们还检索了本院的教案文件系统(一种面向住院医师的教学病例档案),并将每个病例相关的MRI报告加入数据集,以补充治疗前病例的不足。各数据集的组成如下。
* 训练数据集:2019年4月2日至2019年4月8日以及2018年4月2日至2018年4月4日的脑MRI报告,以及2018年和2019年教案文件系统中病例的治疗前肿瘤报告。
* 验证数据集:2020年4月2日至2020年4月7日的脑MRI报告,以及2020年教案文件系统中病例的治疗前肿瘤报告。
* 测试数据集:2021年4月5日的脑MRI报告,以及2021年教案文件系统中病例的治疗前肿瘤报告。
未提供足够信息以判断肿瘤为治疗前或治疗后的报告被排除。报告以CSV格式存储。所有报告主要以日语书写,诊断部分包含英文医学术语。
参考标准
每份放射学报告的临床指征和影像诊断由一名具有2年影像诊断经验的放射科医师审阅,并分为三组:非肿瘤病例(第1组)、治疗后脑肿瘤病例(第2组)和治疗前脑肿瘤病例(第3组)。该分类由一名具有13年影像经验的放射科医师核实。
预训练LLM的微调
本研究使用了预训练的日语BERT模型(https://huggingface.co/cl-tohoku/bert-base-japanese)第3版。该基础规模模型由12层、768个隐藏状态维度和12个注意力头组成,总参数量约为1.1亿。该模型采用子词分词,并使用截至2019年9月1日的日语维基百科数据进行预训练。微调使用Python 3.10.13(https://www.python.org/)和Transformers库4.35.2(https://huggingface.co/)在一台配备Core™ i9-12900 F中央处理器、NVIDIA GeForce RTX 3090图形处理器和128 GB随机存取存储器的工作站上进行。采用Transformers库的AutoModelForSequenceClassification类方法将模型配置为根据logits将报告分为三组。训练过程以相同的超参数和训练数据重复15次,以考虑微调过程中固有的随机性。每次训练包括10个epoch以优化模型性能。微调过程的epoch数根据模型在训练集和验证集上的表现经验性确定。在每次训练中,模型通过训练数据集进行微调,并在验证数据集上评估其性能。其他超参数设置为Transformers库的默认值。微调前模型的性能也在验证数据集上进行了评估。用于微调的代码可经合理请求获取。
微调后LLM的测试阶段
在15次训练中在验证数据集上表现最高的模型被选为最终模型。该模型的性能使用独立测试数据集进一步评估。此外,为比较所开发模型与放射科医师的性能,两名放射科医师(分别具有6年和1年影像经验)手动将测试数据集报告分为三组。记录了分类组数据和完成所需时间。
统计分析
统计分析使用R版本4.3.1(https://www.r-project.org/)。采用McNemar检验比较微调后LLM与阅片者在测试数据集中的敏感性、特异性和准确性。进行受试者工作特征(ROC)分析,以基于logit推导的概率计算AUC,评估微调后LLM在区分第2组和第3组与第1组以及第3组与第1组和第2组方面的诊断性能。统计显著性设定为p值< 0.050。
结果
数据集
表1呈现了各数据集的人口学详情和组分布。表2总结了报告中作为主要诊断呈现的肿瘤类型频率。训练集、验证集和测试集分别包含第1/2/3组的221/82/456、89/44/151和49/22/93份报告。训练集、验证集和测试集中患者的平均年龄分别为53.2 ± 21.3、55.3 ± 21.2和53.5 ± 19.1岁。性别分布在训练集中为373名男性/386名女性,在验证集中为132名男性/152名女性,在测试集中为77名男性/87名女性。
模型选择
表3总结了各训练会话模型在验证数据集上的性能。第4次训练会话的模型表现出最高准确率,被选为最终模型。
微调后的大语言模型(LLM)与放射科医师在测试数据集上的性能
表4展示了参考标准与预测数据的混淆矩阵。表5显示了微调后的大语言模型与放射科医师在测试数据集分类中的性能。
微调后的大语言模型总体准确率为0.970(95% CI:0.930–0.990),与阅片者1和阅片者2相当。
大语言模型对第1组(1.000,95% CI:0.927–1.000)和第3组(0.978,95% CI:0.924–0.997)的敏感性与两位阅片者相当。对于第2组,大语言模型的敏感性为0.864(95% CI:0.651–0.971),略低于人类阅片者。
大语言模型的特异性从第3组的0.958(95% CI:0.881–0.991)到第2组的0.993(95% CI:0.961–1.000)。这些特异性与人类阅片者相似。
在任何组别中,大语言模型与阅片者之间在准确率、敏感性和特异性方面均未发现统计学显著差异。
图1展示了微调后的大语言模型在测试数据集中区分第2组和第3组(含脑肿瘤的报告)与第1组(不含脑肿瘤的报告)的ROC曲线。AUC为0.994(95% CI:0.982–1.000)。图2展示了微调后的大语言模型在测试数据集中区分第3组(含治疗前脑肿瘤的报告)与第1组和第2组(含治疗后脑肿瘤的报告和不含脑肿瘤的报告)的ROC曲线。AUC为0.992(95% CI:0.982–1.000)。
与人类阅片者相比,微调后的大语言模型对测试数据集进行分类所需时间显著更少。大语言模型在57秒内完成了分类任务,比阅片者1(1487秒)快约26倍,比阅片者2(1131秒)快约20倍。
讨论
我们的研究表明,微调后的大语言模型能够将脑部MRI报告分为无脑肿瘤、治疗后脑肿瘤和治疗前脑肿瘤,具有高准确率、敏感性和特异性,与人类阅片者相当。大语言模型完成分类任务所需时间显著更少。
大语言模型高效提取治疗前病例(第3组)的能力表明其在临床和研究中的潜在用途。它可以提醒临床医师,及时提示脑肿瘤的意外存在。这可以防止临床医师在查看大量报告时遗漏需要进一步检查的病例,并促进及时评估。它还可用于通过帮助从庞大的放射学报告档案中识别相关病例来创建脑肿瘤研究队列。大语言模型在识别无脑肿瘤的报告(第1组)方面也表现良好,这意味着大语言模型在脑肿瘤研究中创建对照组方面也很有用。
大语言模型在治疗后脑肿瘤报告(第2组)方面的性能低于人类阅片者。在临床和研究实践中,这一问题可能不是关键弱点,因为肿瘤患者往往在治疗前后均接受密切随访。这种密切随访使得一旦初始报告被识别,治疗后病例的识别变得更加容易。
在先前的研究中,Kehl等人采用深度自然语言处理技术从放射学报告中提取信息,如肿瘤的存在和病灶的间期变化[13]。他们表明,深度学习模型在检测任何癌症、恶化/进展和改善/缓解方面表现出超过0.90的高AUC。在检测脑/脊柱病变方面,其模型的AUC为0.97。Nakamura等人证明,日本BERT模型在检测可操作的放射学报告方面表现出0.9516的高AUC[11]。我们的结果与这些先前报告相印证,确认了自然语言处理在高效处理放射学报告信息方面的广阔前景。
我们的研究独特之处在于聚焦于使用微调大语言模型进行报告分类任务。一项先前的研究报告称,大语言模型,特别是在生物医学数据上预训练的模型,在广泛的自然语言处理任务上表现出色,且对任务特定架构修改的要求有限[14]。鉴于微调大语言模型在分类脑MRI报告方面的最佳性能,我们提出我们的方法可以扩展到各种其他放射学任务。本研究还值得注意的是,即使是小型、本地可用的大语言模型也可以通过微调达到足够的性能。这种方法通过将敏感数据保持在安全的本地环境中来确保患者隐私。此外,较小大语言模型的低计算需求使其在临床环境中实施成为可能。
本研究存在一些局限性。首先,本回顾性研究在单一机构进行。由于影像报告格式可能因机构而异,可能需要进行模型调整以将我们的结果推广到其他医院。此外,由于数据收集自大学医院,疾病分布可能与其他机构相比具有独特性。其次,我们的研究侧重于脑肿瘤的存在;因此,识别其他病变的能力未予评估。最后,微调使用的是在日本数据上预训练的大语言模型。我们的结果不一定适用于其他语言。未来需要使用来自不同机构、语言和疾病分布的数据集来验证我们的方法。
总之,微调大语言模型在分类脑MRI报告方面表现出与放射科医师相当的性能,同时所需时间大幅减少。将这些发现整合到临床工作流程中可以帮助临床医生避免忽视报告中发现的脑肿瘤,并帮助他们从大量病例中识别相关病例用于研究目的。
引用
- Kanzawa J, Yasaka K, Fujita N, et al. Automated classification of brain MRI reports using fine-tuned large language models. Neuroradiology. 2024. PMID: 38995393. doi:10.1007/s00234-024-03427-7
- 全文:PMC11611921(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11611921/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。