医院特异性域适应对基于BERT模型分类神经放射学报告的影响
结果显示所有经域适应的模型均优于基线模型(所有p值<0.001),联合两家医院未标注报告进行MLM时平衡准确率最高(KCH:均值97.0±0.4%,GSTT:95.5±1.0%),LLama-3.0 70B为表现最佳的大语言模型(KCH:97.1%,GSTT:94.0%)。
要点
- 医院特异性域适应通过掩码语言建模可提升BERT类模型分类脑MRI报告的平衡准确率。
- 使用全部194,467份未标注报告进行MLM时,KCH内部测试集平衡准确率均值97.0±0.4%,GSTT外部测试集95.5±1.0%。
- 标注数据稀缺时,LLama-3.0 70B可作为可行替代方案(KCH:97.1%,GSTT:94.0%)。
核心结论
- 在新临床环境中部署BERT类模型时,医院特异性域适应应被视为最佳实践。
- 当标注数据稀缺或不可用时,大语言模型可作为可行替代方案,前提是可获得足够算力。
研究设计与样本
- 回顾性方法学研究(2008-2019年),纳入KCH的126,556份和GSTT的86,032份成人脑MRI报告。
- 二分类任务:KCH标注2,724份报告(20%即545份为内部留出测试集,80%即2,179份用于微调),GSTT标注283份报告全部作为外部留出测试集。
- 多标签分类任务:KCH标注684份报告(20%即137份为留出测试集,80%即547份用于微调),预测七类脑异常的存在与否。
- 比较RoBERTa、BioBERT、RadBERT等BERT类模型在基线、单中心域适应和多中心域适应三种变体下的性能,并与六种开源大语言模型及词袋模型比较。
- 采用双向和单向方差分析进行统计检验,显著性阈值p=0.05。
诊断标准与关键数值
- 二分类平衡准确率定义为敏感度与特异度的算术平均值。
- 所有经医院特异性域适应的模型均优于其基线模型(所有p值<0.001)。
- 在KCH数据集上进行MLM的平均平衡准确率提升:KCH留出集1.41%(95%CI:1.14–1.68,p<0.001),GSTT留出集3.17%(95%CI:2.54–3.79,p<0.001)。
- 在KCH和GSTT联合数据集上进行MLM的平均平衡准确率提升:KCH留出集1.70%(95%CI:1.43–1.97,p<0.001),GSTT留出集3.78%(95%CI:3.15–4.41,p<0.001)。
- 联合数据集较KCH单数据集MLM的额外提升:KCH留出集0.29%(95%CI:0.02–0.56,p=0.030),GSTT留出集0.61%(95%CI:−0.01至1.24,p=0.057)。
临床应用与阅片要点
- 当标注数据充足时,医院特异性域适应后的BERT类模型可获得最佳分类结果。
- 当标注数据稀缺时,LLama-3.0 70B等大语言模型是可行替代方案,前提是有足够计算资源。
- 自动化报告分类可用于优先审核异常报告、临床审计及为AI图像分类模型提供训练标签。
局限性
- 原文未报告局限性。
全文中译29 节 · 点击展开
引言
在医学领域执行计算机视觉分类任务的人工智能(AI)通常需要大量训练标签[1–3]。在放射学中,虽然训练标签可以由放射科医师主动查看图像来创建,但也可以从报告中回顾性提取[4–7]。然而,这种标注过程需要专家级领域知识,而这是稀缺且昂贵的资源[8, 9]。报告分类的自动化方法可以应对这一挑战,同时提供额外的临床益处。例如,顾问放射科医师可以优先审查值班受训放射科医师的异常报告,多标签分类能够通过区分紧急病变(如卒中)与不太关键的病症(如萎缩)来实现精细化分诊。从大量非结构化报告中自动提取此类信息对于临床审计也将极具价值,特别是用于识别相关子集(例如,识别包含卒中的报告子集,以审计卒中影像学方案的依从性);同样的信息还可为AI图像分类模型提供训练标签。在这些应用中,准确性至关重要:在分诊中,假阴性可能延误对异常发现的审查;而在图像分类中,错误标注的数据可能损害模型区分正常与异常发现的能力。
一种解决方案是使用语言模型(如“来自变换器的双向编码器表示”(BERT))来自动化报告标注。一旦在大量示例上完成训练,BERT就能高效地为大型报告数据集生成标签[10]。BERT最初通过使用“掩码语言建模”(MLM)在大型公开可用文本语料库上进行预训练,在通用领域文本分类中取得了成功[11]。通过正确预测给定句子中被遮蔽的词语,BERT习得了英语语法、句法和语义关系知识(补充材料1)。
为执行下游任务(如将报告分类为“正常”或“异常”),预训练模型需要用标签进行“微调”。这种迁移学习方法利用了通过MLM学到的权重,以及一个为分类设计的最终层。由于MLM是自监督的,它不需要标签,但有监督微调需要人工标签供模型学习。
作为中间步骤,MLM可以在不同的文本主体上继续进行以实现领域适应。在微调之前在其他领域内语料库上继续MLM通常比单独微调获得更好的性能。例如,BioBERT从BERT初始化,并通过MLM进一步领域适应于科学文献,从而习得了“科学英语”知识[12]。类似地,为适应放射学报告领域,RadBERT模型在超过400万份放射学报告上通过MLM进一步预训练,在放射学特定任务(如异常分类)上的下游微调性能优于其初始化来源模型[13, 14]。当在不同医院适应新的放射学任务时,目前尚不清楚另一个中间步骤——特别是对RadBERT等专门模型进行进一步的医院特异性领域适应——是否能带来额外的性能提升。
本研究的目的是确定基于BERT的模型在两个下游任务中的最佳训练策略:(1)将MRI脑部报告二分类为正常或异常,(2)将MRI脑部报告多标签分类为一个或多个七类异常类别。主要目的是确定额外的医院特定领域适应是否会带来任何性能上的增量收益。次要目的是将基于BERT的模型与开源的最先进大语言模型(LLM)进行比较[15, 16]。
方法
英国国家健康研究管理局/研究伦理委员会(REC)批准了这项回顾性方法学研究(综合研究申请系统(IRAS)ID 235,658,REC ID 18/YH/0458)。我们遵循了医学影像人工智能检查清单(CLAIM)[17]。
数据和参考标准标注(图1a)
数据集分别由2008年至2019年间由专家神经放射科医师(英国顾问医师;相当于美国主治医师)生成的126,556份和86,032份连续去标识化放射学报告组成。这些数据集分别包含在国王学院医院(KCH)和盖伊与圣托马斯信托医院(GSTT)进行的所有成人(> 18岁)MRI头部检查。这两家医院均为英国伦敦的神经科学三级转诊中心。
报告预处理
我们随机抽取了1000多份报告,以核实其中不存在可识别患者身份的信息。在任何实验之前,我们仅保留报告文本和训练标签(“正常”或“异常”)字段,省略包括医院ID、出生日期和性别在内的所有其他字段。报告文本通常包含申请临床医生的临床转诊信息,未对其进行预处理,以保留所有可能相关的信息。
为提高计算效率,我们使用Python中的简单字符串匹配方法,从无标签的King’s College Hospital(KCH)报告语料库中删除了15,106份重复报告。该去重过程删除了文本内容相同的报告,无论其临床意义如何。重复报告通常包括研究记录、无文本报告或缺乏临床细节的正常报告。然而,检查所见相同但转诊文本中临床信息不同的报告被保留为单独条目。无标签的Guy’s & St Thomas’ Trust Hospital(GSTT)报告语料库不含重复报告。
任务1的参考标准:二分类异常分类
从KCH随机选取2724份报告,从GSTT随机选取283份报告,按任意10:1比例标记为“异常”或“正常”。这些报告此前已在一项既往研究中用于相同的分类任务,但未进行医院特异性域适应[4]。在超过六个月的时间里,两名神经放射学专家(A.A.B.和S.K.,分别具有15年和16年神经放射学经验)使用经过五轮专家小组完善的标准独立标记报告(补充材料2定义了临床相关异常)。“正常”与“异常”之间的界限并非显而易见——例如,异常小血管病定义为Fazekas II级或更高,而异常萎缩定义为“体积丢失超出年龄预期”。两名标记者之间的初始一致率为94.9%。分歧由第三名神经放射学家(T.C.B.,19年神经放射学经验)仲裁以达成共识。
我们将带标签的KCH报告随机分为两组,同时保持异常与正常标签比例一致:20%(545/2724)作为“内部”留出测试集,80%(2179/2724)作为异常检测的微调训练数据[18]。所有GSTT报告(283/283)用作“外部”留出测试集。我们确保任何测试集中均无数据泄漏。
任务2的参考标准:多标签“细粒度”类别分类
随机选取了来自KCH的684份报告。两名专家神经放射科医师(A.A.B.和S.K.)独立标注了七种预定义脑异常类别中有无病理改变:白质炎症、占位、萎缩、血管异常、急性卒中、小血管病和脑软化(均在补充材料2中定义)。尽管每份报告可被描述为包含零个、一个或多个异常类别,我们的建模方法严格为多标签分类,即七个类别各自独立预测(存在 vs 不存在)。单份报告可同时为多个类别阳性(例如同时为“占位”和“血管性”)。该“细粒度”子集被随机分为两组:20%(137/684)作为留出测试集,80%(547/684)作为微调训练数据。我们确保任何测试集中均无数据泄漏。
实验设置(图1b)
对于表1中列出的每个基于BERT的模型,我们创建了三种变体:基线(图1b,第1行):已发表的基于BERT的模型,在其他文本语料库上预训练(表1)。
单中心域适应(图1b,第2行):基于BERT的模型在未标注的KCH报告上使用MLM训练。
多中心域适应(图1b,第3行):基于BERT的模型在未标注的KCH和GSTT报告上使用MLM训练。
医院特异性域适应(图1b,第2列)
域适应使用MLM在未标注报告上进行,模型被训练以预测报告中随机遮挡(“掩蔽”)的词语。训练期间我们动态掩蔽了25–35%的完整词语,并使用动态学习率计划以确保收敛(超参数详情见补充材料4)。
除排除未标注KCH数据集中的15,106份重复报告外(排除是出于计算效率考虑),报告未进行任何预处理。我们未使用任务1(图1a)的标注报告,以消除对数据泄漏的任何担忧;在MLM期间,任务1和任务2的模型均无法访问任何训练标签。
任务1的微调:二分类异常分类(图1b,第3列)
在任何医院特异性域适应之后,我们使用2179份标注KCH报告(占2724份总数的80%)对每个模型变体进行二分类(正常/异常)微调。我们采用5折交叉验证,在训练集和验证集之间保持一致的异常与正常标签比例。
微调包括训练十个epoch,并在验证集达到最高平衡准确率时保存模型权重。更多细节(包括超参数选择)见补充材料5。
任务2的微调:多标签“细粒度”类别分类
在医院特异性域适应之后,我们使用547份标注KCH报告对每个模型变体进行多标签分类(七个异常类别为存在/不存在)微调,采用5折交叉验证。微调包括训练30个epoch,并在验证集达到最高平衡准确率时保存模型权重(更多细节见补充材料5)。
任务1的测试:二分类异常分类(图1b,第4列)
针对每个已发表的基于BERT模型的三种变体,每种变体的全部五个微调模型均在来自KCH和GSTT的留出测试集上进行了测试。性能以各模型变体平衡准确率的均值和标准差报告。平衡准确率定义为灵敏度和特异度的算术平均值。
任务2的测试:多标签“细粒度”类别分类
每个原始基于BERT模型的所有五个微调模型(每个交叉验证折对应一个)均在来自KCH“细粒度”集的留出测试集上进行了测试。在测试过程中,每个模型必须同时预测七个异常类别中每一个的存在或缺失。性能以各模型变体平衡准确率的均值和标准差报告。
任务1与词袋模型的比较
为提供比较基线,我们实现了一个词袋(BoW)模型,这是一种传统的文本表示方法。BoW方法根据单词的存在或频率将每份MRI报告转换为稀疏特征向量,而不考虑其顺序或上下文。通过将该基线与我们基于BERT的模型进行比较,我们旨在突出利用上下文嵌入进行复杂分类任务的优势。我们使用与上述任务1中基于BERT的模型相同的交叉验证折进行训练。对于每一折,创建一个新的BoW矩阵,并据此拟合逻辑回归分类器。
任务1与大语言模型(LLM)的比较(图1b,第4行)
我们还将基于BERT的模型与大语言模型(LLM)的性能进行了比较。在此背景下,LLM的主要优势在于它们不需要标注数据。
我们评估了六个近期最先进的开源LLM:来自Meta的Llama 3.0和Llama 3.1的8B-Instruct和70B-instruct版本、来自Mistral AI的Mistral v0.2-Instruct和Mixtral 8x7B v0.1-Instruct [15, 16, 19, 20]。我们在本地部署了这些模型,因为我们希望避免与专有LLM(如GPT-4或Google Gemini)相关的隐私问题 [21, 22]。
我们使用Mistral v0.2-Instruct在来自标注KCH数据集的“第1折”训练集上迭代优化提示词。该优化后的提示词随后一致地应用于所有LLM,在KCH和GSTT留出测试集上进行测试。我们使用了可产生近乎确定性响应的模型设置,每个模型产生单一结果。
采用了以下提示词工程技术:思维链提示 [23]:我们为模型提供了可供遵循的中间推理步骤。
上下文纳入:提示词中纳入了供人工标注者使用的 condensed 标签标准(补充材料2)。
JSON输出:我们要求以JSON格式提供响应,以确保一致性并便于在Python中解析。
少样本提示 [24]:我们纳入了六个具有理想输出的示例报告(在token限制内所能容纳的最大数量)。
我们使用Python脚本自动将所有LLM响应转换为二分类异常标签。在报告每个模型的最终性能准确率之前,未对来自留出测试集的LLM响应进行审核。具体提示词、工程方法和模型参数详见补充材料6。
消融研究
为研究数据集规模对模型性能的影响,我们减少了可用于MLM的报告数量。我们从两个数据集中创建了不同规模的子集:仅KCH未标注报告,以及来自KCH和GSTT的合并未标注报告。这使我们能够分析数据集规模的影响以及纳入多机构数据的影响。为保持数据一致性,每个报告子集均从下一个更大的集合中派生(例如,60%的KCH子集是80%KCH子集的子集,而后者又从所有未标注KCH报告中抽取)。
我们选择RoBERTa作为在这些子集上进行MLM的已发表基于BERT的模型。RoBERTa是加利福尼亚大学圣迭戈分校(UCSD)-RadBERT的基础模型,后者也使用MLM进行训练。因此,我们可以比较用于MLM的数据集的性能——未标注KCH和GSTT脑部MRI报告(域内)与RadBERT的442万份来自所有亚专科和模态的美国放射学报告(相关但域外)相比。RoBERTa和UCSD-RadBERT模型在MLM之后在有标注的KCH报告上进行了微调(图1b第3列)。
软件
上述方法在Python中实现[18, 22, 25–27]。我们主要使用PyTorch和Hugging Face的Transformers库进行模型训练[28, 29]。统计分析使用statsmodels模块进行[30]。
统计检验
对于二分类,双向方差分析(ANOVA)是主要分析方法,用于在考虑基于BERT的模型之间差异的同时检验医院特异性域适应的影响。该分析检验了以下因素的影响:(1) MLM数据集选择(无 vs KCH vs KCH和GSTT),(2) 基于BERT的模型选择,以及(3) 它们对平衡准确率的交互作用。我们报告两种效应量度量:(1) 通过MLM进行医院特异性域适应后平衡准确率的平均改善,附有来自事后Tukey检验的95%置信区间(CI);(2) 使用Cohen's d的标准化效应量[31],其95% CI由Hedges & Olkin近似法提供[32]。
单因素方差分析评估了MLM组内基于BERT的模型之间是否存在差异(图1b第1–3行)。对于消融研究,单独的双向方差分析检验了MLM数据集、报告数量及其交互作用作为因素。所有检验的显著性阈值均为p = 0.05。结果以及正态性和方差齐性检验详见补充材料7。
结果
模型训练
MLM在KCH和GSTT数据集(194,467份报告)上需要23–71小时,在仅KCH数据集(108,726份报告)上需要11至59小时。微调一个二分类模型约需10分钟,多标签分类约需3分钟。所有基于BERT的模型仅需一个图形处理单元(GPU)。
LLM推理通常总共耗时不到15分钟。Llama-3 8B和Mistral v0.2模型仅需一个GPU,而Mixtral 8x7B需要四块NVIDIA A100(40GB)显卡,Llama-3 70B模型总共需要八块。
任务1:异常检测性能
表3和图2展示了所有基于BERT的模型(无论是否进行领域适应)与大型语言模型(LLM)和词袋(BoW)模型相比的异常检测性能。无论采用何种领域适应策略,平均平衡准确率均高于90%。在KCH和GSTT未标注报告上同时进行掩码语言建模(MLM)的模型具有最高的平衡准确率(KCH:平均97.0 ± 0.4%(标准差),GSTT:95.5 ± 1.0%)。
每个经过医院特异性领域适应步骤(使用MLM,在单中心或多中心未标注报告上,即KCH报告或KCH和GSTT联合报告)的模型,在二分类任务上均优于基础模型(表3和图2)。
在KCH数据集上进行MLM后,KCH和GSTT留出集的平衡准确率平均提升分别为1.41%(95% CI:1.14–1.68,p < 0.001)和3.17%(95% CI:2.54–3.79,p < 0.001)。以标准化术语表示,这些提升对应于较大的效应量(KCH留出集的Cohen's d = 1.64,95% CI:1.13–2.15;GSTT留出集的Cohen's d = 1.51,95% CI:1.01–2.00)。
在KCH和GSTT联合数据集上进行MLM后,KCH和GSTT留出集的平均提升分别为1.70%(95% CI:1.43–1.97,p < 0.001)和3.78%(95% CI:3.15–4.41,p < 0.001)(补充表4),同样反映出较大的效应量(KCH留出集的Cohen's d = 2.22,95% CI:1.66–2.78;GSTT留出集的Cohen's d = 2.48,95% CI:1.90–3.07)。
观察到在KCH和GSTT联合数据集上进行MLM相对于仅使用KCH数据集的提升较小,KCH和GSTT留出集的平衡准确率分别增加0.29%(95% CI:0.02–0.56,p = 0.030;Cohen's d = 0.93,95% CI:0.46–1.39)和0.61%(95% CI:−0.01至1.24,p = 0.057;Cohen's d = 0.71,95% CI:0.26–1.16)。基于BERT的模型之间的差异仅在没有进行任何医院特异性领域适应时存在(KCH留出集:F统计量11.92,p < 0.001,GSTT留出集:F统计量5.26,p < 0.001;单因素方差分析,补充表5)。在没有医院特异性领域适应的情况下,生物医学和放射学基于BERT的模型(如BioBERT、RadBERT)表现优于通用模型(即BERT、RoBERTa)。平均平衡准确率最高的基础模型为UCSD-RadBERT(KCH留出集:96.3%,GSTT留出集:93.6%)。在使用KCH数据集(KCH留出集:F统计量1.34,p = 0.263,GSTT留出集:F统计量2.11,p = 0.071)或KCH和GSTT联合数据集(KCH留出集:F统计量1.81,p = 0.121,GSTT留出集:F统计量1.65,p = 0.159)进行MLM后,模型之间不再存在差异。值得注意的是,与通用模型相比,使用生物医学或放射学基于BERT的模型并无优势。
在两个保留测试集上,LLMs也表现出高性能准确率。然而,除Llama-3.0 70B外,它们似乎被所有领域适配的基于BERT的模型所超越。与内部集相比,它们在外部队列保留测试集上的性能较低。在仅有KCH报告的单中心场景中,Llama-3.0 70B似乎优于在未标注KCH报告上进行MLM的基于BERT的模型。在多中心场景中,与在未标注KCH和GSTT报告上进行MLM的基于BERT的模型相比,Llama-3.0 70B在内部保留测试集上表现相似(97.1%),但在外部保留测试集上较低(94.0%)。相比之下,BoW模型在KCH保留测试集上表现最差,但对GSTT保留测试集表现出良好的泛化能力,与未进行医院特异性领域适配的基于BERT的模型相当。
异常二分类的消融研究
用于MLM的数据集选择和数据规模的影响总结于图3。对于两个MLM数据集,报告数量与下游微调平衡准确率之间均存在对数线性关系。报告数量(在对数尺度上变换)解释了性能的大部分方差(KCH保留集F统计量327.57,p < 0.001;GSTT保留集F统计量176.53,p < 0.001;双因素方差分析,补充表8),而不是KCH数据集与KCH和GSTT合并数据集之间的任何差异(KCH保留集:F统计量1.38,p = 0.243,GSTT保留集:F统计量2.17,p = 0.142)或这两个因素之间的交互作用(KCH保留集:F统计量0.138,p = 0.711,GSTT保留集:F统计量0.14,p = 0.702)。
即使只有少量未标注报告(1000份),MLM 似乎也能改善 RoBERTa 相较于基础模型的微调性能。我们还比较了在不同数量的 KCH 和 GSTT 报告上进行 MLM 的 RoBERTa 模型与 UCSD-RadBERT 的微调性能(图3)。由于这两个模型都是对基础 RoBERTa 模型应用 MLM 的结果,我们可以比较使用域内语料库(在伦敦撰写的脑部 MRI 报告)与域外语料库(RadBERT 是通过对来自所有亚专业和模态的美国放射学报告进行 MLM 创建的)进行 MLM 的效果。为了用 442 万份域外报告达到相同的平均平衡准确率,KCH 留出测试集和 GSTT 留出测试集分别需要 5633 份和 12,267 份域内 KCH 报告(双因素方差分析最佳拟合线)。
获取由神经放射科医生生成的训练标签用于微调,其成本远高于 MLM 过程。因此我们还研究了微调数据集大小变化时对性能的影响(图4),我们观察到 RoBERTa 的性能似乎在 1400 个微调训练标签时达到平台期。
任务2:多标签“细粒度”类别分类
我们将评估扩展到多标签分类任务,每个模型同时预测MRI报告中七个特定脑部异常类别的存在与否。评估的模型包括各种已发表的基于BERT的架构,每种架构测试了两种变体:一种是没有医院特定域适应的基线模型,另一种是通过MLM在来自KCH和GSTT的未标注报告上进行多站点域适应的模型。
如表4所示,具有医院特定域适应的模型在所有异常类别中始终优于其基线对应模型。其中,“血管”和“肿块”病变是最难分类的类别。这可能归因于这些类别内病理的异质性,以及它们被定义的具体方式(补充材料2)。这些发现表明,医院特定域适应可能有助于应对复杂病理和中心特定诊断标准所带来的挑战。然而,这些结果应谨慎解读,因为仅使用了547份报告进行模型微调,且这些模型不太可能已达到性能饱和。
讨论
研究发现摘要
医院特定域适应是在目标域上进行MLM的额外中间步骤——在本研究中,目标域为来自英国三级神经放射学中心的MRI脑部报告。
对于二分类异常分类,使用所有可用的未标注报告(194,467份)进行MLM产生了最高的平衡准确率,每种基于BERT的模型均优于其基础模型。MLM后各基于BERT的模型之间没有性能准确率差异。对于多标签异常类别分类,即使在少量报告(547份)上进行微调,各异常类别的性能也均持续改善,尤其是“血管”和“肿块”类别。
在控制基础模型(RoBERTa)、语言建模方法和二分类异常检测微调后,我们观察到使用194,467份本地MRI脑部报告进行MLM的性能优于使用442万份美国通用放射学报告;少于15,000份本地MRI脑部报告即足以达到相当的性能。
在没有通过MLM进行医院特定域适应的情况下,二分类异常分类中表现最佳的基于BERT的模型似乎是RadBERT(UCSD),这可能是因为其训练域——442万份放射学报告——与我们的目标域最为相似。
Llama-3.0 70B是表现最佳的LLM,其在内部留出测试集上的性能与使用194,467份医院特定报告进行MLM训练的基于BERT的模型相当,但在外部测试集上的性能准确率略低。
研究意义
本研究强调了在医院环境中部署基于BERT的模型的两个关键见解。首先,它证明了对一个常被忽视的步骤[4, 5, 13, 14]的重要性:在微调之前对医院特定数据进行额外的领域适应。这一步持续改善模型性能,仅需1000份报告即可产生收益,且随着使用更多报告,性能呈对数线性扩展。这应被视为最佳实践,即使是从与目标领域密切匹配的基于BERT的模型进行微调时也是如此。其次,我们的发现挑战了传统观点,即更多样化、异质的预训练数据本质上会产生更丰富、更有用的表征。虽然像RadBERT这样的模型利用大规模、多样化的放射学语料库进行MLM,但我们的结果表明,这些异质表征可能不会为医院特定任务提供显著优势。反直觉的是,通过MLM进行医院特定领域适应可以使先前的领域适应尝试变得多余,强调了根据特定部署环境定制模型的重要性。
对临床部署的意义
开源LLM的主要优势在于其强大的性能,无需额外的语言建模或微调,仅依靠包含待分析报告及六个标注示例的提示。Llama 3.0 70B表现最佳,但其推理(即对每份报告给定提示)需要八块A100(40GB)GPU。鉴于其规模,利用我们现有资源通过持续语言建模或微调进行领域适应是不可行的。
LLM部署面临两个主要挑战。首先,开发有效的提示被证明是非直觉的,需要大量实验;这是一个活跃的研究领域[33–36]。使用Mistral v0.2-Instruct作为开发模型,我们使用各种技术(如少样本、思维链推理)迭代优化提示,将验证集平衡准确率从86.4%提高到94.9%。当应用于Llama 3.0 70B时,我们的最优提示达到了96.6%的验证集平衡准确率,尽管轻微的措辞变化使其降低了多达2.3%——对我们来说,这代表了可能影响实践中可靠性的临床显著变异。其次,虽然LLM在提示时需要较少的标注示例,但我们仍需要436份验证报告、545份内部测试报告和283份外部测试报告来验证可靠性。
所有基于BERT的模型在完成医院特定领域适应后,在外部测试集上始终优于Llama 3.0 70B。使用基于BERT的模型的初始成本是掩码语言建模(MLM),其性能随报告数量呈对数线性增长。这是一次性成本——使用194,467份报告,在单块GPU(< 16GB)上中位耗时33小时。后续推理快速且仅需一块GPU(< 12GB)。虽然基于BERT的模型需要额外的标注训练数据(我们使用了1743份报告,但观察到超过1400份后收益递减),但它们提供了一个关键优势:微调遵循已建立的深度学习流程,模型独立学习将文本映射到标签。这消除了对提示工程专业知识或详细任务特定知识的需求。虽然基于BERT的模型微调需要初始设置训练流程,但这是遵循已建立实践的一次性投资,可应用于进一步的下游任务,而LLM提示工程则需要针对每个新应用进行持续的迭代改进和领域专业知识。
与其他研究的比较
与我们的研究最接近的是Huemann等人,他们在其微调所用的同一数据集上执行语言建模的中间步骤,以从PET/CT报告中提取Deauville评分[37]。同样,他们显示了目标领域语言建模的持续增量收益(2.0–4.4%)。我们能够使用多一个数量级的报告进行语言建模,并展示了性能与所用报告量之间的对数线性关系。此外,我们比较了更多基于BERT的模型,并且与其他研究不同,还比较了最先进的开源LLM。
常见做法是找到与目标领域最匹配的预训练基于BERT的模型,并用任何可用的训练标签对其进行微调[4, 5, 38]。这些研究可能在其数据集上于微调前通过额外语言建模获得了增量性能收益。开创性的RadBERT模型分别在超过400万份报告上进行了语言建模,以弥合通用英语语言领域与放射学报告之间的差距[13, 14]。然而在他们自己的实验中,他们微调所用数据集的报告并未出现在其MLM数据集中;例如,两项研究在分类任务中均使用了来自不同数据集的胸部X线报告。他们也有可能从对其微调所用同一数据集的胸部X线报告进行额外MLM中获得增量收益。
局限性
我们仅在脑部MRI报告二分类这一个下游任务中展示了基于BERT的模型性能。若有额外的高质量训练标签,进一步的下游任务将确定本研究的观察结果对其他任务的适用性。
虽然用于从开源LLM生成标签的提示经过了迭代改进,但鉴于上下文学习方法的证据不断演变,它可能并非最优提示。Llama 3模型代表了迄今为止最有能力的开源LLM,在公开基准测试中优于GPT3.5,但由于隐私顾虑,我们无法使用某些专有LLM如GPT-4 [21, 39]。使用开源模型的主要优势在于机密患者数据安全地保存在私有服务器上,且处理成本可负担。
结论
对于类似脑部MRI报告分类的任务,我们建议使用目标医院尽可能多的报告,对基于BERT的模型实施医院特定的域适应。我们实证发现大型语言模型(LLMs)高度依赖提示词,然而,如果标签稀缺或不可用,它们可以作为可行的替代方案。
补充信息
补充材料
引用
- Agarwal S, Wood D, Murray BAK, et al. Impact of hospital-specific domain adaptation on BERT-based models to classify neuroradiology reports. Eur Radiol. 2025. PMID: 40097844. doi:10.1007/s00330-025-11500-9
- 全文:PMC12350531(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12350531/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。