基于Transformer的放射学自由文本报告数据库结构化:标记与预训练策略研究
研究纳入93368份德国ICU患者胸部X线报告,比较自定义预训练模型Tmlm与公开医学预训练模型Tmed在不同标记策略下的结构化性能。结果显示,Tmlm在仅使用金标准标记时MAF1达95.5%,显著高于规则系统及仅用银标准标记的模型;当金标准标记≥2000份时,混合训练未显著优于仅用金标准训练。
要点
- 自定义预训练模型结合少量人工标注即可高效结构化报告数据库
- 仅用银标准标记时模型性能受限于规则质量,MAF1约75%
- 金标准标记≥2000份时,混合训练无显著额外获益
核心结论
- 自定义预训练Transformer模型结合人工标注是解锁放射学报告数据库的高效策略。
研究设计与样本
- 回顾性研究纳入93368份德国ICU胸部X线报告,来自20912例患者,单中心。
- 比较自定义预训练模型Tmlm(MLM)与公开医学预训练模型Tmed,采用银标准、金标准及混合标记策略。
- 金标准标记18000份报告(耗时197小时),随机分为训练集14580、验证集1620、测试集1800,另500份用于测试集D和标注者间一致性。
关键影像表现/征象
- 研究未涉及影像征象,仅对报告文本进行多标签分类。
诊断标准与关键数值
- Tmlm,gold在测试集C的MAF1为95.5%(95%CI 94.5-96.3),MAAUC为97.1(95%CI 96.3-97.8)。
- Tmlm,gold在测试集D的MAF1为93.5%(95%CI 91.0-95.3),MAAUC为95.7(95%CI 93.8-97.1)。
- Tmlm,gold的MAF1显著高于规则系统(75.1% [73.6-76.5])、Tmed,silver(75.0% [73.4-76.5])和Tmlm,silver(75.2% [73.6-76.7])。
- 使用7000份金标准标记时,Tmlm,gold的MAF1为94.7%(93.5-95.7),显著高于Tmed,gold的91.5%(90.0-92.8)。
- 使用≥2000份金标准标记时,混合训练Tmlm,hybrid的MAF1为91.8%(90.4-93.2),未显著优于Tmlm,gold的91.4%(89.9-92.8)。
临床应用与阅片要点
- 对于报告数据库结构化,若人工标注时间有限(<22小时,约2000份),可考虑混合标记策略;若标注时间充足,直接使用金标准训练自定义预训练模型可能更高效。
- 对于描述变异性大的信息(如中心静脉导管位置异常),规则系统性能较低,建议增加金标准标注而非复杂规则。
局限性
- 标注由医学研究助理在放射科住院医师监督下完成,非委员会认证放射科医师。
- 单中心回顾性研究,仅纳入德语胸部X线报告,结论外推需谨慎。
全文中译9 节 · 点击展开
引言
结构化报告,即使用基于信息技术的系统在放射学报告中导入和整理医学内容,不仅有可能通过提高放射科医生的实践质量对患者照护产生积极影响,还有助于汇编具有感兴趣疾病的大量回顾性患者集合,从而有利于基于图像的人工智能系统的发展[1, 2]。迄今为止,大多数放射学报告为自由文本形式而非结构化格式。即使某家诊所引入结构化报告,大型图像集合的回顾性汇编仍然是劳动密集型的,因为近年来的相应报告仍为非结构化形式。因此,需要自动自然语言处理(NLP)系统,将自由文本报告归类到一组预定义标签中,从而解锁相应的图像数据库,用于开发基于人工智能的诊断决策系统。
为实现医学文本数据的自动化分析,已提出了各种不同复杂程度的方法。例如,基于人工定义规则的简单系统已被应用于自动标注英文胸部X线报告中发现的存在情况[3]。这些基于规则的系统具有方法本身不需要任何人工标注报告的优点。然而,此类系统的创建者必须具备关于报告的一般信息、内容和措辞的大量专家知识。此外,仍可能存在表现和描述具有很大变异性的发现,使得建立全面的规则成为一项困难的任务。
另一方面,存在基于机器学习(ML)的方法,其缺点是需要大量耗时的人工标注报告用于训练。近年来,基于自注意力机制的Transformer模型已成为最先进的基于ML的NLP方法,也适用于医学文本数据[4–9]。训练Transformer所需的标注数据量可通过迁移学习来减少,即利用已在不同大型公共数据集上和/或针对另一任务进行预训练的模型的基本文本理解能力。
与放射学图像数据集不同——在图像数据集中,某个征象(如气胸)的表现与国家无关——放射学报告中对征象的描述可能存在显著差异,当国家之间没有共同语言时这一点最为明显。对于自然语言处理(NLP)而言,与计算机视觉应用相比,这限制了预训练模型的开发和应用,例如,在英文报告上预训练的模型无法直接应用于德文文本。此外,与横断面放射学图像不同,基于文本的医学数据包含与个人数据直接相关的敏感信息。这使得在许多国家按照数据保护法规公开共享医学文本数据极具问题[10]。即使在共享在敏感数据上训练的Transformer模型的预训练参数时,也无法确保符合数据保护法规,因为已有研究表明可以从大型预训练Transformer中提取训练数据的信息[11]。已有工作致力于使用机器学习方法自动对医学及其他领域的德文文本数据进行去标识化。然而,目前这些方法无法保证100%的准确性[10, 12]。因此,高效开发用于在现场结构化放射学报告的NLP模型具有很大的意义。
已有若干方法被提出用于基于放射学文本数据在现场开发Transformer模型。两项基于数十万份英文报告的研究提出,采用在医学文本上预训练的公开可用Transformer,并以两步混合标签方法对该模型进行微调。在混合方法中,预训练模型首先适应大量基于规则标注的文本(称为“银标签”),然后仅适应非常有限数量的手动标注(称为“金标签”)[7, 8]。相比之下,另一项研究提出使用数百万份放射学报告通过掩码语言建模(MLM)和下一句预测对Transformer进行自定义预训练,随后仅对少量金标签报告进行微调[9]。
然而,对于寻求在现场开发NLP模型的临床机构而言,尚不清楚这些预训练和标注策略中哪一种最适合对其自由文本放射学报告数据库进行结构化。首先,尚不清楚在报告数量显著低于上述研究的情况下,Transformer模型的自定义预训练是否仍然有益。其次,尚不清楚在混合训练中创建用于银标签生成的基于规则系统所需的投入,与通过投入更多标注人员时间以利用更多金标签相比,是否值得。因此,本工作的目标是通过系统评估公开可用和自定义预训练的基于文本的Transformer在不同标注策略和人工标注投入下的性能,为放射学数据库的高效回顾性结构化提供见解和指导。
材料与方法
数据集与标注
经机构审查委员会批准(AZ 411/21),豁免书面知情同意,经批准的数据处理依据北莱茵-威斯特法伦州健康数据保护法(GDSG NW)第6条第(2)款州法NRW进行。该回顾性数据集包括来自波恩大学医院的20,912名ICU患者(年龄:62.7 ± 21.4,女性8081名)的93,368份自由文本胸部X线报告,这些报告于2015年12月至2021年7月期间从放射信息系统中连续提取。
首先,定义了35个标签用于报告的系统性标注,不仅包括所见,还包括进一步信息,例如关于检查指征的信息(见补充材料S1)。关于所见解读的信息未从报告中评估。在一名放射科住院医师(Y.C.L.)的监督下,两名医学研究助理使用开源软件doccano [13]对这些信息进行标注。医学研究助理接受了培训,要求根据自由文本报告的上下文而非仅根据个别词语来分配正确的标签。在存在歧义的情况下,他们被指示咨询监督者。对18,000份报告进行了人工标注金标准标签的整理,仅包括具有唯一住院号的报告。从整个标签集中选取了患者ICU住院期间经常提及的六项所见作为子集。该选择基于所见的发生频率及其临床相关性,并在NLP开发之前完成。NLP模型被开发用于通过多标签分类基于报告文本预测这些标签的发生。这些标签及其在金标准标注报告中的相对出现率为:肺部浸润(20.0%)、胸腔积液(45.6%)、肺淤血(34.0%)、气胸(3.8%)、中心静脉导管(CVC)位置正常(45.8%)和CVC位置异常(8.4%)。
18,000份金标准标注报告被随机分为训练集A(14,580)、验证集B(1,620)和测试集C(1,800)。另有500份报告(测试集D)由放射科住院医师和两名研究助理独立标注,以确定标注者之间的一致性。该数据集也用于以放射科住院医师标注为参考的最佳NLP模型的最终测试。此外,应用下文所述的基于规则的模型为总共91,068份报告创建了银标准标签。这些是所有可用报告,除了金标准标注留出测试集C和D中的1,800份和500份文本。银标准标注数据被分为训练集E(81,961)和验证集F(9,107)。图1展示了整个研究的概览。
基于规则的模型
定义了一组规则来自动标注自由文本放射学报告。简而言之,该算法在报告的“发现”部分搜索特定术语、否定词和不确定性描述,或应用进一步的基于文本的规则。基于规则系统的详细描述见补充材料S2。
基线自然语言处理模型
作为基线自然语言处理方法,我们在训练文本上训练了词频-逆文档频率(TFIDF)模型,并对标注的训练数据拟合了一层全连接神经网络[14]。训练细节见补充材料S3。
基于Transformer的模型
我们应用BERT作为一种成熟的Transformer模型,该模型也已用于其他医学文本分析工作[5, 7–9]。模型架构详情见补充材料S4。
为了研究不同预训练策略的影响,我们采用了(i)一个公开可用的BERT语言模型,该模型在(未标注的)德国法律文件、维基百科和新闻文章上进行了预训练,然后进一步适应于从网络抓取的医学文章和文本(Tmed)[15–17],以及(ii)通过对训练集E的文本应用MLM创建了一个自定义预训练BERT语言模型(Tmlm)。为了证明预训练的一般效果,我们还从头训练了一个模型,在没有任何预训练的情况下对金标准标注文本数据进行分类(Trand,gold)。
为了检验不同标注策略之间的差异,使用两个预训练模型进行了三项实验。首先,预训练模型仅在训练集A的14,580个金标准标注上进行微调(Tmed,gold、Tmlm,gold)。其次,两个预训练模型均在银标准标注的训练集E上进行微调(Tmed,silver、Tmlm,silver)。第三,在银标准标注的训练集E上微调的模型(Tmed,silver、Tmlm,silver)随后在混合训练中对训练集A进行微调(Tmed,hybrid、Tmlm,hybrid)。为了研究可用于微调的金标准标注数量对效果的影响,模型还使用有限数量的训练集A金标准标注报告(500、1000、2000、3500、7000份报告)进行训练。所有模型均在测试集C上进行测试,最佳模型额外在测试集D上进行测试。
在为文本分类微调模型时,我们应用了以下概念。如先前研究所提出的,我们分两步对所有预训练的文本分类模型进行微调:首先,使用冻结的预训练语言模型参数来适应新的分类头,然后训练所有参数,但采用层特定学习率,其最大值从第一层到最后一层从10−9线性增加到10−6 [18–20]。由于在多标签分类中,经过sigmoid激活后对预测进行二值化的阈值并非固有设定,因此通过在训练数据上确定具有最高F1分数的阈值来确定类别特定阈值 [21]。此外,根据训练数据中类别的出现情况进行过采样和损失加权,以补偿类别不平衡。在少于25%的训练报告中出现的类别被重复,直到它们至少占25%。
在14,580份和7000份金标准标记报告上为文本分类微调的预训练模型训练了75个epoch。在少于7000份报告上微调的模型,其优化步骤数量与在7000份报告上训练的模型相同,以确保收敛。在81,961份银标准标记报告上微调的预训练模型训练了25个epoch。
对于通过MLM进行的自定义预训练,首先,BERT模型在81,961份报告上训练,最大学习率为10−4,并掩蔽15%的token,训练150个epoch。此后,该模型进一步训练150个epoch,最大学习率为10−5,并掩蔽文本内15%的整词。对于自定义预训练,未使用权重衰减。
对于所有模型,使用了Huggingface transformer库的“bert-base-german-cased”分词器,并且所有模型均使用Adam优化器进行训练,采用解耦权重衰减正则化0.01、学习率方案为预热直至所有训练步骤的10%并随后余弦衰减、drop-out为0.1、混合精度、随机种子42,以及批大小为24,在NVIDIA RTX 3090或NVIDIA TITAN RTX上使用PyTorch v1.8.1和transformers库v4.13.0进行训练 [15, 22]。性能指标使用scikit-learn v0.24.2计算,95% CI通过对文本分类模型进行1000次重采样的自助法计算 [23]。基于CI不重叠,性能差异被认为显著。
结果
手动标注18,000份放射学报告的时间为197小时(每份报告39.4秒)。两名医学研究助理的标注与放射科住院医师的标注显示出高度一致性,平均准确率分别为97.4%和97.3%,MAF1百分比分别为92.9和93.5。
在BERT的自定义预训练(Tmlm)中,训练3.3天后预测15%掩蔽token在测试数据集C上达到88.6%的准确率,随后再训练3.3天后预测15%掩蔽整词达到78.4%的准确率。
表1显示了所有检查模型在使用所有可用的银标记和/或金标记文本分类数据训练时的性能。性能最高的是Tmlm,gold,其MAF1百分比为95.5(CI:94.5–96.3),显著高于基于规则的系统(75.1 [73.6–76.5])、Tmed,silver(75.0 [73.4–76.5])、Tmlm,silver(75.2 [73.6–76.7])、TFIDFgold(83.2 [81.3–85.1])和Trand,gold(84.3 [82.5–86.0])。然而,其性能并不显著高于Tmed,gold(94.7 [93.6–95.6])、Tmed,hybrid(94.9 [93.9–95.8])和Tmlm,hybrid(95.2 [94.3–96.0])。
表2和图2显示了在使用较少金标记数据时,所检查模型在所有类别上的性能。对中心静脉导管(CVC)异位描述的分类被发现在每个方法中都是最具挑战性的类别,F1分数最低。考虑仅使用金标记报告训练的模型,当仅提供1000至7000份金标记报告用于训练时,Tmlm,gold的MAF1以及CVC异位F1分数显著高于TFIDFgold和Tmed,gold。仅适应500个金标记的混合模型(Tmlm,hybrid 90.4 [89.0–91.9]、Tmed,hybrid 86.9 [85.1–88.5])已经达到显著高于基于规则的系统(75.1 [73.6–76.5])的MAF1。考虑两种使用混合标记方案训练的模型,当使用1000个或更多金标记训练时,Tmed,hybrid和Tmlm,hybrid在MAF1和CVC异位F1分数方面未观察到显著差异。当使用2000份或更多金标记报告(22小时标注)时,在BERT模型的混合训练中先前使用银标记(Tmlm,hybrid 91.8 [90.4–93.2]、Tmed,hybrid 89.1 [87.6–90.6])并未较直接在金标记报告上训练的BERT模型(Tmlm,gold 91.4 [89.9–92.8]、Tmed,gold 84.1 [81.7, 86.0])在MAF1上提供显著改善。由于阳性气胸病例不足4%导致CI较宽,基于规则的系统的气胸F1分数(87.8 [81.1–93.0])仅显著低于使用所有金标记训练的Tmlm,hybrid(98.4 [95.9–100.0])和Tmed,hybrid(98.5 [96.0–100.0])。
表3显示了最佳模型Tmlm,gold的进一步性能指标,该模型使用MLM进行预训练并微调至14,580个金标记,在包含1800例的测试集C上显示出最高的MAF1(95.5,CI:94.5–96.3)和宏平均受试者工作特征曲线下面积(MAAUC:97.1,CI:96.3–97.8),以及在包含500例的测试集D上(MAF1:93.5,CI:91.0–95.3;MAAUC:95.7,CI:93.8–97.1)。由于篇幅限制,表1–3中每个单一值的CI可在补充材料S5中找到。
讨论
本研究在德国重症监护室胸部X线报告的背景下,探讨了在不同预训练和标注策略下,高效地现场开发自然语言处理(NLP)方法,以结构化和解锁放射学数据库用于数据驱动医学。本工作为寻求在现场开发NLP模型的临床机构提供见解和指导,帮助其在可用标注者和开发者时间以及待提取信息复杂性的背景下,判断哪种策略更适合其特定项目。训练基于变换器的NLP模型的方法可在合理请求下提供(https://qilab.de)。
结果表明,当使用大量银标签而不使用金标签进行训练时,预训练的BERT模型达到了与基于规则的系统相当的性能,并且受限于银标签的质量。通过使用公开可用的、经医学预训练的BERT并采用混合标签方法——即首先在所有银标签上进行适配,然后在一小部分金标签报告上进行微调——与基于规则的系统相比,可以实现显著更高的性能。这两项发现与先前的研究一致,这些研究使用了CheXpert的英语银标签胸部X线报告,并进一步在1000份人工 curated 报告或句子上进行训练[3, 7, 8]。然而,当使用仅在22小时标注内生成的2000份或更多金标签报告时,混合标签方法相较于直接用金标签训练公开可用的BERT模型并未提供显著改善。本工作的结果还表明,仅使用81,961份报告对BERT进行自定义预训练,不仅与先前使用数百万份报告的研究相比可以达到较高的MLM准确率[9],而且还证明,当进一步使用7000份或更少金标签进行报告分类训练时,该模型比公开可用的预训练BERT模型实现了显著更高的性能。
生成银标签的基于规则系统的性能在所提取的类别之间差异很大。这可以解释为,放射学报告中的某些信息具有更多变的属性,并且更难通过规则和标准表述来识别。与先前的研究相比,我们从检查结果中提取了关于中心静脉导管(CVC)位置正常或异位的信息。特别是,与例如胸腔积液和肺淤血相比,异位CVC的表述似乎难以通过简单规则识别。通过临床医生和技术人员的进一步努力,当然可以通过高级规则覆盖更多特殊情况,以进一步发展简单的基于规则的标注器。然而,这将需要广泛阅读和研究报告,而在此期间本可以已经生成金标签。鉴于本研究的结果,因此对于具有多变属性和描述的信息,与生成更多金标签并随后训练自定义预训练变换器相比,开发基于规则标注器的高级规则的努力是否值得,仍然值得怀疑。
该研究的一个局限性在于,放射学报告内容的标注是由医学研究助理在放射科住院医师的监督下完成的。由于标注者无需解读影像,而仅需在报告中识别并标记主治放射科医师的陈述,我们认为标注无需由委员会认证的放射科医师进行。不同标注者之间的高度一致性证实了这一判断,这最大限度地降低了标注成本,并使得能够纳入更大范围的报告集。
结论
总之,我们发现,对基于文本的 Transformer 进行现场自定义预训练并随后适配至人工整理的金标准标签,有望成为一种高效策略,为数据驱动医学解锁放射学报告数据库。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 52.2 KB)
引用
- Nowak, Biesner, Layer, et al. Transformer-based structuring of free-text radiology report databases. Eur Radiol. 2023. PMID: 36905469. doi:10.1007/s00330-023-09526-y
- 全文:PMC10181962(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10181962/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。