深度学习自动标注头部MRI数据集以用于计算机视觉应用
本研究构建深度学习模型从神经影像报告推导标签并分配给对应头部MRI检查,以解决计算机视觉模型训练的数据标注瓶颈。模型在报告标签上AUC-ROC>0.95,在图像标签上三个类别(萎缩、脑软化、血管)AUC-ROC下降>0.02,提示原始报告与图像间存在差异。模型在30分钟内为121,556例检查分配了标签,可实现大规模自动数据集标注。
要点
- 模型可从自由文本神经影像报告自动推导异常标签并分配给对应头部MRI检查,AUC-ROC>0.95。
- 以图像标签为参考时萎缩、脑软化、血管三类AUC-ROC下降>0.02,提示报告与图像存在差异。
- 模型在30分钟内完成121,556例检查的标签分配,支持下游计算机视觉模型训练。
核心结论
- 模型能准确分类头部MRI检查,实现自动化数据集标注以用于下游计算机视觉应用。
研究设计与样本
- 回顾性研究,纳入2008至2019年国王学院医院NHS基金会信托所有126,556例成人(≥18岁)头部MRI检查及由17名神经影像专家撰写的对应报告。
- 从5000例报告中由6名神经影像专家标注参考标准报告标签:3000例标注任何异常存在与否,2000例标注7个专门类别(急性卒中、肿块、萎缩、血管异常、小血管病、白质炎症、脑软化)。
- 从5000例中随机选取950例头部MRI检查由2名神经影像专家在图像上标注参考标准图像标签:250例正常/异常,7个专门类别各100例(约50例有该类别、50例无)。
- 模型基于BioBERT并加入自定义注意力模块和单隐藏层全连接网络,共训练8个模型(二分类1个、专门类别7个);数据按患者层面随机分为训练60%、验证20%、测试20%,拆分重复10次生成置信区间。
- 另获取盖伊和圣托马斯NHS基金会信托500例报告用于外部医院泛化性测试;以AUC-ROC量化性能,并用DeLong检验比较不同分类器和评估流程的AUC-ROC差异。
诊断标准与关键数值
- 二分类模型在参考标准报告标签上AUC-ROC=0.991;在参考标准图像标签上ΔAUC-ROC=0.014(p<0.05),两种情况下敏感度和特异度均>90%。
- 二分类模型在盖伊和圣托马斯NHS基金会信托报告上ΔAUC=0.001;并优于基于平均word2vec嵌入的逻辑回归模型(p<0.05)。
- 7个专门类别在参考标准报告标签上AUC-ROC均>0.95;急性卒中、肿块、小血管病、白质炎症在以图像标签测试时ΔAUC-ROC<0.02(p<0.05),敏感度和特异度均>90%。
- 萎缩ΔAUC-ROC=0.037、脑软化ΔAUC-ROC=0.055、血管ΔAUC-ROC=0.067(以图像标签 vs 报告标签,p<0.05)。
临床应用与阅片要点
- 模型可用于从神经影像报告自动生成大规模头部MRI数据集标签,供下游计算机视觉模型训练使用。
- 以图像标签验证时萎缩、脑软化、血管类别性能下降,提示历史报告与图像所见存在差异,报告标签作为图像标签代理时需注意此局限。
- 注意力权重可视化可展示模型分类决策所依据的词,有助于理解误分类原因(如将「边界清晰、大小未变的病灶」误判为异常)。
局限性
- 以图像标签测试时萎缩(ΔAUC-ROC 0.037)、脑软化(ΔAUC-ROC 0.055)、血管(ΔAUC-ROC 0.067)三类性能下降,提示历史放射学报告标签与手动阅片所得标签之间存在差异。
- 既往NLP研究以人工审阅同一报告所得的参考标准标签评估性能,当报告未捕获全部所见时(如满足搜索错误、或随访报告中未复述「稳定所见」「无间隔变化」),该验证策略可能不充分。
全文中译12 节 · 点击展开
引言
深度学习计算机视觉系统有望彻底改变放射学中的图像识别任务[1–3]。然而,进展受到一个关键瓶颈的制约;在训练过程中,人工神经网络通常需要数万张标注图像才能达到最佳性能。与传统计算机视觉任务中图像标注简单(例如标注猫、狗、马)且大规模标注可以众包[4]不同,放射学标签的赋值高度复杂,需要相当多的领域专业知识。手动标注MRI扫描似乎特别费力,原因在于:(1)MRI优越的软组织对比度使得与其他成像方式(如计算机断层扫描)相比能够实现更精细的诊断;(2)使用多个互补的成像序列,因此每次检查必须仔细审阅更大数量的图像。鉴于至少十年来MRI扫描需求逐年增长[5]以及许多国家临床服务面临的现有压力,使用放射科医师的时间为研究目的生成标注MRI数据集似乎也特别难以合理化。因此,神经放射学——MRI是其基础——很可能面临无法充分利用深度学习计算机视觉方法进行图像识别任务的风险。
手动数据集标注的一个有前景的替代方案是训练自然语言处理(NLP)模型从放射学文本报告中提取标签,然后将这些标签分配给相应的MRI检查。最近,该技术已被证明可用于标注头部计算机断层扫描(CT)[6]、胸部CT[7]和胸部X线摄影[8, 9]检查。这些研究的局限性在于,性能评估是通过将模型从放射学报告提取的标签与放射科医师手动审阅相同放射学报告得出的参考标准标签进行比较来进行的。然而,最终最重要的是预测标签与实际图像发现之间的一致性,这对下游计算机视觉训练至关重要;在放射学报告未能捕捉全部发现的情况下(例如由于“搜索满足”错误,或因为发现已在先前报告中详细描述而未在随访报告中重述,例如“稳定发现”或“无间期变化”),这种验证策略可能不够充分。
在头部MRI检查的背景下,NLP此前已被用于从文本报告中提取高度特异性的信息,例如从脑转移患者的报告中量化脑转移灶数量[10]、选择MRI方案[11]以及标记急性卒中[12]。然而,NLP尚未以适合一般异常检测的方式广泛应用于头部MRI检查标注等任务。这可以归因于MRI报告与CT等其他模态相比具有更大的词汇复杂性,这同样是由于MRI的高软组织对比分辨率通常允许对异常进行更详细的描述和更精细的诊断。
在过去18个月中,自然语言处理(NLP)领域的变革性发展[13–17]已使多项通用[18]及更专门化[19, 20]语言任务的性能得到显著提升。我们研究的目的是在这些近期突破的基础上,构建一个最先进的NLP模型,以自动化标注大型MRI神经影像学成像数据集,这些数据集可用于下游深度学习计算机视觉模型的训练,从而构建异常检测系统。我们还力求严格检验我们的模型,方法是将基于放射学报告预测的标签与由专家神经放射学家团队通过人工检查相应图像生成的标签进行比较。鉴于越来越多的证据表明,源自放射学报告的标签与放射科医生审阅实际图像所得标签之间可能存在显著差异[21, 22],在头颅MRI检查背景下确定使用报告标签作为图像标签替代指标的有效性,是我们研究的一个重要方面。
方法
数据
英国国家卫生研究管理局和研究伦理委员会批准了这项回顾性研究。放射学报告提取自计算机化放射学信息系统(CRIS)(Wellbeing Software)。图像提取自患者存档与通信系统(PACS)工作站(Sectra)。所有数据均已去标识化。阅片者图像分析在PACS上进行。
本研究纳入了2008年至2019年间在国王学院医院NHS基金会信托执行的所有126,556例成人(≥ 18岁)头颅MRI检查(图1)。还获取了由17位专家神经放射学家(英国顾问级别;相当于美国主治医师)生成的相应126,556份放射学文本报告。这些神经放射学家的报告风格各不相同。这些报告大多为非结构化报告,通常包含5–10句图像解读。有时报告中包含来自MRI检查方案的信息、关于患者临床病史的评论以及对转诊医生的建议措施。这些报告 often 使用语音识别软件转录。我们使用类型-标记比和Yules I [23]计算报告语料库的语言复杂性,并将其与放射学文献中规模相似的头颅CT [6]和胸部X线片[24]语料库进行比较。由于报告风格的差异可能导致在对外部医院的报告进行分类时模型性能不佳(“域偏移”),我们还获取了来自Guy’s and St Thomas’ NHS基金会信托的500份放射学报告,并用于额外的模型测试。
参考标准报告标注
一部分报告被选由6名专家神经放射科医生(英国顾问级别;美国主治医师同等)进行标注。每年随机抽取五百份报告,创建5000份报告语料库用于模型训练和评估。在本研究的报告标注之前,开发了一套完整的神经放射学异常临床相关类别以及一套报告标注规则(补充材料)。使用Fleiss' kappa [25] 测量评估者间信度。所有标注均使用专用工具完成,该工具我们已在 https://github.com/MIDIconsortium/RadReports 公开提供。
三千份报告由两名神经放射科医生独立标注是否存在任何异常。记录这两名标注者之间初始一致性的水平,在存在分歧的情况下,由第三名神经放射科医生做出共识分类决定。另外,2000份报告由三名神经放射科医生独立标注7个专门异常类别的存在或不存在(即对这些报告中的每一份分配7个二分类标签)。这些类别为急性卒中、肿块、萎缩、血管异常、小血管病 [26]、白质炎症和脑软化。记录这三名标注者之间初始一致性的水平,在存在分歧的情况下,由第四名神经放射科医生做出共识分类决定。我们将“是否存在任何异常”数据集称为“二分类”数据集,将“专门异常类别”数据集称为“细粒度”数据集。
参考标准图像标注
为了生成用于模型测试的“参考标准图像标签”,从5000份具有参考标准报告标签的检查中随机选取了950份头部MRI检查。两名神经放射科医师使用与报告标注相同的框架,将250份检查标注为正常或异常——但对实际图像进行了判读。另外,7个各含100份检查的数据集分别针对7个专门类别之一的存在或不存在进行标注。这7个数据集每个均包含约50份具有目标专门类别的检查和50份不具有该类别(图1、图S1)。创建平衡测试数据集克服了不同类别在患病率上的潜在差异,便于在每个分类器之间进行公平比较。
在生成参考标准图像标签时,对头部MRI检查中所有可用序列进行了判读。这与从报告中衍生标签的方法学一致,因为每份报告均汇总了所有可用序列的发现。
NLP模型的泛化能力
为了确定我们的正常/异常分类器对来自外部医院放射学报告的泛化能力,来自Guy's and St Thomas' NHS Foundation Trust的500份报告也由两名神经放射科医师标注,判断是否存在任何异常,采用与标注King's College Hospital NHS Foundation Trust报告相同的框架。同样,在存在分歧时由第三名神经放射科医师达成共识分类决定。
报告预处理
仅执行了基于Transformer的语言模型所需的预处理步骤[27]。简言之,所有报告均转换为小写,每份报告转换为唯一整数标记标识符列表。
建模
我们的报告分类器构建于BioBERT[19]之上,BioBERT是一种在大规模生物医学语料库上预训练的语言模型,可将文本标记转换为适合下游语言处理任务的上下文化向量表示。我们通过添加自定义注意力模块将单个词向量聚合为每份报告的固定维度表示,以及一个具有单隐藏层的全连接神经网络(该网络以该向量表示为输入并输出报告描述给定异常类别的概率),将BioBERT适配用于报告分类(图2)。进一步的架构细节见[28]。总共训练了8个模型——一个用于正常/异常分类,另7个分别用于7个专门异常类别。
对于每个分类器,将带有参考标准图像标签的相应数据集(二分类器为 n = 250 次检查,7 个专用分类器各为 n = 100 次检查)单独放置,用作留出测试集。其余带有参考标准报告标签的检查数据集(排除出现在图像标签测试集中的患者后)随后被随机分为训练集(60%)、验证集(20%)和测试集(20%)。该划分在患者层面进行,以防止“数据泄漏”。我们生成数据集的整体方法如图 1 所示,详细描述见补充材料。对于每个划分,在每个 epoch 后保存模型检查点,并使用验证损失最低的模型在(i)带有参考标准报告标签的测试集和(ii)带有参考标准图像标签的测试集上进行评估。遵循 [29],我们将学习率设为 1e-5,以避免预训练期间学习到的权重发生“灾难性遗忘”;同样,我们将批量大小设为 16,因为这是 12-GB 图形处理单元(GPU)的最大可能大小,且先前研究表明,在微调基于 BERT 的模型时,较大的批量大小能带来最佳性能 [30]。遵循 [18],使用 Adam 优化器更新模型权重。所有统计分析和建模均使用 PyTorch 1.4.0 进行,这是一个基于 Python 的开源科学计算包,为深度学习研究提供 GPU 加速 [31]。采用受试者工作特征曲线下面积(AUC-ROC)量化模型性能。为生成性能置信区间,对每个分类器重复划分过程 10 次。还计算了准确率、灵敏度、特异度和 F1 分数。鉴于文献中缺乏专用的头部 MRI 检查报告分类器,为便于模型比较,我们使用 https://github.com/aisinai/rad-report-anotator 上可用的代码,将我们的模型与最先进的头部 CT 报告分类器 [6] 进行比较。该分类器基于 word2vec 嵌入 [32],需要预训练——为此,我们使用了剩余的 121,556 份报告(即未分配参考标准标签的报告)。使用 DeLong 检验 [33] 确定不同分类器和不同评估程序(即参考标准图像标签和参考标准报告标签)的 AUC-ROC 值的统计显著性。
我们应用 t-分布随机邻域嵌入(t-SNE)[34] 生成分类器所用报告嵌入的二维可视化,并将其与由 word2vec 嵌入生成的表示进行比较。我们还检查了模型自定义注意力层的权重,以审视分类决策,特别是错误决策。
使读者能够使用自己的数据集复现这些方法的代码可在 https://github.com/MIDIconsortium/HeadMRIDatasetLabelling 获取。
结果
比较性词汇分析
MRI头部报告语料库的词汇复杂度高于同等规模的头颅CT [6]和胸部X线摄影 [24]语料库(表1)。我们的数据集在绝对数量(205,048)和每份报告(1.62)方面均包含更多的独特词,多于这两个其他语料库,这反映在更高的Yule I和类型-标记比率得分上。
参考标准报告标注
两个数据集的参考标准报告标签以及初始评分者间一致性见表2。在细粒度数据集的所有异常报告中,每份报告的专业异常标签平均数量为1.56(最大值=5;众数=1)。专家神经放射学家在使用同一套明确分类规则时的初始差异,为算法所面临的挑战提供了背景。
自然语言处理(NLP)建模
当针对参考标准报告标签进行测试时,二分类(即正常或异常)分类器实现了准确的神经影像学报告分类(AUC-ROC = 0.991)(图3,表3)。重要的是,当分类器针对参考标准图像标签而非参考标准报告标签进行测试时,性能仅出现小幅下降(Δ AUC-ROC = 0.014)(p < 0.05)(图3);在两种情况下,灵敏度和特异度均达到> 90%(表3)。该模型可推广至来自Guy's and St Thomas' NHS Foundation Trust的报告(∆AUC = 0.001)(图3)。该模型还优于(p < 0.05)基于平均word2vec嵌入的logistic回归模型,后者是头部CT报告分类的最先进方法[6]。
使用t-SNE生成了二分类模型所使用的报告表示的二维可视化(图4)。可以看到正常报告和异常报告形成清晰的聚类,表明该模型已将这些类别之间的潜在变异因素分离开来。相比之下,使用平均word2vec嵌入形成的表示在两个类别之间表现出相当大的重叠。不同词语对每个报告表示构建的相对重要性可通过检查注意力网络的权重来确定,从而提供一种模型可解释性形式(图5)。
对于所研究的所有细粒度异常类别,均实现了准确的神经影像学报告分类(AUC-ROC > 0.95,参考标准报告标签)。对于7个类别中的4个(急性卒中、占位性病变、小血管病和白质炎症),当针对参考标准图像标签而非参考标准报告标签进行测试时,仅观察到性能小幅下降(Δ AUC-ROC < 0.02)(p < 0.05)(图6a–d)。对于这些类别,灵敏度和特异度均达到> 90%(表4)。有趣的是,当针对参考标准图像标签进行测试时,萎缩(Δ AUC-ROC 0.037)、脑软化(Δ AUC-ROC 0.055)和血管性(Δ AUC-ROC 0.067)类别的AUC-ROC下降幅度更大(p < 0.05)(图6e–g),凸显了源自历史放射学报告的分组标签与通过人工审阅图像得出的标签之间的差异。
训练完成后,我们的分类器可通过固定参数权重并以推理模式运行每个模型,自动为头部MRI检查分配标签,从而完成头部MRI检查大型数据集标注流程的最后阶段。为证明可行性,我们为未用于参考标准标注的其余121,556例头部MRI检查分配了标签(图S3);该过程在30分钟内完成。
讨论
人工神经网络通常需要数万张标注图像才能在图像识别任务中达到最佳性能。这是复杂图像数据集深度学习系统开发的一个瓶颈,尤其是对神经系统异常检测至关重要的MRI。在这项工作中,我们开发了一种专用的神经放射学报告分类器,可通过从放射学报告中提取标签来自动化图像标注,并将重要标签准确分配给相应的MRI检查。我们的模型能够在30分钟内将超过100,000例MRI扫描分配为正常或异常——并为异常扫描分配专门标签——这是一项手动完成可能需要数年的任务。
我们的研究建立在自然语言处理(NLP)近期变革性进展的基础上,最终引入了来自变换器的双向编码器表示(BERT)模型及其生物医学变体BioBERT。这两个模型均在大量文本集合上进行了预训练——例如,BioBERT在英语维基百科以及所有PubMed Central摘要和全文文章上进行了训练,总计超过200亿词——这意味着通过使用这些父模型的权重初始化下游网络,可以继承相当程度的底层语言理解能力,从而减少模型训练所需的标注样本数量。
此外,BERT和BioBERT提供语境化的词嵌入。2018年之前,最先进的文档分类模型使用预训练的word2vec或GloVe [35] 嵌入。然而,一个根本性局限是这些嵌入与语境无关。例如,单词“stroke”的向量在句子“restricted diffusion consistent with acute stroke”中与在句子“no features suggestive of acute stroke”中是相同的。语境无关性对于复杂、非结构化的报告尤其成问题,例如我们MRI语料库中的那些报告,因为这些报告通常包含对不存在的异常的描述,且前面有远距离否定,包括那些根据临床信息正在被查找的异常。
既往研究仅报告了模型在标注报告留出集上的性能 [6, 7, 9],迄今为止,尚无研究探讨NLP衍生标签用于头部MRI检查的普遍有效性 [36]。我们在本研究中调查的一个重要问题是使用报告标签作为图像标签替代的有效性。通过将我们的模型预测与由我们的神经放射学家团队基于对950张图像的人工检查得出的参考标准图像标签进行比较,我们已经表明,使用我们的NLP模型可以可靠地分配指示任何异常存在或不存在的二分类标签。我们还表明,四个专门异常类别(肿块、小血管病、白质炎症和急性卒中)的标签可以被准确分配。
虽然所有类别的标签信息均从原始报告中准确提取(AUC > 0.95,参考标准报告标签验证),但原始报告对三类异常(脑软化、血管性、萎缩)的实际图像表现反映准确性较低,ΔAUC-ROC较大即为证据。这代表了一种与NLP模型性能无关的误差来源(文本分类器无法检测未被报告的发现)。这种差异可能有几个原因。首先,在存在更具临床意义的发现时,神经放射科医生常省略对较不重要异常的描述,这些异常不一定改变总体结论或促使患者管理发生变化。例如,我们注意到MRI报告常对非关键发现不敏感,如微出血(血管性类别)或脑室引流管道的少量实质残留(脑软化)。低敏感性的第二个来源是,放射学报告常针对特定临床背景和转诊者量身定制。例如,一份面向神经内科转诊医生、专门询问新发痴呆患者神经退行性过程的报告,可能会对细微的实质萎缩作出评论。相比之下,对于因血管性异常(如动脉瘤)就诊且报告面向血管神经外科医生的患者,实质体积可能不会受到同样仔细的审视。这三个类别准确性的下降凸显了我们工作的一个重要且新颖的贡献,即可能需要由经验丰富的放射科医生对放射学检查进行人工审阅验证,才能严格确定使用报告标签作为图像标签替代指标的有效性。
尽管我们的神经放射学报告分类器高度准确,但它们并非完美模型(即AUC < 1,图3)。这将导致一小部分图像被错误标记。近期研究表明,这种“标签噪声”可影响深度学习模型的性能[37, 38]。尽管如此,使用我们的模型所产生的标签噪声水平是适度的,实际上低于常用计算机视觉数据集中已知的错误率(例如ImageNet,估计标签噪声高达10% [39, 40]);因此,对下游计算机视觉性能的影响预计极小。
我们工作的一个局限性在于,我们的样本训练队列可能不能代表每一个神经科患者群体。然而,样本量较大,且来自一家规模较大的医院和大学集群,该集群对所有神经科、神经外科和精神科疾病均进行影像检查,并且还包括健康志愿者。该医院科室还由17名具有不同报告风格的专家神经放射科医生组成。此外,我们的正常/异常分类器应用于外部医院的报告时,性能下降极小。综合来看,这表明我们的研究结果能够合理代表收治各类神经放射科医生报告的神经学异常的大型医院。尽管如此,作为未来工作的一部分,我们计划进一步研究我们的分类器对其他医院检查的泛化能力。
总之,我们开发了一种准确的神经放射学报告分类器,用于自动化头部MRI检查的标注。仅根据报告为图像分配二分类标签(即正常或异常)具有很高的准确性。与二分类标签相比,更细粒度标注的准确性取决于类别。我们的模型完成标注任务所需的时间仅为手动执行所需时间的一小部分。总之,这些结果克服了开发和广泛转化深度学习计算机视觉系统用于放射学图像识别任务的一个关键瓶颈。
补充信息
ESM 1(DOCX 1086 kb)
引用
- Wood DA, Kafiabadi S, Al Busaidi A, et al. Deep learning to automate the labelling of head MRI datasets for computer vision applications. Eur Radiol. 2021. PMID: 34286375. doi:10.1007/s00330-021-08132-0
- 全文:PMC8660736(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8660736/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。