文献速递骨肌DR

结构化报告数据可用于开发深度学习算法:踝关节X线摄影的概念验证

Structured report data can be used to develop deep learning algorithms: a proof of concept in ankle radiographs.
PubMed 文献 · Insights Imaging · 2019-09-23

本研究纳入157份踝关节正位X线摄影的结构化报告,通过自动化流程提取影像并重新训练Inception V3卷积神经网络检测骨折,在未见验证集上AUC为0.850(95%CI 0.634-1.000),证明临床常规结构化报告数据可用于训练深度学习算法。

要点

  • 结构化报告数据经自动化流程可成功用于训练深度学习算法。
  • 验证集骨折检测AUC为0.850(95%CI 0.634-1.000)。
  • 结构化报告在机器学习中的价值得到概念验证。

核心结论

  • 临床常规撰写的结构化报告数据经自动化流程提取后,可成功用于训练深度学习算法,突显结构化报告在放射学未来尤其在深度学习背景下的潜在作用。

研究设计与样本

  • 概念验证研究,纳入157份踝关节正位X线摄影的结构化报告,使用Inception V3架构在ImageNet预训练基础上重新训练最后一层全连接层,参考标准为结构化报告中的骨折有无。

诊断标准与关键数值

  • 验证集骨折检测AUC为0.850(95%CI 0.634-1.000),最佳操作点为0.545,敏感度0.625(95%CI 0.290-1.0),特异度1.0(95%CI 1.0-1.0),阳性预测值1.0(95%CI 1.0-1.0),阴性预测值0.625(95%CI 0.290-0.960),准确率0.769(95%CI 0.742-0.796)。

临床应用与阅片要点

  • 结构化报告模板可设骨折、关节积液、软组织肿胀等下拉菜单项,便于机器读取。
  • 作者认为广泛应用结构化报告将对放射科医生日常工作产生重大影响,且可能不适用于所有病例和临床场景。
  • 作者认为结构化报告似乎是获取高质量报告数据以供未来各种开发的最实用方法。
  • 作者建议用户敦促供应商提供实用解决方案,以便轻松访问和使用报告信息。

局限性

  • 研究未重新评估报告的诊断准确性。
  • 本研究数据集相当小且不平衡。
  • 对未充分代表的类别(无骨折)进行过采样有某种过拟合倾向。
  • 算法性能仅应视为初步的、非临床可用的。
  • 不能排除放射科医生更愿意使用结构化报告平台的简单病例所带来的选择偏倚。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2019 Sep 23;10:93. doi: 10.1186/s13244-019-0777-8

要点

结构化报告中的数据可以极大地促进深度学习算法的开发。

用于深度学习网络训练的完全自动化工作流程可以轻松实现。

提出了用于检测踝关节骨折的概念验证,并达到了令人满意的性能。

背景

近年来,计算机视觉技术尤其是深度学习在评估平片或计算机断层扫描检查中的应用已在放射学领域得到广泛讨论[1–3]。因此,在过去几年中,众多研究团队发表了描述深度学习算法在放射学中有前景应用的论文。

多项研究报告了作者开发并训练深度神经网络以对平片进行自动诊断或分诊的研究。其中一些依赖于人工审阅和标注图像以建立有效的参考标准(例如,肱骨骨折[4]、髋部骨折[5]和腕部骨折[6]的检测),另一些则依赖于从与影像检查相关的书面放射学报告中自动提取图像标签[7–9]。由于放射学报告通常以散文式、非标准化的形式书写,因此需要自然语言处理(NLP)等技术来分析报告并提取有意义的标签,以用于神经网络的进一步训练。与人工审阅标注相比,后一种方法效率更高且更具可扩展性,从而使能够为神经网络的后续训练编制更大的数据集。然而,正如CheXNet论文[10]等所展示的,这也有可能引入NLP变异所固有的不准确性和不确定性[11]。

随着计算机视觉和深度学习技术与算法的不断进步,似乎仅剩的挑战之一便是准确标注数据集的可用性。因此,如果临床常规数据能够用于提供可靠的标签,而无需可能容易出错的NLP或由人类专家读者进行耗时的人工标注,那将是理想的。

使临床常规数据更易于使用的一种可能方法是结构化报告(SR),这早已被多个放射学学会提出[12–14]。结构化报告旨在标准化报告内容和语言,从而使报告更具机器可读性。一些研究已经展示了使用从结构化报告中提取的数据来计算各种统计数据[15, 16]。

这种方法在训练深度学习算法的背景下也可能有用。因此,本研究的目的是提出一个示例工作流程,其中使用来自结构化报告的数据从机构的图像归档和通信系统(PACS)中提取准确标注的训练数据。作为概念验证,我们通过使用这些数据重新训练预训练的卷积神经网络(Inception V3)来检测踝关节X线片中的骨折,以此展示该方法。

材料与方法

从2017年底开始,我们的三级医疗中心引入了结构化报告。我们创建了各种符合IHE MRRT的报告模板,并将其安装在专用的开源报告平台中[17, 18]。该报告平台此前已在我们机构开发,仅使用标准网络技术,报告放射科医生可从临床工作站访问。为便于其在临床常规中使用,它已完全整合到放射科医生的工作流程中,并连接到机构的放射信息系统(RIS)和PACS。所有放射科医生均接受了关于如何使用报告平台和模板的现场培训,如出现问题可随时联系开发者。在报告时,放射科医生既可使用标准RIS报告引擎(包括语音识别),也可在结构化报告平台中开始报告。报告平台的使用既非强制,也无激励措施。为确保正确的患者和检查上下文,RIS构建一个URL调用,将相关患者和检查信息传递给报告平台。在平台中完成放射学报告后,结构化报告作为离散信息存储在平台数据库中,从而使报告易于机器读取。

用例与患者选择

在结构化报告平台设置的初始阶段,已创建了各种报告模板。虽然大多数模板侧重于计算机断层扫描或磁共振成像,但也开发了一些与传统X线摄影相关的模板。作为本概念验证的基础,我们选择聚焦于一个仅使用平片的相对简单用例。为本研究的目的,我们选择使用在创伤背景下(骨折/无骨折)获取踝关节平片并使用上述平台撰写结构化报告的病例数据(图1)。

所有报告均撰写于2017年8月至2018年9月之间。由于放射科医生可自由决定使用结构化报告模板还是撰写传统叙述性报告,所纳入的检查并非连续。

图1 本研究中使用的X线片示例(a 无骨折,b 存在骨折) 查看原图 ↗

结构化报告与图像检索

“cx.ankle.trauma”模板包含四个下拉菜单,报告放射科医生可在其中选择骨折、关节积液、软组织肿胀或其他相关发现为存在或不存在(图2)。除此之外,该模板允许自由文本录入相应发现。该模板的源代码见附加文件1。

报告完成后,相应的报告内容被存储在报告平台的专用数据库中,其中每个报告字段对应相关表中的一个特定列。因此,访问“cx.ankle.trauma”表的“select_fracture”列时,如果存在骨折则返回“yes”,如果不存在则返回“no”。因此,我们创建了一组MySQL查询组合,从相应的数据库表中检索相关信息。为便于对这些数据进行操作,我们在Rapidminer 9.0(RapidMiner,剑桥,马萨诸塞州,美国)中设计了一个工作流程,使数据操作的可视化更加直观(图3)。第一步,查询所有相关患者和研究数据,同时检索使用“cx.ankle.trauma”模板创建的报告。通过连接和筛选操作,可以首先构建一个完整的表,其中所有报告都与相关患者和研究信息(本地患者ID和DICOM研究实例UID)相关联。随后,将该表拆分为有骨折报告和无骨折报告的独立列表。然后将这些列表导出为逗号分隔值(CSV)文件,以便在第二步中使用小型Python(Python软件基金会,网址:http://www.python.org)脚本从机构的PACS中查询和检索相应图像,并将其作为JPEG文件导出到两个独立文件夹中(一个文件夹用于有骨折的图像,一个用于无骨折的图像)。

图2 用于踝关节X线摄影结构化报告的模板截图 查看原图 ↗
图3 报告数据库访问的图形化表示。需要检索和组合多个表。最后,将有骨折和无骨折的两组病例列表写入并保存为CSV文件 查看原图 ↗

卷积神经网络再训练工作流程

本研究的主要关注点不是卷积神经网络(CNN)的训练,而是使用来自符合IHE-MRRT的报告模板的标签数据的工作流程。因此,我们选择将本研究的这部分限制为在二分类任务上对已有CNN进行简单的再训练。

使用在ImageNet上预训练的Inception V3架构[19]的TensorFlow模型来再训练最后一个全连接层。在本研究中,我们使用了以下标准超参数:交叉熵损失函数、学习率0.01、批量大小32和2000个训练步数。由于深度学习部分不是主要关注点,我们并未尝试优化这些设置,而是选择了已知能产生足够学习性能的合理超参数,同时也允许在标准图形处理单元(GPU)上进行训练。尽管如此,由于数据集较为有限,我们使用了各种随机数据增强技术,如缩放(+ 10%)、裁剪(− 10%)、亮度(+ 10%)和水平翻转,以提高泛化能力。在再训练CNN之前,随机选取所有图像的8%并从训练集中留出,用于最终模型的验证。为补偿训练数据集中组间样本量不平衡,将较小组的图像上采样至较大部分的图像数量。

计算在单台服务器(Intel Core i7-8700K CPU、64 GB DDR 内存、NVIDIA GeForce GTX 1080 Ti GPU)上完成。模型在最终验证集上的预测结果及相应概率记录于 CSV 文件中,并用于计算模型的诊断性能。

统计分析

所有统计分析均使用 R 3.4.0 及 RStudio 1.1.463 完成 [20]。受试者工作特征曲线(ROC)分析使用 pROC 包进行 [21]。为计算敏感度、特异度以及阳性和阴性预测值,从 ROC 分析中选择约登指数最高的操作点。

结果

由于在本研究纳入期间(2017年8月至2018年9月),X 线平片结构化报告的使用仍然有限,1186 份踝关节 X 线片中仅有 157 份(等于 13.2%)由 16 名不同的放射科医师(每名医师平均报告数 10 ± 4)使用结构化报告平台完成报告。

对于这 157 名患者,其踝关节前后位 X 线片均存于 PACS 中并可成功调取。患者平均年龄为 43.0 岁(SD = 21.0 岁;女性 76 例,男性 81 例)。用于最终训练和分析的共纳入 144 幅图像(129 幅有骨折,28 幅无明显骨折)。其余 13 名患者(8 例有骨折,5 例无明显骨折)被单独设为最终验证集。

为补偿训练组中组间样本量不平衡,在网络的再训练过程中对 28 幅无骨折图像进行上采样(即重复复制),以与 129 幅有骨折图像相平衡。

一旦实施并配置完成,整个工作流程(从数据库查询到模型性能的最终评估)耗时不到 1 小时(CNN 的再训练约占 35 分钟)。训练过程的学习曲线见(图 4)。

训练后,模型在未见过的验证集上最终准确率(正确分类的总体比例)为 0.769(95% CI 0.742–0.796)(表 1)。对于骨折存在与否,敏感度为 0.625(95% CI 0.290–1.0),特异度为 1.0(95% CI 1.0–1.0),阳性预测值为 1.0(95% CI 1.0–1.0),阴性预测值为 0.625(95% CI 0.290–0.960)。ROC 分析显示曲线下面积(AUC)为 0.850(95% CI 0.634–1.000),最佳操作点为 0.545(图 5)。

图 4 训练过程可视化(上方:准确率,下方:交叉熵,橙色:训练集,蓝色:测试集)。经过 2000 个训练步骤后,最终准确率达到 0.969 查看原图 ↗
表 1 显示最终验证集结果的混淆矩阵 查看原表 ↗
图 5 针对先前未见图像的最终验证集的 ROC 分析 查看原图 ↗

讨论

结构化报告被称为放射学的聚变反应堆[22]。先前多项研究表明,结构化报告在临床常规中具有诸多优势[23–30]。本文进一步提供证据表明,结构化报告可在推动放射学领域发展方面发挥关键作用。尤其随着深度学习技术近期的出现,对图像具备机器可读的准确标签存在强烈需求[2, 31, 32]。尽管过去几年中,深度学习在计算能力和技术问题方面的许多挑战已被解决,但阻碍放射学利用这些技术潜力的主要障碍一直是缺乏具有高质量标签的大型数据集。这主要是由于放射学报告在大多数情况下仍以非结构化叙述性文本撰写。从此类自由文本报告中提取信息耗时,且取决于报告的完整性和质量。语言和风格的个体差异可能导致不一致和不确定性,从而可能损害数据集的质量。因此,研究人员需要依赖人工审阅和标注数据,这可能耗时,因此难以大规模实施。理论上,这些挑战可通过使用自然语言处理(NLP)从放射学报告中提取相关信息来克服。然而,这可能向数据集中引入相当数量的错误标签,因为此类系统的敏感性和特异性通常仅在90%左右[33]。

我们提出的工作流程解决了这些挑战,因为它利用常规临床实践中生成的结构化报告中的数据。因此,无需对数据集进行额外处理即可为深度学习算法的训练提供可靠且标准化的标签。考虑到在本研究纳入期间,所有报告中只有相当小的一部分(13.2%)是使用结构化报告模板创建的,可以假定如果更多放射照片具有相应的结构化报告,训练模型的性能可能会大幅提高。当然,放射科医生在使用结构化报告时面临的最重要挑战是工作流程的显著变化。在我们的案例中,结构化报告平台要求用户使用鼠标和键盘输入报告,从而使其在撰写报告时无法使用PACS查看器工作。结构化报告工具更好的集成(例如,与语音识别以及更紧密的PACS集成)可能有助于改善结构化报告在临床常规中的采用。

本研究存在一些局限性:首先,我们没有重新评估报告的诊断准确性。其次,而且肯定更重要的是,用于本研究目的的数据集相当小且不平衡。有多种方法可以解决这种不平衡。在我们的情况下,我们选择对代表性不足的类别(无骨折)应用过采样,因为我们不想丢弃任何有用的数据。然而,这种方法有一定的过拟合倾向,因为一些样本被多次使用。为了减轻这种影响,我们对训练数据集应用了数据增强技术(缩放、翻转、裁剪等)。尽管如此,对于临床适用的算法,应考虑其他解决类别不平衡问题的方案,如欠采样、代价敏感学习或其他更先进的技术[34–36]。

因此,该算法的性能必须仅被视为初步的,尚不具临床实用性,特别是不能排除对放射科医师更习惯使用结构化报告平台的简单病例的选择偏倚。然而,这超出了本研究的预期范围。尽管如此,所提出的工作流程清楚地展示并强调了结构化报告在机器学习和人工智能背景下的价值,并且符合医学影像人工智能基础研究跨学会路线图中定义的关键研究优先事项[37, 38]。特别是由于可以将报告内容的特定部分链接到诸如RadLex之类的本体,IHE MRRT规范提供了一种可互操作的方式,使得在不同机构之间更容易汇集数据集,同时保持可靠的标签数据[18, 39]。

结论

当然,结构化报告的广泛实施将对放射科医师的日常工作产生重大影响,并且可能不适用于所有病例和所有临床场景。尽管如此,我们的研究进一步强调了在临床常规中推动更多结构化报告的必要性,因为它似乎是获取高质量报告数据以用于各种未来发展的最实用方法。因此,用户应敦促供应商提供实用的解决方案,使得能够轻松访问和使用报告信息,以便在深度学习项目中进一步分析和使用。

附加文件

附加文件1:cx.ankle.trauma模板。(HTML 4 kb)

引用

  1. Pinto Dos Santos D, Brodehl S, Baeßler B, et al. Structured report data can be used to develop deep learning algorithms: a proof of concept in ankle radiographs. Insights Imaging. 2019. PMID: 31549305. doi:10.1186/s13244-019-0777-8
  2. 全文:PMC6777645(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6777645/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。