文献速递骨肌技术与安全DR

深度学习算法在骨盆平片髋部骨折检测与可视化中的应用

Application of a deep learning algorithm for detection and visualization of hip fractures on plain pelvic radiographs.
PubMed 文献 · Eur Radiol · 2019-04-01

本研究基于DenseNet-121构建深度卷积神经网络,先用25,505张肢体X线片预训练、再用3605张骨盆平片重新训练,在100张独立骨盆平片上评估髋部骨折检测性能,准确率91%、敏感度98%、假阴性率2%、AUC 0.98;Grad-CAM热图定位骨折部位的准确率为95.9%。

要点

  • 模型在100张独立骨盆平片上检测髋部骨折的敏感度为98%(95% CI 89–100%)、准确率91%(95% CI 84–96%)。
  • Grad-CAM热图定位骨折部位的准确率为95.9%,正常骨盆平片不显示热图。
  • 模型AUC为0.98(95% CI 0.96–1.00),作者认为可作为筛查工具辅助临床医师识别隐匿性髋部骨折。

核心结论

  • 深度卷积神经网络在骨盆平片上检测髋部骨折的准确率为91%、敏感度为98%、假阴性率为2%、AUC为0.98,Grad-CAM定位骨折部位的准确率为95.9%。
  • 作者认为该算法可作为筛查工具,帮助临床医师识别更多隐匿性髋部骨折并早期管理患者。

研究设计与样本

  • 研究为诊断性算法开发与验证研究,使用长庚纪念医院林口院区(台湾)长庚创伤登记计划(CGTRP)的前瞻性登记数据。
  • 模型以DenseNet-121为网络结构,先用25,505张肢体X线片(来自12,583例患者)预训练,再用3605张骨盆平片(2008年8月至2016年12月)重新训练。
  • 独立测试集为2017年采集的100张骨盆平片,包括25例股骨颈骨折、25例转子间骨折和50例无髋部骨折;参考标准为创伤登记中的诊断。
  • 图像输入统一缩放至512×512像素、8位灰度;训练集与验证集按80%与20%划分,最终模型训练60个epoch。
  • 以概率0.5为截断值计算混淆矩阵,并与21名专家(含2名放射科医师和4名骨科医师)的问卷判读结果比较。

关键影像表现/征象

  • 模型预测为髋部骨折的49张热图中,仅2张激活部位错误(1张位于对侧髋部,1张信号较强位于髂骨区域),95.9%的激活区域位于骨折部位。
  • 正常骨盆平片及无骨折的右侧全髋置换术后平片经Grad-CAM处理不显示热图。

诊断标准与关键数值

  • 模型在100张独立骨盆平片上的准确率为91%(95% CI 84–96%)、敏感度为98%(95% CI 89–100%)、特异度为84%(95% CI 71–93%)、假阴性率为2%(95% CI 0.3–17%)、F1分数为0.916(95% CI 0.845–0.956)。
  • 模型AUC为0.98(95% CI 0.96–1.00)。
  • 非放射科和非骨科的主治医师敏感度范围为84%至100%(均值95.6%,95% CI 93.6–97.6%),特异度范围为46%至94%(均值82.2%,95% CI 76.2–88.3%)。
  • 2名放射科医师和4名骨科医师的均值敏感度为99.3%(95% CI 98.2–100%),均值特异度为87.7%(95% CI 81.5–93.8%)。
  • 肢体X线片预训练模型在验证集上识别具体身体部位的准确率为99.5%;髋部骨折模型训练集准确率为0.94、验证集准确率为0.90。

临床应用与阅片要点

  • 作者认为该算法可作为筛查工具,帮助临床医师识别更多隐匿性髋部骨折并早期管理患者,以防止进一步的医疗费用增加和生活质量下降。
  • 作者指出Grad-CAM可视化可解释模型的判断依据,可能有助于医师接受模型结果。
  • 作者提出需开展随机前瞻性研究评估DCNN识别髋部骨折对诊断准确性和经济价值的临床影响。

局限性

  • DCNN仅输入图像和关联诊断、不提供特征的明确定义,算法可能使用人类未知或忽略的特征,尽管可视化效果良好,但确切使用的特征仍未知。
  • 2张图像未显示正确的骨折激活位置,1张位于对侧髋部、1张信号较强位于髂骨区域,该错误难以解释。
  • 将整幅图像输入模型是最具挑战性的部分,作者将使用更多输入样本进一步解决该问题。
  • 算法专门训练用于区分健康骨骼与骨折,可能无法识别其他病理表现,本研究未纳入骨盆平片上其他病变的检测。
  • 骨折组与非骨折组患者在年龄、性别和ISS上存在差异,可能产生选择偏倚。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2019 Apr 1;29(10):5469–77. doi: 10.1007/s00330-019-06167-y

引言

髋部骨折及其导致的手术后结局是全球范围内重要的公共卫生问题[1–5]。髋部骨折是老年患者的主要损伤,在美国每年发病率约为250,000例,预计30年内将翻倍[1, 3, 6, 7]。尽管近年来发病率有所下降[3, 8],但由于人类寿命延长和老年人口增长,髋部骨折的数量将会增加。多达20–30%的髋部骨折患者在随后一年内死亡[5, 9–11],许多人将经历显著的功能丧失[5, 12]。早期诊断和管理可能不仅保留关节功能,还能维持患者的行走能力和生活质量[13]。骨盆正位X线片(PXR)是髋部骨折影像评估的基本且广泛使用的工具。然而,PXR评估髋部骨折的敏感性并不理想。一些既往研究显示,初次误诊率高达7–14%[14, 15],而延迟诊断和治疗会恶化预后[16]。为避免延迟诊断相关的进一步健康后遗症和医疗费用,额外X线片、核医学骨扫描、计算机断层扫描(CT)和磁共振成像(MRI)扫描被推荐作为常规诊断手段[14, 17]。然而,在常规检查中使用这些诊断工具并非有效、高效或经济的方法。

数字医学影像系统不仅提供即时和远程访问[18],还提供计算机辅助诊断程序的可能性[19]。基于深度学习的计算机化分析已显示出作为诊断策略的潜在优势,并且最近已变得可行[20]。深度卷积神经网络(DCNN)在医学领域的应用和成果预计将快速增长,一些研究为深度学习在创伤中的应用提供了巨大机遇[21–24]。DCNN已被证明能够以专家级准确度对身体部位的骨骼结构进行分类并识别特定部位的骨折[25–28]。同时,使用DCNN检测髋部骨折的效率和可行性尚未得到完全评估。尽管最近一篇文章使用基于区域的方法在识别髋部骨折方面达到了高准确度[29],但深度学习的“黑箱”机制仍是其临床应用的主要障碍。许多用于DCNN视觉解释的方法已被开发,如显著性映射、类激活映射(CAM)和梯度加权类激活映射(Grad-CAM)[30]。图像的可视化映射可能验证深度学习算法的病变检测能力。使用Keras-vis库的Grad-CAM生成热图,可视化类判别区域。在医学图像中,Grad-CAM可以帮助医生识别病理区域并验证DCNN性能。髋部骨折的自动检测具有潜在益处,如提高效率、减少误诊、减少延迟管理并改善患者结局,特别是在急诊情况下,如果算法达到专家级准确度。

在本研究中,我们开发了一种基于深度卷积神经网络(DCNN)训练的自动化骨折诊断算法,用于检查骨盆X线摄影(PXR),并研究了其与医师相比的性能表现。我们还通过使用梯度加权类激活映射(Grad-CAM)进行病灶可视化,研究了该算法的有效性。

材料与方法

研究人群

我们使用了台湾林口长庚纪念医院(CGMH)的长庚创伤登记计划(CGTRP)。人口统计学数据、医疗数据、围手术期操作、医院操作、医学影像发现、随访数据以及并发症相关信息均前瞻性地记录在计算机化数据库中。我们提取了2008年8月至2017年12月在CGMH(一所一级创伤中心)接受治疗的所有创伤患者的数据和图像。CGMH机构审查委员会批准了本研究。

训练PXR数据集(2012-2016年PXR数据集)

对2012年1月至2016年12月在创伤登记处接受治疗的患者进行评估,若患者入院且在受伤当日进行了骨盆正位X线摄影(PXR),则予以纳入。PXR通过Python脚本自动存储至图像归档与通信系统(PACS)查看器。存储图像的大小从2128×2248像素到2688×2688像素不等,颜色为8位灰度。每张图像均分配了序列号,并在图像和登记数据中均进行了去标识化处理。图像存储后,对所有图像进行了评估。每张图像中的所有标签均经过仔细检查并去除。

肢体放射影像数据集

肢体放射影像数据集包括踝关节、足部、膝关节、腕关节和肘关节的视图,以与前述类似的方式收集并去标识化。每张图像在自动存储过程中被标记为相应的身体部位。该数据集主要用于开发预训练医学影像模型以进行进一步的迁移学习。

独立测试PXR数据集(2017年PXR数据集)

从2017年创伤登记处另识别出100名接受了PXR的患者。其中25名患者为股骨颈骨折,25名为股骨转子间骨折,50名无髋部骨折。受伤当日进行的PXR被准备作为独立测试数据集。

图像标注与预处理

2008-2016年PXR数据集建立后,根据创伤登记处的诊断,图像最初被标注为髋部骨折或无髋部骨折。若标签存疑,则查阅放射科医师报告、诊断、临床病程及其他相关图像,如CT或髋关节的其他视图。图像质量差的图像,如图像对比度差、体位错误和异物干扰者,以及伴有其他骨折(包括股骨干骨折和骨盆骨折)者,被排除。每张图像由一名创伤外科医师审查标签的准确性和图像质量。肢体数据集按前述方式自动标注。

算法的开发

深度卷积神经网络(DCNNs)广泛应用于计算机视觉和医学图像识别[31]。DCNN是一种由人工神经网络发展而来的机器学习算法。其基本概念是将数字图像的像素值作为输入,在每一层上使用卷积和池化等技术,并根据输出与真实标签之间的差异调整神经网络中的权重。在使用大量影像输入作为训练材料后,调整神经网络中的权重以拟合问题。我们使用DenseNet-121作为神经网络的结构[32]。该结构包含一个密集块,密集块内设计了跳跃连接。输入图像被调整为512×512像素、8位灰度色彩,以降低复杂度和计算量。大多数研究使用ImageNet作为“迁移学习”的预训练材料[26, 28, 33, 34]。相反,我们使用肢体数据集作为预训练材料。模型最初被训练用于识别每张肢体X线片上所显示的身体部位。我们随机选取肢体数据集的90%用于训练,10%用于验证。DCNN的预训练权重被保留用于PXR训练。PXR数据集按80%用于训练、20%用于验证进行划分。在训练过程中,应用了图像增强,包括10%缩放、水平翻转、垂直翻转和10°旋转。批大小为8,使用Adam优化器。初始学习率为10−3,并在平台期降低学习率。最终模型在上述超参数下训练60个epoch。

评估算法

训练好的髋部模型使用独立的2017年PXR数据集进行测试,以评估其识别髋部骨折的准确性。模型生成的髋部骨折概率通过受试者工作特征(ROC)曲线和曲线下面积(AUC)进行评估。还使用髋部骨折概率0.5作为截断值计算了混淆矩阵。对于预测骨折的PXR模型,我们还使用Grad-CAM生成热图,显示模型针对髋部骨折激活的区域,以提供模型确实识别了骨折部位的证据。热图还由一名放射科医师审阅,与原始图像上的骨折部位进行比较,以评估定位能力。我们还招募了外科、骨科、急诊科和放射科的专家,以评估各亚专科医师的准确性。针对2017年PXR数据集设计了一份基于网络的问卷,其中包含一道多项选择题,用于回答图像中是否存在髋部骨折。

统计分析与软件

构建DCNN所用的软件基于Ubuntu 14.04操作系统,使用TensorFlow 1.5.1和Keras 2.1.4开源库,配合Python 3.6.5(Python Software Foundation)。训练过程在Intel® Core™ i7-7740X CPU 4.30 GHz及GeForce® GTX 1080 Ti GPU上运行。所有统计分析使用R 3.4.3及扩展包“pROC”“epiR”“Publish”和“ggplot2”完成。连续变量采用Student t检验评估,分类变量采用卡方检验评估。我们通过敏感度、特异度、假阴性率和假阳性率比较髋部模型与专科医师,并计算F1分数和95%置信区间(CI)。采用ROC曲线和AUC评估模型性能。

结果

2008–2016年PXR数据集中患者的人口学数据见表1。我们获取3605张PXR用于构建模型,并从12583例患者中收集了25505张不同肢体X线摄影视图,包括6019张踝部、3832张肘部、4134张足部和3378张腕部X线摄影。

模型使用肢体X线摄影数据集进行训练,最终在验证数据集上识别特定身体部位的准确率为99.5%。肢体模型中的权重被保留并命名为“肢体预训练模型”。使用肢体预训练模型的权重再次对模型进行再训练,任务改为检测髋部骨折。最终训练集训练准确率为0.94,验证集为0.90。训练过程中准确率和损失的变化见图1。

将髋部模型应用于2017年PXR数据集后,模型的准确率、敏感度、特异度、假阴性率和F1分数分别为91%(n = 100;95% CI,84–96%)、98%(95% CI,89–100%)、84%(95% CI,71–93%)、2%(95% CI,0.3–17%)和0.916(95% CI,0.845–0.956)。共21名专家完成了问卷。初级医师(放射科医师和骨科医师除外)的敏感度范围为84%至100%(均值95.6%;95% CI,93.6–97.6%),特异度范围为46%至94%(均值82.2%;95% CI,76.2–88.3%)。专家(包括两名放射科医师和四名骨科医师)完成了问卷,平均敏感度为99.3%(95% CI,98.2–100%),特异度为87.7%(95% CI,81.5–93.8%)。预测概率与个体专科医师表现比较的ROC曲线见图2。模型AUC为0.98(95% CI,0.96–1.00)。初级医师平均敏感度和平均特异度的95% CI均低于模型ROC曲线,而放射科医师和骨科医师的平均表现仍略优于模型。

在分析49张热力图后,模型预测为阳性髋部骨折。仅两张图像识别出错误激活部位,95.9%的激活区域位于髋部骨折部位,见图3。

表1 骨盆正位X线摄影数据集的人口学数据 查看原表 ↗
图1 使用TensorBoard在训练和验证数据集中的性能。a. 训练过程中准确率变化。acc,训练集准确率;val_acc,验证集准确率;b. 训练过程中损失变化。loss,训练集损失;val_loss,验证集损失 查看原图 ↗
图2 髋部模型与医师的表现。蓝色、绿色、黄色和红色圆点分别表示放射科医师、外科医师、骨科医师和急诊医师的表现。 查看原图 ↗
图3 Grad-CAM辅助的髋部骨折图像识别。a 原始骨盆X线片,显示右侧股骨颈轻度移位骨折(箭头);b 应用Grad-CAM模型后生成的图像,其将类判别区域可视化为骨折部位。c 骨盆X线片显示右侧全髋关节置换伴左侧股骨颈骨折(箭头);d Grad-CAM辅助图像。e 骨盆X线片显示左侧股骨颈轻度移位骨折;f Grad-CAM辅助图像。 查看原图 ↗

讨论

这些结果表明,深度卷积神经网络(DCNN)可以通过训练在图像数据集中识别髋部骨折,具有高灵敏度(98%)和准确率(91%)(F1分数,0.91)。目前,髋部骨折每日均有发生,而不均匀或无移位的髋部骨折由于人眼和骨盆X线片(PXR)的局限性而难以快速识别[14, 15]。在DCNN的辅助下,我们可以立即检测髋部骨折,假阴性率低(0.02),不劣于专家的表现。该DCNN将有助于基层医师降低误诊率并预防后续误诊事件。由于接近完美的真实标签的可获得性,髋部骨折是深度学习方法的理想目标。由于该区域的承重性质,临床上“沉默”性骨折的患者会迅速出现严重疼痛和不能活动。早期发现和手术对患者生存和髋关节功能的保留至关重要。髋部骨折的延迟处理会导致不良预后,甚至增加数年后的死亡风险[35–38]。因此,尽快检测髋部骨折对于降低远期死亡率和改善医疗结局至关重要。

DCNN允许计算机在有限的编程下通过自动特征提取进行迭代学习,且预测率高度准确。人工智能和骨骨折检测的自动化已有讨论[25, 26, 28];Gale等也描述了一种用于预测髋部骨折的DCNN方法[29]。然而,先前开发的髋部骨折模型是基于区域的模型,需要定位网络先识别股骨颈。我们的研究表明,骨盆X线片上髋部骨折的检测和诊断可以通过将全尺寸X线片输入DCNN来完成,而无需先识别特定区域。该深度学习算法还达到了与放射科医师和骨科外科医师准确率相当的水平。此外,本研究还 substantial 补充了其他当前研究。

首先,我们应用迁移学习方法开发了我们的算法。我们使用25,505张未标注的肢体X线片而非Image-Net图像来设置预训练模型,因为我们认为使用相似图像的预训练模型可减少所需的图像样本量和训练时间。本研究未比较Image-Net预训练模型与肢体预训练模型之间的性能。我们输入2804张正位骨盆X线片作为训练材料。经过评估,如我们所预期,我们的准确率从79%(从头预训练)提高到91%(肢体数据集预训练),且预训练材料也影响了最终准确率。

与以往的研究不同,该过程不需要大量复杂的处理、病灶分割或提取特定领域的视觉特征。相比之下,我们的系统不需要手工设计的特征,并且直接从图像标签和原始像素进行端到端训练。我们的全自动系统接收骨盆X线片(PXR),并自动检测髋部骨折的存在。这些结果表明,深度神经网络可以使用规模可观的非像素级标注数据集进行训练,而无需指定基于病灶的特征。我们的研究表明,尽管放射影像数据存在特定挑战,但开发大型、干净的数据集足以通过深度学习系统实现高水平的自动化性能。通过这种方式,我们可以节省与分割和标注相关的时间。

深度卷积神经网络(DCNN)用于分析医学图像的一个悖论是“黑箱”机制。模型可能使用图像的另一部分而非真实病灶部位来产生答案。因此,特征可视化成为理解DCNN内在机制的一种解决方案[39]。在本研究中,我们使用完整的PXR进行训练和测试。然后,我们执行Grad-CAM来可视化类判别区域,即DCNN在PXR中识别出的骨折部位(图3)。另一方面,在正常PXR中,Grad-CAM图像缺乏热图(图4)。经过Grad-CAM方法可视化后,95.9%的类判别区域包含骨折部位,这提供了模型确实识别出髋部骨折的证据。理解DCNN利用什么来做出预测是医学领域一个非常活跃的研究课题,它可能说服医生接受结果,因为DCNN能够解释其所发现的内容。

大多数评估医学图像的深度学习工作使用裁剪图像来避免“黑箱”机制并提高最终验证的准确性[29, 32]。一旦目标被裁剪以包含识别所需的必要特征,DCNN将更容易、更快速地检测病灶。在本研究中,我们没有裁剪图像,而是将图像矩阵尺寸减小至512 × 512像素。我们更倾向于输入完整的PXR图像,因为这种方法可能更符合直觉,且医生对其更为熟悉。由于我们将DCNN整合到临床路径中,医生会更倾向于使用完整图像而非裁剪图像。降维还降低了计算需求并缩短了训练时间,同时结果可接受。此外,基于我们的模型,我们还将该算法应用于PXR中的其他类型骨折。未来,基于本研究的观察,开发类似的医学影像高性能算法可能会缩短所需的训练过程时间和资源。

本研究存在若干局限性。一个根本性局限源于深度卷积神经网络(DCNN)的性质,因为神经网络仅被提供图像和相关诊断,而没有特征的精确定义。由于DCNN“学习”了最具预测性的特征,算法可能使用人类此前未知或忽略的特征。尽管本研究在识别骨折方面显示了良好的可视化效果,但所使用的确切特征仍不清楚。热图可能显示的是骨折部位与非骨折部位之间因水肿或出血导致的股骨对线差异或软组织对比度差异。在本研究中,有两张图像未能显示骨折的正确激活位置。其中一个错误激活位位于对侧髋部,另一个在髂骨区域有更强的信号。这一错误确实是DCNN的局限性,因为难以解释为何它在错误位置激活。将整张图像输入模型也是最具挑战性的部分,我们将投入更多努力,使用更多的输入样本来解决这一问题。此外,该算法经专门训练以在X线片上骨骼结构的背景中区分健康骨骼与骨折,但该算法可能无法识别其他病理表现。PXRs上其他病变的检测与常规诊断相关,但本研究未纳入。在当前研究中,尽管我们仅使用PXR作为输入材料,我们仍观察到骨折患者与非骨折患者在年龄、性别和ISS方面存在差异,这可能产生一些选择偏倚。此外,我们从登记库中按最终诊断提取髋部骨折图像,并在验证DCNN性能时在图像上识别骨折部位。因此,难以明确确切的隐匿性骨折发生率。在本研究中,我们仍手动排除了一定比例的图像,当试图将此过程纳入临床工作流程时这将是有问题的。最后,尽管本研究结果令人鼓舞,但将此自动检测算法整合到临床工作中以提高髋部骨折检出率是另一项挑战。因此,我们利用了一个基于网络的系统,可从医院PACS输入PXR,DCNN将检测是否存在骨折并通过Grad-CAM定位骨折区域。应开展随机、前瞻性研究以评估DCNN识别髋部骨折对诊断准确性和经济价值的临床影响。

总之,为在PXRs上识别髋部骨折,经DCNN训练的算法取得了优异性能,具有高准确率和低假阴性率,可作为筛查工具使用。此外,我们的算法能够高精度定位骨折部位,从而辅助临床医生识别更多隐匿性髋部骨折,并早期管理这些骨折患者,以防止进一步的医疗费用和生活质量下降。

图4 正常骨盆X线片(PXR)的Grad-CAM辅助图像。a 无髋部骨折的骨盆正位X线片,b 无热图的Grad-CAM图像。c 有右侧髋关节置换但无髋部骨折的骨盆正位X线片,d 未识别出骨折部位的Grad-CAM图像。e 无髋部骨折的骨盆正位X线片,f Grad-CAM未显示类别判别区域 查看原图 ↗

引用

  1. Cheng CT, Ho TY, Lee TY, et al. Application of a deep learning algorithm for detection and visualization of hip fractures on plain pelvic radiographs. Eur Radiol. 2019. PMID: 30937588. doi:10.1007/s00330-019-06167-y
  2. 全文:PMC6717182(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6717182/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。