文献速递技术与安全DR

深度学习实践应用:使用神经网络在PACS中对最常见平片类别进行分类

Practical applications of deep learning: classifying the most common categories of plain radiographs in a PACS using a neural network.
PubMed 文献 · Eur Radiol · 2020-09-28

该研究从本机构2017年全部71274张平片中选取30个最大类别(58219张,占81.7%),用迁移学习训练MobileNet v1.0对平片类别分类,内部验证总体准确率90.3%(95%CI 89.2–91.3%),外部验证总体准确率94.0%(95%CI 93.3–94.6%),模型已公开可用于PACS整理与影像预分流。

要点

  • 内部验证总体准确率90.3%(95%CI 89.2–91.3%),外部验证总体准确率94.0%(95%CI 93.3–94.6%)
  • 30类中内部验证仅踝侧位(79%)、腰椎侧位(77%)、肩出口位(61%)敏感度低于80%
  • 误判多为相似类别混淆,正确类别常为模型第二预测;错误预测概率值(均值68.2%)显著低于正确预测(均值95.2%)

核心结论

  • 使用单中心数据可训练神经网络正确分类30种最常见平片类别,模型在外部验证集上显示良好泛化性。
  • 该网络可用于自动整理PACS、将平片预分流至专用异常检测网络或辅助其他影像工作流程(如自动挂片协议、核对申请与执行图像是否一致)。

研究设计与样本

  • 单中心研究,回顾性提取本机构2017年全部平片71274张,按DICOM元数据依WHO诊断影像手册分为102类。
  • 取30个最大类别共58219张(占全年81.7%),每类随机留100张用于内部验证(共3000张),其余55219张用于训练。
  • 外部验证集为其他机构、多厂商设备拍摄并存储于本院PACS的5324张平片,由两名有经验放射科医师手动标注。
  • 使用预训练MobileNet v1.0迁移学习,过采样处理类别不平衡,训练22000步,学习率0.1,未使用图像增强。

关键影像表现/征象

  • 内部验证总体准确率90.3%(95%CI 89.2–91.3%),平均敏感度与准确率相同为90.3%。
  • 内部验证平均特异度99.7%,平均阳性预测值90.8%,平均阴性预测值99.7%。
  • 内部验证各类敏感度范围61.0–100.0%,30类中18类(60.0%)敏感度超过90.0%,27类(90.0%)超过80.0%。
  • 外部验证总体准确率94.0%(95%CI 93.3–94.6%),平均敏感度93.2%,敏感度范围75.0–100.0%。
  • 外部验证平均特异度99.8%,平均阳性预测值88.6%,平均阴性预测值99.8%。

诊断标准与关键数值

  • 内部验证仅踝侧位(敏感度79%)、腰椎侧位(77%)、肩出口位(61%)三类敏感度低于80.0%。
  • 外部验证仅手指侧位(75%)一类敏感度低于80.0%,30类中23类(76.7%)敏感度超过90.0%,29类(96.7%)超过80.0%。
  • 腹部左侧卧位、髌骨轴位、胸部后前位/前后位等高度标准化类别分类准确率最高可达100.0%。
  • 错误预测概率值(均值68.2%,标准差21.0%)显著低于正确预测概率值(均值95.2%,标准差10.9%)(t(2708)=35.7,p<.001,d=1.61)。

临床应用与阅片要点

  • 模型可用于分类图像并添加或纠正DICOM元数据,虽仍需人工复核,但可显著减少工作量。
  • 在自动化影像流程中,模型可先将平片分流至胸部、腹部或骨肌等专用异常检测网络。
  • 可根据类别平均准确率与单张图像预测值决定处理路径:高准确率类别且预测值>90.0%可直接送入二级网络,低准确率类别且预测值<70.0%可标记人工复核。
  • 胸部影像占本样本全年平片约30.4%(21697/71274),胸部后前位/前后位与胸部侧位内部验证准确率100.0%,该部分图像可较容易地由AI算法标注。

局限性

  • 研究仅纳入30个类别,虽占全年平片81.7%(58219/71274),理想系统还应包括其余72个类别。
  • 总体准确率仅90.3%,每10张图像中仍有1张需人工干预才能正确分类。
  • 当前方法较依赖大量数据,需多个机构汇集少见类别数据以提升罕见类别性能。
  • 模型在次优图像上表现通常较差,网络性能取决于数据集中低质量图像的数量。
  • 模型错误并非随机,尤其易混淆相似类别,但正确选项通常位于模型建议前列。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2020 Sep 28;31(4):1812–8. doi: 10.1007/s00330-020-07241-6

引言

机器学习预计将对放射学领域产生巨大影响[1],增强并辅助放射科医生[2]。随着每周都有新论文发表,一个核心问题仍然存在:机器学习能为普通放射科医生做什么?目前,放射学领域的大多数研究似乎集中在将机器学习应用于成像流程中涉及感知和推理的部分(例如,检测、量化和诊断推理)[3, 4]。然而,由于各种障碍(例如,伦理、经济和法律方面),这种方法虽然有前景,但可能并非将人工智能引入放射学工作流程的最佳起点。相反,人工智能可以用作质量保证的工具,并帮助自动化临床常规中遇到的简单但繁琐的任务[5]。例如,图像存档和通信系统(PACS)中的一个常见挑战是图像在相应的DICOM标签中经常被错误标记。DICOM信息不可靠的问题首先由Güld等人证实,他们发现DICOM标签“检查的身体部位”在15.3%的病例中是不正确的[6]。这不仅对为创建数据集目的而检索图像有问题,而且也阻碍了成像流程的发展,在这些流程中图像被自动路由到特定的分类算法。此外,放射学工作流程的许多其他部分依赖于正确标记的图像。因此,一个能够正确分类和标记图像的神经网络可用于检查检查是否被不必要地重复,控制所获取的图像与所订购的图像相同,并简化悬挂协议以优化图像报告。由于平片仍然是执行的最常见成像类型,用于平片分类的网络可以对放射学工作流程产生有意义的影响。因此,我们研究的主要目标是开发和验证一个卷积网络,以分类最常见的平片类型(例如,胸部后前位、腹部侧位)。最终模型将公开提供,以便可以对其进行评估并整合到放射学工作流程中。

材料和方法

X线平片

我们机构2017年所有放射影像(N = 71,274)从PACS中调取,并根据WHO诊断影像手册[7],基于其DICOM元数据(检查、序列和图像描述)分为102个类别。由于部分类别仅包含少量图像,我们限定为最大的30个类别(n = 58,219),这些类别占2017年我们机构所有放射影像的81.7%(58,219/71,274)。对于这30个类别,所有图像由一名放射科医师重新审核并纠正了错误分类(即DICOM信息与实际图像内容之间的差异)。表1显示了最终数据集及本研究选定的所有类别和每类图像数量。对于30个类别中的每一类,随机选取100张图像留作内部验证(n = 3000),其余图像用作训练集(n = 55,219)。为评估结果的泛化能力,我们使用来自其他机构、由多个厂商机器采集、存储于我们PACS中的图像(n = 5324)作为外部验证集。为确保这些图像标注正确,由两名经验丰富的放射科医师手动标注,因为DICOM信息无法自动处理、缺失或存在多种不同语言。这些图像不属于训练集,仅用于验证训练好的网络。表1显示了外部验证集每类的图像数量。

表1 用于网络训练、内部验证和外部验证的每类图像数量 查看原表 ↗

神经网络训练

所有图像从PACS导出为JPEG(联合图像专家组)格式并在过程中进行匿名化处理。使用训练集中的图像(n = 58,219),对预训练的MobileNet(1.0版)进行再训练,采用过采样以应对类别不平衡,训练步数为22,000步,学习率为0.1。未使用图像增强技术。网络在标准MacBook Pro(Retina,15英寸,2013年末款,16 GB DDR内存,2.3 GHz四核Intel Core i7)上进行训练。

统计分析

性能指标,如敏感度、特异度、阳性预测值和阴性预测值,使用SPSS 26.0版计算[8]。

结果

内部验证

在内部验证中,模型在验证集中的总体准确率为90.3%(95%CI:89.2–91.3%)。由于该验证集中每类图像数量相等(n = 100),平均敏感度与准确率相同(90.3%),表明平均而言,每类中90.3%的图像被模型正确分类(各类别性能指标见表2)。如表2所示,模型敏感度在各类别间分布较为均衡,范围在61.0%至100.0%之间。30个类别中有18个(60.0%)达到90.0%以上的敏感度,30个类别中有27个(90.0%)达到80.0%以上的敏感度。仅踝关节侧位(敏感度:79%)、腰椎侧位(敏感度:77%)和肩关节出口位(敏感度:61%)的敏感度低于80.0%。

关于其他性能指标,模型的平均特异度为99.7%,表明平均有99.7%的不属于某一类别的图像被正确标记为不属于该类别。模型的平均阳性预测值为90.8%,表明在所有被预测为属于某一类别的图像中,90.8%的图像确实属于该类别。模型的平均阴性预测值为99.7%。

表2 内部验证的性能指标 查看原表 ↗

外部验证

在外部验证中,模型在未见验证集中的总体准确率为94.0%(95%CI:93.3–94.6%)。模型的平均敏感度为93.2%,表明每个类别中93.2%的图像被模型正确分类(各类别性能指标见表3)。敏感度范围为75.0%至100.0%。30个类别中有23个(76.7%)的敏感度超过90.0%,30个类别中有29个(96.7%)的敏感度超过80.0%。仅手指侧位类别(75%)的敏感度低于80.0%。

关于其他性能指标,模型的平均特异度为99.8%,表明平均有99.8%的不属于某一类别的图像被正确标记为不属于该类别。模型的平均阳性预测值为88.6%,表明在所有被预测为属于某一类别的图像中,88.6%的图像确实属于该类别。模型的平均阴性预测值为99.8%。

表3 外部验证的性能指标 查看原表 ↗

讨论

本研究的目的是创建一个可应用于成像流程实际工作中的神经网络,例如,检测和纠正DICOM元数据中的错误、将X线摄影图像路由至更专业的网络进行异常检测、检查Exam未被不必要地重复、控制采集的图像与所申请的图像一致,以及优化显示方案以实现图像的最佳报告。我们训练的模型能够正确分类最常见的平片类型(例如,胸部后前位、腹部侧位),并在内部验证(平均准确率:90.3%)和外部验证(平均准确率:94.0%)中显示出良好的泛化能力。然而,总体高准确率并不一定意味着模型在真实世界条件下会有用。一个重要因素是在所有不同类别之间具有可比的高性能水平。综合内部和外部验证集的结果,各类别之间的性能总体均衡,仅四个类别——踝关节侧位(79.0%)、腰椎侧位(77.0%)、手指侧位(75.0%)和肩关节出口位(敏感度:61.0%)——得分低于80.0%。进一步分析这些类别的错误后发现,模型倾向于给出相似的类别建议,且正确分类在许多情况下是模型的第二预测(见图1)。这可能部分是由于某些图像中体位欠佳,例如患者疼痛可能限制了放射技师实现完美体位的能力。相比之下,高度标准化且明确的图像类别(例如,腹部左侧卧位、髌骨轴位和胸部后前位/前后位)显示出完美的分类结果,准确率高达100.0%。

为进一步评估我们模型的性能,有必要将其性能与其他平片分类方法进行比较。Khatami等使用卷积神经网络(CNN)和Radon变换,在ImageCLEF2009医学标注任务验证集上达到了90.3%的准确率。这与我们在内部验证中90.3%的准确率相比是有利的。然而,不同数据集上的性能难以比较。为进一步评估我们的模型,我们将公开该模型,以便其他机构能够使用自己的数据测试该模型的性能。

我们的研究存在一些局限性:第一,尽管我们研究纳入的30个类别占1年内所有放射影像的81.7%(58,219/71,274),但理想的系统还应包括其余72个类别。

第二,总体准确率仅为90.3%,因此每10张图像中仍有1张需要某种形式的人工干预才能被正确分类。原因有几方面:(a) 当前方法相对“依赖数据”,这意味着它们需要大量图像才能达到较高准确率。在出现能够以更少数据取得更好结果的新技术之前,唯一的选择是多个机构汇集数据,以针对不常见类别获得更好的性能。(b) 对于次优图像,性能通常更差。如前所述,网络的性能将取决于数据集中低质量图像的数量,因为变化较小的高质量图像分类更准确。由于我们确实在来自真实PACS的随机抽样图像上测试了网络,因此与在仅含少量低质量图像的精选数据集上测试模型相比,我们模型的准确率可能更准确地预测真实世界性能。

然而,关于我们研究中达到的准确率,需要注意的是,模型的错误并非随机,因为模型特别容易混淆相似类别,而正确选项通常位于模型的前列建议中。此外,使用模型生成的概率值来标记可能不正确的预测是可行的,因为我们确实发现,不正确预测的概率值(M = 68.2%,SD = 21.0%)显著低于正确预测的概率值(M = 95.2%,SD = 10.9%)(t(2708) = 35.7,p < .001,d = 1.61)。

考虑到我们模型的局限性,我们的AI算法以下应用是可行的:第一,该模型可用于对图像进行分类并添加或纠正DICOM元数据。尽管仍需要人工审核,但工作量可以显著减少。考虑到非常常见的类别,如胸部后前位/前后位或胸部侧位,分类准确率相对较高,PACS的大部分内容可以在错误很少的情况下得到纠正。例如,在我们的样本中,胸部影像约占1年内拍摄放射影像的30.4%(21,697/71,274)。由于胸部后前位/前后位和胸部侧位类别在内部验证中达到100.0%的准确率,我们样本中30.4%的图像本可以使用AI算法轻松标注。此外,与异常检测相比,这是一项风险相对较低的任务,因此部署该模型相对安全。

其次,作为自动化成像流程的一部分,该模型可用于将图像路由至更专业的网络进行异常检测。例如,该模型可首先识别胸部图像,以便随后由专门用于检测胸部X线片[9]、腹部X线片[10]或肌肉骨骼X线片[11–14]异常的神经网络进行分析。同样,我们的模型并未对所有类别都达到完美准确率。然而,我们认为这并不排除该模型的可部署性。该问题的一种可能解决方案是同时使用某类别的平均准确率以及个体预测值来决定如何处理图像。如果图像来自高准确率类别(例如,胸部后前位/前后位)且该特定图像的预测值较高(> 90.0%),则可将其直接发送至二级网络进行异常检测。如果图像来自低准确率类别(例如,肩部出口位)且该特定图像的预测值也较低(< 70.0%),则可将其标记以供人工审核。

总之,我们表明单个机构有可能训练一个神经网络来对最常见的平片类别进行分类,该网络随后可用于清理DICOM元数据或作为自动化成像流程的一部分。为鼓励独立审查和验证以及促进引入可能帮助放射科医师和技术人员完成常规任务的新工具,最终模型将在GitHub(https://github.com/healthcAIr/NNCPR)上公开提供。

图1 被神经网络误分类的四张图像示例。图像a和b实际属于踝关节侧位类别,但被模型误分类为踝关节前后位。图像c和d实际属于肩部出口位类别,但被误分类为肩关节前后位。相应的预测值反映图像属于某一类别的概率,范围为0至100%。数值越高反映图像属于某一类别的概率越高 查看原图 ↗

引用

  1. Dratsch T, Korenkov M, Zopfs D, et al. Practical applications of deep learning: classifying the most common categories of plain radiographs in a PACS using a neural network. Eur Radiol. 2020. PMID: 32986160. doi:10.1007/s00330-020-07241-6
  2. 全文:PMC7979627(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7979627/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。