文献速递骨肌技术与安全DR

SAM-X:基于深度学习的肌骨X线解剖部位分拣算法

SAM-X: sorting algorithm for musculoskeletal x-ray radiography.
PubMed 文献 · Eur Radiol · 2022-10-29

本研究开发并验证了一种两阶段深度学习分拣算法SAM-X,用于在图像采集后按解剖部位自动归类肌骨X线图像。研究回顾性纳入42,608张非结构化肌骨X线图像,第一阶段采用自监督聚类,第二阶段由放射科医生赋予弱语义标签后训练分类器。最终模型对28个解剖部位的分类准确率在验证集为96.2%,留出测试集为96.6%,考虑前两个预测标签时准确率分别达99.7%和99.6%。

要点

  • SAM-X算法可自动将肌骨X线按28个解剖部位分类,测试集Top-1准确率96.6%。
  • 考虑前两个预测标签时准确率接近99.6%,表明模型关注解剖区域而非偶然特征。
  • 该方法有助于大规模回顾性影像数据集的构建和归档,提升工作效率。

核心结论

  • 两阶段深度学习分拣算法SAM-X能准确将肌骨X线图像按解剖部位分类,适用于数据集构建和图像采集后管理。
  • 模型在留出测试集(含50%外部数据)上Top-1分类准确率达96.6%,Top-2达99.6%。
  • Grad-CAM显示模型关注区域与放射科医生分类时考虑的解剖区域一致,支持其合理性。

研究设计与样本

  • 回顾性研究,共纳入42,608张来自单一肌骨肿瘤中心的非结构化匿名X线图像,采集时间跨度25年。
  • 第一阶段使用自监督模型DeepCluster将图像聚类为1000个簇,由一名资深放射科医生赋予弱语义标签并合并同类簇,丢弃332个非肌骨簇。
  • 第二阶段将标签注入自监督模型训练分类器,数据按6:2:2划分训练、验证和留出测试集,采用5折交叉验证,留出测试集中50%为外部数据。

关键影像表现/征象

  • 原文未报告具体影像征象,重点在于图像按解剖部位自动归类,最终识别出28个肌骨解剖类别。
  • Grad-CAM热图显示模型预测时关注与解剖部位相关的区域,而非背景或伪影。
  • 即使存在异质性病变(如膝关节多种病理表现),模型仍能正确分类。

诊断标准与关键数值

  • 自监督聚类阶段归一化互信息(NMI)为0.930。
  • 分类模型Top-1准确率:验证集96.2%,留出测试集96.6%。
  • 分类模型Top-2准确率:验证集99.7%,留出测试集99.6%。
  • 最终分类类别为28个肌骨解剖部位,包括腹部、踝、跟骨、颈椎、锁骨、肘、股骨、指、足、前臂、手、髋、肱骨、膝、小腿、腰椎、鼻旁窦、髌骨、骨盆、肋骨、骶骨、肩、颅骨、脊柱、胸椎、胸廓、站立全腿和腕。

临床应用与阅片要点

  • 该算法可用于图像采集后自动按解剖部位分拣肌骨X线,便于构建大规模结构化数据集,减少人工整理时间。
  • 模型假设输入图像属于预定义的肌骨类别,若输入其他模态图像(如超声或断层图像)可能被强制归入某一类,需在应用时注意。
  • 模型允许一张图像对应多个可能标签(Top-2),在解剖区域重叠时(如肩与锁骨)可提高容错性。

局限性

  • 研究为单中心回顾性设计,外部数据仅占留出测试集的50%,需多中心验证。
  • 模型假设输入图像属于预定义的肌骨类别,无法识别并拒绝非肌骨X线或其他模态图像。
  • 弱监督标签可能存在噪声(如图像包含多个解剖部位时仅赋予单一标签),研究通过Top-2准确率部分缓解但未完全解决。
  • 原文未提供患者性别、年龄、诊断等元信息的分布分析。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Oct 29;33(3):1537–44. doi: 10.1007/s00330-022-09184-6

引言

肌肉骨骼疾病对当今医疗保健系统构成日常且全球性的挑战,给社会带来深远的经济负担,并对每位受此疾病影响的患者产生后果。最终,它们导致疼痛和活动受限,并干扰个体的生活质量[1]。这些疾病在病理生理学方面表现多样,大多数病症至少部分根据其所在的解剖实体进行分类。因此,解剖学是此类疾病的关键组织原则[2]。伴随着医学影像不断改进的进程,其变化迅速且创新不断[3],近期人工智能(AI)和人工神经网络时代的到来可能潜在地导致放射学检查数量的增加。这对医学影像而言尤其如此,因为它在日常临床常规和肌肉骨骼疾病患者共享照护的工作流程中构成基石。在AI新技术的发展历程中,已注意到与医学影像相关的多种医学应用,其中大多数聚焦于AI与人类的头对头比较[4]。然而,现代影像更可能涉及人在回路(human-in-the-loop)的设置,即人类主动与AI系统协作并提供监督。当面对图像数据的增加时,放射学影像工作流程的复杂性及相应数据量促使需要能够理解和利用放射学数据以获得新知识和洞见的方法[5]。医学影像技术的复杂性给放射科医师和神经网络带来了捕捉每个数据集所有细节的挑战,当结合人-AI协作的工作流程时,可能逆转降低医疗成本和时间消耗的预期效果。为了避免在人类与AI系统主动协作中管理复杂数据集时出现权衡[6],根据解剖实体进行预分选的算法有助于对大量图像数据进行分类,从而实现更有效的数据分析。

在过去几年中,出现了多种监督、无监督以及自监督模型[7–11]。这些模型可用于数据分选。然而,监督学习需要大量标注数据,因此需要领域专家投入大量时间[12, 13]。相比之下,无监督和自监督模型消除了耗时标注的需求,但数据聚类遵循相似性度量等数学规则,因此不一定根据特定需求对数据进行聚类。在本研究中,我们聚焦于利用和修改一个已建立的自监督模型,以根据特定需求有效且高效地对数据进行分类,同时仍将人工交互的需求保持在最低水平。DeepCluster[8]展示了一种用于学习图像表示的自监督方法。该模型使用标准k-means聚类算法迭代地对特征进行分组,并使用随后的标签作为监督来更新网络的权重。

因此,在本研究中,我们提出了一种用于肌肉骨骼X射线摄影的分选算法(SAM-X),这是一个在大规模图像数据集背景下支持自动分类和推理的新颖框架。

材料与方法

数据集

当地机构审查与伦理委员会批准了这项回顾性研究(编号48/20S)。该研究按照国家和国际指南进行。由于本研究为回顾性且已匿名化,豁免了知情同意。

共从当地影像归档与通信系统(PACS)中检索到42,608张非结构化且假名化的X线片,来源于一家肌肉骨骼肿瘤中心(慕尼黑工业大学伊萨尔河右岸医院),带有肉瘤相关ICD编码,格式为DICOM。图像数据收集跨越过去25年,包含异质性数据质量、分辨率和外部图像(约20%)。DICOM头信息或诊断等元数据尚未经验证,因此尚不可用。

所有X线片均按照所成像的身体部位,依据标准X线摄影技术并获得本机构的X线摄影操作手册规范获取。基于上述肉瘤相关ICD编码选择,数据获取时间点可能处于各自治疗状态的不同阶段。由于肉瘤的影像学表现多样且位置广泛,我们的数据集包括所有身体部位的多种图像,包括潜在的解剖变异、假体装置和医疗植入物。图1展示了数据集中的示例。

图1 示例数据样本,展示初始非结构化数据集合中的各种解剖实体 查看原图 ↗

统计分析

初始聚类(第1阶段)的结果通过归一化互信息(NMI)指标进行评估。NMI是信息论中常用度量——互信息的一种变体。互信息表示从一个分布中关于另一个分布可提取的“信息量”。分类任务中图像排序的结果通过准确率评分衡量,即计算 hold-out 测试集中正确分配图像占所有图像的比例。此外,还计算了考虑两个最可能预测标签时的准确率。由于元信息尚不可用,未进行性别、社会性别、诊断等的分布分析。

模型训练

模型训练和推理在DGX Station A100上进行,配备四个80 GB图形处理单元(Nvidia公司,圣克拉拉)、64个2.25 GHz核心和512 GB DDR4系统内存,运行Linux/Ubuntu 20.04发行版(Canonical)。预处理和模型实现使用Python 3.9.6(https://www.python.org/)完成,采用PyTorch 1.10.2和cuda工具包11.3(https://pytorch.org/)。训练完成的分类模型将在发表后在GitHub(https://github.com/)上提供。

算法

开发了一个两阶段深度学习框架,包括自监督模型、通过弱语义标签分配进行人工交互,以及实施监督学习任务以进行最终训练(图2)。

在第一阶段,来自肌肉骨骼研究存储库的42,608张非结构化且假名化的X射线图像通过应用DeepCluster[8]被聚类为1000个簇。随后,一位资深放射科医师通过筛选第一阶段的结果确定了若干肌肉骨骼标签。1000个簇中的每一个被分配一个类别标签或被丢弃,因为这些图像不适用于当前任务(例如,非肌肉骨骼X射线,如上消化道系列/钡餐、乳腺摄影)。具有相同类别标签的簇被合并,因此产生了“弱”(噪声)类别。在第二阶段,卷积神经网络在出现的类别上作为弱语义标签进行训练:为实现网络权重的最优训练和更新,创建的标签被“注入”到相同的自监督模型中。由于我们提供了标签,来自k-means的每次训练迭代的辅助标签变得过时。这变成了一个监督任务,网络权重根据我们的分类要求进行训练。为了提供统计显著性和避免交叉污染,数据被分为训练集、验证集和留出测试集,分割比例分别为6-2-2,因此实施了5折交叉验证。留出测试集的一半由外部影像数据组成,以提供独立且无偏的测试集并提高结果的显著性。

图2 所提出框架的两个阶段示意图:使用自监督模型对数据进行聚类,以及使用人工标注的簇训练网络 查看原图 ↗

合理性

为增加合理性和对AI模型的额外洞察,在最终推理步骤中实施了Grad-CAM[14]。Grad-CAM利用深度学习网络最后一个卷积层的梯度信息来理解特定神经元及其对决策的影响。结果是彩色热图,与原始输入图像配准,指示算法在何处找到当前任务的相关信息。该技术被应用于更好地理解算法在何处检测到相关信息。为提供更高的表达力,Grad-CAM结果从5折交叉验证中取平均值。

结果

在第一阶段,对整个数据集进行聚类达到了0.930的NMI。随后,一位资深放射科医师确定了以下28个主要肌肉骨骼类别:腹部、踝、跟骨、颈椎、锁骨、肘、股骨、指、足、前臂、手、髋、肱骨、膝、小腿、腰椎、鼻旁窦、髌骨、骨盆、肋骨、骶骨、肩、颅骨、脊柱、胸椎、胸部、全腿(站立)和腕。总共,来自332个簇的13,175张非肌肉骨骼图像被丢弃,剩余29,433张图像的“肌肉骨骼子集”用于进一步训练。表1显示了最终类别及每类图像数量和相对于肌肉骨骼子集的百分比占比。

在第二阶段,仅考虑预测概率最高的类别时,验证集的交叉验证分类准确率为96.2%,留出测试数据为96.6%。当考虑前两个预测类别标签时,验证集和测试集的准确率分别达到99.7%和99.6%。图3显示了膝簇最终预测的示例。

此外,图4展示了骨盆(1a、1b)和肩部(2b、2b)类别的交叉验证Grad-CAM结果。紫色像素表示算法在这些像素中未发现任何相关信息,而红色像素则表示检测到最相关的信息。

表1 最终类别及相应的图像样本数量和百分比占比 查看原表 ↗
图3 最终膝关节类别的示意图,显示尽管存在潜在的不同病理变化,仍能正确识别解剖实体(膝关节) 查看原图 ↗
图4 骨盆(1a和1b)和肩部(2a和2b)类别的Grad-CAM示例,显示对算法预测相应类别相关的像素区域 查看原图 ↗

讨论

在本研究中,我们展示了一种用于肌肉骨骼X射线放射照片的分拣算法(SAM-X),可根据解剖实体对图像进行分类。基于两阶段深度学习框架,42,608张非结构化和假名化的放射照片被分为总共28个解剖区域。验证集交叉验证准确率为96.2%,留出测试数据准确率为96.6%,表明具有高准确性和极好的可靠性。上述膝关节簇的最终预测表明,即使膝关节的病理和表现差异很大,也能被正确识别和分类。此外,计算得到的Grad-CAM显示了算法预测特定类别的关注焦点,有助于揭示深度学习方法的黑箱本质。这些结果强调了预测的合理性和稳健性:算法主要关注对相应类别具有重要意义的解剖区域,放射科医师在确定类别时也会使用这些区域。

如今,医学人工智能系统和神经网络的新兴应用为我们的日常临床工作和研究带来了重要但“仍在发展中”的机遇。自数字成像系统引入以来,放射学一直处于医学影像演变的前沿[15],远程放射学[16]、计算机辅助诊断工具[17]、人工智能系统和机器学习方法已在数字化时代涌现。最终,这导致放射学检查数量显著增加[17, 18]。尽管以往研究项目广泛采用人工智能与人类的直接对比分析[4, 9],削弱了人们对这些新技术潜在可信度的信心,但未来的应用更可能采用我们研究中同样使用的人在回路(human-in-the-loop)模式,提供人类与人工智能系统积极协作的可能性。由于临床放射学检查的复杂性,加上每次检查所关联的数据量,放射科日常运营可能变得低效,需要工具来改善日常工作流程和生产力[19]。更进一步,在影像研究方面,最耗时的部分将变成数据集构建,这可能成为数据收集与结构化数据和非结构化数据创建之间的瓶颈[7]。此外,就肌肉骨骼疾病而言,放射科医生、临床医生和研究人员面临多种潜在的病理类型,在上述放射学检查数量增加和大型影像数据集的背景下,可能受益于预分拣算法以维持秩序和效率。尽管上述技术已经出现,但迄今为止,X线摄影在诊断、鉴别和评估各种肌肉骨骼疾病的发病及进展方面仍然发挥着重要且基础性的作用[20, 24]。

主要是为了统一职业暴露并促进职业健康实践、监测或研究中荟萃分析的研究比较[25],肌肉骨骼疾病分类原则已被广泛用于识别可能导致肌肉骨骼疾病发生或加重的潜在病因学或工作相关因素[26, 27]。然而,在研究或日常临床常规背景下的病例分类需要考虑可行性和资源可用性。因此,Dionne等[28]根据其研究目的提出了一个用于分类肌肉骨骼疾病的最小和最佳病例定义,以促进结果的平衡。与上述聚焦于肌肉骨骼疾病前述病因学方面的研究不同,我们研究中提出的排序算法介入处理肌肉骨骼疾病的图像采集后管理,但仍与Dionne等上述方法一致,因为我们提出的基于解剖实体的预排序算法为评估肌肉骨骼疾病时对放射图像进行分类提供了一个最小但仍最佳的工具。由于放射学检查的扩展最有可能产生大量信息,并且为了建立一个共同的枢纽以促进这些具有潜在 underlying 肌肉骨骼疾病的大型图像数据集,我们研究中的数据根据其解剖实体进行分类,因为大多数肌肉骨骼疾病至少部分是根据其所在解剖实体进行分类的[2]。

据我们所知,尚未提出按肌肉骨骼特征对医学放射图像进行策展和分类的框架。然而,相关问题已被解决。2005年,Lehmann等[29]提出将医学图像自动分类为80个类别,例如在基于内容的图像检索(CBIR)背景下按成像模态和生物系统分类。Uwimana等[30]也展示了一种基于内容的图像检索模型,通过建立图像低层特征与文本代码高层特征之间的联系。Gál等[31]提出了一种采用多学科方法的CBIR模型,通过结合图像特征、元数据、文本和参考信息来解决分类问题。最近,Guo等[32]提出了一种用于皮肤病学图像量化的交互式算法,结合了计算、可视化和专家交互。最可比的研究由Kart等[33]提出:DeepMCAT,一种同样基于DeepCluster[8]的无监督聚类方法。端到端训练可在没有任何标注的情况下自动将大规模心脏MR图像分类为13个类别。与Kart等提出的方法的主要区别在于,我们整合了弱标注以根据我们的需求训练CNN,并且我们旨在将X射线图像分类为28个类别。然而,我们假设我们的方法通常可以实现高结果,因为实施了强大的最先进自监督方法,同时将人工交互的需求保持在有限水平,并且仅需微小调整即可适应其他需求。

我们承认我们的研究存在若干局限性。首先,分类器确实假设输入图像与某个(预)定义的放射学类别相关。若图像来自不同的成像模态,例如超声或横断面成像,并被错误地并入我们的SAM-X模型,则不会被识别为此类情况,而是被强制归入某一类别。然而,这是AI分类模型的一个常见问题,未来需要加以解决。其次,弱监督是一种机器学习方法,它使用不精确(含噪声)的数据进行监督学习,通常绕过手动标注整个数据集这一耗时任务[34],例如通过聚类方法获得弱标签。假设某些图像即使感兴趣区域存在于图像中(例如肩部和锁骨或股骨和膝部)也被“错误”聚类,那么考虑为单张图像分配多个标签是合理的。为解决这一问题,我们计算了第二个准确率评分,并考虑了概率最高的两个预测(如“结果”部分所示)。验证集和测试集的相应评分分别达到99.7%和99.6%(相比单标签的96.2和96.6)。这些数字表明,该模型并未依据任何偶然的图像特征(如背景或伪影)进行弱标注,而是确实依据相似的解剖特征进行了标注。

总之,为应对放射学检查数量不断增加以及随之而来的大型图像数据集,我们提出了一种精确的人在回路(human-in-the-loop)排序算法,用于根据肌肉骨骼疾病所在的解剖实体对放射图像进行分类,以辅助评估肌肉骨骼疾病。在数据集构建方面,该算法有望成为图像采集后环境中一种高效且省时的工具。

引用

  1. Hinterwimmer, Consalvo, Wilhelm, et al. SAM-X: sorting algorithm for musculoskeletal x-ray radiography. Eur Radiol. 2022. PMID: 36307553. doi:10.1007/s00330-022-09184-6
  2. 全文:PMC9935683(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9935683/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。