深度学习在肩痛平片常见病因识别中的应用
本研究训练 ResNet-50 卷积神经网络,基于多机构 2700 张肩部平片及独立测试集 269 张,识别骨折、脱位、钙化、骨关节炎、内固定及关节假体六类表现;骨关节炎 AUC 0.945 最高,钙化 AUC 0.800 最低。作者认为该网络有潜力作为辅助工具用于工作列表排序或增加工作负荷下的安全性。
要点
- 模型识别骨关节炎、内固定及假体准确性高,AUC 分别为 0.945、0.998、1.00。
- 钙化为最难识别表现,AUC 0.800,敏感度 0.60、特异度 0.89。
- 脱位敏感度高达 0.95 但特异度仅 0.65,阅片时需注意假阳性。
关键影像表现/征象
- 骨折表现为肱骨近端骨折,模型 AUC 0.871(95%CI 0.817–0.926)。
- 关节脱位模型 AUC 0.896(95%CI 0.836–0.956)。
- 骨关节炎模型 AUC 0.945(95%CI 0.917–0.972)。
- 关节周围钙化模型 AUC 0.80(95%CI 0.717–0.883)。
- 内固定和关节假体模型 AUC 分别为 0.998(95%CI 0.993–1.00)和 1.00(95%CI 0.99–1.00)。
诊断标准与关键数值
- 骨折:敏感度 0.75、特异度 0.86、准确率 0.84,AUC 0.871(95%CI 0.817–0.926)。
- 关节脱位:敏感度 0.95、特异度 0.65、准确率 0.67,AUC 0.896(95%CI 0.836–0.956)。
- 骨关节炎:敏感度 0.90、特异度 0.86、准确率 0.87,AUC 0.945(95%CI 0.917–0.972)。
- 关节周围钙化:敏感度 0.60、特异度 0.89、准确率 0.84,AUC 0.80(95%CI 0.717–0.883)。
- 阈值选择为使敏感度与特异度之和最高;内固定 AUC 0.998(95%CI 0.993–1.00),假体 AUC 1.00(95%CI 0.99–1.00)。
临床应用与阅片要点
- 作者认为该网络有潜力作为辅助工具,用于工作列表排序或在负荷增加时提供额外安全性。
- 模型对骨关节炎、内固定及假体识别准确性高,对钙化识别能力相对有限。
- 原文未据此给出具体阅片流程或报告建议。
局限性
- 未获取研究人群的额外临床信息,可能因患者特征(如年龄、性别、基础疾病)不平衡而存在偏倚风险。
- 仅评估有限数量的标签,未包括任何形式的病理分级(如骨关节炎严重程度或骨折具体类型),当前状态可能阻碍临床实施。
- 参考标准仅基于平片阅片而非随访横断面成像等更可靠资源,且训练和验证数据标注由单一放射科医师完成,均存在偏倚和误标风险。
- 计算能力限制了所用图像分辨率,可能影响模型对细小钙化或骨折碎片等细微表现的表现。
全文中译11 节 · 点击展开
引言
因疼痛导致肩部功能受限是患者就医和前往急诊科就诊的最常见原因之一[1, 2]。虽然肱骨近端骨折和关节脱位是肩痛最常见的创伤性原因[3, 4],但以肩袖钙质沉积为特征的钙化性肌腱炎是最常见的非创伤性原因之一[5, 6]。
除临床检查外,通常还会拍摄肩部常规X线片以确定肩痛的潜在原因,尤其是在急诊环境中,因为其有助于快速决定进一步治疗方案[7]。然而,由于放射科医师阅片可能需要一段时间,许多肩部X线片首先由申请医师查看,治疗决策可能已在此阶段做出。由于申请医师常面临时间压力,重要发现最初可能被遗漏,从而延误患者适当治疗的启动[8]。因此,配备一种辅助设备将是有益的,如有可能,具有极高灵敏度以避免初始假阴性发现及随后的治疗延误。
卷积神经网络(CNN)在非医学和医学图像数据的计算机视觉任务中均取得了令人瞩目的表现,甚至超越了人类专家[9–11]。CNN的优点是,一旦训练完成,它们几乎可以即时进行图像解读,且不易受疲劳或衰竭的影响。因此,它们在肌肉骨骼放射学领域具有广泛的应用潜力[12]。
因此,本研究的目的是训练一个CNN来检测临床常规拍摄的平片中最常见的肩痛原因,我们将其定义为骨折、脱位、钙化和骨关节炎(表1)。由于内固定材料或内假体的存在可能与骨折等同时出现,从而影响CNN的准确性,我们还旨在使模型能够可靠地识别它们。
方法
数据准备
从服务于PACS(图像归档与通信系统)的多家机构中共提取3682张平片,随后传输至独立服务器并从DICOM格式(医学数字成像与通信)转换为标签图像文件格式(TIFF)。不含肩部的图像被手动排除(n = 38);除此之外,未对图像进行进一步预筛选。最终数据集包括3644张平片,采集自不同体位,如前后位、Y位或出口位,也包括在外科手术过程中或急诊室拍摄的非标准化图像。
发现分布
本分析共纳入来自2442例患者的3644张X线片。整个数据集中所见结果的分布呈强烈偏态。最常见的结果为骨折,占27.1%的病例(n = 989),其次为骨关节炎(占13.1%的病例,n = 479)、骨内固定(占13.1%的病例,n = 477)、内置假体(占12.7%的病例,n = 463)、钙化(占7.7%的病例,n = 279)和脱位(占4.0%的病例,n = 147)。所有X线片中有26.8%(n = 978)未见病理学发现。标签分布概况和数据选择过程见图1。所见结果的分布汇总于表2。
数据标注与划分
从这一提取的图像集合中,生成了三个数据集,分别用于模型的训练、验证和测试。
首先,所有图像均由一名放射科医师标注。这使我们能够按标签对图像进行分组,并在构建测试数据集时从不同图像组中随机抽取。我们选择这种方法是为了便于校正测试数据集中的罕见标签,因为极低的患病率可能对准确度的计算产生负面影响。测试数据集经构建后由n = 269张X线片组成,我们注意确保每例患者仅纳入一张X线片。所有269张图像均由一名对先前标签设盲的放射科医师再次标注。在第一名和第二名放射科医师意见不一致的情况下,由第三名放射科医师担任审核者。
然后,剩余的3375张X线片用于创建训练数据集和验证数据集。我们采用80–20的随机划分,得到包含n = 2700张X线片的训练数据集和包含n = 675张图像的验证数据集。图1展示了数据提取过程的流程图。
所有标注均使用开源程序labelImg(https://pypi.org/project/labelImg/)完成。标注包括以下标签:骨折、脱位、钙化、骨关节炎、骨内固定和全内置假体。允许对一张图像添加多个标签。随后将标注导出为XML格式(可扩展标记语言),并使用“R”编程语言和“tidyverse”库[13]转换为表格格式的独热编码标注。
模型训练
我们采用了Resnet架构的50层卷积神经网络,并在ImageNet数据集[14]上进行了预训练。实现时,在运行Ubuntu 18.04、配备两块Nvidia GeForce RTX 2080ti显卡(每块11 GB内存)的工作站上,使用Python编程语言(https://www.python.org,版本3.8)以及PyTorch(https://pytorch.org)和FastAI(https://fast.ai)库。
在任何训练之前,图像被缩放至宽度1024像素(px),保持长宽比。图像像素值被归一化,并通过随机旋转、镜像和图像畸变对数据进行增强。我们采用渐进式调整大小的策略,从图像尺寸64×64像素和批量大小256张图像开始,共进行十个轮次,使用区分性学习率(即网络前几层的学习率低于后几层)。前五个轮次仅训练模型的分类头,其余权重保持不变,而后五个轮次更新模型的所有权重。每次训练结束后,图像分辨率依次增加到128×128、256×256、512×512,最终达到768×768像素。使用的批量大小为:64像素时256,128像素时128,256像素时64,512像素时32,768像素时16。
在768像素图像尺寸下的最后十个训练轮次中,每个轮次后保存检查点。最后,每个检查点在测试数据集上进行评估,并将十个检查点的预测结果汇总以计算准确率。
为了展示模型的预测结果,计算了示例性的基于梯度的类别激活映射(Grad-CAM,[15])。模型训练的示例代码可在https://gist.github.com/kbressem/7e6fb4ec270cbacde07a379562a18a4b获取。
统计分析
测试数据集上的预测结果导出为逗号分隔值(CSV)格式,然后使用“R”统计语言以及“tidyverse”、“irr”和“ROCR”库进行进一步分析[16–19]。模型性能通过受试者工作特征(ROC)曲线评估并计算曲线下面积(AUC)。评分者间一致性使用Cohen's kappa评估。95%置信区间(95% CI)通过1000次迭代的自举法计算。
结果
模型准确率
模型在骨关节炎检测方面表现出最高的准确率,受试者工作特征曲线下面积(AUC)为0.945(95% CI 0.917–0.972)。对于脱位、骨折和钙化,准确率较低,AUC分别为0.896(95% CI 0.836–0.956)、0.871(95% CI 0.817–0.926)和0.80(95% CI 0.717–0.883)。受试者工作特征曲线和AUC见图2。肩关节假体和内固定材料的存在以近乎完美的准确率被检测到(AUC分别为1.00(95% CI 0.99–1.00)和0.998(95% CI 0.993–1.00))。
通过选择使灵敏度和特异度之和最高的预测阈值来计算灵敏度、特异度和准确率。骨关节炎的灵敏度/特异度/准确率为0.90/0.86/0.87,骨折为0.75/0.86/0.84,关节脱位为0.95/0.65/0.67,关节周围钙化为0.60/0.89/0.84。灵敏度、特异度、准确率和AUC结果也汇总于表1。Grad-CAM示例如图3和图4所示。
评估者间信度
两名放射科医生在测试数据集上的评估者间信度为中等,269张X线片中有78张需要第三名读者裁定。对于骨折,kappa值为0.61(95% CI 0.50–0.73),为第二高的一致性。对于钙化、脱位和骨关节炎,一致性更低,钙化的kappa值k = 0.59(95% CI 0.45–0.74),脱位的k = 0.53(95% CI 0.32–0.74),骨关节炎的k = 0.47(95% CI 0.33–0.60)。
讨论
本研究旨在训练卷积神经网络(CNN)在平片X线片中检测急慢性肩痛最常见的原因。所提出的CNN显示出良好的总体准确率,表明此类网络有潜力为值班医生提供额外的帮助和保障。
尽管关于医学图像分类的已发表研究迅速增加,但迄今为止只有少数研究者关注肩部X线片和肩痛原因。据我们所知,仅有Chung等人的一项可比研究,其中作者明确提出了用于检测肱骨近端骨折的CNN [20]。在其方法中,Chung等人侧重于不同骨折类型的分类,以AUC衡量达到了高准确率。然而,他们仅纳入以严格前后位患者体位采集的肩部X线片,因此未涵盖临床实践中遇到的全部变异性。我们确信,纳入在各种非标准化条件下采集的图像可产生更稳健的方法,在日常使用中更不易出错(图5)。
最近,两项独立研究已证明卷积神经网络(CNN)在检测甚至按制造商区分肩部植入物方面的有效性 [21, 22]。然而,这些研究依赖于正位X线片,而我们的数据包括多种视图,以便检测外科植入物时不依赖于采集时使用的图像设置。因此,我们的模型在临床数据上可能更为稳健,这些数据包括图像质量欠佳的X线片,因为疼痛可能妨碍患者获得最佳体位。
该模型能够可靠地检测肩关节脱位。从我们的角度来看,这对于真实临床应用至关重要,因为肩关节脱位是人类最常见的脱位类型 [4]。
尽管仍能以高准确率检测,但关节周围钙化对我们的模型构成了最大挑战。直觉上,这并不令人意外,尤其是因为小的钙沉积可被骨关节炎中的骨赘部分遮挡,或难以与小碎片区分。据我们所知,这是第一项同时关注关节周围钙化的研究。
文献中有多项研究训练神经网络识别髋关节和膝关节骨关节炎 [23–25]。这些研究均未包括肩关节。尽管肩关节骨关节炎在一般人群中较少见,但它是伤后患者人群中常见且因此相关的创伤后遗症 [4, 26]。因此,像我们的模型那样以高准确率检测这一发现,对任何未来的临床实施都很重要。
我们使用的是多类分类模型,可为每张图像预测所有类别,而不是使用多个二分类器。这与von Schacky等人 [27] 使用的方法相似,他们开发了用于骨关节炎检测的多类分类模型。其他研究使用了最初为对象检测开发的网络架构。在此,分类与使用边界框突出相关区域相结合。Krogue等人 [28] 成功应用了这种方法,他们使用DenseNet识别并对髋部骨折进行亚分类。
总体而言,有许多实际理由需要不断改进神经网络,这些网络有潜力在未来成为医务人员宝贵的辅助设备。这些网络所能提供的最重要帮助可能是减少错误,尤其是在工作量增加的情况下,以及优化工作列表、优先处理关键发现或充当第二读者。Rajpurkar等人[29]的工作采用了一种不同且基本简化的方法来实现这一目标。在他们的研究中,作者训练了一个神经网络用于简单的二分类任务,即区分来自公开可用的MURA数据集(上肢常规图像集合)的正常和异常图像。有趣的是,他们发现其模型在肩部图像上的表现劣于人类对照,而在腕部、手部和手指图像上取得了可比的结果。我们得出结论,肩部平片可能对卷积神经网络(CNN)构成相当大的挑战,尤其是当期望其检测更细微的发现如关节周围钙化时。然而,总体而言,我们的结果令人鼓舞,并强烈鼓励进一步试验,最终实现临床转化。
局限性
我们的研究存在若干局限性:未获取研究中纳入人群的额外临床信息,由于患者特征(如年龄、性别、基础疾病)可能存在不平衡而带来偏倚风险。此外,仅评估了有限数量的标签,未包括任何形式的病理发现分级,如骨关节炎的严重程度或骨折的具体类型。在当前状态下,这可能会阻碍临床转化。此外,金标准仅基于放射影像阅读(而非使用更可靠的资源如随访横断面成像),且训练和验证数据的标注由单一放射科医师完成。这两种做法均存在偏倚和错误标注的风险。同时,计算能力限制了所应用的图像分辨率,在面对微小钙化或骨碎片等细微发现时可能损害模型性能。
结论
卷积神经网络(CNN)在医学影像中的快速发展正在为辅助设备的开发铺平道路,这些设备最终可能通过提供第二阅读实例来帮助医务人员。我们提出了一种稳健的CNN,能够在平片上检测肩部疼痛的常见原因,即使在面对临床实践中常见的图像质量受损情况下,尤其是在急诊环境中。
引用
- Grauhan NF, Niehues SM, Gaudin RA, et al. Deep learning for accurately recognizing common causes of shoulder pain on radiographs. Skeletal Radiol. 2021. PMID: 33611622. doi:10.1007/s00256-021-03740-9
- 全文:PMC8692302(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8692302/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。