文献速递骨肌DR

一种新设计的基于深度学习算法在腕关节X线摄影中自动评估舟月间距作为舟月韧带断裂替代参数及与关节镜结果相关性的评价

Evaluation of a newly designed deep learning-based algorithm for automated assessment of scapholunate distance in wrist radiography as a surrogate parameter for scapholunate ligament rupture and the correlation with arthroscopy.
PubMed 文献 · Radiol Med · 2023-09-20

该研究对预训练深度学习算法进行微调,用于在腕关节后前位X线片上自动测量舟月间距,并在364例患者共1604张X线片上与有经验阅片者及关节镜Geissler分级进行相关性分析。算法与人工阅片者测量值的相关系数为0.81(P<0.01),区分Geissler分期≤2与>2的敏感度和特异度分别为74%和78%,接近人工阅片者的77%和80%。作者认为此类算法可能成为辅助临床医生基于X线片就舟月韧带完整性进行初步决策及后续分诊的有价值工具。

要点

  • 深度学习算法自动测量舟月间距与人工阅片者测量值的相关系数为0.81(P<0.01)。
  • 算法区分Geissler分期≤2与>2的敏感度74%、特异度78%,人工阅片者为77%和80%。
  • 算法结果未受金属植入物影响,所有X线片均未出现输出失败。

核心结论

  • 此类深度学习算法可能成为辅助临床医生基于X线片就舟月韧带完整性进行初步决策及后续患者管理分诊的有价值工具。

研究设计与样本

  • 预训练Mask R-CNN ResNet 50 FPN模型在201张后前位腕关节X线片(含中立位、桡偏、尺偏)上微调,用于自动分割舟骨与月骨并测量两者间最小距离。
  • 评估数据集为364例临床诊断腕痛并怀疑舟月韧带撕裂患者的1604张腕关节X线片及对侧正常手X线片,纳入标准为3个月内有对应关节镜结果,研究期间为2010年10月至2017年12月。
  • 以关节镜Geissler分级作为舟月韧带完整性的参考标准,将算法结果与有5年腕关节X线阅片经验的人工阅片者测量值及关节镜结果进行相关性分析。

诊断标准与关键数值

  • 人工阅片者测量舟月间距平均2.3 mm(范围0.2–10.2 mm),第5和第95百分位分别为0.7 mm和5.2 mm,46%的测量值>2 mm,22%>3 mm。
  • 算法测量舟月间距平均2.3 mm(范围0.0–15.9 mm),第5和第95百分位分别为0.2 mm和4.0 mm,22%的测量值>2 mm,11%>3 mm。
  • 算法与人工阅片者测量值的Pearson相关系数为0.60(P<0.01);剔除算法测量值>7 mm和>5 mm的影像后,相关系数分别为0.80(P<0.01)和0.81(P<0.01)。
  • 算法区分Geissler 0 vs >0和≤1 vs >1的AUC均为0.80,区分≤2 vs >2的AUC为0.79。
  • 剔除算法测量值>7 mm的9张影像(相当于输出失败0.56%)后,以最佳截断值≤1.96 mm vs >1.96 mm,区分Geissler 0 vs >0、≤1 vs >1、≤2 vs >2的敏感度/特异度分别为0.70/0.84、0.71/0.83、0.72/0.79。

临床应用与阅片要点

  • 算法在区分Geissler分期≤2与>2时敏感度74%、特异度78%,人工阅片者为77%和80%,二者诊断准确性接近。
  • 算法结果未受金属植入物(Herbert螺钉和骨锚钉)影响,且无X线片出现输出失败。
  • 根据Geissler建议,算法在无需治疗、需至少微创手术(关节镜下复位克氏针固定)和需开放手术(切开复位修复)三种情况下的指示正确率分别为83%、72%和74%。

局限性

  • 与其它研究一样,新开发的深度学习算法并非无错误。
  • 研究为回顾性设计,用于微调算法的数据集相对较小(n=201),而其它类似研究多使用数千例数据。
  • 评估病例数相对较少(n=364例患者),可能限制研究结果对其他人群的普适性。
  • 本研究仅评估了一种深度学习算法,深度学习领域快速发展,新的性能更好的模型可能优于本研究所用算法。
  • 更充足的训练和前瞻性临床常规评估可能进一步改善算法。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Radiol Med. 2023 Sep 20;128(12):1535–41. doi: 10.1007/s11547-023-01720-8

引言

人工智能(AI)是一个涵盖性术语,指无需人工干预即可做出智能决策的数学算法[1]。近年来,深度学习(DL)算法在医学研究中成为特别受关注的对象。基于预训练的神经网络及进一步的特异性训练,这些算法有可能在相同性质的新颖和未知情境中做出适当决策[2, 3]。DL算法目前被用于放射学研究中的图像采集,例如,为了缩短磁共振成像(MRI)的采集时间[4–6]。另一个关注领域是自动化图像解读,例如在动态MRI或传统X线摄影中[7–10]。基于DL的自动化图像解读的目标是达到高灵敏度和高特异度。

舟月韧带(SL)是腕关节稳定性的重要组成部分。SL撕裂及随后的功能不全可能导致舟月进行性塌陷(SLAC),后者是创伤后腕关节退变最常见的原因[11]。为阻止从SL撕裂向腕关节退变的进展,早期诊断和治疗是必需的[12]。对于疑似SL撕裂且无侵入性方法风险的患者,首选的影像学检查方式是MRI。侵入性方法如CT关节造影或MRI关节造影已被报道优于MRI[13],而关节镜检查仍是明确疑似SL撕裂的金标准[14]。腕关节平片最适合用于疑似SL撕裂患者的初步分诊[15]。然而,在X线图像上检测潜在的SL撕裂可能具有挑战性。因此,开发可靠的SL完整性自动化评估在SL撕裂的早期发现及早期治疗方面可能具有显著的临床价值。DL算法可能在这一重要的初步决策中为解读影像的放射科医师或外科医师提供支持。

本手稿利用DL领域的最新进展,开发一种用于腕关节X线摄影的算法,以检测SL分离作为SL撕裂的替代参数,并将该算法与同一患者的放射学报告和关节镜检查结果进行比较评估。

材料与方法

研究设计

机构审查委员会批准了研究设计(审查委员会申请编号600/2021BO2)。本研究按照《赫尔辛基宣言》(2013年修订版)进行。

一个预训练的DL算法在腕关节后前位X线片上进行特异性训练(训练数据集n = 201;50.7%右手,49.3%左手,31.8%尺偏,30.8%桡偏,37.3%中立手位)。这些图像于2021年7月从机构图像存档与通信系统(PACS)中随机选取。无特定排除标准(图1)。

此后,DL算法分析了一个评估数据集(n = 364例患者,n = 1604张X线片),包括临床诊断为腕关节疼痛并疑似SL撕裂患者的腕关节X线片及对侧未受累手的相应X线片。纳入标准为存在时间相关的关节镜对照,最大时间间隔为三个月。同样无特定排除标准。X线片来源于2010年10月至2017年12月的研究期间。

深度学习(DL)算法的结果与一位经验丰富的人类评估者的结果以及关节镜检查结果进行了相关性分析。

图1 用于在背掌位X线摄影上评估舟月(SL)完整性的新型深度学习(DL)算法的开发与评估流程图。DL = 深度学习,SL = 舟月韧带 查看原图 ↗

X线摄影的图像采集

训练数据集和评估数据集中的所有X线片均从机构影像归档与通信系统(PACS)中提取。纳入的X线片包括所有背掌位视图、手中立位以及桡偏和尺偏位的X线片。大多数X线片是在三台机构X线扫描仪之一(PCR Eleva,Philips Medical Systems DMC,德国汉堡)上按照标准腕关节方案的剂量相关参数(52 kV和2.5 mAs)拍摄的。此外,还包括因诊断和治疗原因转入机构PACS的外院患者X线片,这些X线片由不同供应商的不同X线扫描仪采用不同的检查方案采集。

用于自动评估舟月间距的深度学习算法的开发

使用Mask RCNN Resnet 50 FPN模型[16]开发了一种深度学习算法,用于自动评估腕关节X线片中的舟月间距。Mask RCNN是一种最先进的深度学习架构,结合了目标检测和实例分割任务。该模型在Common Objects in Context(COCO)数据集上进行了预训练[17]。

随后对预训练模型进行微调,以分割X线片上舟骨和月骨的轮廓。为此,在训练数据集中标注了舟骨和月骨的骨外周轮廓,不考虑皮质骨和髓质骨的重叠或不同骨骼之间的重叠。两块分割骨之间的最小距离被定义为舟月间距。微调使用了包含n = 201张不同程度舟月分离的腕关节X线片的数据集。模型经过训练以实现舟骨和月骨的精确分割。为避免过拟合并确保稳健的性能,在n = 80张腕关节X线片的验证集上跟踪平均精度(AP),并每250个epoch评估一次该性能。采用此间隔的理由是防止基于相对较小的验证集上单个epoch的孤立结果而过早得出结论,这些结果可能无法正确代表模型在未见测试集上的性能。基础学习率设为0.00–025,权重衰减设为0.0001,模型训练了2000个优化步骤,此后在验证集上未观察到进一步改善。批大小设为2,以平衡内存使用和计算效率之间的权衡。我们使用Python包detectron2 v0.6实现了深度学习算法,并使用了该包的默认预处理步骤。所有训练和推理代码公开 available at www.github.com/blinded-for-review。

通过深度学习算法、人类评估者和关节镜检查评估舟月完整性

根据训练,深度学习(DL)算法分割舟骨和月骨,并测量两骨之间最小的舟月(SL)距离(mm)。人工报告者(具有五年专用腕部X线摄影经验)根据舟骨和月骨公认的皮质轮廓测量SL距离(mm)。由于对于正常SL距离的判读尚无国际共识,结果根据近期文献和最常见实践进行分析,采用≤ 2 mm versus > 2 mm以及≤ 3 mm versus > 3 mm的截断值[15, 18]。此外,为DL算法确定了最佳阈值。我们计算了DL算法和人工报告者的敏感性和特异性。

关节镜下SL完整性根据手术报告中基于Geissler分类[19]进行分析。

统计分析

统计分析使用scipy软件包(版本1.10.0)进行。评估算法的性能,并以受试者工作特征(ROC)曲线呈现。此外,我们使用Youden's J统计量[20]确定DL算法预测SL完整性时的最佳阈值。我们计算了一系列可能阈值值的J统计量,并选择使J最大化的值。所得阈值随后用于根据DL算法的SL距离测量将关节镜下SL完整性预测为阳性或阴性。

作为滤除舟骨或月骨误分类观察的替代测量,我们还分别分析了预测SL距离低于5 mm和7 mm的X线片亚组。

我们使用Spearman秩相关系数将DL算法的分类与人工报告者和关节镜检查的分类进行比较,关节镜检查被视为诊断SL完整性的金标准。人工报告者的SL距离与DL算法的SL距离使用Pearson相关系数进行比较。

结果

研究人群

评估数据集以男性为主(n = 267;73.4%),女性患者为(n = 97;26.6%),平均年龄为47.5 [± 12.8]岁,总范围为10–78岁。在评估数据集的1604张图像中,791张来自左手,813张来自右手,532张为桡偏,534张为尺偏,538张为手中立位。

评估数据集中SL完整性的关节镜结果包括Geissler[19]的所有分期:56.5%、2.5%、5.5%、7.5%、28.0%(0期–4期)。在三名患者中,手术报告未提及SL完整性的Geissler分期。

人工报告者对SL完整性的评估

人工报告者观察到的平均SL距离为2.3 mm,范围从0.2 mm至10.2 mm。第5和第95百分位数分别为0.7 mm和5.2 mm,如图2所示。在报告的测量值中,46%的SL距离大于2 mm,22%的SL距离超过3 mm。

人工报告者测量的SL距离与Geissler分类之间的Spearman秩相关系数为0.58(P < 0.01)。表1描述了基于人工报告的SL距离预测关节镜下SL完整性的敏感性和特异性。

图2 研究人群中由人工报告者测量的SL距离直方图(n = 364例患者;n = 1604张X线片)。虚线标记均值、第5百分位数和第95百分位数。SL = 舟月 查看原图 ↗
表1 经验丰富的人工报告者在背掌位X线片上评估SL距离作为预测关节镜下SL完整性替代参数的敏感性和特异性 查看原表 ↗

深度学习算法对SL完整性的评估

没有X线片无法被深度学习算法评估(无输出失败)。深度学习算法测量的平均SL距离为2.3 mm,范围为0.0 mm至15.9 mm。如图3所示,第5百分位数和第95百分位数分别为0.2 mm和4.0 mm。报告的测量值中22%的SL距离大于2 mm,11%的SL距离大于3 mm(示例图片见图4)。

深度学习算法测量的SL距离与人类专家之间的Pearson相关系数为0.60(P < 0.01)。当剔除深度学习算法中大于7 mm和大于5 mm的测量值后,深度学习算法测量的SL距离与人类专家之间的Pearson相关系数分别为0.80(P < 0.01)和0.81(P < 0.01)。

受试者工作特征(ROC)曲线显示深度学习算法性能稳健(见图5)。对于Geissler分类0对比> 0以及≤ 1对比> 1,ROC曲线下面积(AUC)为0.80;对于≤ 2对比> 2,AUC为0.79。

深度学习测量的SL距离与Geissler分类之间的Spearman等级相关系数为0.52(P < 0.01)。表2显示了基于深度学习算法SL距离数据预测关节镜下SL完整性的敏感性和特异性。当剔除深度学习算法中大于7 mm的测量值后(排除n = 9张X线片,相当于0.56%的输出失败率),以≤ 1.96 mm对比> 1.96 mm为最佳截断值时,Geissler分类0对比> 0的敏感性和特异性分别为0.70和0.84,≤ 1对比> 1分别为0.71和0.83,≤ 2对比> 2分别为0.72和0.79。当剔除大于5 mm的预测值后(排除n = 24张X线片),敏感性和特异性分别为0.67/0.86(Geissler 0对比> 0)、0.68/0.85(Geissler ≤ 1对比> 1)和0.70/0.81(Geissler ≤ 2对比> 2)。

图3 研究人群中由深度学习算法测量的SL距离直方图(n = 364例患者;n = 1604张X线片)。虚线标记均值、第5百分位数和第95百分位数。SL = 舟月,DL = 深度学习 查看原图 ↗
图4 腕关节背掌位X线片,基于深度学习的舟骨和月骨自动分割及SL距离自动测量。示例展示了不同患者的X线片谱系,包括右手和左手、不同手部位置、不同X线片倾斜角度、不同准直范围、正常和增宽的SL距离,以及带有金属植入物(Herbert螺钉和骨锚钉)的X线片。DL = 深度学习,SL = 舟月 查看原图 ↗
图5 深度学习算法根据Geissler分类对关节镜下评估的SL完整性的ROC曲线。ROC = 受试者工作特征,AUC = 曲线下面积,DL = 深度学习,SL = 舟月韧带 查看原图 ↗
表2 新设计的深度学习算法在背掌位X线片上评估SL距离作为预测关节镜下SL完整性替代参数的敏感性和特异性 查看原表 ↗

讨论

舟月韧带(SL)撕裂被认为是创伤后退行性腕关节炎最常见的原因[11]。至于排除骨折等骨性损伤,急诊科急性腕部创伤患者通常接受平片检查。如果临床怀疑SL撕裂,并且根据个体间不同的机构标准操作流程,静态X线摄影可能会补充动态X线摄影,例如本研究所采用的桡/尺偏运动。在本研究中,平片诊断准确性在使用3 mm截断值时最高,例如区分SL撕裂Geissler分期≤2和>2的敏感性为77%,特异性为80%。这与文献中报道的X线摄影检测SL分离的敏感性81%和特异性80%的结果一致[21]。

尽管新开发的深度学习(DL)算法测量SL距离的方式略有不同——在每张X线片上测量舟骨和月骨之间的绝对最短距离,而假定经验丰富的人类报告者能够检测到重叠,从而测量两块骨皮质边界之间的最短距离——但新开发的DL算法与人类报告者呈强正相关(0.81;P < 0.01),并达到了可比的诊断准确性,例如区分Geissler分期≤2和>2时,敏感性为74%,特异性为78%——且无输出失败(即DL算法未提供适当结果的X线片)。因此,根据Geissler的建议[19],DL算法在完全不需要治疗时正确指示了83%,在至少需要微创手术治疗(“关节镜下复位及克氏针固定”)时正确指示了72%,在需要开放手术治疗(“切开复位及修复”)时正确指示了74%。值得注意的是,DL算法的结果不受金属植入物的影响。

当然,对于SL撕裂的检测,其他非侵入性和侵入性方法明显优于X线摄影:磁共振成像(MRI)被认为是疑似SL撕裂非侵入性诊断的金标准,报道的诊断准确性范围较广(敏感性45.7–75.7%;特异性80.5–100.0%),其中3 T MRI据报道优于1.5 T MRI [22, 23]。这些MRI诊断准确性的数据似乎偏低,一种解释可能是使用MRI的阅片者可能声称甚至能检测到轻微改变,而这些改变不一定需要进一步处理。在此必须提到,并非所有研究都使用相同的SL损伤定义、分类和分期。关节造影作为一种侵入性诊断方法,据报道在疑似SL撕裂的明确诊断方面优于MRI,敏感性为82%,特异性为93% [22]。关节镜作为一种手术方法仍然是SL诊断的金标准[14]。

据作者所知,迄今为止尚未发表过关于深度学习(DL)算法自动判读骶髂(SL)距离作为SL损伤替代参数的类似研究。肌肉骨骼(MSK)影像领域的自动图像判读研究更多集中于骨折检测或骨龄 [2, 9, 24–28]。用于自动评估不同骨骼之间对线的人工智能(AI)算法开发较为罕见:一些作者声称,在髋关节发育不良的自动评估中,基于AI的软件与人类评估者相比可达到可靠的放射学评估 [29]。其中136例患者中有6例(4.4%)因技术原因无法由AI算法进行评估,尽管除其他因素外,既往接受过外科干预(推测意味着体内有金属植入物)的患者以及股骨头缺血性坏死的患者已被排除。相比之下,其他旨在自动化评估下肢全长X线片上测量值(例如髋-膝-踝角)的研究组在一项针对无金属植入物患者的初步研究 [7] 后得出结论,认为在全膝关节置换术后患者中实现可靠评估是可能的,尽管另一方面该研究中排除了单髁膝关节置换术患者、“体位不正确”和“显示不清”者,并且AI软件同样产生了4%的输出失败 [30]。

作为所报告结果的局限性,必须指出,与其他研究一样,新开发的用于自动评估SL完整性的DL算法并非无差错。尽管如此,作者认为此类算法可能成为医务人员的重要工具,因为它们可以提示图像判读意见,而医务人员将保留接受或推翻该建议的权威。此外,算法可以将缺乏经验医务人员的注意力引向相关病变,支持甚至改善其图像判读,而有经验的阅片者则可以省去测量简单距离或角度的时间。进一步的局限性包括回顾性研究设计以及用于DL算法微调的数据集相对较小(n = 201),而所引用其他研究中大多使用了数千例的数据。尽管如此,该算法运行得出奇稳健,未受例如金属植入物的影响。还应指出,评估病例数量相对较少(n = 364例患者)可能限制研究结果对其他人群的普适性。然而值得注意的是,评估数据集包含了大量X线片(n = 1604),包括来自外部机构的X线片,这增强了DL算法的稳健性。当然,算法可能通过更多训练得到进一步改进,并且在临床常规中对算法进行前瞻性评估可以增强结果的说服力。最后,本研究仅评估了单一DL算法。DL领域发展迅速,不断开发出性能更优的新模型,有可能进一步改善所报告的结果。因此,更新的DL模型有可能优于本研究使用的算法。

考虑到急性腕部创伤后X线摄影的潜在作用和普遍使用,其目的在于排除骨折并为患者分诊以进行进一步诊断(例如通过MRI明确可疑的舟月韧带撕裂)提供方向,新开发的深度学习算法在评估舟月韧带完整性方面与关节镜相关性对照显示出高诊断准确性,它可能成为解读腕部外科医生和放射科医生的辅助工具。

引用

  1. Keller G, Rachunek K, Springer F, et al. Evaluation of a newly designed deep learning-based algorithm for automated assessment of scapholunate distance in wrist radiography as a surrogate parameter for scapholunate ligament rupture and the correlation with arthroscopy. Radiol Med. 2023. PMID: 37726593. doi:10.1007/s11547-023-01720-8
  2. 全文:PMC10700195(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10700195/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。