文献速递骨肌DR

基于轴线标注的深度神经网络自动测量拇外翻角

Automatic estimation of hallux valgus angle using deep neural network with axis-based annotation.
PubMed 文献 · Skeletal Radiol · 2024-03-13

本研究开发一种深度神经网络模型,在足部X线片上自动预测第一近节趾骨与全部跖骨的骨轴线,从而测量拇外翻角(HVA)和第一、二跖骨间角(IMA)。回顾性验证纳入92例连续患者的92张负重位足部X线片,与三名足踝外科医生的手动测量中位数比较。结果显示HVA的平均绝对误差为1.3°(95%CI上限1.6°),显著小于医生间差异2.0±0.2°;IMA的平均绝对误差为0.8°(95%CI上限1.0°),与医生间差异1.0±0.1°无显著差异。

要点

  • 模型自动测量的HVA平均绝对误差为1.3°,显著小于三名医生手动测量的组间差异2.0±0.2°。
  • IMA自动测量平均绝对误差为0.8°,与医生间差异1.0±0.1°无显著差异。
  • 自动测量具有完全可重复性,可消除手动测量中的评估者间偏倚。

核心结论

  • 模型能自动测量HVA、IMA以及PH1和MT1–5骨轴线倾斜角,其精度与经验丰富的足踝外科医生手动测量相当。
  • HVA的自动测量误差显著小于医生间手动测量差异,IMA的自动测量误差与医生间差异无显著差异。

研究设计与样本

  • 研究为深度神经网络模型的开发与回顾性验证,模型训练集来自1798张足部X线片,其中1258张用于训练、359张用于调参、181张用于测试。
  • 模型开发数据中1166张来自基于人群的队列研究(ROAD研究)的非负重位双侧足部X线片(仅使用右侧),632张来自本院足踝科199例患者2016年1月至2021年12月的负重位X线片。
  • 模型采用U-net架构,输入512×512像素,输出512×512×6通道热力图,分别对应PH1和MT1–MT5的骨轴线概率区域。
  • 回顾性验证队列纳入2022年5月至2023年6月初次就诊于本院足踝门诊的92例连续患者的92张负重位足部X线片。
  • 参考标准为三名具有10年以上经验的足踝外科医生独立、盲法手动测量的中位数,手动测量遵循美国足踝外科协会(AOFAS)2002年标准化方法。

诊断标准与关键数值

  • HVA定义为拇趾近节趾骨(PH1)与第一跖骨(MT1)骨轴线之间的夹角,IMA定义为MT1与第二跖骨(MT2)骨轴线之间的夹角,均基于足部正位X线片。
  • HVA自动测量与三名医生手动测量中位数的平均绝对误差为1.3°(95%CI上限1.6°),显著小于3°(p<0.01)。
  • HVA自动测量误差小于3°的病例占91%,误差小于5°的病例为92例中的89–90例(97–98%)。
  • IMA自动测量平均绝对误差为0.8°(95%CI上限1.0°),显著小于3°;误差小于5°的病例为92例中的92例(100%)。
  • HVA、IMA、PH1及MT1–5骨轴线倾斜角的医生间差异(Diff123)分别为2.0°±0.2°、1.0°±0.1°、1.6°±0.1°、1.0°±0.2°、0.5°±0.0°、0.5°±0.0°、0.7°±0.1°、0.8°±0.0°(均值±标准差)。

临床应用与阅片要点

  • 模型可直接从足部正位X线片输出HVA和IMA,测量误差小于5°的病例占比分别为97–98%和100%,与专家手动测量接近。
  • 自动测量具有完全可重复性,可避免手动测量中评估者间偏倚,便于不同研究间的结果比较。
  • HVA误差最大的病例误差为8.3°,该例医生间测量差异也高达4.9°,原因可能为PH1明显旋转导致其对称性受损、轴线估计困难。
  • 模型不适用于术后及创伤后影像,因结构改变导致骨纵轴定义困难;AOFAS建议术后以跖骨头中心作为第一跖骨远端参考点,而非术前采用的骨干中点。

局限性

  • 验证仅基于单一机构的X线片,模型泛化性能存在不确定性;但训练数据大部分来自与验证机构不同的队列研究环境。
  • 模型不适用于术后和创伤后影像,因结构改变使骨纵轴定义困难,手动和自动测量均具挑战性。
  • 为开发适用于术后影像的模型,需按术后专用定义进行标注训练,并需从多机构收集包含多样手术方式和植入物的术后影像,未来需多中心研究开发术后自动测量模型。
全文中译18 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Skeletal Radiol. 2024 Mar 13;53(11):2357–66. doi: 10.1007/s00256-024-04618-2

引言

拇外翻是最常见的前足畸形之一,其特征为拇趾向外侧偏斜及第一跖骨头向内侧突出[1]。拇外翻畸形的严重程度通常采用两个放射学指标进行评估:拇外翻角(HVA)及第一、二跖骨间的跖骨间角(IMA)。HVA定义为足部X线片背跖位观上拇趾近节趾骨(PH1)与第一跖骨(MT1)骨轴线之间的夹角。IMA定义为MT1与第二跖骨(MT2)骨轴线之间的夹角[2, 3]。这些角度不仅用于诊断和评估拇外翻的严重程度,还用于指导手术方式的选择及评估不同手术技术的效果[4–6]。

HVA和IMA的手工测量方法由美国足踝外科协会(AOFAS)特设委员会于2002年进行标准化[2, 3]。尽管这些标准化方法已被证实在5°范围内具有高度可靠性,但不同评估者之间的潜在偏倚和个体差异在比较不同评估者所进行的研究时仍可能带来挑战。

人工智能包括深度神经网络(DNN)是骨科转化医学领域的重大突破之一[7]。通过应用DNN进行自动测量,骨科医生可以进行无偏倚的评估,从而实现跨地域的拇外翻严重程度的一致且精确的评估。这种标准化方法将促进对拇外翻相关研究结果的全球性解读,从而推动对该疾病认识的深入和治疗水平的提升。尽管此前已有几项研究报道了利用DNN提取骨区域细节的HVA自动测量模型,但这些模型尚未达到足够的准确性或未经系统验证[8–10]。足部X线片自动测量的一个障碍是骨区域可能存在重叠,使单块骨骼的分割变得复杂,尤其是在严重畸形的情况下。另一个挑战来自骨赘形成、骨侵蚀或关节脱位等因素对骨骼轮廓的影响。

为应对这些挑战,我们认为探索一种不完全依赖于骨区域精确提取的方法是有利的。在本研究中,我们采用了一种新方法,即直接将外科医生绘制的代表骨轴线的线段用作标注数据。这一创新方法将绘制的线段转换为概率热图,从而实现对DNN的训练。

本研究的主要目的是开发一个能够自动估计PH1及五块跖骨(MT1–5)骨轴线的DNN,从而实现HVA和IMA的自动测量。次要目的是通过与手工测量进行比较来评估该模型的准确性。

材料与方法

模型开发

模型开发数据集

数据收集过程如图1所示。共从两个不同人群获取了1798张足背跖位X线片。其中,1166张X线片来自一项名为“抗残疾骨关节炎研究(ROAD)”的居民队列研究数据的二次利用[11, 12]。所有1166张X线片均来自非负重条件下的双侧成像,但仅使用了右侧图像。其余632张X线片来自2016年1月至2021年12月期间就诊于我院足踝科的199例患者。这632张X线片在负重条件下拍摄,涵盖健侧和患侧图像,以及不同时间点拍摄的X线片。

收集的1798张X线片被随机分配到三组:包含1258张X线片的训练数据集、包含359张X线片的验证数据集和包含181张X线片的测试数据集。训练数据集中的X线片通过随机水平翻转和−15°至15°的随机旋转扩充至多6倍。为标准化深度学习模型的输入,对X线片进行调整,通过添加黑色边框创建方形图像,并将其缩放至512×512像素,缩放过程中保持原始宽高比。随后,像素值被重新缩放至0至1的范围内。

图1 用于模型开发的数据集 查看原图 ↗

模型架构

该模型采用U-net架构,具有五个编码器-解码器模块[13]。在该模型中,输入尺寸设为512×512像素,输出尺寸为512×512×6。这意味着模型生成6通道热图,每个通道代表与PH1、MT1、MT2、MT3、MT4和MT5骨轴相对应的概率区域。模型的输出层包含一个称为均方根误差(RMSE)的损失函数。

标注数据的处理

标注数据的处理流程如图2所示。首先,由作者(R.T.)——一位获得委员会认证的骨科手术专家——使用为本研究专门开发的简单应用程序手动绘制PH1、MT1、MT2、MT3、MT4和MT5的骨轴。这些骨轴的绘制遵循AOFAS的建议[2]。这些线段的端点置于沿骨轴方向的相应骨骼区域末端。接下来,将线段转换为6通道二值图像,其中位于线条下方的像素赋值为1,而所有其他像素设为0。为提高这些线条的可见性和准确性,将1像素宽的线条加粗至5像素宽。最后,对加粗后的线条应用高斯滤波器以创建更平滑的表示。高斯滤波器中使用的标准差因具体骨骼而异。对于PH1轴,标准差设为h/2.5L,而对于MT1–MT5,设为h/L,其中“h”表示图像的像素高度,“L”表示线段长度。

图2 流程图,展示从外科医生绘制的线段生成神经网络模型训练标注数据的过程 查看原图 ↗

神经网络模型的训练与微调

我们使用Adam优化器[14]来训练我们的深度神经网络(DNN)。最大轮数设为12。此外,我们还微调了其他关键参数,如小批量大小、初始学习率、验证频率和验证耐心值。在此过程中使用了贝叶斯优化算法[15]。

基于预测模型的角度计算

通过采用热图中高值区域的线性回归,从预测模型计算出角度。该算法的更详细说明见补充材料1。通过这一过程,获得了PH1和MT1–5轴线的倾斜角度。这些角度用于计算拇外翻角(HVA)和第1、2跖骨间角(IMA)。每个角度定义为正值或负值,如图3所示。

图3 神经网络模型对第一近节趾骨(PH1a)、第一跖骨(MT1a)、第二跖骨(MT2a)、第三跖骨(MT3a)、第四跖骨(MT4a)和第五跖骨(MT5a)骨轴线倾斜角度的预测。拇外翻角(HVA)和第1、2跖骨间角(IMA)分别计算为PH1a与MT1a之间的差值,以及MT2a与MT1a之间的差值。在这些角度中,正值表示逆时针旋转,负值表示顺时针旋转,以向右的水平线为参考轴 查看原图 ↗

训练模型的回顾性验证队列

验证队列数据集

回顾性审查了2022年5月至2023年6月期间首次就诊于我院足踝门诊的200例连续患者的数据库,以验证我们的模型。我们排除了后足疾病患者(91例)、无负重X线片患者(11例)、足部骨折患者(4例)、大量肿瘤性骨溶解患者(1例)以及既往有前足手术史的患者(1例)。最终,92例患者的92张X线片纳入验证队列(图4)。

使用t检验功效分析估算本研究所需的最小X线片数量为92,功效为0.99,以证明平均绝对误差(MAE)小于3°,假设MAE为1.5°,误差的标准差(SD)为3.58°。在先前由AOFAS[3]进行的手工测量验证研究中,小于3°的误差被认为是良好的。SD为3.58°来源于先前一项尝试自动HVA测量的研究[8]。

图4 比较神经网络模型自动测量与足踝外科医生手工测量的验证流程 查看原图 ↗

足踝外科医生的手工测量

三位拥有10年以上经验的足踝外科医生(评估者1 R.T.、评估者2 T.K.和评估者3 A.U.)进行手工测量,以与自动测量进行比较。手工测量使用与创建标注数据相同的软件进行(图2)。每位评估者以盲法独立进行测量。

验证结果

验证的主要结局是手动测量与自动测量之间的MAE。在备择假设为MAE小于3°的情况下进行单样本t检验。MAE由足踝外科医生三次手动测量的中位数计算得出。此外,还检查了误差小于3°、3°至5°之间以及超过5°的病例比例。

为评估手动测量的变异,我们计算了评估者1与2(Diff12)、2与3(Diff23)以及3与1(Diff31)之间测量值的绝对差值。评估者间差异(Diff123)定义为Diff12、Diff23和Diff31的平均值。MAE与Diff123采用双尾配对t检验进行比较。统计检验的显著性水平设定为p < 0.05。

软件环境

所有数据处理和统计分析均使用MATLAB 2022b(MathWorks Inc.)中的深度学习工具箱完成。分析代码和训练好的模型可在https://data.mendeley.com/datasets/c24g4md953/1获取。此外,同一网站上还提供了一个Windows应用程序原型,用户无需编程即可体验该模型。

伦理考虑

本研究经东京大学医院研究伦理委员会批准(编号1264,编号2674–4)。所有ROAD研究参与者均签署了数据二次使用的书面知情同意书。参与本研究的患者知情同意书获得豁免。

结果

验证队列病例的人口学特征

验证队列中92例病例的人口学信息,包括年龄、性别、主要诊断以及手动测量的HVA和IMA,见表1。

表1 验证队列患者的人口学数据 查看原表 ↗

神经网络模型的训练与微调

微调结果,选择的最佳DNN模型为:小批量大小为7、初始学习率为0.0001、验证频率为200、验证耐心为10。

自动测量的误差分析

自动测量的误差分析结果见表2。HVA的MAE为1.3°,显著低于3°(p < 0.01)。大多数病例(91%)手动测量与自动测量之间的绝对误差小于3°。同样,对于IMA、PH1倾斜角和MT1–5倾斜角,MAE值均显著小于3°。对于这些参数,大多数病例手动测量与自动测量之间的绝对误差小于3°。

图5显示了全部92张X线片中外科医生手动测量绝对误差的分布。

表2 自动测量与三名足踝外科医生手动测量中位数相比的绝对误差 查看原表 ↗
图5 散点图显示各种放射学参数的自动测量与手动测量之间绝对误差的分布。x轴显示每个放射学参数的自动测量值,而y轴表示神经网络模型生成的自动测量值相对于三名足踝外科医生对每个参数所做手动测量中位数的绝对误差。图中虚线表示绝对误差3°和5°的边界。缩写:HVA,拇外翻角;IMA,第1和第2跖骨间角;PH1,第一近节指骨轴线倾斜角;MT1–5,第1–5跖骨轴线倾斜角 查看原图 ↗

评估者间差异与自动测量误差的比较

HVA、IMA以及PH1和MT1–5轴线倾斜角的Diff123分别为2.0° ± 0.2°、1.0° ± 0.1°、1.6° ± 0.1°、1.0° ± 0.2°、0.5° ± 0.0°、0.5° ± 0.0°、0.7° ± 0.1°和0.8° ± 0.0°(均值 ± 标准差)。MAE在HVA以及PH1、MT1、MT4和MT5轴线倾斜角中显著小于Diff123(p分别 < 0.01、< 0.01、= 0.01、< 0.01和 < 0.01)。在IMA或MT2和MT3轴线倾斜角中未观察到显著差异(p分别为0.15、0.72和0.05)。

自动测量病例的视觉展示

所开发神经DNN模型对所有92张X线片预测的视觉展示见补充材料2。

HVA误差最大的病例见图6。该病例误差为8.3°。值得注意的是,该病例的Diff123高达4.9°。

图6 使用神经网络模型获得的自动测量与手动测量之间拇外翻角测量的最大绝对误差,误差为8.3°。缩写:HVA,拇外翻角;IMA,跖骨间角;PH1a,第一近节指骨轴线倾斜角;MT1a,第1–5跖骨轴线倾斜角 查看原图 ↗

讨论

本研究描述了为自动测量HVA和IMA而设计的DNN模型的开创性开发。该模型表现出与经验丰富的足踝外科医生手动测量相当的准确性。

HVA和IMA的手动测量方法由AOFAS特设委员会于2002年建立并评估了可靠性[2, 3]。在一项先前研究中,24名医生对21张X线片测量HVA,在21张X线片上取平均值,误差范围为3°(61.3%的医生)至5°(86.7%的医生)。在本研究中,HVA和IMA的MAE显著小于3°。具体而言,我们的模型成功测量HVA和IMA,在92例中分别有89–90例(97–98%)和92例中的92例(100%)误差小于5°。此外,HVA的MAE显著小于外科医生之间观察到的评估者间差异。

在误差最大的病例中,HVA偏差为8.3°,该不准确可归因于对PH1轴线的估计误差。这一差异可能是由于PH1的旋转程度显著较高,破坏了其对称性,使准确估计具有挑战性。值得注意的是,在该病例中,三名外科医生手动测量的评分者间差异高达4.9°,提示即使是手动测量在准确评估该特定病例时也面临挑战。

关于MT1–5骨轴线估计的准确性,MAE小于1°,且没有病例出现超过3°的误差,表明准确性几乎完美。

此外,考虑测量的可重复性很重要。如前所述,在AOFAS进行的手动测量可靠性研究中,HVA由24名医生在三次会话中对21张X线片进行测量。会话间误差范围在3°(61%的X线片)至5°(86.2%的X线片)之间,结果为24名医生的平均值[3]。相比之下,DNN自动测量具有完美的可重复性,较手动方法具有明显优势。

首次尝试开发HVA自动测量方法报道于2019年[10]。在该报告中,足部X线片上的整个骨骼区域使用U-net语义分割进行分割。随后,通过识别骨骼轮廓的内侧突起提取与拇趾相关的轮廓。最后,从拇趾区域的中点计算骨轴线和HVA。另一项尝试报道于2020年[9],其中PH1和MT1的骨骼区域通过边界框及随后的阈值处理进行识别。拟合到分割区域中点的线性回归线被预测为PH1和MT1的骨轴线。值得注意的是,当骨骼区域重叠时,这两种既往方法都面临根本性挑战,使测量几乎不可能。这一局限性源于分割的本质,即将图像中的每个像素分类为指定区域标签。此外,这两项早期尝试均未系统验证其准确性。

最近的自动测量尝试报道于2022年[8],涉及开发一种DNN,能够预测骨骼轮廓上的解剖特征点,并基于这些预测点的垂直平分线进行角度计算。该报告得出结论,解剖点估计具有良好的准确性;然而,HVA测量仍表现出5.22°的较大MAE。这可能归因于角度计算依赖于点,使角度计算对骨骼轮廓的微小变化敏感。此外,尽管该报告使用了独立于训练数据集的独立数据集进行验证,但骨骼轮廓明显变异或关节消失的病例被剔除。相比之下,本研究采用的验证队列包括因各种需要前足手术的疾病而导致骨侵蚀、关节脱位或关节破坏的患者。这种全面的方法使我们能够彻底评估准确性,并展示了该领域的显著进步。

当前模型取得的高准确率归因于我们在标注数据方面的创新方法。我们的方法利用热图作为标注数据来估计图像内的线段。使用热图的技术最早由Tompson等人于2014年提出,用于估计物体中的关键点[16],此后已成功应用于在各种场景中检测解剖学上可区分的点[8, 17, 18]。在本研究中,我们从专家绘制的线段生成热图,并将其用作标注数据。这种方法使得标注数据能够以模糊方式表达,而这类表达通常在专家之间也会存在差异。此外,将整条线段而非仅端点转换为热图,提高了预测的稳定性。这在涉及骨侵蚀、脱位和骨区域重叠等挑战性场景中也被证明是有效的。

必须承认本研究的若干局限性。一个主要局限性是验证仅基于单一机构的X线片进行,这给模型的泛化性能带来了不确定性。然而,必须指出的是,用于训练深度神经网络(DNN)模型的X线片中有相当一部分来自队列研究,且其获取环境与用于验证的X线片所在医院不同。我们认为,在此类情况下取得的良好结果可作为支持模型泛化性能的有力证据。当前模型的第二个局限性是其不适用于术后和创伤后影像。在创伤或术后干预之后,由于显著的结构改变以及建立清晰参考点的固有困难,确定骨骼的纵轴变得有问题,这使得精确的手工测量和准确的自动测量都具有挑战性。为了解决拇外翻术后第一跖骨(MT)纵轴定义中的混淆,AOFAS建议术后使用跖骨头中心作为远端参考点,而非术前用作参考点的骨干中点[2]。为开发适用于术后X线片的模型,应根据术后X线片的特定定义使用标注数据对模型进行训练。考虑到拇外翻手术方法和植入物类型的多样性,有必要从多个机构收集术后图像。未来的多中心研究有望开发出用于术后X线片的自动测量模型。

总之,我们成功开发了一种DNN,能够准确测量HVA、IMA以及PH1和MT1–MT5骨轴的倾斜角。我们的结果表明,使用该模型进行的测量与经验丰富的足踝外科医生的手工测量高度一致。这种先进的DNN在涉及足部X线片的未来研究中具有巨大前景,因为它不仅消除了主观性,还确保了重复测量的完全可重复性。其潜在应用可扩展到各种临床和研究环境,并为评估这些关键角度提供了可靠工具。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 380 KB)

补充文件2(DOCX 1.35 MB)

引用

  1. Takeda R, Mizuhara H, Uchio A, et al. Automatic estimation of hallux valgus angle using deep neural network with axis-based annotation. Skeletal Radiol. 2024. PMID: 38478080. doi:10.1007/s00256-024-04618-2
  2. 全文:PMC11410836(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11410836/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。