基于人工智能的全自动算法在透视图像上检测和追踪肩部解剖标志点
本研究开发并测试了一种基于nnU-Net的人工智能算法,用于在肩胛骨平面30°手臂外展内收运动的透视图像上自动检测五个解剖标志点和校准球。算法在1925张测试图像上平均 Dice 系数为0.749±0.182,除肱骨干中点外所有标志点定位误差在1.5 mm以内,外展角度误差在1°以内,检测失败率仅0.57%。
要点
- 算法在测试集上自动检测五个解剖标志点和校准球,除肱骨干中点外定位误差均≤1.5 mm。
- 外展角度平均绝对误差为0.9°±0.8°,与手动标注的一致性界限在2.6°以内,ICC>0.9。
- 检测失败率低,测试集1925张图像中仅11张(0.57%)未能检测到标志点。
核心结论
- 所提出的算法能以足够的准确度在透视图像上检测所需标志点,可应用于自动评估肩部运动、肩胛骨旋转或肩胛骨平面内的盂肱平移。
研究设计与样本
- 前瞻性研究,纳入25名参与者(12例单侧肩袖撕裂患者,6男,平均年龄63.7±9.7岁;13名无症状受试者,7男,平均年龄58.2±8.9岁),于2021年5月至2023年1月入组。
- 使用单平面透视设备(Multitom Rax, Siemens Healthineers)在肩胛骨平面30°手臂外展内收运动(无负重及2 kg、4 kg负重)中采集图像,脉冲率3 Hz(13名受试者)或10 Hz(12名受试者)。
- 采用3D全分辨率卷积神经网络(nnU-Net)进行训练,训练集来自40个肩的6021张透视图像,测试集来自10个肩的1925张透视图像,参考标准为手动标注的标志点。
关键影像表现/征象
- 除肱骨干中点外,所有标志点和校准球在测试集中的欧氏距离平均在1.5 mm以内,肱骨干中点平均欧氏距离为9.6 mm。
- 校准球直径平均绝对误差在训练集为0.3±0.4 mm,测试集为0.5±0.1 mm。
- 外展角度平均绝对误差在训练集为0.8°±0.8°,测试集为0.9°±0.8°。
- 所有标志点坐标的ICC均>0.9,但肱骨干中点沿y轴的ICC在测试集中<0.2。
- 分割圆盘的Dice系数在训练集平均为0.763±0.168,测试集为0.749±0.182。
临床应用与阅片要点
- 作者认为该算法可快速自动标注透视图像,便于计算肩部运动学参数如肩胛骨上下旋转或盂肱上下平移。
- 作者指出若算法在图像质量差时未能找到所有标志点,可将预测标志点导入软件进行手动校正。
- 作者认为该自动检测算法有潜力适用于临床评估基于透视的肩部运动学。
局限性
- 算法仅用正常肩和肩袖撕裂肩训练,在严重骨关节炎等盂肱或肱骨轮廓不清的情况下性能可能下降。
- 算法基于单中心数据训练,且均使用同一透视设备,在不同运动(如手臂外展超过30°)、不同设置或其他透视设备采集的数据上可能需要重新训练以保持高检测性能。
- 参与者数量有限且缺乏诊断性图像,无法仅基于运动学分析区分健康肩与无症状或有症状肩袖撕裂。
全文中译8 节 · 点击展开
引言
肩袖撕裂常与盂肱关节不稳相关[1–3];然而,尚未描述出一致的肩胛骨运动模式[4]。在外展过程中,患者被发现具有更多的肩胛骨向上旋转[5–11]、正常的肩胛骨旋转[12, 13],甚至向上旋转减少[14]。同样,关于盂肱关节平移也未得出确凿结论[3, 15–18]。因此,一种一致的肩关节运动学评估方法将提供清晰的理解,从而有益于患者治疗。
已提出多种评估盂肱生物力学的方法。过去,主要使用传统X线片——在不同手臂位置对肩部进行成像——来评估盂肱关节[1, 2, 15, 16, 19, 20]。然而,静态与动态条件下的运动学可能不同,因此近年来,三维到二维模型到图像配准技术被引入用于评估肩胛骨平面外展期间的肩关节运动学[13, 21–26]。虽然该方法具有高准确性,但它需要计算机断层扫描(CT)图像,从而使患者暴露于高电离辐射[27]。更近期,另一种利用单平面透视估算盂肱关节平移的方法被提出,需要标记五个标志点[28],但肩胛骨旋转或临界肩角的测量也应成为可能。该方法辐射暴露低,且手动标记具有良好的可靠性[28]。然而,由于该过程耗时,其大规模适用性受到限制。
目前,人工智能在医学影像中的应用日益增多。深度神经网络已被用于磁共振图像(MRI)上,以对肩袖撕裂进行分类[30]以及分割肩袖肌肉[31, 32]和盂肱关节[32, 33]。也有报道将深度学习用于从CT扫描中量化和表征肩袖肌肉退变[34]。在X线片上,深度学习已被用于检测肱骨骨折[35]以及对肩部植入物进行分类[36]。对于临界肩角的测量,人工智能也被用于从放射影像中进行标志点检测,实现准确、可重复且快速的测量[37]。
本研究旨在开发一种人工智能模型,用于在肩胛骨平面30°手臂外展和内收运动期间对透视图像进行自动标志点检测。该模型旨在提供肩部解剖构型和运动学的快速评估,并预期基于先前的人工智能应用高效地产出准确且可重复的结果。
材料与方法
参与者
这项前瞻性研究是一项关于盂肱生物力学umbrella研究的一部分[38],该研究经区域伦理委员会批准,并按照《赫尔辛基宣言》进行。参与者于2021年5月至2023年1月期间入组。排除标准如下:BMI > 35 kg/m2;无法提供知情同意;上肢既往手术治疗史;盂肱关节临床病史(患者仅对侧);以及影响上肢运动的神经肌肉疾病或其他影响肩关节活动度的病理。所有纳入研究的参与者均获得了知情同意。图1描述了研究设计及训练集和测试集的队列。
图像采集
所有肩关节在肩胛骨平面进行30°负重和非负重肩关节外展测试期间,采集单平面透视图像(Multitom Rax,Siemens Healthineers)。测试程序按照Croci等人[28]的研究所述进行。参与者在肩胛骨平面同时外展双臂至30°,首先无手持负重,然后按随机顺序分别加2 kg和4 kg手持负重。为保持可比的动作速率,对参与者给予口头指令。先采集右肩图像,再采集左肩图像,脉冲频率为3 Hz(13名受试者)和10 Hz(12名受试者)。图像分辨率为946 × 958像素,像素大小为0.35 × 0.35 mm。精确像素尺寸通过放置在透视图像视野内的参考球(Ø = 25 mm)进行校准。
自动标志点检测算法
为分析整个30°外展和内收任务中的肩部运动学(即肩胛骨旋转、盂肱平移或外展角),必须在每张透视图像中检测五个解剖标志点:盂肱关节中心(定义为肱骨头最佳拟合圆的中心[1])、盂唇边缘的最下点和最上点以及肩峰的最外侧点[28],还有肱骨干轴线上的一个点。出于校准目的,还需要确定参考球的尺寸。所有标志点均按照Croci等人[28]提出的方法,使用3D Slicer [39](slicer.org)在每张图像中手动标注,并被视为金标准。手动注册的标志点位置(存储为JSON文件)被用于通过Python脚本使用SimpleITK库(simpleitk.org)生成带标签的掩膜。掩膜通过在每個标志点位置放置一个标签圆盘来创建。盂唇和肩峰上的圆盘具有8像素的固定半径。其他标志点的圆盘则借用手动标志点检测过程中定义的最佳拟合圆[28](图2)。使用透视图像和圆盘掩膜训练了nnU-Net [40],这是一个成熟的用于3D医学图像语义分割的卷积神经网络框架。伪3D体积通过将一次采集会话的所有透视图像按采集时间戳堆叠在一起生成。肩部被随机分配到训练集或测试集。nnU-Net [40]的3D全分辨率网络在来自40个肩部(20名受试者)的120个透视序列及相应的手动标志点分割上进行了五折交叉验证训练。数据分配到五折的方式确保同一肩部的所有图像均在同一折中。因此,该算法从未在训练所用肩部的图像上进行测试。每个预测掩膜均经过后处理以去除除最大连通分量以外的所有部分,标志点坐标在Python中计算为每个标签的质心并保存为CSV文件。标志点检测算法的准确性在测试集中来自10个肩部(5名受试者)的30个未见过透视序列上进行了测试。如果人工智能网络未能在某张透视图像上找到标签,则报告该特定透视图像的检测失败。
数据分析
为评估训练网络进行语义分割的性能,在推导标志点坐标之前,报告了真实掩膜与预测掩膜之间的Dice系数。人工标注与自动标注的标志点坐标之间的差异使用MATLAB 2021b(The MathWorks)计算。研究了每个标志点在图像坐标系x轴和y轴方向上的距离(即内外侧方向和上下方向,图2)以及欧几里得距离的均值和标准差。在整个任务过程中,通过考虑一条垂直线和一条穿过盂肱关节中心及肱骨干中心的线,计算人工标注和自动标注图像的外展角。计算了外展角误差(人工与自动数据集之间的绝对差值)的均值和标准差。此外,对整个任务过程中每个标志点坐标和外展角计算了一致性界限和组内相关系数(ICC)。另外,对训练集中以3 Hz采样率记录的20个肩部(来自10名受试者)的子集进行了所有标志点的评分者内和评分者间分析。
结果
12名单侧肩袖撕裂患者(6名男性,6名女性;平均(标准差)年龄:63.7 ± 9.7岁;身高:174 ± 8 cm;体重:78.3 ± 15.6 kg;体重指数(BMI):26.0 ± 5.7 kg/m2)和13名年龄匹配的无已知肩部损伤的对照受试者(7名男性,6名女性;平均(标准差)年龄:58.2 ± 8.9岁;身高:176 ± 10 cm;体重:77.6 ± 13.2 kg;BMI:25.2 ± 4.7 kg/m2)参与了本研究。人工智能网络使用来自20名受试者的6021张透视图像的真实数据进行训练(n = 12,3 Hz,2118张图像;n = 8,10 Hz,3903张图像;40个肩部,120个独立序列),并使用5名受试者的1925张透视图像进行验证(n = 1,3 Hz,154张图像;n = 4,10 Hz,1771张图像;10个肩部,30个独立序列)。
图3显示了由人工智能标注标志点和真实标注的透视图像及平均准确率。nnU-Net框架在6021张(训练集)中的264张和1925张(测试集)中的11张透视图像中未能分割某些圆盘。在训练集中,这些失败的标志点定位出现在来自11个肩部的3 Hz采集的透视图像和来自1个肩部的10 Hz采集的透视图像中(表1)。在后一种情况下,算法完全未能分割肩峰的最外侧点。在测试集中,未检测到的标志点出现在来自1个肩部的8张3 Hz采集图像中,并在来自2个肩部的3张10 Hz图像中失败。用于标志点检测的分割圆盘的Dice系数平均为0.763 ± 0.168(标准差,训练集)和0.749 ± 0.182(测试集;表2)。
人工智能与真实值在图像坐标系x轴和y轴上的平均绝对距离,以及从掩膜提取后预测标志点位置与人工检测的真实标志点位置之间的平均欧几里得距离见表2。人工智能与真实值之间的不准确性在y轴上以及对于以3 Hz脉率采集的图像往往更大。除肱骨干中点外(测试集中欧几里得距离平均为9.6 mm),所有其他标志点均位于1.5 mm距离以内(表2)。参考球直径的平均绝对差异在训练集中为0.3 ± 0.4 mm(标准差)(3 Hz:0.3 ± 0.2 mm;10 Hz:0.3 ± 0.5 mm),在测试集中为0.5 ± 0.1 mm(3 Hz:0.4 ± 0.1 mm;10 Hz:0.5 mm ± 0.1 mm)。外展角测量的平均绝对差异在训练集中为0.8° ± 0.8°(3 Hz:1.0° ± 1.0°;10 Hz:0.7° ± 0.7°),在测试集中为0.9° ± 0.8°(3 Hz:0.6° ± 1.3°;10 Hz:1.0° ± 0.7°)。总体而言,除肱骨干中点一致性界限较大外(表3和补充材料表S1),所有标志点的一致性界限均在3.1 mm以内。然而,自动标志点始终置于肱骨干轴线上,外展角的一致性界限在2.6°以内(表4)。除肱骨干中点沿y轴方向可靠性较差外(测试集中ICC < 0.2,表3),所有标志点坐标均具有极好的可靠性(ICC > 0.9),但外展角仍显示出极好的可靠性(ICC > 0.9,表4)。
对于评估者内和评估者间分析,子集包含训练集中的1817张透视图像(均在3 Hz下采集)。该子集中标注标志点的欧几里得距离见表5。参考球直径的平均绝对差异在评估者内为0.2 ± 0.4 mm,评估者间为0.3 mm ± 0.2 mm,人工智能与真实值之间为0.3 ± 0.2 mm。外展角测量的平均绝对差异在评估者内为0.9° ± 0.7°,评估者间为1.3° ± 1.0°,人工智能与真实值之间为0.9° ± 0.7°。
讨论
本研究开发了一种人工智能算法,用于在以3 Hz或10 Hz脉冲率采集的透视图像上自动检测五个标志点(盂肱关节中心、肱骨干轴线上的一个点、盂窝下缘和上缘以及肩峰最外侧点)和一个校准球。这使得基于透视的肩部运动学能够在短时间内被自动跟踪和分析。使用该方法,有效辐射剂量最多为0.01 mSv,显著低于需要肩部CT扫描的三维到二维模型图像配准技术所施加的剂量(有效剂量约5.8 mSv [41])。该算法能够快速、自动地标注透视图像,便于计算肩部运动学参数,例如在肩胛平面内30°手臂外展-内收任务期间的肩胛骨向下-向上旋转或盂肱关节下-上平移。
除了比人工标注更快之外,该算法相比评定者间变异性达到了更高的准确性,并允许对大型数据集进行更简洁的标注。此外,它具有确定性的优势,这意味着对于同一图像始终获得相同的结果,在可重复性至关重要的临床环境中尤为如此。该自动标志点检测算法在手臂外展和内收运动期间对所选标志点具有可重复性。该算法以较低的失败率检测标志点,仅在1925张测试图像中的11张(0.57%)上未能找到标志点,并且在以10 Hz采集的透视图像上比以3 Hz采集的图像表现出更高的稳健性。这可能是因为在较快的采集速率下,手臂运动期间透视图像始终保持清晰,而以3 Hz采集时可能出现模糊的透视图像。除肱骨干中点的定位外,该自动算法在1.5 mm的欧几里得距离内准确标注了所有标志点。由于该标志点仅用于测量外展角度且被定义为骨干轴线上的一个点,该标志点的精确位置定义不明确。因此,人工标志点与肱骨头的距离放置不一致,因而无法用自动算法精确复现。尽管存在这些不一致的地面真值数据,该自动算法仍学会在肱骨干轴线上一致地标注该标志点,导致平均外展角度误差为1.0°,而评定者间误差为1.3°。
盂窝上缘和肩峰最外侧点的标志点误差沿y轴大于沿x轴。在评定者内分析中也观察到了这一点。由于这些标志点具有圆润的解剖边缘,有时更难一致地标注,因此它们在上下方向上的定义不如内外方向精确。
手动图像标注每张图像约需1分钟,并且——取决于图像采集时的脉冲率——对于以10 Hz采集的整个序列(每个肩部每次外展–内收任务约80张图像),标注累计可超过1小时。相比之下,自动标志点检测算法可在不到1分钟内为整个图像集提供足够准确的自动预测。因此,这种自动标志点检测可能适用于基于透视的肩部运动学的临床评估。如有需要,可将预测的标志点导入软件以手动校正位置。当图像质量较差、算法无法找到所有所需标志点时,可能需要进行手动校正。
在本工作中,提出了一种两步自动标志点检测流程:首先使用3D深度学习网络生成带标记的掩膜,然后从掩膜中提取标志点坐标。在一项初步研究中,该3D网络优于2D网络(补充材料的表S1),尽管堆叠透视数据的第三维是时间域。由于透视图像是周期性采集的,标志点在相邻图像之间总是平滑移动。据信,由于3D卷积核还考虑当前处理的透视图像之前和之后的透视图像,3D网络在处理质量较差的单张图像时运行更为稳健,而在该特定孤立模糊图像中某些标志点可能难以找到。Minelli等人[37]提出的算法直接输出标志点坐标,不生成中间标志点掩膜,从而降低了所需的计算成本。然而,该算法仅应用于单张2D放射照片,且难以解释标志点位置的可靠性和准确性。掩膜生成的中间步骤有助于解释标志点定位过程,从而提高可解释性和稳健性[42, 43],并允许自动检测原本失败的标志点检测。未来将对nnU-Net子网络预测的方差进行分析,以自动检测准确性不足的预测[32]。
本研究的一个局限性是,该算法仅使用正常肩部和肩袖撕裂的肩部进行训练,因此在盂或肱骨轮廓定义不清的情况下(例如存在严重骨关节炎时),算法的性能可能会下降。此外,由于该算法是在特定运动期间采集的单中心数据上训练的,并且始终使用同一台透视设备,所提出的算法可能需要重新训练,才能在不同运动(例如手臂外展超过30°)期间采集的数据、不同设置或使用其他透视设备采集的数据上保持较高的标志点检测性能。
在本研究中,参与者数量有限且缺乏诊断性图像,无法分析数据以仅基于运动学区分健康肩部与无症状或有症状肩袖撕裂的肩部。然而,所提出的算法将有助于在未来更大规模的研究中进行运动学差异分析。
总之,所提出的自动检测算法能够快速标记透视图像,特别是对于以至少10 Hz采样率采集的图像,从而实现肩部运动的追踪和分析。因此,该模型有助于在肩胛平面内30°手臂外展和内收运动期间快速测量基于透视的肩部运动学,从而深入了解肩袖撕裂患者的肩关节运动学特征。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 92 kb)
引用
- Croci E, Hess H, Warmuth F, et al. Fully automatic algorithm for detecting and tracking anatomical shoulder landmarks on fluoroscopy images with artificial intelligence. Eur Radiol. 2023. PMID: 37566272. doi:10.1007/s00330-023-10082-8
- 全文:PMC10791975(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10791975/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。