一种用于肌肉骨骼X线摄影的通用标志点匹配与形态测量的人工智能框架

引言

X线片的定量评估对于诊断和监测肌肉骨骼疾病至关重要，包括畸形、关节间隙狭窄和解剖力线异常。此类评估取决于特定解剖标志的精确 localized，而这些标志因身体部位和临床问题而异。目前，这些标志仍由放射科医生手动放置，这一过程劳动密集，且易受观察者间变异性和疲劳相关错误的影响[1–3]。尽管现代图像存档和通信系统（PACS）工作站提供了测量工具，但它们仍依赖于正确的手动标志识别和大量用户交互。

人工智能（AI）解决方案有潜力通过标准化和加速常规测量来减轻这些限制[4]。AI模型已被开发用于髋部[5–8]、下肢[9–14]、肩部[15–17]和足部X线片[18–20]的全自动分析。这些流程大多依赖于在得出测量值之前勾勒骨轮廓的分割网络，或需要专门的训练数据集。不幸的是，分割准确性可能因形态类型改变、硬件或结构重叠而下降。当这种情况发生时，错误会传播到后续测量步骤。完全标注且特定的训练数据集通常具有像素级精确标注，这使得难以扩展到其他解剖区域。此外，此类数据集稀缺且通常较小，其中改变形态类型、罕见病理或金属植入物的示例很少，最终限制了模型在正是这些具有挑战性但临床相关场景中的泛化能力[21]。

我们旨在通过提出一个最小设置、解剖不可知的AI框架来解决这些限制，该框架将标志定位表述为一个或多个参考X线片与未见目标X线片之间的稠密匹配任务（图1）。尽管标注参考X线片需要一些手动工作，但与需要大型数据集和较长训练时间的更传统方法所需的工作相比，这是可以忽略不计的。通过利用完全预训练的匹配主干[22]，并在标志定义和参考选择中纳入冗余，我们假设基于稠密匹配的方法可以无需进一步训练即可 readily 部署到任何解剖区域。

我们的目标是（i）开发一个通用标志匹配框架，从足部、膝部和肩部X线片自动得出标准形态计量测量值，（ii）在多个投照体位、增加的参考图像数量和具有挑战性的病例中定量评估标志和测量准确性，以及（iii）将该框架与放射科医生的观察者间一致性进行基准比较。因此，我们假设（i）稠密匹配方法将以小于3 mm的平均绝对误差（MAE）定位标志，且与解剖区域无关，（ii）对于大多数形态计量测量，方法间变异性将接近观察者间变异性，以及（iii）该框架在存在骨科植入物时仍将保持功能，尽管准确性会因测量项目而异。

材料与方法

伦理批准与研究设计

本研究遵守所有相关伦理规范。本单中心、回顾性、个体内对照研究的伦理批准由亚琛工业大学医院医学系机构审查委员会授予，批准号为EK24-148。我们选择足、膝和肩作为解剖区域，且与既往研究的患者无显著重叠。X线片从机构PACS（Vue PACS，Philips）中检索，并按照四项预设标准进行筛选（图1）：(i) 仅限成人：患者年龄≥18岁；

采集时间段为2024年：影像学序列于2024年1月至2024年12月期间在住院或门诊环境中采集；

每个解剖区域的完整投照体位：足——正位（AP）和侧位；膝——正位和侧位及髌骨轴位；肩——仅正位；

每位患者仅纳入一个影像学序列以避免冗余；当多项检查符合上述标准时，纳入2024年最早的检查。

对于肩部，选择正位视图以简化数据准备，因为附加视图（腋位侧位、肩胛骨Y位）在手臂旋转、射线角度和患者体位方面存在较大差异，将需要生成单独的参考集。此选择出于研究可行性考虑，不反映所提方法的任何固有局限性。值得注意的是，未应用基于图像质量的排除标准，X线片按从PACS获取的原始状态进行分析，从而反映常规临床变异。

应用筛选标准后，我们将研究人群分为两个队列。“常规队列”包括300例连续成人患者的600张X线片，这些患者符合所有预设标准且无金属植入物。患者平均为中年（48 ± 19岁；47% [n = 141] 为男性），在很大程度上反映了日常实践中所见的病例谱。为对AI框架进行压力测试，我们组建了一个包含骨科硬件（如关节置换、钢板、螺钉或髓内钉）的“困难队列”，共120例患者（240张X线片）。患者年龄较大（56 ± 16岁；44% [n = 53] 为男性）。两个队列的人口学详细信息见表1。所有选定的X线片（n = 840）均纳入最终评估，因为该框架不需要模型训练。

最小样本量的统计学依据

我们规划样本量，以便以预先设定的精度估计每个投照位置的MAE。使用正态近似法计算均值差的95%置信区间（CI），所需n为n = (1.96 × σ/h)²，其中σ为误差的预期标准差（SD），h为CI的期望半宽。鉴于所纳入的解剖部位、投照位置和指标范围广泛，从文献中推导观察者间变异性指标具有挑战性。以已发表的观察者间变异性作为参考[23–25]，我们有意将框架参数设置为保守值。

对于常规队列，我们预期角度σ ≈ 2.5°、距离σ ≈ 1.0 mm。以h = 0.5°和h = 0.25 mm为目标，得到每个投照位置n角度 ≈ 96和n距离 ≈ 61。我们采用了保守值（每个投照位置约100）。在六个投照位置（足正位/侧位、膝正位/侧位/髌骨轴位、肩正位）中，该估算共产生约600张X线片。

对于挑战性队列，我们预期观察者离散度/变异性更高（σ ≈ 4.5°、σ ≈ 1.4 mm），并接受稍宽的精度（h = 1.5°、h = 0.5 mm）。类似地，计算得到每个投照位置n角度 ≈ 35和n距离 ≈ 31。通过向上取整至每个投照位置约40，即六个投照位置共约240张X线片，我们旨在增加安全裕度。

标志点与测量定义

对于每个解剖区域和投照位置，我们基于指南和既往文献[14–20]选择了标准的、经临床验证的形态学测量指标。每个解剖区域所考虑的全部测量指标列于表2。两名放射科医师（E.C.M.和F.B.O.；经验分别为1年和5年）在PACS中手动进行测量，对原始报告和彼此的结果设盲。用于得出这些测量的标志点定义（补充图S1–S3）由E.C.M.与一名资深肌骨放射科医师（S.N.；12年经验）共同确立。参考标志点标注由两名医学本科在读学生（A.L.和N.I.）在密切监督下（E.C.M.）使用3D Slicer（v5.8.1，Surgical Planning Laboratory [26]）完成。标注由E.C.M.和S.N.进行质量检查。重要的是，F.B.O.（R2）未参与标志点定义、学生监督或质量控制，作为独立读者参与性能评估。

自动标志点匹配

我们使用了一个预训练的稠密匹配框架[22]，该框架将“无标签知识蒸馏”（DINOv2）变换器编码器[27]（用于粗粒度、低分辨率上下文，14 × 14像素图像块）与基于卷积神经网络（CNN）的特征金字塔[28]（用于精细、高分辨率细节）相结合。该框架生成参考X线片与目标X线片之间的稠密对应场，使参考中定义的任何标志点能够即时转移到目标（图2）。像素强度按ImageNet统计量进行z标准化[29]，图像缩放至560 × 560像素以减少编码过程中的计算需求。匹配结果随后上采样至原始分辨率用于测量和评估，从而在保持对图像杂质和不一致性具有鲁棒性的同时实现稳健的全局匹配。

初步测试表明，匹配性能取决于所选的参考图像。因此，在常规队列中，我们将每位患者的标志点与其他所有患者进行匹配，并根据所有配对间的平均欧几里得距离对所有患者从最小到最大进行排序。然后从排名最高的患者中自动选择参考图像。使用多张参考图像可能减少不确定性，尤其是在存在重叠的区域，并提高匹配可靠性。为利用多张参考图像，我们选择排名前k位的患者，每位患者对目标图像生成独立的标志点预测。最终标志点坐标通过几何中位数整合这些预测获得。为避免依赖队列的参考选择并确保一致的工作点，参考图像仅从常规队列中选择（按投影），并作为参考集用于常规队列和挑战性队列中的标志点匹配。所有实验均在相同的参考集大小（k = 1, 5, 10, 20, 40）下进行。

为研究框架学习到的内部表征，我们利用匹配过程中生成的特征金字塔进行了事后可视化。对于参考图像中给定的查询点，将金字塔各层级的特征向量拼接形成单一的多尺度表征。将该表征与目标图像中所有位置的特征向量进行比较，相似性用欧几里得距离量化。生成的热图突出显示目标图像中与参考查询点最相似的区域，从而揭示模型所识别的空间对应关系，并展现其内部特征所编码的语义信息。

时间需求

运行标志点匹配程序的时间需求在配备专用图形处理单元的工作站（Intel i7-10700K，128 GB内存，NVIDIA GeForce RTX 3090 24 GB）上测定，并在消费级笔记本电脑（Intel Ultra 7 165U处理器，32 GB内存，无专用GPU）上评估下限性能。后一种配置并非旨在反映真实部署条件，而是表明该方法仍可在最低硬件配置上运行。

统计分析

统计分析由DE、ECM和SN在Python 3.9中使用scipy 1.13.1完成。为评估标志点误差，计算了人工参考与预测标志点之间的平均欧几里得距离及其标准差（SD）。为评估测量误差，计算了自动值（由预测标志点推导）与两位放射科医师人工测量值之间的平均绝对误差（MAE）和SD。评分者间一致性和方法间一致性采用MAE、Bland–Altman偏倚及95%一致性界限和组内相关系数（ICC）进行两两评估。ICC按双向随机效应模型计算，用于单次测量且绝对一致（ICC(2,1)）并给出95%置信区间（CI）。

结果

患者队列

本研究纳入两个队列，分别称为“常规”队列和“挑战”队列。两个队列均包含三个解剖区域的完整X线投影：足（正位和侧位）、膝（正位、侧位和髌骨轴位）和肩（仅正位）。常规队列由300例连续成年患者的600张X线片组成，患者无金属植入物。平均年龄为48 ± 19岁，47%（n = 141）为男性。该组广泛代表了日常临床实践中遇到的病例谱。为在更困难条件下评估该框架，另组建了一个挑战队列，包括120例带有骨科硬件（包括关节置换、钢板、螺钉和髓内钉）患者的240张X线片。平均年龄为56 ± 16岁，44%（n = 53）为男性。

常规队列中标志点匹配及衍生测量的准确性和精确性

在所有三个解剖区域和投影中，平均标志点误差为2.68 ± 2.70 mm（足：2.30 ± 2.32 mm；膝：3.13 ± 3.09 mm；肩：3.16 ± 2.77 mm），准确性和精确性存在差异。图3展示了单张参考图像的标志点匹配误差空间分布。还在不同子集中评估了标志点匹配准确性，每个子集仅包含用于推导特定形态学测量的标志点。这些测量特定子集的平均误差大多较低（即低于3 mm；补充表S1）。在跖骨、髌骨下极和肩峰处观察到准确性降低，导致相关测量特定标志点子集的误差相对较高，例如Meary角（3.29 ± 2.64 mm）、Insall–Salvati比值（3.90 ± 3.25 mm）和肩峰指数（4.01 ± 3.35 mm）。

这些空间模式在测量域中转化为由密集分布、低误差标志点衍生的形态学测量（例如，I–II跖骨角，R1 vs AI：MAE = 1.81 ± 1.44°），表现出最低的MAE；而依赖较高误差区域的测量（例如，一致性角，R1 vs AI：MAE = 8.65 ± 8.42°）则显示与手动参考值之间更大的偏差（补充表S2）。对于若干指标，尤其是与足部和部分膝关节测量相关的指标，AI模型的准确性接近或超过了两位阅片者。然而，其他膝关节指标（例如，一致性角）和大多数肩部测量显示与手动参考值之间更大的偏差（补充表S2）。图4A展示了相应的Bland–Altman图。总体而言，偏倚极小且在测量范围内均匀分布，表明无比例误差。明显的系统性偏移仅出现在一致性角（正向）和外侧肩峰角（负向）。注意到少数离群值，最显著地影响一致性角。重要的是，AI模型与两位放射科医生之间的差异不依赖于测量值的大小，因为两者显示出可比的差异。

多张参考图像对准确性的影响值得注意。总体而言，标志点匹配MAE随参考图像池增大而降低，当使用40张参考图像时，总体标志点匹配MAE降至2.15 ± 2.38 mm（足部：1.79 ± 1.84 mm；膝关节：2.61 ± 2.98 mm；肩部：2.49 ± 2.34 mm）。相应地，使用40张参考图像时，大多数标志点的误差和方差均降低（补充图S4）。

这些改进再次转化到测量域中，超过五张参考图像使AI模型在几乎所有测量中达到或超过阅片者间MAE（图4B）。除了两位放射科医生之间ICC已经较低的少数例外情况外，当提供40张参考图像时，AI模型接近或超过了放射科医生的ICC值（表3）。总体而言，与单张参考图像相比，纳入多张参考图像改善了大多数测量的准确性和一致性（补充表S1）。

挑战性队列中标志点匹配及衍生测量的准确度和精确度

挑战性队列旨在识别我们框架的局限性，认识到在此类情况下自动测量未必总在临床上行得通。所有结果均使用常规参考集获得。示例测量和失败案例见图5。在存在骨科硬件的情况下，标志点匹配（补充表S3）和形态学测量（补充表S4）显示出混合结果。部分测量保持稳定，如拇外翻角，而其他测量则不太稳定，例如Meary角（挑战性队列中MAE + 4°，常规队列）或一致性角（MAE + 6°）。与常规队列中的发现一致，使用多幅参考图像提高了挑战性队列中若干测量的准确度（补充表S4）。大多数测量的ICC值相应增加，但即使使用40幅参考图像，一部分指标仍保持接近零或负的ICC值，表明在存在骨科植入物的情况下，这些测量在没有进一步改进或额外质量控制的情况下不能被认为在临床上可靠。

模型可视化

为解释框架的内部表征，生成热图以展示参考图像中查询点的内部特征表征与目标图像中所有位置的内部特征表征之间的相似性。生成的特征相似性图（图6）表明，网络形成了解剖感知对应关系，因为模型将参考图像上的查询点突出显示在目标图像中的对应位置。总体而言，位置和纹理信息以及语义相关性的整合在空间和结构上产生了合理的解剖对应关系，而非解剖图像元素（如金属植入物）被降低权重。这些模式在不同解剖区域和投照中保持稳定。

时间需求和实际可用性

使用100次运行评估了标志点匹配所需的时间。将一张参考X线片与一张未见过的目标X线片进行匹配，在专用GPU机器上（1.3 ± 0.4 s）比在普通消费级笔记本电脑上处理（89.4 ± 2.4 s）显著更快（系统规格见“材料与方法”）。在多参考设置中，时间需求随参考图像数量近似线性增加，因为每张参考图像均单独映射至目标X线片。因此，这些设置的时间需求可通过乘以参考图像数量直接外推。该自动化框架的运行时间稳定，与标志点数量和测量复杂度无关。

关于标注工作量，放置单个标志点所需的时间取决于评估者对软件和解剖结构的熟练程度以及图像质量。根据我们的经验，每个标志点标注约需2–5 s，此外还有软件操作（如打开和保存文件）的额外开销。由于标注速度随工作流程熟悉程度的提高而变化较大，未记录正式计时。总标注时间随每个投照位所需标志点数量（表2）和所用参考X线片数量而增加。

讨论

当前用于X线摄影定量形态测量的AI工具必须以任务特定方式在完全标注的数据集上进行训练[10–20]，而这些数据集难以创建[3]，且通常排除非典型病例，包括金属植入物[12, 15–20]。相比之下，我们的通用型、最小设置、解剖结构无关的AI框架将标志点标注和形态测量重新定义为单张或少数几张标注参考图像与未见目标X线片之间的密集匹配。无需解剖结构特异性训练或分割，该方法在来自我们临床常规的未经筛选的患者系列中，对标准足、膝和肩X线片产生了准确的标志点预测和形态测量结果。误差通常与读者间变异性一致，并随参考集增大而改善。在存在植入物的情况下，若干测量结果仍具可比性，而其他测量（如Meary角和一致性角）则变差，可能需要额外质量控制。特征相似性图进一步提示了解剖结构感知的对应关系，同时降低了金属植入物的权重，这支持了该方法的临床稳健性和可用性。

与其他通常设定严格纳入标准的研究不同，我们有意从常规临床诊疗中组建研究队列，不设任何与患者相关的排除标准（年龄和图像序列不完整除外），以反映真实世界情况。尽管不同的纳入标准可能使直接比较变得复杂并引入偏倚，我们认为有两篇文献可用于基准参照。在足部X线摄影上，我们的方法优于专门针对该任务训练的关键点预测卷积神经网络（CNN）[19]（例如，拇外翻角的平均绝对误差（MAE）：1.90° vs 4.14°），并接近商业解决方案的准确度[20]（1.90° vs 1.19°）。在使用多个参考时，多项指标上的性能趋近于专用商业解决方案。因此，我们认为我们的模型在常规数据上具有竞争力，同时提供更大的灵活性和通用性，因为它（i）不限于固定的一组关键点或单一解剖部位，（ii）在原本会被排除的具有挑战性的X线片上进行了测试，（iii）不依赖于解剖部位特异性训练和大量人工标注。

由于新的形态学测量可通过在少量参考图像上定义关键点来添加，该框架可快速适配额外的投照体位或解剖区域。它可以适应放射科医师或机构特定的偏好，并且非常适合分布外X线片（例如，在引入新的手术方法或器械之后）。这种灵活性和通用性的结合可在常规工作流程中提供可重复的形态学测量，并构成一条通往标准化的务实路径，包括在模型开发时未曾预见的具有挑战性的临床情况中。

在实践中，该处理流程可集成到图像归档与通信系统（PACS）中，在图像采集后立即自动导出所有相关测量。这种集成将大幅缩短周转时间，并为出具报告的放射科医师提供同步的人工智能（AI）输出，从而可能大幅提高诊断效率[30]。即使是按需处理也仍然可行，因为用户可以通过调整所用参考图像的数量来平衡准确度与运行时间。

需要提及一些局限性。性能取决于参考集的质量和代表性，而异常解剖结构、重叠或标注不准确可能会降低匹配效果。使用多个参考减轻了这一问题，但某些指标（如Meary角）仍然容易出错，可能是因为它们依赖于经常重叠的结构。此外，在编码过程中将所有图像重新缩放至560×560像素可能会降低空间精度，尤其是对于精细的解剖结构，尽管在地标匹配前上采样至原始分辨率可部分缓解这一影响。预测稳健的可靠性标志有助于使这一局限性更易于实际管理，而纳入额外的解剖先验（例如通过统计形状模型[31]）可能提高稳健性，但代价是更高的计算负荷。此外，参考图像选自同一机构数据集内部，这可能引入偏倚，偏向于对评估队列具有高度代表性的参考图像。因此，对未见机构和采集协议的外部泛化能力仍有待确立，未来工作应评估固定的先验参考集和外部多中心数据。此外，我们的单中心回顾性设计限制了研究结果的泛化能力。然而，匹配模型在自然非医学图像上进行了预训练，尽管存在相当大的域差距，仍在医学领域展现出强劲的性能。因此我们预期这一能力将扩展至其他机构、扫描仪类型和放射学视图。尽管如此，未来研究应聚焦于多中心验证、额外投照体位和儿科队列，以确认模型的有效泛化能力。另一方面，残余的系统性偏移可能反映了预训练骨干网络的域偏移。在未标注放射图像上进行自监督微调（域适应）是一种有前景的策略，可更好地使模型与解剖结构对齐，并可能减少此类偏倚[32]。

总之，所提出的通用且无需训练的稠密匹配策略能够在多种肌肉骨骼放射图像上提供形态学测量，其准确性通常与训练有素的放射科医师和专用工具相当。最少的前期标注以及向新测量指标、解剖区域和投照体位的直接扩展，使该方法非常适合在适当的GPU硬件上实际部署，在此类场景中，稳健性和标准化与在狭窄定义的患者队列上的峰值性能同样重要。

补充信息

电子补充材料