基于深度学习的膝关节标志点检测用于滑车发育不良和髌骨高度的自动影像学评估
本研究基于95例患者共763幅膝关节MRI切片、标注3393个解剖标志点,构建U-Net网络自动检测标志点并计算滑车发育不良与髌骨高度相关指数。模型标志点检测平均绝对误差最大为1.38±0.76 mm,LTI、TGD、ISI、CDI和PTI的ICC>0.9,SA、TFA和MISI的ICC>0.75。作者认为该框架有望辅助放射科医生评估髌股不稳定。
要点
- U-Net可自动检测膝关节MRI上的髌股不稳定相关解剖标志点并计算指数。
- LTI、TGD、ISI、CDI和PTI自动测量信度优秀(ICC>0.9)。
- SA、TFA和MISI自动测量信度良好(ICC>0.75)。
核心结论
- 作者提出一种可靠的自动评估髌骨高度和滑车发育不良的方法,有望辅助放射科医生临床实践。
研究设计与样本
- 回顾性研究,纳入95例患者共140个膝关节(左68、右72),来自Trofa Saúde健康集团7个临床中心,影像采集时间为2018年4月至2021年6月。
- 数据集包含237幅轴位和289幅矢状位MRI序列,最终纳入763幅图像(237幅「滑车沟」、237幅「近端滑车」、289幅「髌骨高度」)。
- 由一位肌肉骨骼放射学专家标注3393个解剖标志点,采用基于U-Net的网络预测标志点位置,以留出测试集评估。
关键影像表现/征象
- 「滑车沟」图像选取股胫关节线上方3 cm、髁间沟呈罗马弓外观且软骨性滑车面完全暴露的轴位层面。
- 「近端滑车」图像选取首个显示滑车软骨的头尾方向图像,「髌骨高度」图像选取显示髌骨长轴的矢状位图像。
诊断标准与关键数值
- 标志点检测平均绝对误差最大值为T7的1.38±0.76 mm,最小值为P4的0.63±0.34 mm。
- 9个标志点在1.5 mm范围内的成功检测率高于75%,11个标志点在2.5 mm范围内的成功检测率高于90%,所有标志点在5 mm范围内均被检出。
- LTI(ICC=0.907)、TGD(ICC=0.918)、ISI(ICC=0.985)、CDI(ICC=0.921)和PTI(ICC=0.967)为优秀信度。
- SA、TFA和MISI的ICC均高于0.75,为良好信度。
临床应用与阅片要点
- 作者认为该人工智能框架可对髌骨高度和滑车发育不良提供客观评估,改善放射科医生的临床实践。
- 原文指出影像学评估髌股不稳定具有主观性,易受观察者内和观察者间显著变异的影响。
局限性
- 作者指出本工作使用的数据集较小,更大且更多样的数据集将能构建更稳健的模型。
- 作者指出所有标志点均置于同一层面以评估髌骨高度,对于髌骨过度外侧化的病理患者,同一矢状位图像无法同时包含胫骨结节最前部、胫骨平台最前缘和髌骨长轴的最佳位置,因此在这些形态学方面做了折中。
- 作者指出进一步研究应纳入自动3D标志点检测方法。
全文中译14 节 · 点击展开
引言
前膝痛(AKP)的多因素起源导致髌股关节(PFJ)的诊断影像学检查要求较高。AKP可由PFJ对线不良引起,也常由肌肉无力引起,进而导致髌股不稳定(PFI)[1]。PFI的主要危险因素包括滑车发育不良、髌骨高度过高及胫骨结节前部过度外移[2]。Dejour等将滑车发育不良列为该病最显著的易感因素之一[3]。85%至96%的复发性PFI患者存在滑车发育不良[4]。髌骨高位(指髌骨高度过高)在约25%的急性髌骨脱位患者中可见[5]。
文献中已提出多种指标用于评估PFI的主要危险因素。关于滑车发育不良,文献中使用横断面研究描述的主要PFI指标包括滑车沟角(SA)[6]、滑车面不对称性(TFA)[7]、滑车沟深度(TGD)[8]和外侧滑车倾斜度(LTI)[9]。Insall-Salvati指数(ISI)[10]、改良Insall-Salvati指数(MISI)[11]、Caton-Deschamps指数(CDI)[12]和髌股滑车指数(PTI)[13]已被用于髌骨高度评估。
PFI指标测量容易因主观解剖标志识别而产生较高的观察者内和观察者间变异性,放射科医生将其描述为一项繁琐且耗时的任务[14, 15]。文献中已提出一些传统数学模型以消除手动标注在测量ISI[16]、胫骨结节及髌骨外移[17]以及髌骨倾斜和外移[18]时产生的变异性。深度学习(DL)的引入彻底改变了医学影像分析领域,目标是实现解剖标志的客观和自动检测。文献中发现有两项研究应用基于DL的方法直接预测标志位置,从而自动化PFI指标测量。Ye等提出了一种利用X线影像自动评估髌骨高度的框架[19],Tuya等发表了一项在平片上自动测量SA以及髌骨倾斜和外移的研究[20]。然而,X线影像在评估PFJ方面存在局限。多位作者致力于用磁共振成像(MRI)统一PFI评估,证明其将成为未来的标准[12, 21–24]。
本手稿旨在开发和评估一种借助基于DL的算法来自动评估滑车发育不良和髌骨高度的工具。提出在膝关节MRI切片中自动检测标志位置并计算指标测量值。本研究提供了关于基于DL的策略有望用于辅助PFI指标测量的研究证据,支持放射科医生完成此类要求高且耗时的任务,并通过更客观的测量提高该过程的可靠性。
材料与方法
数据集
本研究经Trofa Saúde伦理委员会批准,并豁免了知情同意要求。本回顾性研究使用的数据集包括膝关节轴位和矢状位MRI扫描。研究中使用的所有图像均于2018年4月至2021年6月在Trofa Saúde健康集团的7个不同临床中心采集。所有数据均经过匿名化处理以供分析。
纳入标准包括按照该机构实施的用于评估髌股关节的方案采集图像的患者,该方案包括多种MRI序列,包括质子密度(PD)以及轴位、矢状位和冠状位的T1和T2加权图像。数据集包括健康膝关节和病理膝关节。病理膝关节包括滑车发育不良、高位髌骨和胫骨结节过度外移。排除标准涵盖所有因螺钉伪影而接受过内侧髌股韧带重建或胫骨结节转移的膝关节。
共回顾了来自95例患者的140个膝关节(包括28个滑车发育不良、34个高位髌骨和23个胫骨结节过度外移),包括68个左膝和72个右膝。数据集包括轴位和矢状位序列的多个PD及T1和T2加权图像,最终获得237个轴位(左侧119个;右侧118个–153个PD;84个T1)和289个矢状位(左侧139个;右侧150个–144个PD;137个T1;8个T2)MRI序列。基于该数据集,一位专家级肌肉骨骼放射科医师从每个轴位序列中选择两幅图像:位于股胫关节线上方3 cm、包含髁间沟且呈罗马拱形外观、软骨性滑车面完全暴露的图像(“滑车沟”,图1),以及显示滑车软骨的第一幅头尾侧图像(“近端滑车”,图1)。在矢状位序列中,从每个序列中选择包含髌骨最长轴的图像(“髌骨高度”,图1)。最终数据集包含763幅图像(237幅“滑车沟”;237幅“近端滑车”;289幅“髌骨高度”)。选择图像后,同一放射科医师进行了标注。共标注了3393个标志点。数据集的表示和标志点见图1。
数据准备
从“滑车沟”和“近端滑车”子集的13例患者中选取图像进入留出测试集,每个子集得到37幅图像(左19幅;右18幅),以确保左右膝的比例。其余数据随机分为训练集(n = 160,80%)和验证集(n = 40,20%)。关于“髌骨高度”子集,创建了一个留出测试集,包括来自同一13例患者的矢状面图像,共39幅图像(左19幅;右20幅),同样确保左右膝的比例。按照相同比例将剩余数据随机分为训练集(n = 200,80%)和验证集(n = 50,20%)。
所有图像在训练前均调整大小为320 × 320像素并归一化至[0,1]。为提高检测性能并减少过拟合,训练期间实施了数据增强方法,包括在[1.25, 0.75]范围内进行随机像素乘法、[− 0.15, 0.15]的随机像素偏移、左右轴随机翻转、[0.9, 1.1]的随机缩放、[− 10, 10]°的随机旋转、垂直和水平轴上[− 5, 5]%的随机平移以及高斯噪声和高斯模糊。
自动PFI指数测量
图2显示了研究的流程图。生成了三个模型来检测(1)“滑车沟”、(2)“近端滑车”和(3)“髌骨高度”上的标志点。这些模型使用相同的基于U-Net的网络架构进行训练,如图2所示。然后使用预测的标志点坐标计算数学关系以估计PFI指数值。图3展示了测量所选PFI指数以评估滑车发育不良和髌骨高度的方法。
标注处理
本手稿解决自动标志点坐标检测问题。每个标志点的离散坐标被建模为热图。与直接的标志点坐标回归方法相比,热图回归方法已被证明更适合此目的,将其转化为逐像素分类问题。它提供了每个像素包含特定标志点的概率,强调了标志点空间位置的重要性,帮助网络更加了解标志点之间的相对位置[25–30]。
为每个标志点生成一个320×320像素的热图通道,其高斯分布以标志点位置为中心[26, 28]。热图值归一化至[0,1],使高斯分布的最大值为1,对应相应标志点的精确位置。因此,热图在背景处值为0,在标志点位置周围逐渐增大。由于背景面积远大于标志点高斯分布,这导致类别不平衡问题。为克服此问题,生成了一个共享热图背景通道,确保每个像素处所有热图之和为1。每个热图通道用H表示。设L为待检测的标志点数量,则热图通道数为L+1,如下所示:其中(a, b)为高斯分布的中心,最后一个热图通道( )对应所有具有标志点分布的热图的共享背景[26, 29, 31]。
网络架构
针对“滑车沟”、“近端滑车”和“髌骨高度”训练了三个基于U-Net的模型。每个模型包含不同的输入图像和不同数量的输出通道,分别为6、3和7,对应于待检测的标志点数量加背景通道。每个模型由收缩路径和扩张路径组成,类似于原始U-Net架构(图2)[32]。其对称形状能够在嵌入式编码器中捕获上下文信息,嵌入式解码器可实现精确定位[32]。编码器由重复应用的两个卷积组成,卷积核大小为3×3,卷积核初始化采用He正态分布,随后在每个层级接一个整流线性单元(ReLU)和一个2×2最大池化层。在每个层级的第一个卷积后加入了一个dropout层。收缩路径各层级分别应用了0.1、0.1、0.2、0.2和0.3的dropout层。Dropout层在模型的学习过程中具有重要作用,能够捕获更稳健的特征[33]。特征通道数在每个层级翻倍,从32开始。
解码器中的每个步骤由一个2×2转置卷积(也称为反卷积)层组成,将特征通道数减半,随后与收缩路径中对应层级的特征图进行拼接。然后应用两个3×3卷积层,卷积核大小和初始化相同,激活函数同为ReLU。每个层级在第一个卷积后也加入了dropout层。各层级分别应用了递减的dropout值0.2、0.2、0.1和0.1。最后一层由一个1×1卷积组成,使用softmax激活函数,其输出对应一个多通道热图,每个标志点一个热图,背景一个热图[32]。
训练
使用分类交叉熵函数训练模型,通过对数函数惩罚每个像素预测值偏离1的程度:其中 是模型预测中的第i个标量值, 是对应的目标值,即真实标签。误差随 趋近于 呈对数递减[32]。
使用Google Colaboratory平台训练网络,批大小为16[34]。网络使用Adam优化器训练,固定学习率为0.001,训练200个epoch。
PFI指数测量
根据模型的输出,通过寻找最大像素值从相应的输出热图中提取标志点的坐标。获得标志点坐标后,根据图3的描述自动计算所有涉及的PFI指数。
评估指标
所有数据使用Microsoft Excel(版本16.61)和IBM SPSS Statistics(版本28)进行分析。对数据进行正态性检验,统计学显著性定义为p < 0.05。
在本手稿中,评估指标用于:(1)评估所开发模型检测标志点的性能,使用成功检测率(SDR)以及平均绝对误差(MAE)和标准差(STD)指标;(2)评估所提出方法自动估计PFI指数值的可靠性,使用组内相关系数(ICC)以及MAE和STD。以留出测试集作为输入,对训练好的网络模型的输出结果进行了分析。标志点坐标通过提取每个相应输出热图中最大像素值的位置获得。
SDR对应于在距真实位置特定精度范围内成功检测到的标志点的百分比[26–28, 35, 36]。一些相关研究使用了正确关键点百分比(PCK),其等同于SDR [19, 20, 37]。对每个标志点检测在1 mm、1.5 mm、2 mm、2.5 mm、3 mm、4 mm和5 mm的每个范围R内评估准确度,如下所示:其中表示真实值与模型预测之间的欧几里得距离,N对应于测试集样本,i ∈ N。
计算MAE及其STD以评估所开发模型检测每个标志点的性能,以及评估所提出框架自动测量所涉及PFI指数的可靠性。MAE通过以下公式获得:
ICC也被用作评估所提出框架自动估计PFI指数可靠性的评估指标。它反映了测量之间的相关程度和一致性程度[38]。根据ICC,可靠性等级分为差(值小于0.5)、中等(值在0.5至0.75之间)、良好(值在0.75至0.9之间)和优秀(值大于0.9)[38]。
结果
人口统计学信息
关于“滑车沟”和“近端滑车”子集,训练和验证数据集的平均年龄为25.68 ± 10.89岁(范围6至59岁),测试数据集为26.27 ± 11.40岁(范围12至48岁)。所有数据集中女性比例较高,从训练和验证数据集的68%到测试数据集的54%。关于“髌骨高度”子集,训练和验证数据集的平均年龄为26.24 ± 11.51岁(范围6至59岁),测试数据集为26.31 ± 11.40岁(范围12至48岁)。女性比例从训练和验证数据集的69%到测试数据集的59%。所有数据集的侧别分布均衡。数据分布见表1。
标志点检测性能
关于训练模型预测标志点位置的表现,图4展示了定位误差的箱线图,该误差对应于每个标志点“滑车沟”(T#1–5)、“近端滑车”(T#6–7)和“髌骨高度”(P#1–6)的真实值与预测值之间的欧几里得距离。
13个标志点的成功检测率(SDR)和平均绝对误差(MAE)如图5所示。最小MAE出现在标志点P4,值为0.63 ± 0.34 mm。另一方面,标志点T7的MAE为1.38 ± 0.76 mm,对应于所有预测标志点中MAE的最大值。
从SDR结果来看,有9个标志点的SDR高于75%,其与真实位置的欧几里得距离小于1.5 mm。在2.5 mm范围内,有11个标志点的SDR高于90%。所有标志点均在5 mm范围内被检测到。P4标志点全部在1.5 mm范围内成功检测。
图6展示了每个所开发模型获得的标志点检测结果的代表性示例。
自动PFI指数测量的可靠性
计算从真实标志点和从预测标志点获得的PFI指数值之间的ICC,以得出所提出框架自动测量所述PFI指数的可靠性结论。根据表2所示结果,LTI(ICC = 0.907)、TGD(ICC = 0.918)、ISI(ICC = 0.985)、CDI(ICC = 0.921)和PTI(ICC = 0.967)的测量均观察到极好的可靠性。所有其余PFI指数测量均达到良好的可靠性,ICC值高于0.75。
讨论
本工作提出了一种基于深度学习的自动框架,用于滑车发育不良和髌骨高度评估。所实现的解决方案采用基于U-Net的网络架构,遵循最新技术指南[19, 26, 27, 29–32],自动检测PFJ轴位和矢状位MRI切片中的解剖标志点。结果表明,与专家肌肉骨骼放射科医生提供的测量值相比,所提出的方法能够可靠地自动测量文献中涉及的主要PFI指数,并且在帮助放射科医生节省时间和降低任务复杂性方面做出了实质性贡献。
为了评估模型预测标志点位置的性能,依据文献中相关研究[19, 20, 26, 27, 30, 36],采用了SDR和MAE指标。所得结果汇总于图5。总体而言,所获得的值是足够的,标志点T7的最高MAE为1.38 ± 0.76 mm。Chen等人报道,标志点定位的平均距离高达2.98 mm对于临床分析是令人满意的[16]。在3 mm范围内,所有标志点在“滑车沟”中获得的SDR优于97.3%,所有“髌骨高度”标志点至少获得94.87%,且所有标志点在“近端滑车”中均被成功检测。根据[38]中定义的可靠性等级,可以合理得出结论:所提出的自动PFI指数测量框架对LTI、TGD、ISI、CDI和PTI的测量具有极好的可靠性(ICC > 0.9),对SA、TFA和MISI的测量具有良好可靠性(ICC > 0.75)。已有若干研究探讨了PFI指数测量的观察者内和观察者间可靠性。所提出的框架已证明其客观测量改善了文献中记录的PFI指数手动测量的显著变异性[2, 14, 23, 24, 39–44]。所达到的可靠性优于文献中手动测量的总体值。
文献中关于使用基于DL的模型自动化标志点检测以进行PFI指数测量的研究较为稀少。然而,发现了两项使用放射影像的相关工作[19, 20]。Ye等人提出了一种自动测量四种髌骨高度指数的方法,包括ISI和CDI[19],E等人则研究了SA及三种与髌骨倾斜和外侧化相关的PFI指数的自动测量[20]。与这些最先进的研究相比,所提出的框架提供了对PFJ更全面的评估。它包括使用广泛接受的医学成像技术MRI对髌骨高度和滑车发育不良进行评估。与我们的框架相比,仅在E等人开展的工作中SA获得了更高的ICC值[20]。上述研究中使用的放射学Laurin位提供了对滑车更近距离的观察,这些成像方式的差异可能导致了观察到的结果。此外,我们的数据集中纳入严重滑车发育不良的患者可能解释了所获得的结果。进一步的研究纳入更多描绘发育不良滑车的图像将使网络能够更好地学习这些图像中存在的关键特征,从而增强所提出框架的结果。
本研究存在一些局限性,需在进一步研究中加以考虑。其一与用于开展本工作的小型数据集有关。尽管本工作取得了良好结果,但更大、更多样化的数据集将有助于构建更稳健的模型。另一个问题与将所有标志点置于同一层面以评估髌骨高度有关。由于数据集包含病理患者,对于髌骨过度外移的患者,其矢状面图像并不包含胫骨结节最前部、胫骨平台最前缘及髌骨长轴的完美定位。为在数据集中选择最合适的层面,需在这些形态学方面之间做出权衡。进一步研究必须包括探索用于标志点检测的自动3D方法。
结论
本工作提出了一种使用基于深度学习(DL)的模型,利用MRI层面自动评估滑车发育不良和髌骨高度的方法。所开发的框架能够自动检测髌股标志点,并估算LTI、SA、TFA、TGD、ISI、MISI、CDI和PTI的值。所有PFI指数均达到高于0.75的ICC值,印证了所提出的是一个利用MRI自动测量PFI指数的可靠系统,在放射科医生的临床实践中具有广阔的应用前景。它为辅助繁琐且要求高的PFI影像学评估以及应对所报道的操作变异性做出了重要贡献。
引用
- Barbosa RM, Serrador L, da Silva MV, et al. Knee landmarks detection via deep learning for automatic imaging evaluation of trochlear dysplasia and patellar height. Eur Radiol. 2024. PMID: 38337072. doi:10.1007/s00330-024-10596-9
- 全文:PMC11364617(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11364617/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。