基于深度学习的骶髂关节MRI脂肪化生自动分割
本研究回顾性收集两个中心706例脂肪化生患者(中心1共648例,含462例axSpA与186例非axSpA;中心2共58例,含37例axSpA与21例非axSpA),开发基于UNet的2.5D-AttentionUNet模型在骶髂关节MRI上自动分割脂肪化生,并基于分割结果构建分类模型鉴别axSpA与非axSpA。分割模型在内外部测试集DSC分别为81.86%±1.55%和85.44%±6.09%,分类模型AUC分别为0.876(95%CI 0.811-0.942)和0.799(95%CI 0.696-0.902);模型辅助可提升放射科住院医师分割DSC(75.70% vs 82.87%,p<0.05)。
要点
- 2.5D-AttentionUNet在外部测试集分割脂肪化生DSC达85.44%±6.09%,与专家放射科医师(85.03%)相当。
- 模型辅助使放射科住院医师分割DSC由75.70%升至82.87%(p<0.05),专家由85.03%升至85.74%(p>0.05)。
- 分类模型鉴别axSpA与非axSpA外部测试集AUC 0.799(95%CI 0.696-0.902),特异度仅52.38%。
核心结论
- 深度学习可自动准确分割骶髂关节MRI上的脂肪化生,并可能辅助提高放射科医师诊断axSpA的性能。
- 作者认为该模型可能促进脂肪化生的定量分析,并有望改善axSpA的诊断与预后评估。
研究设计与样本
- 回顾性研究,共纳入706例有脂肪化生的患者,来自中心1(462例axSpA和186例非axSpA)与中心2(37例axSpA和21例非axSpA)。
- 分割任务:从中心1随机选103例作训练集采用四折交叉验证,从中心2随机选20例作外部测试集。
- 分类任务:中心1分为训练集455例、验证集64例、内部测试集129例,中心2全部58例作外部测试集。
- 参考标准为两名放射科医师按ASAS MRI工作组标准手动勾画并经高年资医师校准的脂肪化生ROI。
- 模型基于2.5D-AttentionUNet,并与2D-UNet、3D-UNet、ResUNet、UNETR及Attention UNet对比。
关键影像表现/征象
- 脂肪化生在骶髂关节T1WI上表现为软骨下骨内明亮、边界清晰的病灶。
- 模型可将骶骨和髂骨正常黄骨髓脂肪、正常肌间脂肪及关节间隙内正常脂肪误分割为脂肪化生。
- 模型可分割出两名放射科医师漏诊的骶骨和髂骨内小斑片状脂肪化生。
- Grad-CAM热图显示分类模型激活区域位于骶髂关节多个脂肪化生病灶中最显著的区域。
诊断标准与关键数值
- 分割模型内部交叉验证DSC为81.86%±1.55%,外部测试集DSC为85.44%±6.09%。
- 其他UNet衍生模型内部交叉验证DSC为76.42%–80.05%,外部测试集DSC为57.81%–67.40%。
- 分类模型内部测试集AUC 0.876(95%CI 0.811-0.942),外部测试集AUC 0.799(95%CI 0.696-0.902)。
- 分类模型内部测试集准确度81.25%(95%CI 73.44-89.06%)、敏感度88.52%(95%CI 82.15-94.89%)、特异度68.57%(95%CI 59.28-77.86%)。
- 分类模型外部测试集准确度77.59%(95%CI 66.85-88.32%)、敏感度91.89%(95%CI 84.87-98.92%)、特异度52.38%(95%CI 39.53-65.23%)。
临床应用与阅片要点
- 模型可用于骶髂关节MRI脂肪化生的自动分割,为脂肪化生定量分析(病灶位置、大小、强度)提供基础。
- 模型辅助可减少放射科医师对散在小脂肪化生病灶的判读误差,但需注意正常骨髓脂肪和关节间隙脂肪被误分割。
- 分类模型特异度中等(外部测试集52.38%),鉴别axSpA与非axSpA时需结合临床和其他影像征象。
局限性
- 原文未报告局限性。
全文中译15 节 · 点击展开
引言
中轴型脊柱关节炎(axSpA)是一种慢性炎症性疾病,通常起病于骶髂关节(SIJs)[1]。磁共振成像(MRI)是早期检测axSpA骶髂关节改变的标准影像学方法,包括炎症(以骨髓水肿为代表)和结构损伤(如骨侵蚀、脂肪化生(FM)、硬化及关节强直)[2, 3]。除炎症外,结构损伤的背景信息有助于提高axSpA的诊断[4]。FM是第二常见的结构损伤,发生于超过四分之一的axSpA患者中,且对axSpA诊断具有最高的特异性[3, 5]。此外,骶髂关节和脊柱的关节强直进展通常继发于骶髂关节FM的出现,导致功能丧失和生活质量下降[6, 7]。因此,分析骶髂关节MRI中的FM对于axSpA的诊断和预后至关重要。
对于FM分析,T1加权成像是常规使用的成像序列[3]。在骶髂关节T1W图像上,提示axSpA的FM通常表现为软骨下骨内明亮且边界清晰的病灶[3]。基于视觉评估的FM半定量评分方法已被开发用于axSpA的预后评估[8]。然而,FM也可发生于13.8%的非axSpA患者中[9],如未分化关节炎、银屑病关节炎、痛风性关节炎等[10]。此外,随着年龄增长,FM的分布模式通常从局灶性变为广泛性[11]。这些复杂情况可能误导放射科医生对提示axSpA的FM的视觉判读,导致不正确的诊断或预后评估。近年来,已有研究提出基于化学位移编码MRI的质子密度脂肪分数对分割的FM进行定量分析,以更深入地了解FM与axSpA诊断和预后之间的关联[12, 13]。然而,FM定量分析的广泛临床应用迫切需要稳健且准确的自动分割方法。
深度学习(DL)利用多层结构从原始图像中自动学习特征,广泛应用于医学图像分析中的自动分割、分类和检测[14]。多项研究报道了基于MRI的DL算法在检测axSpA骶髂关节炎症和结构损伤方面的成功应用[15–17]。近期研究表明,使用流行的UNet架构的DL模型在眶部、皮下和内脏脂肪的自动分割方面具有高性能[18, 19]。UNet是最流行的卷积神经网络(CNN)之一,在图像分割中具有稳健性和高效性[20]。然而,使用DL方法对骶髂关节MRI上的FM进行自动分割的可行性尚未得到充分探索。
本研究旨在开发用于骶髂关节MRI上FM自动分割的DL模型,并进一步开发基于FM将axSpA与非axSpA进行分类的DL模型。我们还评估了这些模型在辅助放射科医生方面的临床效用。
材料与方法
机构审查委员会批准了中心1的这项回顾性研究(伦理编号:201501003),随后中心2亦获批准。由于本研究的回顾性性质,所有患者均豁免书面知情同意。本研究按照医学影像人工智能清单(CLAIM)指南进行(补充材料II)[21]。
研究参与者
我们分别于2011年3月至2022年1月在中心1、2011年7月至2021年8月在中心2入组患者。纳入标准为患者:(a) 患有慢性下背痛;(b) 经风湿科医生诊断为axSpA或non-axSpA;(c) 具有骶髂关节轴位T1加权图像(T1WI)、T2加权图像(T2WI)、脂肪饱和(FS)T2WI,且有可用的临床数据。FS T2WI技术包括T2 STIR、T2 SPAIR和T2 DIXON技术。non-axSpA的详细信息见补充材料I:附录表1。排除标准如下:(a) 年龄 > 45岁的患者;(b) 放射科医生在MRI上未观察到FM的患者;(c) 因伪影和异物导致MR图像质量差。如果放射科医生(Q.Y.和Y.H.Z.,分别具有12年和31年放射学阅片经验)一致认为无法对影像进行分割以进行有意义的分析,则认为图像质量差。患者纳入和排除流程图见图1。排除患者后,我们最终分别纳入中心1的648例患者(462例axSpA和186例non-axSpA)和中心2的58例患者(37例axSpA和21例non-axSpA)。对于分割任务,从中心1随机选择103例患者作为训练集,采用四折交叉验证策略;从中心2随机选择20例患者作为外部测试集。对于分类任务,我们将中心1的患者分为训练集(n = 455)、验证集(n = 64)和内部测试集(n = 129);并将中心2的全部58例患者作为外部测试集。所有临床特征,包括年龄、性别、人类白细胞抗原-B27(HLA-B27)状态、红细胞沉降率(ESR)和C反应蛋白(CRP)浓度,均从电子健康记录中收集。
图像分析
MRI方案见补充材料I:附录表2。2009年国际脊柱关节炎评估协会(ASAS)认为骶髂关节MRI的轴位和斜冠状位视图均可获取[22]。在两个中心接受骶髂关节MRI检查的所有患者均具有T1斜轴位、T2斜冠状位和T2脂肪抑制斜冠状位图像。轴位斜T1WI、冠状位斜T2WI和冠状位斜FS T2WI被下载并保存为医学数字成像和通信(DICOM)文件。为符合美国(HIPAA)、欧洲(GDPR)或其他相关法律要求,患者受保护的健康信息已从DICOM数据中删除[23]。根据ASAS MRI工作组定义的评估标准(补充材料I:附录方法1)[3],由两名分别具有3年和5年肌肉骨骼影像经验的放射科医师(Y.Y.S.和X.L.)使用ITK-SNAP软件(版本3.6.0;www.itk-snap.org)在所有患者的骶髂关节T1WI上逐层手动勾画骨髓脂肪(FM)的兴趣区(ROI)。随后,ROI由两名资深放射科医师(Q.Y.和Y.H.Z.)协商一致后进行审核和修正。所有数据集的MR图像在输入模型前均进行了预处理(图2a及补充材料I:附录方法2)。两名资深放射科医师初步确定的ROI被用作训练后分割模型的输入。训练模型的输出分割掩膜由所有放射科医师再次修正以校准ROI。这种人-模型交互重复了五次,最终确定的ROI被用作2.5D-AttentionUnet模型分割任务的金标准。两名资深放射科医师(Q.Y.和Y.H.Z.)独立审阅电子健康记录并将参与者标注为axSpA或非axSpA患者。
模型开发
我们开发了一种新颖的2.5D-AttentionUnet模型,专门设计用于骶髂关节(SIJ)MRI上脂肪化生(FM)的分割。该模型有效结合了2D和3D卷积神经网络(CNN)的能力,以提取分层图像特征。此外,我们采用注意力机制来准确捕捉各种形状和大小的化生区域。我们利用空间注意力[24]和压缩-注意力机制[25]来学习编码特征中每个空间位置的相对重要性(补充材料I:附录方法3)。空间注意力机制捕捉编码特征的空间分布,突出重要特征并抑制不太显著的特征。压缩-注意力机制通过全局平均池化(压缩操作)降低特征维度,并使用激活函数(激励操作)获得每个通道的注意力权重。这些注意力权重随后应用于编码特征,得到最终的特征表示。采用交叉熵损失、Dice分数损失和注意力损失[26]作为2.5D-AttentionUnet的损失函数。训练时使用Adam算法作为优化器,批次大小为2。模型训练400个轮次,学习率初始化为5e−4,每3800次迭代减半。我们还训练了2D-UNet、3D-UNet、ResUNet、UNETR[27]和Attention UNet[28]模型,以比较它们与我们的2.5D-AttentionUNet模型的分割性能(图2b和补充材料I:附录方法3)。
此外,我们基于最佳分割模型开发了一个分类模型,用于区分中轴型脊柱关节炎(axSpA)与非中轴型脊柱关节炎(non-axSpA)。具体而言,将分割掩膜上FM的感兴趣区域(ROI)裁剪出来,生成原始图像的ROI图。然后将ROI图与原始图像拼接后输入分类模型。分类模型使用二元交叉熵损失。我们训练模型300个轮次,初始学习率为0.001。使用梯度加权类激活映射(Grad-CAM)方法可视化分类过程中的关键响应区域。深度学习模型分类开发的进一步细节见图2c和补充材料I:附录方法4。
使用了两块Intel Xeon Gold 5220R 2.2 GHz中央处理器,配备16×64 GB的双倍数据速率-4同步动态随机存取存储器,以及一块GeForce RTX 3090 Ti图形处理器(Nvidia,美国加利福尼亚州圣克拉拉),运行于Linux系统(Ubuntu,版本18.04),CUDA版本11.1平台。我们的深度学习模型使用MONAI开源库(版本0.9.0)和PyTorch包(版本1.10.0)实现,基于开源软件(Python,版本3.8.0;Python软件基金会,美国特拉华州威尔明顿)。训练参数和源代码可在网上获取(https://github.com/hust-linyi/2.5D-AttentionUNet)。
放射科医师评估
外部测试集上的T1加权图像由一名放射科住院医师(M.H.W.,具有3年肌肉骨骼影像经验)和一名专家放射科医师(R.Z.,具有17年肌肉骨骼影像经验)进行评估,他们对金标准不知情。他们在基线下独立分割FM病灶并将病例分类为axSpA或non-axSpA。3个月后,他们在深度学习模型的辅助下重新评估了图像。
统计分析
统计分析使用SPSS(版本23.0,IBM,Armonk,NY,美国)和Python(版本3.8.0)进行。连续变量采用Mann–Whitney U检验评估,分类数据采用卡方检验评估。分割模型的性能使用Dice相似系数(DSC)、精确率和召回率评估。分类模型的性能使用受试者工作特征曲线下面积(AUC)、准确率、灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)和Cohen's κ值衡量。放射科医师在无模型辅助和有模型辅助时的DSC和准确率酌情使用Wilcoxon符号秩检验或卡方检验进行比较。采用Bootstrap技术计算95%置信区间(CI)。双侧p < 0.05被认为具有显著性。
结果
患者特征
最终共纳入706例患者(中位年龄28岁,四分位距23–34岁;519例(73.5%)为男性)进行分析。对于分割任务,总数据集、训练集和外部测试集之间CRP浓度差异有显著性,p值< 0.05,其余指标则无显著差异(表1)。对于分类任务,除ESR和CRP浓度外,总数据集、训练集、验证集、内部测试集和外部测试集之间患者的其他所有临床特征均无统计学差异(均p > 0.05)(补充材料I:附录表3)。
2.5D-AttentionUNet分割模型的性能
2D-UNet、3D-UNet、ResUNet、UNETR和AttentionU-Net模型在内部交叉验证中分割FM的DSC为76.42–80.05%,在外部测试集上为57.81–67.40%。与这些分割模型相比,我们的新型2.5D-AttentionUNet模型表现最佳,在内部交叉验证和外部测试集上的DSC分别为81.86% ± 1.55%和85.44% ± 6.09%(均p < 0.05,3D-UNet模型除外)(表2)。在外部测试集上,仅有2例模型获得的DSC低于80.00%,其中1例为axSpA(DSC,63.24%),另1例为非axSpA(DSC,79.65%)。
2.5D-AttentionUNet分割模型的临床实用性
在外部测试集上,2.5D-AttentionUNet模型的性能优于放射科住院医师(DSC,85.44% vs. 75.70%;p < 0.05),与专家放射科医师相当(DSC,85.44% vs. 85.03%;p > 0.05)。在模型辅助下,放射科住院医师(DSC,82.87%,p < 0.05;精确率,76.18%)和专家放射科医师(DSC,85.74%,p > 0.05;精确率,81.59%)的分割性能均得到改善(表3)。放射科住院医师有3例、专家放射科医师有1例获得低于60.00%的DSC。在模型辅助下,放射科医师对所有病例均获得了DSC高于60.00%的良好分割性能。图3和图4展示了模型和放射科医师在无模型辅助和有模型辅助下分割性能优良和较差的有代表性示例。
深度学习分类模型的性能
基于自动分割结果,分类模型在内部和外部测试集上区分axSpA与非axSpA的AUC分别为0.876(95% CI:0.811–0.942)和0.799(95% CI:0.696–0.902),准确率分别为81.25%(95% CI:73.44–89.06%)和77.59%(95% CI:66.85–88.32%),灵敏度分别为88.52%(95% CI:82.15–94.89%)和91.89%(95% CI:84.87–98.92%),结果令人满意(表4)。然而,模型的特异度中等,分别为68.57%(95% CI:59.28–77.86%)和52.38%(95% CI:39.53–65.23%)。Grad-CAM热图显示,骶髂关节内多个FM病灶中最重要的区域被激活,表明分类模型正确识别了目标区域。补充材料I:附录图1展示了模型在骶髂关节MRI上分类FM性能的代表性示例。
深度学习分类模型的临床实用性
分类模型的准确率、灵敏度和特异度优于放射科住院医师和专家放射科医师(准确率分别为70.69%和79.31%;灵敏度分别为78.38%和89.19%;特异度分别为57.14%和61.90%)。在模型辅助下,放射科住院医师和专家放射科医师的分类性能得到提高(准确率分别为77.51%和82.55%;灵敏度分别为89.22%和94.85%;特异度分别为57.20%和61.51%;p > 0.05)(表5和图5)。在模型辅助下,放射科住院医师纠正了5例误分类病例,专家放射科医师纠正了2例误分类病例。
讨论
本研究开发了一种基于2.5D-AttentionUNet的新型分割方法,用于在骶髂关节(SIJ)MR图像上准确分割骨髓水肿(FM)。模型的性能在两个不同机构中得到验证(内部测试:DSC,81.86%;外部测试:DSC,85.44%),与一名放射科住院医师和一名专家放射科医师的手动分割相当甚至更优。基于该分割模型,所开发的深度学习(DL)分类模型在区分中轴型脊柱关节炎(axSpA)与非axSpA方面取得了不劣于两名放射科医师的性能。所提出的分割模型的有效性也得到了证实,因为它帮助两名放射科医师获得了更好的分割性能。这些结果表明,DL分割模型可以成为FM自动分割的有效工具,并可整合到SIJ MRI上FM的自动分析工作流程中。
FM的分割是FM定量分析(如病灶位置、大小和强度)的关键步骤,有助于理解FM与疾病进展之间的关联[5–7]。然而,放射科医师手动分割FM繁琐、耗时且容易出现读者内和读者间差异[29],在日常放射学工作流程中不切实际。与手动分割相比,自动分割具有附加价值,即速度非常快,并且对于相同的输入数据始终提供相同的结果。自动工具的确切性意味着在监测同一患者的疾病进展时,与手动方法相比可能引入更少的变异性。我们开发的自动工具为未来FM的定量分析搭建了桥梁,有望改善患者诊断和预后,并顺应当前个性化医学的趋势。
FM的组织病理学尚不清楚,然而,最近的一篇综述报道巨噬细胞浸润在axSpA的SIJ中很常见[30]。SIJ T1WI上病灶的高信号明显提示脂质的存在。我们推测SIJ中FM的形成是由于泡沫巨噬细胞的参与,泡沫巨噬细胞是一组由脂质积聚形成的细胞,存在于慢性炎症中[31, 32]。与为正常脂肪组织(如腹部、皮下和肌间脂肪)开发分割模型[33–35]相比,为SIJ中的病理性FM创建分割模型更具挑战性,因为其个体间变异性大,如大小、形状和分布不规则。为确保真实分割数据的有效性,我们采用了预训练模型与两名专家放射科医师之间的交互来反复校准FM的分割掩码。这一设计更贴近临床常规,即首先由模型执行自动分割,然后由放射科医师批准或校准。除此之外,寻找最适合FM分割任务的网络架构也是高度需求的。
我们研究了若干源自UNet [24]的医学图像分割网络,包括基于2D的CNN(包括2D UNet、ResUNet、Attention UNet)、基于3D的CNN(包括3D UNet和近期的基于transformer的UNETR [36]),以及我们提出的2.5D-AttentionUNet。这些源自UNet的模型在外部测试中对FM分割表现出中等至较强的性能(DSC,57.81–85.44%),表明基于CNN的SIJ中FM自动分割是可行的。然而,2.5D-AttentionUNet的性能优于基于2D和3D的CNN。这可能有两个原因。第一,基于2D的CNN有效提取了每个MR切片中FM的平面内特征,但忽略了FM在不同MR切片中的空间分布信息。第二,直接使用基于3D的CNN受到限制,因为MR图像的平面内和穿平面分辨率不同,导致信息密度不同。我们基于2.5D-AttentionUNet的模型充分利用了MR切片的平面内和切片内特征,因此非常适合FM分割任务,以提供准确的病灶分割。
既往研究开发了DL模型来检测axSpA不同类型炎症或结构损伤,SIJ MRI上骨髓水肿的AUC为0.76–0.98 [37, 38],SIJ CT上侵蚀的AUC为0.92,强直的AUC为0.91 [15]。我们的实验结果表明DL方法在FM中的有效应用,填补了自动识别反映axSpA进展的SIJ改变(即炎症-侵蚀-FM-新骨形成)[39]的关键空白。DL模型在基于SIJ图像分析识别提示axSpA的炎症和结构损伤方面的高价值已得到确认 [38, 40]。然而,既往研究人员并未独立分析FM。此外,既往研究均未评估DL模型作为辅助工具帮助放射科医生解读MRI上SIJ改变的临床效用。
我们要求放射科医生与自动工具交互,以模拟共享决策过程,并初步探索自动FM分割在辅助axSpA诊断中的应用。模型辅助通过减少放射科医生的判读错误,为FM的识别增加了价值。例如,SIJ MRI上边缘不清的散在和小型FM病灶被放射科医生错误分割,但被DL模型准确分割。这些FM病灶难以用肉眼识别 [10, 11],但其代表性特征可通过迭代优化被DL模型学习(图3和图4d)。然而,放射科医生和我们的分类模型均表现出低特异性(52.38–61.90%),因为他们倾向于将非axSpA误分类为axSpA。这可能归因于分类任务中缺乏疾病诊断特异性的临床指标,如HLA-B27状态、年龄和性别。
遗憾的是,在某些情况下仍会产生错误结果。骶孔、骶髂关节间隙和肌间间隙中的一小部分正常脂肪被误识别为骨髓脂肪(FM)。这部分脂肪可由经验丰富的放射科医师识别,但被放射科住院医师错误识别(图4a和b)。此外,当骨髓脂肪与多种其他骶髂关节改变共存时,还出现了另一处分割错误(图4c)。在T1WI上,骨髓水肿会降低骨髓脂肪的信号强度,而侵蚀和硬化会改变骨髓脂肪的形态[1, 3]。相反,经验丰富的放射科医师通过观察骶髂关节MRI的整体改变能够准确地分割骨髓脂肪。这些发现表明,深度学习模型可以辅助医师解读骨髓脂肪,但无法在常规临床环境中直接替代医师。
我们的研究存在一些局限性。第一,这项回顾性研究可能导致患者选择偏倚。第二,我们的分割和分类模型仅使用轴位T1WI开发,这可能限制模型在不同医院中的泛化能力。在未来的研究中,我们将使用从多种MRI序列和方位获得的图像来开发更稳健的模型。第三,骶髂关节MRI上骨髓脂肪的参考标准由四位放射科医师共识确定,未经病理学确认,因为此类患者通常不需要进行病理活检。这可能给骨髓脂肪的标注引入噪声并影响模型性能。第四,我们未纳入健康人群或非风湿性疾病患者(如椎间盘突出和感染)进行模型开发,这可能降低我们的模型在真实世界实践中的适用性。未来,我们将纳入患有各种疾病的患者和健康人群来优化深度学习模型,以更好地满足临床需求。
结论
总之,基于2.5D-AttentionUnet的新型模型能够自动且有效地分割骶髂关节MRI上的骨髓脂肪。该模型有望作为放射科医师定量分析骶髂关节MRI上骨髓脂肪的辅助工具,具有在常规临床环境中改善中轴型脊柱关节炎(axSpA)诊断和预后的潜力。
补充信息
补充材料1。
引用
- Li X, Lin Y, Xie Z, et al. Automatic segmentation of fat metaplasia on sacroiliac joint MRI using deep learning. Insights Imaging. 2024. PMID: 38530554. doi:10.1186/s13244-024-01659-y
- 全文:PMC10965870(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10965870/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。