SPINEPS:采用两阶段方法对T2加权MR图像进行全脊柱自动语义和实例分割
本研究提出SPINEPS深度学习方法,在矢状位T2加权TSE图像上对14种脊柱结构进行语义和实例分割;在公开数据集上各结构及指标均优于nnUNet基线(如椎体实例Dice 0.933 vs 0.911,p<0.001),联合训练后椎体亚结构实例Dice达0.803,全局Dice达0.931。
要点
- SPINEPS先语义分割再实例分割,避免基线模型出现的实例标签混淆错误。
- 在公开数据集上,椎体实例Dice 0.933 vs 基线0.911,ASSD 0.21 vs 0.435。
- 联合NAKO与SPIDER训练后,椎体亚结构实例Dice 0.803 vs 仅NAKO 0.778。
核心结论
- SPINEPS是首个公开可用的全脊柱分割算法,可在T2w矢状位图像上提供14种脊柱结构的语义掩膜和实例掩膜。
- 两阶段方法在语义和实例分割上均优于直接训练实例分割的nnUNet基线。
- 仅使用自动生成标注训练即可获得良好泛化性能,部分标注来自MR到CT的图像转换。
研究设计与样本
- 研究类型为深度学习模型开发与评估,使用公共SPIDER数据集、德国国家队列(NAKO)子集和内部数据集。
- SPIDER训练/测试179/39例(137例女性),NAKO训练/测试1412/65例(平均年龄53岁,694例女性),内部测试集10例(平均年龄70岁,5例女性)。
- 参考标准为三位专家(经验3年、3年、2年)在22年经验专家监督下进行手动校正,使用ITK-SNAP软件。
- 模型为两阶段:nnUNet 3D语义分割模型后接3D U-Net实例模型,采用滑动窗口裁剪方法。
关键影像表现/征象
- 模型在胸段区域整体性能最佳,颈段区域最弱。
- 常见错误包括左右方向最外侧层面像素遗漏(尤其横突/肋突结构)、椎体融合时椎间盘过度分割、C2齿突未完全分割。
- 基线模型会产生全局实例分割错误(混淆不同实例标签),而SPINEPS未出现此类错误。
诊断标准与关键数值
- 评估指标包括Dice相似系数(DSC)和平均对称表面距离(ASSD),以及实例指标识别质量(RQ)、分割质量(SQ)和全景质量(PQ)。
- 实例重叠度(IoU)大于等于0.5视为真阳性。
- 在SPIDER测试集上,椎体实例Dice 0.933 vs 基线0.911(p<0.001),ASSD 0.21 vs 0.435(p<0.001)。
- 在NAKO与内部测试集(75例手动校正)上,联合训练模型椎体DSC 0.911、椎间盘0.951、椎管0.922。
- 联合训练较仅NAKO训练:椎体亚结构实例Dice 0.803 vs 0.778,全局Dice 0.931 vs 0.918(所有Dice p<0.001)。
临床应用与阅片要点
- SPINEPS可对任意视野的T2w矢状位MR图像进行全脊柱分割,包括后部结构。
- 输出语义掩膜和实例掩膜,便于提取生物标志物、自动定位病变和退行性疾病以及定量分析。
- 实例标签按从上到下计数,不进行解剖标注,不跨受试者对应同一椎体。
- 模型不分割C1椎体,因参考掩膜中未包含C1。
局限性
- NAKO人群来自平均健康德国人群,病理可能代表性不足,不能保证在分布外影像数据(如术后MRI)上性能相同。
- 实例分割未包含标注步骤,实例标签不跨受试者对应同一椎体,且从上到下计数,不考虑视野或枚举异常(如13个胸椎)。
- NAKO的T2w矢状位图像常仅含少量层面且层厚3.3 mm,模型偶尔难以准确分割左右方向最外侧体素,导致横突/肋突结构像素遗漏。
- 模型在C2齿突结构分割不完整。
- 模型在椎体部分融合的异常病例中倾向于过度分割椎间盘。
全文中译11 节 · 点击展开
引言
在临床实践中,MRI常用于评估脊柱,可提供关于椎间盘(IVD)退变、椎体病变及椎管/脊髓结构的具有诊断价值的数据[1]。
分割在计算机断层扫描(CT)等成像技术中已较为成熟。例如,它可用于手术和放疗计划[2]。在脊柱MRI中,分割较少见,主要原因是资源缺乏以及解剖结构复杂、后部结构显示不佳。
然而,MRI中的全脊柱分割能够实现生物标志物的自动提取,[3] 自动检测退行性疾病如伴有Pfirrmann分级的IVD退变,[4, 5] 或量化肿瘤负荷[6]。此外,还可实现定量分析,如确定脊柱侧弯的程度[7]。因此,如果在临床常规中最常用的MRI序列之一(如T2w矢状位涡轮自旋回波(TSE))中能够实现全脊柱分割,则可提高放射学评估的质量并减少工作量。
机器学习是解决语义分割或实例分割问题的成熟工具[8]。然而,目前尚无针对MRI图像的自动方法能够分割全脊柱,包括棘突等椎体后部结构。大多数现有的T2w图像分割方法仅限于腰椎区域,因此并非为全脊柱分割而设计[9–14]。这主要归因于MRI与CT相比具有低分辨率平面,且后部结构等结构更难以区分。这给在MRI上进行手动标注的放射科医生带来了显著的工作负担。此类标注通常是训练自动分割方法所必需的。
相比之下,分割在CT成像中已较为成熟[15–17]。为克服手动标注的问题,Graf等[18]成功使用图像转换从MR图像生成人工CT图像。他们使用现有的CT分割模型为MRI创建分割掩膜,并表明这种转换效果足够好,可将CT级别的分割掩膜迁移至MRI。我们的方法将这些CT级别标注与现有的MRI特异性标注相结合,以训练我们的模型,而无需手动标注任何单张MRI。为此,使用了U-Net架构[19],这是分割任务中最常用的深度学习方法。它是一种专为图像分割设计的卷积神经网络,以其编码器-解码器结构和跳跃连接为特征。然而,我们从现有模型中观察到,它们在实例分割方面存在困难,因为不同的实例标签属于相同的语义结构,因而对模型而言看起来相似,Isensee等[20]对此进行了示例性描述。如果此类分割掩膜用于统计分析、配准或医学干预,这是不可接受的。本研究通过首先进行语义分割来解决这一问题,使我们能够使用空间相对的实例标签进行训练和推理。此外,语义掩膜和实例掩膜的同时可用性使得对语义结构和个人实例定位感兴趣的下游任务成为可能,如骨折检测[21]。
本研究的目的是提出一种脊柱相位分割网络(SPINEPS),这是一种两阶段方法,用于在T2w矢状面图像中对颈部、胸部和腰部的14个脊柱结构进行语义和实例分割,以展示如何利用自动分割模型生成的注释与MR到CT图像转换技术的组合来进行训练,并使预训练模型公开可用,以便研究人员能够为其MR数据集生成脊柱分割掩码。
材料与方法
本研究使用了三个数据集:(1)公共数据,(2)前瞻性收集的外部数据集(参与者签署了知情同意书),以及(3)回顾性收集的内部数据集(经当地伦理委员会豁免知情同意,593/21 S-NP)。
具体而言,本研究使用了公共SPIDER数据集[22]、随机德国国家队列(NAKO)子集[23]以及一个内部数据集(表1)。从SPIDER中随机抽取18%(39/218)的受试者作为测试集。SPIDER的训练/测试比例来源于先前的研究[22]。对于第二个测试集,从NAKO中随机选取65名受试者,内部数据集中10名受试者的图像由三位专家(J.S.、H.S.和B.K.,分别具有3年、3年和2年经验)在一位具有22年经验的专家(J.S.K.)监督下进行手动校正(图1)。该校正过程的高手动工作量和高耗时限制了该测试集的规模。注释工具为ITK-SNAP[24],这是一款免费且简单的3D图像查看和编辑及分割软件。在NAKO数据上进行训练时,未直接使用手动注释。相反,不同自动分割结果被组合作为训练参考。
自动注释
从Streckenbach等人[25]先前的研究中获得了180名NAKO受试者的手动注释,包含椎体、椎间盘(IVD)、椎管和骶骨体的语义掩码。我们使用建议的超参数[26]训练了一个默认的nnUNet模型——一种广泛认可且强大的图像分割工具——来复现该分割。该模型与用于脊髓分割的Spinal Cord Toolbox[27]一起被用于分割2030名NAKO受试者。Spinal Cord Toolbox在543名受试者中遇到了我们无法修复的软件问题,这些受试者被排除在进一步使用之外,剩余1477名受试者(其中1412名用于训练)。
采用Graf等人[18]的方法,将NAKO训练数据中的T2w矢状面图像转换为人工CT。基于Sekuboyina等人[28]的Bonescreen SpineR工具(Bonescreen GmbH)被用于分割人工CT中从第二颈椎(C2)到最后一节腰椎的结构。这些转换后的注释产生了九个椎骨子结构的分割(椎体、椎弓、棘突,以及下关节突、上关节突和肋突/横突,后三者分为左右两侧)。
不同的分割掩膜被逐步合并。基于平移的分割结果被添加到基于Streckenbach的分割结果中。添加时,已被分割为不同结构的体素被排除。接下来,脊髓体素被纳入。最后,椎体和椎间盘区域之间的空洞被填充,过渡像素被重新标记为终板(图2)。由于第一颈椎(C1)在我们的任何参考掩膜中均未被分割,我们的方法无法分割该特定椎骨。
这产生了14种脊柱结构:十种用于椎骨子结构(包括终板)、椎管、脊髓、骶骨和椎间盘。这些自动分割结果作为我们使用NAKO训练数据进行训练的参考标注。
分割方法
我们的方法分两个阶段运行(图3)。首先,语义模型将扫描图像逐块分割为14个语义标签。为此,采用nnUNet 3D架构[26]。
不同的实例无法从该语义掩膜中简单地计算出来,例如由于椎体的融合。因此,本研究采用滑动窗口分块方法,使用第二个模型(3D U-Net[19]),该模型经过训练可将语义标签区分为椎骨实例。这使我们能够基于空间相对的实例标签(即图像块中心的椎骨实例)而非全局标签(即扫描图像中从顶部数第三个椎骨实例)来训练实例分割。为实现这一点,通过连通分量分析计算语义掩膜中每个椎体的质心位置。在这些中心周围创建固定尺寸(248、304和64)的裁剪块,上采样分辨率为(0.75、0.75和1.65),方向为(后、下、右)。对于每个裁剪块,第二个模型预测裁剪块中心周围的三个椎骨。在此过程中,每个椎骨出现在多个裁剪块中(图4)。
我们计算每个椎骨在这些出现中的平均Dice分数。随后,椎骨实例按平均Dice分数从高到低整合到最终实例掩膜中。该方法确保一致性最差的预测最后处理,从而最大限度地减少错误预测对相邻实例的潜在影响。值得注意的是,这降低了跳过整个椎骨或合并两个椎骨实例的可能性。重要的是,我们的方法仅依赖语义掩膜作为实例模型的输入。因此,在此阶段不使用图像数据。最后,语义掩膜中的椎间盘和终板结构被添加到实例掩膜中,并根据上方最近的椎骨实例赋予实例标签。
在训练方面,我们使用了一块 Nvidia A40,耗时一个 GPU 日。每个模型训练所用的详细配置和预处理见附录 A(电子补充材料)。SPINEPS 使用两个模型对 NAKO 形状为(501、914 和 16)的全身扫描进行一次推理运行大约需要 50 秒的处理时间。此项测试在一台单独的机器上进行,使用 Ubuntu 22.04、GeForce RTX 3090、AMD Ryzen 9 5900× 和 128 GB 内存。在完成语义分割和实例分割之后,采用后处理技术。
后处理
实例掩膜中在语义掩膜中为零的体素被移除。此外,语义掩膜中存在但实例掩膜中缺失的每个连通分量,被分配给具有最多相邻体素的实例。这确保了两个掩膜之间前景体素的一致性。使用边界框分析来移除与最大连通分量(即目标脊柱)隔离的元素。此外,对于每个下关节突和上关节突连通分量,基于多数投票对实例重新标记。实例模型在这些区域大多仅以少数体素混合相邻椎骨实例。这确保了一致性和干净的边缘。
实验
本研究使用来自既往研究的 nnUNet 方法作为基线模型 [22]。我们将其性能与我们的 SPINEPS 方法进行比较,仅在该 SPIDER 数据集上训练,并在 SPIDER 测试划分上评估。由于 SPIDER 真值仅包含实例掩膜,我们将我们的实例掩膜输出与其比较。为能够进行语义评估,我们在计算指标之前按其实例推导解剖组,即所有椎骨实例接收相同标签。
我们的方法仅在NAKO训练数据的自动标注上进行训练,在人工校正的NAKO测试集和内部数据上进行评估,以证明自动标注的有效性。此外,还将性能与同时在NAKO训练数据和SPIDER数据集上训练的模型进行比较。由于测试集仅对语义掩膜进行了人工校正,因此仅评估了该方法的语义输出。我们还省略了对骶骨和终板结构的评估,因为它们不属于测试数据人工标注流程的一部分。
统计分析
评估采用Dice相似系数(DSC)和平均对称表面距离(ASSD),后者表示分割边缘到参考标注的平均距离。实例级指标——识别质量(RQ)、分割质量(SQ)和全景质量(PQ),如[29]所述,使用panoptica[30]计算——提供了对实例预测性能的深入了解。交并比大于或等于0.5的实例被视为真阳性。
统计显著性采用Wilcoxon符号秩检验对Dice和RQ指标进行判定,p < 0.05表示具有统计学显著性。
结果
表1呈现了受试者的人口学和临床特征。在NAKO子集总共2030名受试者中,为1477名(平均年龄53岁,49%为女性)创建了自动标注。我们在排除集中未观察到疾病相关模式,如重度脊柱侧弯或高信号斑点。来自公共SPIDER或内部数据集的数据未被排除(图1)。
性能
SPINEPS在所有指标和结构上均优于基线(例如,椎体实例ASSD 0.21 vs 0.435;所有Dice p < 0.001)。这在语义比较(按结构)和实例指标(表2)中均成立。即使没有所提出的可选后处理技术,我们的两阶段方法也优于基线(例如,椎体实例DSC 0.922 vs 0.911,p < 0.001)。与基线相反,我们的模型不产生全局实例分割错误(图5)。此外,较低的标准差和总体较低的ASSD值表明我们的技术具有更高的鲁棒性。最后,我们的方法不仅在平均水平上更优,而且在所有测试样本上均一致更优。
在NAKO自动标注和SPIDER数据集上联合训练的模型,在我们随机选取的75名人工校正受试者测试集上,椎体DSC为0.911,椎间盘DSC为0.951,椎管DSC为0.922(表3)。使用两个数据集训练的性能优于仅使用NAKO训练的模型(所有Dice p < 0.001)。按各区域(颈椎、胸椎和腰椎)评估时,我们的方法在胸椎区域表现出最佳的整体性能,在颈椎区域表现最弱,详见附录B:按区域性能。
我们还评估了在NAKO和SPIDER上训练的模型最常犯的错误(图6)。模型难以正确标注左右方向上的最外层切片。这导致肋突/横突结构中出现像素遗漏。在高度异常的情况下,尤其是融合椎体中,椎间盘与椎体之间的过渡区域常出现局部错误。最后,我们的模型难以完全分割C2的齿突结构。
讨论
本工作提出了首个公开可用的矢状位T2w MR图像全脊柱分割模型。在自动生成注释的组合上训练模型获得了良好性能的泛化。我们的方法同时生成语义掩膜和实例掩膜。此外,本研究证明,与先前研究[22]中描述的直接在实例参考上训练的nnUNet相比,我们的两阶段方法在语义和实例分割能力上均有提升。
脊柱分割已有多種方法加以解决。Wasserthal等人的TotalSegmentator[31]能够分割超过一百个类别。然而,它仅在CT上有效,且根据其评估,它产生的最常见错误是实例标签的混淆。他们使用了直接基于实例标签训练的nnUNet,类似于我们的基线[22, 26]。本研究展示了基线因混淆不同实例标签而产生分割错误的样本。我们假设不同标签具有相同的语义结构且在模型看来相似。我们的方法通过先进行语义分割并在固定裁剪尺寸上使用所提出的滑动窗口技术来避免此问题。这简化了模型的实例分割任务,并将可能的预测误差限制在局部影响范围内。评估实例分割的指标显著提升证实了这一点。
市售的CoLumbo软件[32]可分割腰椎区域的椎体、棘突和椎间盘结构等。通过将每节椎骨划分为子结构标签,我们的方法能够对整个脊柱进行更详细的自动分析。大多数其他方法要么仅针对特定区域(如SPIDER基线[22]),无法捕捉任意视野[12],要么不包括后部结构[14]。利用转换方法,本研究成功地将椎骨子结构分割迁移至MRI,而无需手动注释任何单张图像。
我们的方法是在NAKO [23]的大型MRI数据队列上训练的。这种分割技术有助于进一步研究和关键分析,例如推导正常参考值,如Streckenbach等人[25]所示。然而,在该研究中,所提出的模型仅对椎体、椎间盘(IVD)和椎管区域进行语义分割。与我们的方法不同,需要进一步的算法从其语义输出中推导实例掩膜,这使得下游任务更具挑战性。
尽管如此,我们的研究存在局限性。NAKO的人群来自平均的健康德国人群。因此,与典型的医院数据集相比,病理情况可能代表性不足,尽管我们的测试数据中包含了病理病例,但在分布外成像数据(如术后MRI)上无法保证相同的性能。
我们的实例分割未包含标注步骤,这意味着SPINEPS输出中的实例标签在不同受试者之间并不对应相同的椎体。相反,实例标签无论视野范围或是否存在 enumeration 异常(如13个胸椎[33])均从上到下计数。未来研究可以在我们的两阶段分割方法之后加入标注步骤,以解剖学正确的方式标注椎体实例,类似于在CT中所做的工作[34]。
来自NAKO的T2w矢状面图像通常仅包含少量层面,层厚为3.3 mm。我们的模型偶尔难以准确分割沿左/右方向的最外侧体素。这导致肋突/横突结构中出现像素遗漏,使其成为我们模型性能中最薄弱的部分结构。在仅使用手动校正测试数据进行训练的初步测试中,观察到这些问题有所减少。这表明这些误差源于训练数据分布。因此,为在未来减少这些误差,我们可以在手动校正数据上微调我们的模型,最好是在更宽的MR图像上。
总之,本研究提出了SPINEPS,一种两阶段的语义和实例分割方法,其优于为实例分割训练的nnUNet基线。我们证明了我们的方法仅使用自动标注即可良好泛化,这些标注部分来自MR到CT的转换方法。最后,提出了一个全脊柱模型,用于在颈椎、胸椎和腰椎区域的T2w矢状面扫描中准确分割14个脊柱结构,包括语义和实例层面。模型和方法已公开提供1。
补充信息
电子补充材料
引用
- Möller H, Graf R, Schmitt J, et al. SPINEPS-automatic whole spine segmentation of T2-weighted MR images using a two-phase approach to multi-class semantic and instance segmentation. Eur Radiol. 2024. PMID: 39470797. doi:10.1007/s00330-024-11155-y
- 全文:PMC11836161(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11836161/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。