在常规CT成像中使用三维语义分割卷积神经网络进行全自动身体成分分析
本研究开发了基于多分辨率U-Net 3D神经网络的全自动腹部CT身体组织成分三维体积测量方法,在40例训练集和10例测试集上,五个语义区域的平均Sørensen Dice评分为0.9553,细分组织体积的组内相关系数均超过0.99,表明可在常规腹部CT上实现全腹部而非仅L3层面的稳定生物标志物分析。
要点
- 多分辨率U-Net 3D在五个语义区域的平均Sørensen Dice评分为0.9553,细分组织ICC均超过0.99。
- 全腹部三维体积分析可替代传统仅L3层面的粗略近似,提供更稳定的身体成分生物标志物。
- 肋骨因部分容积效应分割困难,金属植入物所致线束硬化伪影可能影响组织阈值量化。
关键影像表现/征象
- 多数层面分割边界近乎完美,但肋骨因部分容积效应成为问题区域,在5 mm CT上有时人类读者也难以正确划分区域。
- 金属植入物所致的线束硬化伪影可表现为条状和杯状伪影,即使分割模型能预测精确边界,仍可能阻碍基于HU的脂肪或肌肉组织阈值判定。
诊断标准与关键数值
- 肌肉组织通过HU阈值−29至150识别,脂肪组织通过HU阈值−190至−30识别。
- 脂肪体素位于腹腔区域内计为内脏脂肪(VAT),位于皮下组织区域内计为皮下脂肪(SAT)。
- 测试集上按层面测量的SAT、VAT和肌肉体积组内相关系数分别为0.999、0.998和0.991(p < 0.001)。
- 最佳模型为初始特征图数量64的多分辨率U-Net 3D,五个语义区域平均Sørensen Dice评分为0.9553。
- 仅使用腹部HU窗(−150至250)时交叉验证平均Dice评分最低为0.829,测试集为0.875;组合多个HU窗作为独立输入通道后交叉验证和测试集平均Dice评分均超过0.95。
临床应用与阅片要点
- 系统输出包含矢状位和冠状位切片PDF报告及每个轴位层面肌肉、SAT、VAT体积的堆叠条形图,并附所有数值表格,PDF封装于DICOM自动发送回PACS。
- 目前腹腔内器官内脂肪按定义不应计为VAT但被计入,可利用公开多器官语义分割数据集对分割结果进行器官掩膜后处理。
- 作者计划在未來版本中加入图像伪影自动检测与处理功能,并扩展至胸部检查及心包脂肪、心肌等组织类别。
局限性
- 数据集层厚为5 mm,部分容积效应使特定位置HU为所有成分的平均值,可能影响组织量化。
- 目前腹腔区域内所有脂肪强度值范围的体素均计为VAT,但器官内脂肪细胞按定义不计为VAT,应被排除在最终统计之外。
- 金属异物所致的线束硬化伪影可能影响分割质量,并使基于HU的脂肪或肌肉组织阈值判定无法进行,可能使量化报告失效。
- 需要外部验证以证明系统的稳定性和泛化性,包括来自不同扫描仪的数据以及大量不同的身体成分病例。
全文中译11 节 · 点击展开
引言
得益于计算机辅助图像分析的进步,放射学图像数据现在越来越被视为定量生物标志物的宝贵来源[1–6]。人体组织成分是一种早已为人熟知的生物标志物,不仅在心血管、肿瘤和骨科疾病中具有很高的诊断和预后价值,在康复医学或药物剂量方面也是如此。尽管基于现代放射学断层成像定量测定组织成分看起来显而易见且简单,但在临床常规中实际提取这一信息并不可行,因为手动评估需要耗费大量人力。最近一项研究表明,可以使用线性回归模型从CT中简单且可重复的2D测量值估算某些人体测量学指标[7]。另一项研究表明,使用2D U-Net架构可以将L3椎体水平的CT断层图像全自动2D分割为皮下脂肪组织、肌肉、内脏和骨骼[8]。在临床常规中,L3水平的组织成分测定常被用作参考,以限制评估所需的工作量。然而,即使在此处,这也只是一种粗略近似,因为患者之间的个体差异很大,且L3水平的切面不一定能代表整个人体解剖结构。其他使用双能X射线吸收测定法或磁共振成像分析身体成分的专门技术也存在[9],但需要执行额外可能耗时或昂贵的程序。
因此,我们研究的目的是从腹部标准CT检查中开发一种全自动、可重复且定量的身体组织成分3D体积测量方法,以便能够将此类有价值的生物标志物作为常规临床成像的一部分提供。
材料与方法
数据集
收集了一个回顾性数据集,包括40例腹部CT用于训练和10例腹部CT用于测试(表1)。纳入的扫描图像是从2015年至2019年在埃森大学医院进行的腹部CT研究中随机选择的。未考虑检查的适应证。根据我们科室临床研究的分布,超过50%应因肿瘤学适应证而接受检查。每个CT体积的层厚为5 mm,并使用软组织卷积重建核进行重建。数据标注了五个不同的标签:背景(=人体外部)、肌肉、骨骼、皮下组织、腹腔和胸腔。标注使用ITK Snap [10]软件(版本3.8.0)完成。区域分割使用多边形工具手动执行。为减少标注工作量,每第五层进行完整标注。其余层面标记为忽略标签,如图1所示。最终数据集包含751层完整标注层面用于训练,186层用于测试。
网络架构
实现语义分割存在许多不同的架构设计,一些利用在 ImageNet 上训练的预训练分类网络;另一些则设计为从头训练。在本研究中,选择了两种不同的网络架构进行训练,即常用的 U-Net 3D [11] 和较新的变体多分辨率 U-Net 3D [12]。后者如图 2 所示;然而,U-Net 3D 与之非常相似,只是残差路径块被恒等操作替代,多分辨率块被两个连续卷积替代。在这种情况下,由于内存占用较大,体数据将批大小限制为每批单个样本。因此,使用实例归一化 [13] 层而非批归一化层 [14]。在原始架构中,采用转置卷积将特征图上采样回原始图像尺寸。然而,转置卷积往往会产生棋盘格伪影 [15]。这就是为什么改用三线性上采样后接 3 × 3 × 3 卷积,这计算成本更高,但在优化过程中更稳定。此外,还评估了初始特征图数量 nf 的不同选择:16、32 和 64。在每个池化步骤之后,数量翻倍,分别导致最低分辨率下为 256、512 和 1024 个特征图。
训练细节
网络架构的实现和训练使用 Python 完成,采用 Tensorflow 2.0 [16] 和 Keras API。使用了具有 24 GB 显存的 Nvidia Titan RTX GPU,在使用大体数据时能够训练更复杂的网络架构。
使用了 Adam [17] 配合解耦权重衰减正则化 [18],配置为 beta_1 = 0.9、beta_2 = 0.999、eps = 1e-7,权重衰减为 1e-4。初始值为 1e-4 的指数衰减学习率,每 50 个 epoch 乘以 0.95,有助于在训练结束时稳定优化过程。为了在训练期间选择最佳模型权重,在训练集上使用五折交叉验证,并在各自的验证划分上监测平均 dice 分数。由于训练数据集由 40 例腹部 CT 组成,每次训练运行使用 32 例 CT 进行训练,8 例 CT 进行验证。
在训练过程中,应用了多种数据增强方法,以虚拟方式增加用于训练可泛化网络的独特样本量。例如,文献[11, 12, 19]表明,激进的数据增强策略可以通过捕捉数据中可预期的变化来防止小样本量上的过拟合。首先,应用随机尺度增强,缩放因子在0.8至1.2之间均匀采样。由于该因子在x轴和y轴上独立采样,因此它同时也起到宽高比增强的作用。其次,利用随机翻转在x轴上镜像体数据。第三,从大小为n × 512 × 512的完整体数据中随机裁剪大小为32 × 256 × 256的子体数据。在推理阶段,使用相同数量的切片,但保持x和y维度不变,并使用75%重叠的滑动窗口方法处理整个体数据。为提高分割精度,对重叠子体数据的预测以加权方式进行聚合,给予中心切片比最外层切片更大的权重。
除随机数据增强外,在将图像数据输入神经网络之前还进行了额外的预处理步骤。体数据在x/y轴上按因子2降采样至128 × 128,在z轴上保留5 mm的层厚。CT图像以亨斯菲尔德单位(HU)采集,其捕捉精细细节,并允许根据用于将HU映射为颜色(如黑/白)的不同传递函数进行不同解读。通常,当使用浮点值时,典型的扫描仪12位量化可以无损存储,网络应能够无问题地处理所有信息。在本工作中,对16位整数数据应用了多个HU窗口[− 1024, 3071]、[− 150, 250]和[− 95, 155],以映射到[0, 1],并将离群值裁剪至相应的最小值和最大值,然后堆叠为通道。最后,网络输入以零为中心,最小值为− 1,最大值为+ 1。
在监督方面,选择了softmax交叉熵损失和广义Sørensen Dice损失[20]的组合,类似于[19]。标记为忽略标签的体素不参与损失计算。两种损失定义如下:C代表类别总数,对于本问题等于六。和yc,n分别代表体素位置n处类别c的预测和真实标签。本工作中背景类别明确不纳入dice损失,以便在优化过程中给予前景类别更大权重。这一选择在类别不平衡问题中是众所周知的,即前景类别与背景类别相比仅覆盖很小的区域。
最终损失是两种损失的等权组合:
组织定量
通过将HU阈值设定到特定强度范围,可以从CT中提取各种材料。为了量化组织,报告系统混合使用经典阈值分割和现代语义分割神经网络来构建语义关系。在训练过程中,采用五折交叉验证[21]来衡量所选模型配置的泛化性能,最终每个配置产生五个训练好的模型权重。在推理时,通过平均所有单个预测的概率,使用这五个模型构建集成系统[21],这是提高机器学习模型稳定性和准确性的常用方法。量化系统的最终输出是关于皮下脂肪组织(SAT)、内脏脂肪组织(VAT)和肌肉体积的报告。肌肉组织通过将HU阈值设定在− 29到150之间来识别[22]。脂肪组织通过将HU阈值设定在− 190到− 30之间来识别[22]。如果脂肪体素位于腹腔区域内,则计为VAT。如果位于皮下组织区域内,则计为SAT。自动亚分类的组织体积使用类内相关方法在逐层基础上与源自真实标注的组织体积进行验证。
结果
模型评估
如“网络架构”和“训练细节”部分所述,使用五折交叉验证方案在训练数据集上系统评估了两种不同网络架构及不同初始特征图数量。结果列于表2(感兴趣的读者可在表A.1、A.2和A.3中获取额外的补充评估指标)。首先,所有网络均给出了有希望的结果,平均dice分数超过0.93。其次,多分辨率U-Net变体与其各自的U-Net对应版本相比始终获得更高的分数。有趣的是,与可训练参数的增加相比,分数的提升较小,因此训练和测试网络所需的时间更长。在NVIDIA Titan RTX上,初始特征图数量为16、32和64时,单次优化步骤分别耗时294 ms、500 ms和1043 ms。
为了对集成分割进行视觉检查,图3展示了一些示例切片。大多数切片显示出几乎完美的分割边界;然而,尤其是肋骨由于部分容积效应而存在问题。在5-mm CT中,人类读者有时甚至难以正确分配某个区域。
消融研究
在模型开发过程中,观察到HU窗口的选择对优化稳定性和最终获得的分数有影响。因此,进行了一项小型消融研究,以系统评估不同HU限值的影响。使用相同的训练参数训练额外模型,但仅改变输入预处理。结果列于表3。
增大HU强度范围可稳定提高Dice评分。通过将多个HU窗口作为独立输入通道组合,Dice评分可进一步提高至交叉验证和测试集上平均超过0.95的Dice评分。交叉验证平均最低评分为0.829 Dice,测试集为0.875,均由范围为−150至250的腹部HU窗口实现。
组织定量报告
如“组织定量”部分所述,分割模型旨在用于将阈值化组织分配到不同区域,这在技术上是一种逻辑合取。在测试集上按层测量的衍生SAT、VAT和肌肉体积所达到的组内相关系数分别为0.999、0.998和0.991(p < 0.001),相应的Bland-Altman图如图4所示。为了视觉检查组织分割的质量,生成包含矢状面和冠状面切片的PDF报告,并附带显示每轴位切片分割肌肉、SAT和VAT体积的堆叠条形图(见图5)。这仅旨在为人类读者提供系统输出的初步视觉印象。为进行分析,还生成包含每层所有数值的附加表格。PDF文件被封装到DICOM中并自动发送回PACS,以利用现有DICOM基础设施。
讨论
我们的研究旨在从标准腹部CT检查中开发一种全自动、可重复且定量的身体组织成分3D体积测量方法,以便作为常规临床成像的一部分提供有价值的生物标志物。
我们使用初始特征图数量为64的多分辨率U-Net 3D的最佳方法能够全自动分割腹腔、骨骼、肌肉、皮下组织和胸腔,平均Sørensen Dice系数为0.9553,因而取得了优异的结果。衍生的组织体积测量组内相关系数超过0.99。进一步实验显示,在参数数量大幅减少的情况下仍具有高性能,这使得可以根据应用类型考虑速度/准确性权衡。研究发现,选择从HU映射到归一化值范围的传递函数以将图像输入神经网络对分割性能有巨大影响。
在最近的一项研究中,手工单层CT测量被用于建立线性回归模型,以预测稳定的身体测量学指标[7]。正如作者所提出的,这些指标作为多种疾病(例如肌少症)的生物标志物可能具有重要意义,但也可在无法获得实际测量值时使用。然而,手工单层CT测量仍易受患者内变异以及评估者间和评估者内变异的影响。通过使用全自动化方法,理论上从不止一个CT层面衍生的身体测量学指标应更为稳定。
过去曾多次尝试全自动体成分分析。较早的方法利用经典图像处理和二值形态学操作[23–25],以便从总脂肪组织(TAT)中分离皮下脂肪组织(SAT)和内脏脂肪组织(VAT)。其他研究利用关于轮廓和形状的先验知识,并主动将轮廓或模板拟合到给定CT图像[26–30]。这些方法易受强度值变化的影响,并假定特定的身体结构以实现SAT与VAT之间的算法分离。除纯粹基于CT成像的研究外,也有人努力将类似技术应用于磁共振成像(MRI)[31–33]。然而,在临床常规中,MRI操作比CT成像更昂贵且更耗时。虽然存在用于体脂评估的特定MRI操作,但必须专门执行。我们的方法可用于常规CT成像,并可作为诊断或筛查目的的补充材料。
最近,已有基于深度学习的方法被提出[8, 34]。在这两项研究中,模型仅基于单个L3 CT层面进行训练。然而,Weston等[8]直观地显示,其模型能够在未接受此类数据训练的情况下很好地泛化到其他腹部层面。尽管如此,他们提到,将训练和评估数据扩展到整个腹部将有利于稳定性以及分析能力。我们的研究使用标注数据在整个腹部范围内进行训练和评估,因此是一种真正的容积性体成分分析方法。此外,他们直接分割SAT和VAT,而在我们的研究中,先分割语义身体区域,然后使用已知的HU阈值对脂肪组织进行亚分类。
所收集数据集的一个主要缺点是5 mm的层厚。若干组织、材料以及潜在空气可能包含在5 mm的距离内;特定位置处得到的HU是所有成分的平均值。这也称为部分容积效应,可通过使用更小的层厚来抵消,理想情况下采用各向同性体素大小。然而,5 mm的重建层厚在临床常规CT中很常见,并且在1 mm层面上计算组织成分所提高的精度是否具有临床意义仍值得怀疑。尽管如此,我们计划在进一步研究中探讨更薄层面的影响,因为在越来越多的机构中,薄层阅片正成为常规。
另一个局限性是内脏脂肪与器官内脂肪的区分。目前,腹腔区域内所有CT值处于脂肪强度值范围的体素均被计为内脏脂肪(VAT)。然而,根据定义,器官内的脂肪细胞不属于内脏脂肪,因此应从最终统计中排除。像[35, 36]这样的公共数据集已经存在用于多器官语义分割,可用于对本研究的分割结果进行后处理,即对腹腔内的器官进行掩膜处理。
在腹部CT中很常见会发现金属异物如植入物,因此会遇到射束硬化伪影。这些伪影根据其强度大小,可能会影响分割质量,如图6所示。即使分割模型能够预测各个语义区域的精确边界,条纹和杯状伪影使得基于CT值对脂肪或肌肉组织进行阈值分割成为不可能,从而可能使定量报告失效。因此,在我们工具的 future 版本中,我们计划加入自动检测和处理图像伪影的功能。
在未来的工作中,我们计划将身体成分分析系统扩展到涵盖身体其他区域。例如,[24]已经展示了对大腿脂肪组织和肌肉的分析。理想情况下,系统应能够分析全身以得出稳定的生物标志物。此外,需要进行外部验证以证明所开发系统的稳定性和泛化能力。这包括来自不同扫描仪的数据以及大量各种身体成分病例。
结论
在本研究中,我们提出了一种基于深度学习的全自动体积组织分类系统,用于从腹部临床CT检查中提取稳健的生物标志物。未来,我们计划将该系统扩展到胸部检查,并增加重要的组织类别,如心包脂肪组织和心肌。
电子补充材料
ESM 1(DOCX 258 kb)
引用
- Koitka S, Kroll L, Malamutmann E, et al. Fully automated body composition analysis in routine CT imaging using 3D semantic segmentation convolutional neural networks. Eur Radiol. 2020. PMID: 32945971. doi:10.1007/s00330-020-07147-3
- 全文:PMC7979624(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7979624/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。