双能X线影像中尺桡骨自动分割的深度学习方法
本研究构建含残差块的深度学习网络,在360例受试者共720幅双能X线图像上自动分割尺骨与桡骨,采用五折交叉验证并以Dice系数和Jaccard指数评价。结果显示尺骨与桡骨平均Dice系数分别为0.9835和0.9874,平均Jaccard指数分别为0.9680和0.9751,分割性能优于既往深度学习方法(所有P值<0.05)。
要点
- 该网络在双能X线图像上自动分割尺骨与桡骨,平均Dice系数尺骨0.9835、桡骨0.9874。
- 平均Jaccard指数尺骨0.9680、桡骨0.9751,分割精度与人工分割相仿。
- 与U-Net和FCN相比分割误差更低、评价指标更高,差异均有统计学意义(P<0.05)。
核心结论
- 本研究开发的深度学习方法提高了双能X线影像中尺骨与桡骨的分割性能。
- 该网络模型的分割性能优于既往基于深度学习的方法(所有P值<0.05)。
研究设计与样本
- 研究经贵州医科大学机构审查委员会批准,纳入360例受试者(男171例、女189例),年龄36±13岁,共720幅图像,使用DEXA-iMAX成像仪采集。
- 每个受试者产生低能量(45 kV)和高能量(75 kV)两幅X线图像,图像统一为576×768像素,由一名有经验的放射科医师使用MIPAV V9.0.0标注尺骨、桡骨和背景(分别标记为1、2、0)。
- 300例共600幅图像用于五折交叉验证,每折三折训练(180例、360幅)、一折验证(60例、120幅)、一折测试(60例、120幅);另60例共120幅图像用于不参与训练的独立测试。
- 网络由编码和解码两阶段组成,编码阶段含5个残差块模块和4个2×2最大池化层,解码阶段含4个卷积块和4个2×2转置卷积层,使用广义Dice损失函数,以Adam优化器训练500个epoch,初始学习率0.001、每5个epoch乘以0.98,小批量大小16。
- 以Dice系数和Jaccard指数的均值与标准差评价模型在验证集和测试集上的性能,并与U-Net和FCN方法在相同服务器、相同损失函数和相同训练选项下比较,采用单侧配对t检验进行统计分析。
关键影像表现/征象
- 可视化结果显示,所提方法在低能量和高能量X线图像上的尺骨与桡骨分割精度与人工分割相仿。
- 与U-Net和FCN相比,所提方法的分割误差更低,误差区域在图中以红圈标出。
- 消融实验显示,带残差块的U-Net较不带残差块的U-Net具有更高的Dice系数和Jaccard指数。
诊断标准与关键数值
- 尺骨平均Dice系数0.9835、平均Jaccard指数0.9680;桡骨平均Dice系数0.9874、平均Jaccard指数0.9751。
- 与既往深度学习方法比较,所提方法在验证集、测试集和独立测试集上的单侧配对t检验所有P值<0.05。
临床应用与阅片要点
- 所提方法为全自动分割,无需任何预处理和先验知识,在NVIDIA RTX 3090 GPU上每秒约可分割15幅图像。
- 分割精度可能影响双能X线吸收法测量骨密度诊断骨质疏松的准确性。
- 作者指出,进一步研究可将深度学习用于骨密度测量和骨质疏松诊断。
局限性
- 尺骨分割是本研究的局限之一,尺骨形态较桡骨更多样,尺骨茎突结构的分割精度低于桡骨分割。
- 本研究实验数据均来自同一设备,是本研究另一局限;曝光不均匀也会影响分割。
- 部分骨质疏松老年受试者尺桡骨图像边界较年轻人群不清晰,可能影响所提方法的分割精度;即使存在该问题,Dice系数仅略低于边界清晰的图像。
全文中译14 节 · 点击展开
要点
尺骨和桡骨的分割对于量化骨质疏松症很重要。
本网络模型的分割性能优于以往方法。
基于深度学习方法的开发在临床实践中具有潜在应用价值。
背景
骨质疏松症是一种由骨量丢失引起的慢性骨骼疾病,可损害骨骼健康并增加骨折风险[1]。骨质疏松症在中老年人群中发病率较高,尤其是女性[2, 3]。此外,骨质疏松症是一种全身性骨骼疾病,使患者易于发生骨折,并与高致残率、长治疗周期和高费用相关,给家庭和社会带来沉重负担[4]。根据中国最新流行病学调查,50岁以上人群骨质疏松症患病率为19.2%(男性6%,女性30%)[5]。尽管骨质疏松症的发病率和致残率较高,但早期诊断、改善饮食、运动以及药物治疗可以有效预防骨折的发生[6–9]。
目前,骨质疏松症通常通过测量患者的骨密度(BMD)来诊断。常用的BMD测量方法包括超声、双能X线成像和定量计算机断层扫描(QCT)[10]。其中,双能X线成像的准确性高于超声,辐射剂量小于QCT。世界卫生组织认为,通过双能X线吸收测定法(DEXA)获得的BMD是诊断骨质疏松症的金标准[11]。双能X线成像常应用于骨质疏松症的诊断,并通过测量尺骨和桡骨、腰椎(L1–L4)椎体和股骨的BMD来预测骨折风险[12–14]。分割骨区域,然后根据DEXA原理(低能和高能X线穿过人体组织时的能量衰减强度不同)计算BMD[15, 16],是BMD测量中的重要步骤。
尺骨和桡骨的准确分割,用于骨密度(BMD)测量以诊断骨质疏松症,可能有助于桡骨远端骨折的早期诊断和治疗,而桡骨远端骨折可能是骨质疏松症的首发表现[17]。对于尺骨和桡骨分割,许多研究人员使用图像处理技术来解决分割问题。提出了改进的自适应聚类桡骨和尺骨分割算法用于骨龄评估[18]。一种改进的基于边缘的分割技术被用于桡骨和尺骨骨骼的分割[19]。局部熵方法被开发用于桡骨和尺骨骨骼的检测和分割[20]。此外,动态规划算法被应用于分割尺骨和桡骨以进行单能X射线吸收法BMD测量[21]。然而,这些方法容易受到噪声的影响。因此,分割的准确性和稳定性需要提高。近年来,深度学习方法已广泛应用于医学图像分析[22, 23]。先前的一项研究报道了一种用于DEXA上尺骨和桡骨的深度学习分割模型[24];然而,该方法未区分尺骨和桡骨区域。U-Net模型[25]被用于腕部X射线成像中的桡骨分割[26]。全卷积网络也被应用于手部X射线图像中的桡骨远端和尺骨分割[27]。这些方法主要用于单能X射线图像的分析;因此,在双能X射线图像上的分割性能需要验证和改进。
如上所述,本工作提出了一种深度学习分割网络,用于使用双能X射线成像对尺骨和桡骨进行自动且准确的分割。设计的残差块(Resblock)被结合到U-Net中以提高分割过程的准确性。
材料和方法
材料
本研究经贵州医科大学机构审查委员会批准。从双能X射线成像获得的数据涉及360名受试者(171名男性;189名女性),年龄36 ± 13岁,共720幅图像,使用DEXA-iMAX成像仪器(Kanrota, Co., Ltd., 中国)采集。300名受试者共600幅图像用于五折交叉验证,另外60名受试者共120幅图像用于独立测试。每名受试者产生两幅图像,即低能(45 kV)和高能(75 kV)X射线图像(参见图1)。每名受试者的尺骨和桡骨区域由一位经验丰富的放射科医师使用MIPAV(医学图像处理、分析和可视化)V9.0.0(https://mipav.cit.nih.gov/)进行标注。所有图像均为576 × 768像素的统一尺寸。桡骨、尺骨和背景分别标注为2、1和0。
方法
所提出网络的示意图如图2所示。网络架构包括两个阶段:编码和解码。在编码阶段,网络包括五个Resblock模块、四个2×2最大池化层,输入图像大小为576×768像素。Resblock基于ResNet设计[28],包括四个3×3卷积层和两个1×1卷积层,其后接批归一化层(BN)[29]和修正线性单元层(ReLU)[30](见图2)。在解码阶段,网络包括四个卷积块(Convblock)和四个2×2转置卷积层(TransConv)。每个Convblock分别由两个3×3卷积层、BN层和ReLU层组成。每个Resblock和Convblock的通道数(ch)如图2所示。四个跳跃连接用于在编码和解码阶段之间沿第三通道维度拼接特征图。使用一个3通道1×1卷积层将32个特征通道映射为3类(尺骨、桡骨和背景),其后接softmax层和损失函数层,以计算损失值。
损失函数
在本工作中,使用广义Dice损失[31]计算所提出网络的总损失。它可以缓解图像分割任务中的类别不平衡问题。损失函数如下:
其中P和G分别表示预测图像和对应的真实标签;C是类别数;M是沿P或G前两个维度的元素数;wc是每个类别的类别权重因子。
实现细节
在实现阶段,将300名受试者(600张图像)随机分为五折,三折用于训练(180名受试者,360张图像),一折用于验证(60名受试者,120张图像),一折用于测试(60名受试者,120张图像)。采用五折交叉验证评估所提出网络模型的性能。另外60名受试者(120张图像)用于无需训练的独立测试。对训练集中的所有图像(360张图像)使用数据增强方法,以防止训练过程中的过拟合。增强参数如下:水平和垂直平移在−60至60像素之间,水平和垂直缩放在0.9至1.1之间,旋转在−20°至20°之间,伽马变换在0.5至1.5之间。
使用Adam优化器[32]对网络进行优化,并使用He初始化[33]对模型参数进行初始化。网络训练500个epoch,初始学习率为0.001,每五个epoch乘以0.98进行衰减,小批量大小为16。每个epoch对训练集进行打乱,并使用小批量的Dice曲线观察训练和验证步骤的性能。当在500个epoch时未观察到Dice分数改善时停止训练过程。每个模型训练500个epoch需要6⁓7小时完成。所提出的分割网络使用MATLAB 2021a的深度学习工具箱实现,我们的网络在配备两个Intel® Xeon® Silver 4210 CPU(2.20 GHz)、四块各带24 GB内存的NVIDIA RTX 3090 GPU和128 GB RAM的服务器计算机上进行训练。
评估指标
采用Dice系数和Jaccard指数的均值和标准差评估模型在验证集和测试集上的性能。Dice系数计算如下:
其中Pc和Gc分别表示每个类别(C = 1, 2)的预测图像和真实标签。每个类别的Jaccard指数由下式给出:
结果
验证集和测试集上的分割结果
采用五折交叉验证评估验证集和测试集上的分割性能。图3展示了使用平均Dice分数最高的模型在双能X射线图像中获取的尺骨和桡骨的代表性分割结果(黄色和青色分别表示尺骨和桡骨)。从视觉结果来看,所提出方法对尺骨和桡骨的分割精度与手动分割相当,在验证集和测试集的低能和高能X射线图像中均如此。
与其他基于深度学习方法比较
在参考文献[24]和[27]中,分别使用U-Net和FCN对尺骨和桡骨进行分割。我们将这两种基于深度学习的方法与我们的网络模型进行了比较。所有网络均在相同的服务器计算机上实现,使用相同的损失函数,并使用相同的训练选项进行训练(详见“实现细节”小节)。同样采用五折交叉验证评估所比较的方法。图4提供了在测试集上使用FCN、U-Net和我们的方法获得的分割结果可视化。从视觉结果来看,我们的方法比U-Net和FCN网络具有更低的分割误差(分割误差在图4中用红色圆圈符号标记)。表1总结了验证集和测试集上采用评估指标的分割性能。Dice系数和Jaccard指数为五折交叉验证的平均值。根据结果,所提出的网络模型在尺骨和桡骨分割方面具有比先前基于深度学习的方法更好的Dice和Jaccard分数。
消融实验结果
在本节中,我们对Resblock进行了消融实验,以证明所设计网络架构的有效性。我们的方法重新设计了U-Net网络的编码阶段,并将其替换为Resblock结构。因此,我们将U-Net网络(初始滤波器数量为32,且每个卷积层后使用BN层)与重新设计的网络进行了比较。使用相同的训练参数和损失函数(详见“实现细节”部分),未进行数据增强。还采用五折交叉验证评估分割性能。实验结果列于表2。根据Dice系数和Jaccard指数,带有Resblock的U-Net比不带Resblock的U-Net具有更高的准确率。这证明了Resblock架构在本研究进行的尺骨和桡骨分割上的有效性。
独立测试集上的分割结果
为评估我们方法的鲁棒性,使用60名受试者进行独立测试而不进行训练。表3显示,根据Dice和Jaccard评分,我们的算法比其他方法具有更好的分割性能。
统计分析结果
我们使用单侧配对t检验评估我们的方法与其他方法在验证集、测试集和独立测试集上的结果。表4列出了统计分析结果,表明所提方法优于先前的方法(所有p值<0.05)。
讨论
在本工作中,我们设计了一个带有Resblock的深度学习网络,用于双能X射线图像上尺骨和桡骨的精确分割。基于五折交叉验证的实验结果表明,我们的方法比先前基于深度学习的尺骨和桡骨分割方法具有更好的分割准确率。所提方法完全自动化,不需要任何预处理和先验知识,且该模型在NVIDIA RTX 3090 GPU设备上每秒可分割约15幅图像。
以往的方法主要集中于单能X射线图像上的尺骨和桡骨分割,或将双能X射线图像中的尺骨和桡骨作为一类进行分割。因此,提出一种基于深度学习的精确分割方法,在双能X射线成像中将尺骨和桡骨作为两类进行分割以用于骨密度(BMD)测量,具有重要意义。由于此前U-Net和FCN网络已被用于尺骨和桡骨X射线图像分割[24, 27],我们选择这两种网络与本文提出的方法进行比较。由于以往的数据无法获取,我们基于自己的数据集对这些方法进行了评估。所有对比方法均使用相同的训练参数和损失函数。我们的方法设计了残差块(Resblock)并将其集成到U-Net网络中。残差块帮助网络缓解了梯度消失问题并提高了特征提取的性能。由于训练数据有限,我们在训练过程中使用了数据增强策略,以解决数据不足的问题。结果表明,与U-Net和FCN网络相比,所设计的网络在低能和高能X射线图像中具有更低的分割误差和更高的评价指标。此外,与以往方法[24, 27]相比,当前方法使用了更小的数据集并达到了更高的分割精度。
BMD是诊断骨质疏松症和预测骨折风险的主要方法[1]。BMD测量依赖于双能X射线图像中骨分割的准确性。分割方法更高的准确性可能有助于获得更准确的BMD,从而利用双能X射线吸收测定法(DEXA)诊断骨质疏松症。此外,通过收集更多数据并将我们的分割方法与回归和分类网络相结合,将有可能无需分割即可直接测量BMD并诊断骨质疏松症。
尺骨的分割是本研究的局限性之一。在不同双能X射线图像中,尺骨的形状比桡骨更加多样。尺骨茎突的结构与桡骨分割相比具有较低的分割精度。本研究的实验数据使用同一设备获取,这是本研究的另一局限性。曝光不均匀也会影响分割。使用不同的双能X射线成像设备收集更大的数据集可能有助于提高分割过程的准确性和稳定性。此外,患有骨质疏松症的老年人群在某些受试者中与年轻人群相比,尺骨和桡骨的图像边界可能不清晰。这可能影响所提出方法对尺骨和桡骨的分割精度。然而,即使存在这一问题,骰子系数也仅略低于边界清晰的图像。对于深度学习方法而言,收集边界不清晰或同年龄组的类似数据集将有助于解决这一问题。进一步的研究可包括将深度学习应用于BMD测量和骨质疏松症的诊断。
结论
本研究提出了一种配备残差块(Resblock)的深度学习分割网络,用于双能X射线图像中的尺骨和桡骨分割。所设计的残差块旨在缓解梯度消失问题,并有助于提高尺骨和桡骨的分割性能。我们使用相同的数据集和训练参数对我们的网络及近期方法进行了评估。实验结果表明,所提出的方法比以往方法更准确地分割尺骨和桡骨。在未来的研究中,我们将继续提高分割精度,并将我们的方法应用于骨密度(BMD)测量和骨质疏松症诊断。
引用
- Yang F, Weng X, Miao Y, et al. Deep learning approach for automatic segmentation of ulna and radius in dual-energy X-ray imaging. Insights Imaging. 2021. PMID: 34928449. doi:10.1186/s13244-021-01137-9
- 全文:PMC8688680(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8688680/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。