基于3D卷积神经网络的盆腔多参数MRI骨盆全自动分割
本研究回顾性纳入264例盆腔mpMRI数据,采用3D U-Net在DWI和ADC图像上自动分割八类骨盆骨结构,并在60例2020年外部验证集上评估。模型在测试集DWI和ADC的DSC分别为0.80和0.85,外部验证集为0.79和0.84;自动与手动骨体积高度相关,并设计了SCORE定性评分系统,两名读者间ICC为0.904。
要点
- 3D U-Net可在DWI和ADC上自动分割腰椎、骶尾骨、髂骨、髋臼、股骨头、股颈、坐骨和耻骨。
- ADC图像分割DSC高于DWI图像,外部验证集ADC为0.84、DWI为0.79。
- SCORE定性评分系统可用于评估分割结果是否符合临床使用要求。
核心结论
- 基于3D U-Net的深度学习方法能在DWI和ADC图像上实现骨盆骨结构自动分割,定量与定性性能均满足临床可行性要求。
研究设计与样本
- 回顾性研究,2018年8月至2019年8月收集264例盆腔mpMRI用于算法开发,按8:1:1随机分为训练集208例、验证集28例和测试集28例。
- 外部验证集为2020年1月至2020年3月连续收集的60例盆腔mpMRI数据。
- 以放射科住院医师在15年以上经验专家监督下于DWI和ADC图像上手动标注的骨盆骨结构为参考标准。
- 采用3D U-Net卷积神经网络,输入为DWI(b=800或1000 s/mm2)和ADC图像,来自三家MR厂商。
- 定量评估采用Dice相似系数(DSC)、线性回归和Bland-Altman分析,定性评估采用本研究设计的SCORE系统。
关键影像表现/征象
- CNN预测与手动分割的骨盆骨体积高度相关,测试集DWI的R2为0.94、ADC为0.97,外部验证集DWI为0.85、ADC为0.94。
- 自动分割骨体积较手动分割轻度高估,测试集DWI平均偏差4.5 cm3、ADC为4.3 cm3,外部验证集DWI为2.6 cm3、ADC为4.2 cm3。
- 外部验证集中厂商1(3.0 T Discovery)的DSC平均值显著高于厂商2(1.5 T Intera)和厂商3(1.5 T Avanto),DWI和ADC图像均P<0.001。
- 测试集和外部验证集在DWI与ADC图像上的SCORE定性评分均较高,两名读者间ICC=0.904(95%CI:0.871–0.929)。
诊断标准与关键数值
- 分割精度以DSC评价,测试集DWI平均DSC为0.80±0.05、ADC为0.85±0.04;外部验证集DWI为0.79±0.06、ADC为0.84±0.04。
- ADC图像平均DSC高于DWI图像,测试集P<0.001,外部验证集P<0.001。
- SCORE系统在连通域水平对DWI和ADC图像分别评分,单个连通域评分0–10分,患者水平评分为所有标签的平均值。
- DWI图像上预测连通域范围略大于手动分割(A1)可接受,ADC图像上预测范围略小于手动分割(A2)可接受。
- 两名读者SCORE一致性ICC=0.904(95%CI:0.871–0.929),ICC>0.75视为一致性优秀。
临床应用与阅片要点
- 该模型可为盆腔骨转移瘤的检测和定位提供骨盆骨结构语义标签,是后续自动量化骨转移负荷的基础步骤。
- DWI图像主要用于病灶定性诊断和定位,预测范围稍大不影响病灶检出;ADC图用于ADC值测量,预测范围稍小可减少其他组织干扰。
- 不同厂商MR设备的分割性能存在差异,厂商1数据DSC较高,提示多厂商数据训练对临床推广很重要。
- 阅片时可关注自动分割在腰椎、骶尾骨、髂骨等八类骨结构上的覆盖完整性,作为后续骨转移检测的定位参考。
局限性
- 本研究为单中心回顾性研究,外部验证数据也来自同一机构不同时间段。
- 模型仅在DWI和ADC图像上开发与验证,未涉及其他MRI序列。
- 不同厂商设备间分割性能存在显著差异,厂商1数据表现优于厂商2和厂商3。
全文中译17 节 · 点击展开
要点
3D U-Net在正常骨盆骨骼分割方面表现出良好性能。
设计了一个SCORE系统用于分割的定性评估。
它为骨盆骨转移的检测奠定了基础。
背景
多参数磁共振成像(mpMRI)此前已在诊断骨盆骨转移方面表现出高灵敏度和特异度[1]。作为肿瘤影像学中公认且广泛使用的序列,扩散加权成像(DWI)已被报道能够提供定性(信号强度)和定量(表观扩散系数[ADC]图)信息,用于病灶检测和表征[2–4]。不良骨骼事件,如病理性骨折和脊髓压迫,常由骨转移引起[5, 6]。因此,在DWI和ADC图像上及时、准确地检测骨转移对于指导患者管理和评估治疗获益具有重要意义。
当放射科医生解读骨盆磁共振成像(MRI)图像时,应首先确定骨转移位置,随后测量转移灶的大小和ADC值。因此,在DWI和ADC图像上实现准确骨转移检测的初始步骤需要对其语义标签进行准确的骨骼分割。这是开发量化骨骼转移性肿瘤负荷的自动化方法的第一步。深度学习技术引领了手动分割向自动分割的转变[7–9]。例如,全卷积神经网络(CNN),如Ronneberger等人[10]提出的U-Net模型和Milletari等人[11]提出的V-Net模型,已将自动化图像分析的潜力显著提升至前所未有的水平。
此前,已有几项研究报道了CNN用于CT图像和骨扫描中正常骨骼结构的分割[12, 13],然而,仅有少数关于MR图像上正常骨骼结构自动分割的研究。定量评估是分割模型的常规方法,而定性评估与临床实践具有更好的相关性[14]。定量和定性评估是互补的,共同更全面地评估分割模型[15]。本研究的目的是开发一个3D U-Net模型,在DWI和ADC图像上自动分割不同的骨盆骨骼结构——腰椎、骶尾骨、髂骨、髋臼、股骨头、股骨颈、坐骨和耻骨,这些是前列腺癌骨转移最常见的好发部位[16],并定量和定性地检验其可行性。本研究可能为后续骨盆骨转移研究提供重要的定位信息。
材料与方法
本回顾性研究经当地机构伦理委员会许可进行。免除书面知情同意的要求。
患者入组
为开发算法,我们回顾性收集了2018年8月至2019年8月期间在本机构因疑似前列腺癌而行盆腔多参数磁共振成像(mpMRI)扫描的288例患者。纳入标准包括以下内容:(1)无明显骨结构异常征象,(2)具有低b值(0 s/mm2)和高b值(800或1000 s/mm2)的弥散加权成像(DWI)图像,并相应重建表观弥散系数(ADC)图,(3)图像质量良好,无明显伪影。排除标准包括:(1)有盆腔手术史者,(2)盆腔内发生的骨疾病,如原发性骨肿瘤和骨坏死。最终共有264例患者纳入本研究,排除患者的原因包括图像质量差(n = 7)、患有原发性骨疾病如退行性变、血管瘤和肉瘤(n = 13)以及有盆腔手术史(n = 4)。回顾性收集了2020年1月至2020年3月期间本机构另外60例连续的盆腔mpMRI数据,这些数据满足上述纳入标准,以提供外部验证(5例患者因图像质量差而被排除)(图1)。所有mpMRI数据在纳入前均经去标识化处理。
mpMRI数据
回顾性收集了我院连续的盆腔mpMRI数据队列,以开发和测试本研究使用的算法。DWI序列的成像参数和技术细节总结于表1。ADC图使用相应扫描仪软件由两个b值(0、800或1000 s/mm2)计算得出。
算法开发
为在轴位DWI和ADC图像上分割盆腔骨结构而开发的神经网络模型是3D U-Net [17],该模型将U-Net架构的所有2D操作替换为3D对应操作(附加文件1)。考虑到骨的三维特性,使用3D U-Net可能更好地进行盆腔骨分割,其中3D分割可以利用多个层面空间位置之间的固有依赖性[18],而2D卷积神经网络(CNN)则忽略了分割骨在层面之间的三维连续性。
所开发的CNN以来自三家厂商的264幅DWI图像(b = 800或1000 s/mm2)和264幅ADC图像组合作为输入,每个图像序列为独立的输入数据。CNN模型以一个输入通道开发。264例患者按8:1:1的比例随机分为训练集(n = 208)、验证集(n = 28)或测试集(n = 28)。外部验证集中的独立数据集(n = 60)用于进一步评估3D U-Net模型的性能和泛化能力。
训练集用于拟合分类器权重,验证集用于调整分类器架构。测试集用于评估完全确定的分类器性能,外部集用于使用不同时间收集的数据对模型进行外部评估(图1)。
DWI图像的原始尺寸(从三个供应商获取)分别为24 × 180 × 156(z,y,x);25 × 256 × 256;24 × 224 × 224。所有输入图像在训练前均统一并调整为64 × 256 × 256(z,y,x),以保持最佳图像特征。所有图像的像素强度均归一化至[0,1]。卷积神经网络(CNN)使用Python3.6、Pytorch 0.4.1、Opencv、Numpy、SimpleITK编写,并在GPU NVIDIA Tesla P100 16G上进行训练。共进行了300个 epoch 的训练。采用Adam优化器以最小化损失,学习率为0.0001,批次大小为2,损失函数为二元交叉熵损失。其他超参数调优(如权重初始化和用于正则化的dropout)在U-Net开发过程中通过随机搜索并在验证集上自动执行。
手动标注
在一名委员会认证的放射学专家(具有超过15年的阅片经验)的监督下,一名具有三年阅片经验的放射科住院医师评估了所有mpMRI检查,并逐层在高b值DWI图像上手动标注骨盆骨骼(包含骨髓和皮质)。标签采用以下数值创建:1 = 腰椎,2 = 骶尾骨,3 = 髂骨,4 = 髋臼,5 = 股骨头,6 = 股骨颈,7 = 坐骨,8 = 耻骨。连通域(CD)定义为标签区域中在三维空间内具有连续结构的部分,一个标签可能包含多个CD。如图2所示,腰椎标签为单一CD,而髂骨标签包含两个CD(左侧一个,右侧一个)。因此,完整重建的骨盆骨骼中共有14个CD,包括一个腰椎、一个骶尾骨、两个髂骨、两个髋臼、两个股骨头、两个股骨颈、两个坐骨和两个耻骨。
由于DWI和ADC图像由扫描仪共注册(ADC图由DWI图像计算得出),DWI图像上手动分割的标签可匹配至ADC图。监督者在从DWI图像复制至ADC图像的所有标签上进行了审核,并在必要时做出修正。图像使用图像分割软件(ITK-SNAP 3.6;Penn Image Computing and Science Laboratory,Philadelphia,Pa)进行手动标注。
定量评估
计算CNN预测分割与手动分割之间的Dice相似系数(DSC),以定量评估DWI图像和ADC图的分割准确性。DSC定义为CNN预测分割与手动分割之间重叠的体积,公式为:其中P和M分别为预测分割和手动标注中的体素体积,P ∩ M为两种方法之间一致的体素体积。DSC范围为0至1,值越高表示分割性能越好。
体积计算 also 量化了骨骼分割的准确性。采用Bland–Altman方法评估CNN预测分割与手动分割之间的体积差异。
定性评估
本研究建立的定性SCORE系统用于在CD水平评估CNN预测结果,该系统侧重于评估预测结果是否满足临床应用要求。CD水平DWI图像和ADC图的评估标准如图3所示。鉴于DWI和ADC图像在评估骨转移瘤中的用途不同(即DWI图像用于定性诊断,ADC图用于定量测量)[2, 3],评估标准略有不同。例如,如果预测CD的位置与人工标注的CD重叠(即条件A),且预测CD的范围大于人工CD(A1),这在DWI图像上属于临床可接受的分割,不影响病变的检测和定位。而如果预测CD的范围小于人工CD(A2),这在ADC图像上属于临床可接受的情况,可消除其他组织对ADC测量的干扰。
单个CD的评分在0~10之间,其中具有相同标签的CD用于计算平均标签评分,患者水平的评分为所有标签的平均值。一名放射科专家(具有15年以上阅片经验)根据SCORE系统评估预测结果。一名住院医师(具有三年阅片经验)也对模型的分割性能进行了定性评估,以比较阅片者之间的一致性。
统计分析
采用单因素方差分析比较四个数据集(训练集、验证集、测试集和外部验证集)之间的年龄和前列腺特异性抗原(PSA)水平(总PSA [T-PSA]、游离PSA [F-PSA]、F/T-PSA)。采用Kruskal–Wallis检验比较不同厂商之间这些指标的差异。采用Student t检验比较测试集与外部验证集之间的DSC。采用单因素方差分析比较不同厂商之间的DSC值,并采用最小显著差异(LSD)法进行事后多重比较。为比较人工测量与CNN预测的骨体积,在测试集和外部验证集上均进行了线性回归和Bland–Altman分析。还采用Student t检验比较DWI与ADC图像之间的平均评分。两名阅片者之间的SCORE结果采用单次测量组内相关系数(ICC)评估,ICC > 0.75视为一致性极好。双侧p < 0.05视为差异有统计学意义。
结果
患者人口学特征
患者的人口统计学特征见表2和附加文件2。四个数据集之间(表2,p > 0.05)以及三个厂商之间(附加文件2:表S1,p > 0.05)的年龄和PSA水平(T-PSA、F-PSA、F/T-PSA)均无显著差异。
不同MR扫描仪之间不同的视野可能导致每个数据集中标注和连通域(CD)数量不等,其中部分患者可能缺少耻骨或腰椎层面。不同CD在各数据集中的分布见图4,图中显示所有骨骼的CD在四个数据集间分布大致均匀,证实网络的结果不存在偏倚。
骨盆骨骼的分割精度
DWI和ADC图像分别独立输入以训练模型。同时,DWI和ADC也分别独立进行预测以获得其分割结果。如表3所示,该模型在测试集和外部验证集中均取得了良好的骨盆骨骼分割精度,在DWI图像上平均DSC值分别为0.80 ± 0.05和0.79 ± 0.06,在ADC图像上分别为0.85 ± 0.04和0.84 ± 0.04。ADC图像的平均DSC值高于DWI图像(测试集:tDWI vs ADC = − 4.238,PDWI vs ADC < 0.001;外部验证集:tDWI vs ADC = − 5.490,PDWI vs ADC < 0.001)。
此外,还比较了外部验证集中不同厂商之间DWI和ADC图像的DSC值。如表4所示,厂商1(3.0 T Discovery)的图像DSC平均值显著高于厂商2(1.5 T Intera)和厂商3(1.5 T Avanto)(DWI图像:FV1 vs V2 vs V3 = 22.405,PV1 vs V2 vs V3 < 0.001;ADC图像:FV1 vs V2 vs V3 = 13.420,PV1 vs V2 vs V3 < 0.001)。
图5展示了外部验证集中DWI和ADC图像(图5a、c)上八个骨骼结构(腰椎、骶尾骨、髂骨、髋臼、股骨头、股骨颈、坐骨和耻骨)的预测层面示例,以及与人工分割的对应重叠图像(图5b、d)。
骨盆骨骼的体积计算
CNN预测与人工分割之间的整体骨体积强相关(测试集DWI图像:R2 = 0.94,图6a;外部验证集DWI图像:R2 = 0.85,图6c;测试集ADC图像:R2 = 0.97,图6e;外部验证集ADC图像:R2 = 0.94,图6g)。与人工方法相比,自动CNN方法在DWI图像(测试集:平均偏倚 = 4.5 cm3,95%一致性界限[LoA]为− 8.3 cm3和17.3 cm3,图6b;外部验证集:平均偏倚 = 2.6 cm3,95% LoA为− 20.6 cm3和25.9 cm3,图6d)和ADC图像(测试集:平均偏倚 = 4.3 cm3,95% LoA为− 4.0 cm3和12.6 cm3,图6f;外部验证集:平均偏倚 = 4.2 cm3,95% LoA为− 9.7 cm3和18.1 cm3,图6h)上均略微高估骨体积。CNN预测与人工分割骨盆骨之间的详细体积差异见附加文件3。
骨盆骨的SCORE结果
为确定所开发的3D U-Net模型的定性分割结果是否满足临床应用要求,两名读者在测试集和外部验证集上对DWI和ADC图像上的每一个CD进行评分(图7)。患者水平平均评分的汇总见表5。相对较高的评分以及两名读者之间极好的一致性(ICC = 0.904,95%置信区间:0.871–0.929)证实了在临床上使用该CNN的可行性。
讨论
在本研究中,训练了一个3D U-Net模型来分割骨盆DWI和ADC图像上的正常骨性结构,为后续检测骨盆骨转移提供定位信息。该方法已成功用于在计算机断层扫描(CT)上分割肺叶——这一任务解决了与肺部肿瘤定位相关的类似挑战[18]。在本研究中,3D U-Net模型在骨盆骨上取得了良好的分割性能,在测试集和外部验证集上具有较高的平均DSC值。CNN预测与人工分割之间的定量体积比较高度相关且高度一致。
定量和定性评估均用于确定3D U-Net模型在临床应用中的价值。一般而言,定量评价指标在不同技术研究之间具有横向可比性[19–21]。然而,当面对临床研究中提出的不同临床问题时,特定的定性评估更为重要,这导致了该领域基础研究与临床研究之间的差异。以这种语义分割(骨盆骨多区域)的评估为例,定量评价指标包括DSC值以及CNN预测分割与手动分割之间的体积比较。然而,考虑到DWI和ADC图像在骨转移评估中的不同用途,DWI和ADC图像上相同的定量结果可能导致不同的评价标准和临床可接受性[2, 22, 23]。此外,在ADC图上,测试集中腰椎的DSC显著大于外部集(t = 2.564,p = 0.012),但该差异无临床意义,因为DSC值已足够大(两者均 > 0.80)。
缺乏适应临床需求的明确定义的性能指标,是全自动分割方法临床评价和采用的障碍之一[24]。目前,自动化医学图像分割的定性评估大多主要基于视觉观察[25–27],而视觉观察缺乏标准化标准可在读者自身内部和读者之间引入一定程度的不一致性和差异性。因此,确保定性评价标准的统一性至关重要。在本研究中,制定了SCORE系统以促进DWI和ADC图像上骨盆骨分割定性评估的标准化,有望减少评估变异性并提高精确度。
DWI主要用于检测骨转移。当DWI上的预测范围略大于手动分割(即A1)时,对于病灶检测仍可接受。ADC图主要用于测量ADC值。用于ADC值测量的ROI应包含在骨结构内。因此,CNN预测范围略小于手动分割(即A2)可满足ADC值测量的需求。
值得注意的是,这些结果呈现出一种趋势:在测试集(PDWI vs ADC < 0.001)和外部验证集(PDWI vs ADC < 0.001)中,ADC图像的平均DSC值均优于DWI图像,而SCORE结果显示DWI图像与ADC图像之间无显著差异(p > 0.05)。我们认为这是由于不同MR设备间DWI图像信号强度的变异大于ADC图像,导致DSC值较低。然而,考虑到DWI图像在临床中用于病灶定位,根据SCORE评分系统,因高估导致的较低DSC值不一定是缺陷,因此允许存在偏倚。来自厂商1的DWI和ADC图像的分割性能优于厂商2和厂商3(DWI图像:PV1 vs V2 vs V3 < 0.001;ADC图像:PV1 vs V2 vs V3 < 0.001),这可能是由于厂商1的数据在临床实践中获取更多且在模型开发期间收集了更多数据。这些结果提醒我们,分割算法的开发需要多中心和多厂商数据,而非单一厂商算法,后者不适用于真实临床应用。
基于深度学习的综合性临床研究通常分为多个连续步骤,每个步骤采用深度学习方法或传统图像处理方法[28, 29]。关于CT图像上肾结石的分割,首先通过深度学习方法分割肾脏,随后使用传统阈值分割方法识别高密度结石[30]。复杂临床任务的划分不仅能提高模型的可接受性,还能节省训练资源,这凸显了临床医生参与模型训练的价值。本研究聚焦于其中一项连续任务,即使用深度学习方法检测骨盆骨转移,旨在实现骨盆骨的定位。随后将开发检测骨转移的算法,最终实现骨盆骨转移检测和定位的自动化。
mpMRI图像间的巨大差异(不同患者和厂商)使自动分割在真实临床应用中面临挑战。本研究为3D U-Net模型提供了来自三个独立厂商、具有各种参数的MR数据。性能结果证明了该模型对不同技术参数和扫描仪类型具有高度鲁棒性,这将极大惠益于在常规临床诊疗中接受不同MRI扫描的患者。此外,为模拟临床应用场景,从不同时期收集了独立且连续的MR数据集作为外部验证的来源,并评估该卷积神经网络(CNN)的泛化能力。
本研究存在若干局限性。与所有监督学习技术一样,该方法高度依赖手动标注,从而产生使用者间差异。数据集未纳入任何转移瘤图像,且该卷积神经网络(CNN)未在含转移性病灶的骨盆骨结构上进行测试。因此其在此类病例分割中的性能仍需验证,模型对这些病灶存在时的泛化能力需进一步确认。由本机构放射学专家建立的用于分割定性评估的SCORE系统可能具有主观性和局限性,在实际临床研究中可能需要来自多家机构的多位专家达成共识。此外,3D U-Net模型仅使用回顾性数据进行训练和验证,而前瞻性评估仍需开展,尤其是在良性骨异常和常见成像伪影方面。在将该算法部署于临床工作流程之前,可能需要多中心数据。
结论
总之,所提出的3D U-Net CNN能够在来自不同MR厂商的DWI和ADC图像上实现对无转移骨盆骨的自动且准确分割。本工作朝着一种亟需的、基于mpMRI的自动骨骼转移检测成像方法迈出了有希望的一步。
补充信息
附加文件1。3D U-Net的网络架构。
附加文件2。不同厂商间患者的人口统计学资料。
附加文件3。DWI和ADC图像上CNN预测与手动分割骨盆骨之间的体积差异百分比。
引用
- Liu X, Han C, Wang H, et al. Fully automated pelvic bone segmentation in multiparameteric MRI using a 3D convolutional neural network. Insights Imaging. 2021. PMID: 34232404. doi:10.1186/s13244-021-01044-z
- 全文:PMC8263843(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8263843/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。