文献速递神经头颈MR

基于U-Net深度学习网络在MRI上自动分割颅咽管瘤

Automated segmentation of craniopharyngioma on MR images using U-Net-based deep convolutional neural network.
PubMed 文献 · Eur Radiol · 2022-11-18

本研究开发基于U-Net的深度学习模型,用于颅咽管瘤MR图像自动分割,纳入两中心302例患者(中心A 264例,中心B 38例独立外部测试),在冠状位T1CE序列上训练和评估。模型内部测试平均DSC为0.840,外部测试为0.816,性能不受肿瘤影像特征(成分、分叶、ICA受压、海绵窦侵犯)显著影响,分割耗时较人工显著缩短。

要点

  • 模型在内部测试DSC 0.840、外部测试DSC 0.816,分割性能与人工标注高度一致(ICC 0.987)。
  • 模型处理每例约3分27秒,显著快于放射科医师手工分割的23分34秒。

核心结论

  • 基于U-Net的深度学习模型对颅咽管瘤MR图像自动分割表现良好,内部测试DSC 0.840,外部测试DSC 0.816。
  • 模型性能不受肿瘤主要影像特征(主要成分、分叶形状、ICA受压或包绕、海绵窦侵犯)的显著影响。
  • 该模型为全自动分割工具,可减少放射科医师手工分割的工作量,并为后续影像组学分析提供预处理方法。

研究设计与样本

  • 回顾性多中心研究,共纳入302例病理诊断颅咽管瘤患者,中心A 264例(训练集212例、内部测试集52例),中心B 38例作为独立外部测试集。
  • 使用冠状位对比增强T1加权图像(T1CE),中心A为3T Philips Achieva扫描仪(层厚5 mm),中心B为1.5T Siemens Sonata扫描仪(层厚4 mm)。
  • 参考标准为两名神经放射科医师共识手动分割的肿瘤边界(排除外周血管和受侵结构),并由两名资深神经放射科医师复核。
  • 模型基于标准U-Net架构改进:加入非局部注意力模块,损失函数改为0.5×Tversky损失+0.5×交叉熵损失(Tversky α=0.1,β=0.9)。
  • 评估指标包括DSC、95HD、Jaccard值、TPR、FPR,采用单因素方差分析检验模型性能与影像特征的关系。

关键影像表现/征象

  • 经典U-Net模型分割性能有限:平均DSC 0.767、Jaccard 0.647、TPR 0.802、FPR 0.001、95HD 5.726 mm。
  • 改进模型在内部测试集平均DSC 0.840、Jaccard 0.734、TPR 0.820、FPR 0.000、95HD 3.669 mm。
  • 改进模型在外部测试集平均DSC 0.816、Jaccard 0.704、TPR 0.765、FPR 0.000、95HD 4.201 mm。
  • 经典模型在实性部分和囊壁分割较好,但对囊内暗区(darken cyst)分割不佳,改进模型通过非局部注意力模块和Tversky损失提升了敏感性。
  • 混合实性-囊性成分的异质性肿瘤分割结果最差(Supplement Material 7),但差异无统计学意义。

诊断标准与关键数值

  • 内部测试集(中心A,n=52):平均DSC 0.840、Jaccard 0.734、TPR 0.820、FPR 0.000、95HD 3.669 mm。
  • 外部测试集(中心B,n=38):平均DSC 0.816、Jaccard 0.704、TPR 0.765、FPR 0.000、95HD 4.201 mm。
  • 经典U-Net模型:平均DSC 0.767、Jaccard 0.647、TPR 0.802、FPR 0.001、95HD 5.726 mm。
  • 自动分割与人工分割的组内相关系数ICC为0.987。
  • 模型性能与影像特征的单因素方差分析:主要成分DSC p=0.370、95HD p=0.504;分叶形状DSC p=0.353、95HD p=0.508;ICA受压或包绕DSC p=0.809、95HD p=0.113;海绵窦侵犯DSC p=0.283、95HD p=0.401。

临床应用与阅片要点

  • 该模型可用于颅咽管瘤冠状位T1CE图像的自动分割,辅助体积测量和疗效监测,减少手工勾画时间。
  • 对混合实性-囊性成分的异质性肿瘤,模型分割结果可能不理想,仍需人工校正以确保精确勾画。
  • 模型分割时排除了外周血管(主要为ICA)和受侵结构(主要为海绵窦),若需完整肿瘤体积需人工修正。
  • 模型仅基于冠状位T1CE单序列训练,未纳入多模态图像,日常使用时需注意序列匹配。

局限性

  • 多中心回顾性研究,数据量相对较小(302例),需大规模多中心数据集验证。
  • 受侵结构(如海绵窦)在分割时被排除,若需完整肿瘤体积需人工校正。
  • 模型仅基于冠状位T1CE单序列,未纳入多模态图像。
  • CNN网络设计的方法学探索有限,非局部注意力模块的位置和数量等未进一步优化。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Nov 18;33(4):2665–75. doi: 10.1007/s00330-022-09216-1

引言

颅咽管瘤是一种少见的良性颅内肿瘤,有两种组织学亚型,分别称为造釉细胞型颅咽管瘤(ACP)和鳞状乳头型颅咽管瘤(PCP)[1, 2]。由于其局部侵袭性生长模式及毗邻重要脑结构的解剖位置,被称为行为恶性肿瘤,可导致毁灭性神经功能障碍及显著的死亡率和发病率[3, 4]。颅咽管瘤患者可能出现严重症状,包括内分泌缺陷、视力损害和颅内压增高[5, 6]。

钆剂注射前后的磁共振成像(MRI)目前是检测和评估颅咽管瘤的金标准影像学方法[7]。MRI上可靠肿瘤分割的重要性已被强调。一方面,随着基于分割的三维评估的引入,可在图像阅读中提供更敏感的肿瘤检测和进展监测,从而为神经放射科医师和神经外科医师提供更个体化的治疗前评估以制定治疗方案[8, 9]。另一方面,在既往研究中,一系列需要分割的模型被提出,并在病理判别、鉴别诊断和脑侵袭预测方面表现出可行能力[10–15]。然而,手动勾画繁琐、费力且耗时,通常导致评估者间和评估者内变异,可能引起最终分析偏差[16]。迫切需要开发一种新的可靠模型来在常规MRI上自动分割颅咽管瘤。

深度神经网络(DNN)是一项多学科和跨学科研究,可利用医学影像领域的大数据缩短图像处理时间并提高诊断结果的可靠性[17, 18]。它已被用作图像预处理中的必要步骤,从而实现更具肿瘤特异性的分析,而与其他类型脑肿瘤相比,使用DNN分割颅咽管瘤更具挑战性,因为其病理在影像表现上差异巨大。在常规MRI上,PCP通常表现为无钙化的实性实体,而ACP的影像特征显示典型的组合称为90%规则,即90%显示或多或少明显的钙化,90%的肿瘤以囊性为主,约90%在囊壁上摄取对比剂[19, 20]。影像表现的多样性阻碍了DNN模型在分割中的高性能。在既往研究中,经典DNN表现出有限性能,并建议应根据颅咽管瘤的影像特征改进网络[14]。

鉴于肿瘤分割在临床常规实践和学术研究中的重要性,在本研究中,我们旨在利用卷积神经网络(CNNs)技术开发一种新的深度学习模型,以在MR图像上自动分割颅咽管瘤。

方法

患者选择

本研究为在两家医疗中心开展的回顾性研究。我院机构审查委员会批准了本研究,并豁免患者知情同意(2021-S-851)。2016年1月至2021年12月,分别从医疗中心A和医疗中心B检索到293例和54例经病理诊断的颅咽管瘤病例。患者在我院放射科接受术前MR扫描,并在神经外科接受手术切除。排除标准如下:(1)MR图像因严重运动伪影而无法判读;(2)MR扫描前有肿瘤干预史,如活检和放疗;(3)病理亚型不明确。根据上述纳入和排除标准,本研究共纳入来自中心A的264例患者和来自中心B的38例患者。图1显示了研究人群纳入的流程图。MR图像从图像归档与通信系统中导出。同时收集临床特征,包括年龄、性别、肿瘤特征和病理结果。

图1 研究人群流程图 查看原图 ↗

序列选择与MRI采集

可获取四个序列,包括T1加权成像、T2加权成像、对比增强T1图像(T1CE)和液体衰减反转恢复序列。在这些图像中,选择T1CE,因为其最适合识别肿瘤边界。与既往研究大多使用轴位图像不同,我们选择冠状位图像,因为其可提供更多关于肿瘤与周围结构关系的细节,尤其是关于颈内动脉(ICA)受压和海绵窦侵犯方面。MR扫描采用头先仰卧位进行。使用钆喷酸葡胺(北京北陆药业股份有限公司)作为对比剂(0.1 mmol/kg)。

在中心A,MR扫描使用3 T Philips Achieva扫描仪(Philips公司),配备头部或头颈线圈。参数设置如下:层厚为5 mm;重复时间为142.2 s;回波时间为2.3 s;相位视野为73.44%;采集矩阵为0/256/204/0;翻转角为90°;平均序列时间为27.24 min。在中心B,MR扫描使用1.5 T Siemens Sonata扫描仪(Siemens AG公司),配备头部或头颈线圈。参数设置如下:层厚为4 mm;重复时间为631 s;回波时间为7.7 s;相位视野为75%;采集矩阵为0/256/144/0;翻转角为80°;平均序列时间为29.15 min。

图像预处理与真实标注分割

图像调整为256 × 256,空间分辨率重采样为1 × 1 × 1,并归一化至[0,1]。还使用对比度受限自适应直方图均衡化方法增强图像。

手工分割在冠状位图像上使用ITK-SNAP平台(版本3.80)进行[21]。两名神经放射科医师在共识阅片中沿肿瘤边界手工勾画感兴趣区(ROI),排除外周血管(主要指ICA)或受侵犯结构(主要指海绵窦)。所有轮廓均由两名资深神经放射科医师(通讯作者,具有20年图像阅片经验)审核。随机选取20例,间隔10天后由另一名放射科医师再次分割,以检验组内可重复性。

U-Net框架结构与训练

网络在Pytorch框架中实现。数据增强也进行了调整,即每个 epoch 对图像进行随机水平和垂直翻转,并在−10至10度范围内旋转。采用标准U-Net结构进行建模。基于模型性能和颅咽管瘤的图像特征,从两个方面对网络进行了改进:第一,引入非局部注意力模块以捕捉图像中的长程依赖关系[22];第二,将损失函数改为 总损失 = 0.5 × Tversky损失 + 0.5 × 交叉熵损失[23, 24]。Tversky损失的超参数分别设置为α = 0.1、β = 0.9。本研究使用的网络结构如图2所示。

图3展示了深度CNN模型的开发流程。来自A中心的病例按8:2的比例随机分为训练组(N = 212)和内部测试组(N = 52);来自B中心的病例作为独立外部测试组(N = 38)用于测试模型的泛化能力。从训练组中随机选取10例,设为调优集以在每个训练epoch中验证性能。关于网络参数,网络输入尺寸设为256 × 256,优化器设为adam。批大小设为8,学习率设为1e-5。模型训练的epoch数设为300。

图2 改进U-Net的基本结构。在网络底层加入一个非局部模块以捕捉肿瘤图像的长程信息 查看原图 ↗
图3 卷积神经网络(CNN)模型开发的流程图 查看原图 ↗

评价指标

通过在像素水平上将 ground truth 掩膜与预测结果进行比较,在内部和外部测试组中对训练后模型的性能进行了定量评估。对每个病例,计算Dice相似系数(DSCs)作为相似性指标,通过测量分割重叠度来评估。计算Hausdorff表面距离(HD)作为距离指标,即预测分割中的轮廓为包绕手动ROI中的轮廓所需移动的距离。还计算了经典定量指标,包括Jaccard值、真阳性率(TPR)、假阳性率(FPR)、肿瘤体积和计算时间。各指标的定义见补充材料1。

所有统计分析均使用IBM SPSS Statistics Version 25.0(IBM Corp.)进行。连续变量以均值汇总,分类变量以数量和百分比汇总。组内差异的显著性采用单因素方差分析评估。使用Bland-Altman图和组内相关系数(ICCs)评估观察者内可重复性以及手动分割与自动分割之间的差异。

结果

患者特征

本研究共纳入302例患者。对于参与本研究的所有患者,平均年龄为32.92岁,参与者性别比例为179:123。共有230例患者经病理诊断为ACP,72例患者诊断为PCP。肿瘤的影像学特征多样,34.4%以实性为主,17.9%以囊性为主,47.7%为实性与囊性混合。43.0%的患者可见分叶状外观。此外,40.1%的病例发现颈内动脉(ICA)受压或包绕,54.0%的病例发现海绵窦受侵犯。表1显示了详细的患者特征和组织病理学信息。

表1 患者的临床、组织病理学和影像学特征 查看原表 ↗

模型性能与组内分析

如表2所示,经典U-net模型在肿瘤分割中表现有限,平均DSC为0.767,Jaccard为0.647,TPR为0.802,FPR为0.001,95HD为5.726 mm。改进模型在内部测试(中心A)中取得了更好的性能,DSC为0.840,Jaccard为0.734,TPR为0.820,FPR为0.000,95HD为3.669 mm。关于CNN模型改进的消融实验更多结果见补充材料2。自动体积评估的评估者间信度良好,ICC为0.987。改进模型在内部测试组中的分割样本见图4。Bland Altman图表明,自动方法的表现与专家手动分割相当,见补充材料3。

评估了四项影像学特征,包括主要成分、分叶状形态、ICA受压或包绕以及海绵窦侵犯。单因素方差分析(one-way ANOVA)结果表明组内无显著差异,表明模型性能与肿瘤的影像学特征无统计学关联(DSC:p分别=0.370、0.353、0.809、0.283;95HD:p分别=0.504、0.508、0.113、0.401),见表3。使用改进CNN模型获得的分割性能指标(DSC和95HD)概览总结于补充材料4和补充材料5的箱线图中。

表2 CNN模型在内部测试和外部测试中的性能 查看原表 ↗
图4 来自中心A(内部测试)的颅咽管瘤肿瘤分割结果。在标注图像中,蓝色箭头代表肿瘤的实性成分,绿色箭头代表肿瘤的暗化囊性部分。A–C 一例以实性成分为主的病例。该病例的分割性能为DSC 0.865,95HD 4.975 mm。D–F 一例以实性与囊性混合成分为主的病例。该病例的分割性能为DSC 0.858,95HD 2.236 mm。G–I 一例以囊性成分为主的病例。该病例的分割性能为DSC 0.791,95HD 6.001 mm 查看原图 ↗
表3 改进模型分割性能与肿瘤影像学特征之间的关系 查看原表 ↗

模型泛化性

所提出的模型在外部数据集(中心B)中测试时也显示出可行性。性能为DSC=0.816,Jaccard=0.704,TPR=0.765,FPR=0.000,95HD=4.201 mm。外部组模型分割样本见图5。自动方法与专家手动分割相比的性能见补充材料6。

图5 来自中心B(独立外部测试)的颅咽管瘤肿瘤分割结果。在标注图像中,蓝色箭头代表肿瘤的实性成分,黄色箭头代表肿瘤的混合成分,绿色箭头代表肿瘤的暗化囊性成分。A–C 一例以实性成分为主的病例。该病例的分割性能为DSC 0.809,95HD 3.606 mm。D–F 一例以实性-囊性混合成分为主的病例。该病例的分割性能为DSC 0.810,95HD 4.583 mm。G–I 一例以囊性成分为主的病例。该病例的分割性能为DSC 0.808,95HD 6.115 mm 查看原图 ↗

放射科医师与模型的比较

平均而言,使用CNN模型(配备8核Intel Core 11800H CPU和NVIDIA 2060 GPU的笔记本电脑)进行肿瘤分割的处理时间(包括图像预处理和加载时间)需要3分27秒。相比之下,放射科医师分割的平均处理时间为23分34秒。对于所选的20例病例,Bland-Altman图提示手动分割的观察者内可重复性良好。此外,如图6所示,它还表明自动分割与手动标注高度一致。

图6 放射科医师与模型预测之间比较的Bland-Altman图。A 手动分割的观察者内可重复性。B 第1次手动分割与模型预测。C 第2次手动分割与模型预测 查看原图 ↗

讨论

在本研究中,训练后的CNN模型在分割颅咽管瘤方面显示出良好结果,内部测试数据集的DSC为0.840,外部测试数据集的DSC为0.816。我们的模型显著优于既往研究,展示了一种用于颅咽管瘤分割的新自动方法[14]。

强大的临床实施价值凸显了自动肿瘤分割的重要性,因为它增强了诊断评估和肿瘤生长监测。自动分割还可能为常规临床影像评估提供一种改进方法,因为它可以便于检测、体积评估和精确治疗计划[25, 26]。影像组学的最新进展还表明,自动分割可为后续肿瘤分析提供一种图像预处理方法。与费力的手动勾画相比,它具有高度可重复性,并减轻了临床医师的观察者间和观察者内变异性[27]。

此前的许多研究试图确定脑肿瘤分割的方法或算法 [28, 29]。与大多数聚焦于胶质瘤和脑转移瘤的研究相比,颅咽管瘤影像特征的巨大差异对卷积神经网络(CNN)分割提出了更高的要求 [30]。在影像学上,乳头型颅咽管瘤(PCP)多发生于成人,主要为囊实性混合或实性,表现为位于鞍上区的球形肿块。相比之下,造釉细胞型颅咽管瘤(ACP)通常表现为位于鞍内/鞍上的分叶状囊性或主要以囊性为主的肿块 [31]。此外,肿瘤对周围重要组织的压迫和/或侵犯,如下丘脑和颈内动脉(ICA),也较为常见 [1, 32]。因此,传统的深度神经网络(DNN)模型未能表现出令人满意的性能。在此前的研究中,采用经典U-net网络开发的DNN模型显示出的分割能力为DSC 0.662、精确率0.668、TPR(敏感度)0.677 [14]。我们的研究也显示了相似的结果,U-net的性能为DSC 0.767、TPR 0.802。在分析分割结果时,我们发现经典模型在分割肿瘤实性部分和囊壁方面表现良好,而在分割肿瘤内暗化的囊性部分方面则不可行。这一结果提示预测中存在相对较多的假阴性和相对较低的假阳性(FP)。因此,我们对该网络进行了改进,通过添加非局部注意力模块以捕获肿瘤图像中的长程依赖关系,并通过将Tversky指数设为损失函数以提高对假阴性像素的敏感度,同时保持对假阳性像素的保守性。结果表明该修改是有效的,我们的模型以DSC 0.840显著优于之前的模型。此外,在外部数据集测试中也显示出可行性,DSC为0.816。然而,应当提到此前研究的主要目的是构建一个用于预测颅咽管瘤侵袭性的双路径深度学习系统。他们所使用的分割网络仅是系统中的子网络。未来需要更多关于深度学习技术的研究来验证我们的结果,并探索用于颅咽管瘤分割的新网络结构。

有一点需要进一步讨论的是组间模型性能的差异。结果表明,模型性能与影像学特征之间无显著关系,包括肿瘤成分、分叶状形态、受压或包绕的ICA以及海绵窦侵犯。因此,所提供的肿瘤分割算法似乎适用于不同的颅咽管瘤实体。然而,应当提到与均匀性肿瘤相比,最差的结果通常见于囊实性混合成分的异质性肿瘤(补充材料7)。尽管这一发现无统计学显著性,但仍应考虑,因为神经影像科医师、神经外科医师和神经肿瘤科医师可能最需要CNN辅助进行病灶体积检测。在这些情况下,当分割模型表现不令人满意时,仍需手动校正以确保精确勾画。

我们的研究还为后续肿瘤分析提供了一种便捷的分割工具,以节省部分人工操作。然而,我们使用冠状位图像进行DNN分割,而以往研究者通常使用轴位图像进行分析[10, 12, 15, 33]。选择冠状位图像是因为在某些病例中,轴位图像上难以确定颅咽管瘤与受侵犯的海绵窦之间的边界。考虑到未来的CAD研究可能最需要DNN模型辅助进行病灶分割,这一点很重要。因此,可能需要进一步研究,以深入讨论从冠状位图像提取的影像组学特征是否或多大程度上可能影响先前提供的机器学习分类器的性能。

本研究存在若干局限性。第一,这是一项多中心回顾性研究,数据量相对较小。需要大规模多中心数据集来验证我们的研究。第二,本研究排除了受侵犯结构。对于某些病例,如果临床医生希望获得整个肿瘤体积,则应考虑受侵犯结构并进行手动校正。第三,基于U-Net网络的CNN分割模型仅在冠状位T1CE图像上进行了研究,而多模态图像未纳入研究。既往研究表明,多序列特征集在肿瘤图像分析中优于单序列特征集[34, 35]。未来研究应探讨多序列图像中的自动肿瘤分割。第四,CNN网络设计的方法学研究仍然有限。例如,可通过在网络较早层添加非局部注意力模块或添加不止一个非局部注意力模块来进一步改进模型。我们的方法是在计算量与模型性能之间的平衡。借助更先进的平台,可训练更复杂、高效的CNN模型来执行分割。需要更多计算机科学研究来探究CNN模型在颅咽管瘤分割方面是否可进一步改进。

结论

本研究提出了一种基于U-Net的颅咽管瘤MRI自动分割DNN模型。所提出的模型在分割方面显示出可行性,是一种全自动诊断辅助方法,可减轻放射科医师的工作量。此外,自动分割为未来CAD研究中的颅咽管瘤自动分割提供了一种新算法。

补充信息

ESM 1(PDF 587 kb)

引用

  1. Chen, Zhang, Teng, et al. Automated segmentation of craniopharyngioma on MR images using U-Net-based deep convolutional neural network. Eur Radiol. 2022. PMID: 36396792. doi:10.1007/s00330-022-09216-1
  2. 全文:PMC10017618(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10017618/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。