基于深度学习在下咽癌MRI上实现全自动分割与影像组学特征提取
回顾性分析222例下咽癌患者MRI,178例训练、44例测试,比较U-Net与DeepLab V3+自动分割及影像组学提取性能。两模型预测肿瘤体积与手动勾画高度相关(p<0.001),DeepLab V3+的DSC显著高于U-Net(0.77 vs 0.75,p<0.05),尤其在小肿瘤(<10 cm³)中(0.74 vs 0.70,p<0.001)。结论认为两模型均能合理完成分割与特征提取,DeepLab V3+表现更优。
要点
- DeepLab V3+自动分割DSC 0.77,高于U-Net的0.75(p<0.05)。
- 小肿瘤(<10 cm³)中DeepLab V3+的DSC 0.74,高于U-Net的0.70(p<0.001)。
- U-Net假阳性41个(9.7%),DeepLab V3+仅2个(0.5%)。
核心结论
- DeepLab V3+与U-Net在下咽癌MR图像自动分割和影像组学特征提取中均产生合理结果,DeepLab V3+表现优于U-Net。
- DeepLab V3+在自动肿瘤分割和影像组学提取方面表现出良好性能,在改善放疗工作流程和促进治疗结局预测方面具有较大潜力。
研究设计与样本
- 回顾性分析2006至2017年222例T3和T4期下咽鳞状细胞癌患者MR图像,其中178例(80.2%)用于训练、44例(19.8%)用于测试。
- 训练集采用五折交叉验证(每折35或36幅图像),使用U-Net和DeepLab V3+两种卷积神经网络架构训练模型。
- MRI数据来自Siemens、GE和Philips三台扫描仪,使用轴位脂肪抑制增强T1加权TSE序列进行模型训练和测试。
- 以两名神经放射科医生(分别有27年和12年头颈影像经验)在T2加权图像辅助下逐层共识勾画的ROI作为参考标准。
关键影像表现/征象
- U-Net与DeepLab V3+预测的肿瘤体积均与手动勾画体积高度相关(r分别为0.93和0.96,p均<0.001)。
- Bland-Altman分析显示U-Net平均差异偏倚16.6%,DeepLab V3+为7.69%;95%一致性界限分别为−30%至72.6%和−40.4%至50.7%。
- 测试集421幅图像中,U-Net产生41个假阳性(9.7%),最常见于邻近淋巴结(30个),其次为颌下腺(14个)和舌根(1个);DeepLab V3+仅产生2个假阳性(0.5%),均位于颌下腺。
诊断标准与关键数值
- DeepLab V3+模型DSC显著高于U-Net模型(0.77 vs 0.75,p<0.05)。
- 小肿瘤组(体积<10 cm³,n=21)中DeepLab V3+的DSC为0.74(95%CI 0.72–0.76),高于U-Net的0.70(95%CI 0.68–0.72),p<0.001。
- 大肿瘤组(体积>10 cm³,n=23)中两模型DSC无显著差异(DeepLab V3+ 0.8,95%CI 0.78–0.82 vs U-Net 0.79,95%CI 0.76–0.82,p=0.72)。
- 一阶特征方面,两模型与手动勾画均高度一致(U-Net ICC 0.71–0.89,DeepLab V3+ ICC 0.71–0.91);DeepLab V3+在19个一阶特征中的7个和17个形状特征中的8个上ICC显著更高(p<0.05)。
临床应用与阅片要点
- 作者推荐收治大量下咽癌患者的机构使用现代MRI扫描仪,因其软组织对比更优且支持深度学习模型自动分割与影像组学提取。
- 作者指出U-Net可能在原发灶附近产生假阳性,放疗医师应认识到这一点。
- 作者认为使用U-Net或DeepLab V3+针对下咽癌训练专用CNN模型可获得更好的靶区轮廓预测,并可能提升基于人工智能的自动分割水平。
局限性
- 需进一步研究确定模型的临床可接受性并估计其在放疗工作流程中可节省多少时间。
- 提取的影像组学特征在多大程度上有助于可靠的治疗结局预测尚待进一步研究。
- 单中心研究结果可能无法推广至其他医院。
- 尽管样本量220例相对较小,但使用了共2085个肿瘤层面;仍需更大规模的多中心研究进行外部验证和前瞻性测试。
全文中译15 节 · 点击展开
引言
下咽癌(HPC)在所有头颈部鳞状细胞癌(HNSCC)中预后最差。过去几十年中,下咽癌的发病率和死亡率持续上升[1]。大多数下咽癌患者就诊时已处于晚期,目前放化疗被认为是保留器官治疗的主要手段。既往研究表明,磁共振成像(MRI)在临床实践中可提供解剖学、定性和定量功能信息,用于头颈部鳞状细胞癌的分期、治疗计划和疗效评估[2–5]。
确定肿瘤轮廓对于放射治疗计划至关重要,MRI广泛用于治疗前肿瘤范围的勾画[6]。此外,肿瘤轮廓勾画对影像组学分析也起着重要作用。磁共振(MR)影像组学可作为预测治疗结局[7]和头颈部鳞状细胞癌生存[8]的生物标志物。然而,逐层手动勾画肿瘤耗时费力且易产生观察者间差异[9]。一种有效的肿瘤自动分割工具有望提高放射治疗工作流程的效率。
近年来,卷积神经网络(CNN)已广泛用于医学图像的语义分割[10, 11];然而,其在头颈部鳞状细胞癌中的应用多在计算机断层扫描(CT)或PET/CT上进行研究[12, 13],骰子相似系数(DSC)在CT上为0.66,在PET/CT上为0.74。少数研究聚焦于MRI;然而分割准确率较低,DSC在0.49至0.65之间[14, 15]。
U-Net是一种基于CNN的生物医学图像分割方法,近年来已被广泛使用[16–18]。然而,U-Net的挑战之一是连续池化层导致的过度降采样,使其对训练时的掩膜大小敏感。为此,引入了DeepLab V3+[19]架构,该架构利用空洞空间金字塔池化(ASPP)获取多尺度上下文信息,以改善连续池化层的局限性。DeepLab V3+已应用于许多分割任务,据报道其性能优于许多最先进的网络[20, 21]。
本研究旨在评估DeepLab V3+在MRI中对下咽癌原发肿瘤进行自动分割和影像组学特征提取的性能,并与U-Net进行比较。
方法与材料
患者
本研究回顾性分析了2006年至2017年间T3和T4期下咽癌患者的数据集。机构审查委员会批准了本研究,并豁免知情同意。纳入标准为(a)新近经活检证实的T3和T4期(美国癌症联合委员会,AJCC)下咽鳞状细胞癌,以及(b)完成了本院统一的放化疗方案。排除标准为无法随访、MRI禁忌证、既往头颈部癌症病史、第二原发恶性肿瘤、肾功能衰竭以及精神健康相关无法配合。
我们连续纳入242例患者,其中12例因边缘不清被排除,8例因图像存在明显伪影被排除。因此,最终研究样本纳入222例患者,其MR图像被用作分析数据集。我们将来自178例患者(80.2%)的数据集分为训练数据集,其余44例患者(19.8%)的数据集分为测试数据集。训练数据集通过五折交叉验证(每折使用35或36幅图像执行)进一步分为训练子集和验证子集。实施此步骤是为了确保模型性能不受数据划分的影响,从而防止过拟合。
治疗
所有患者均接受使用6-MV光子束的调强放疗。初始预防性照射野包括大体肿瘤并至少外放1 cm边缘及高危颈部淋巴引流区,剂量为46–56 Gy,随后对大体肿瘤区域进行锥形缩野加量至72 Gy。同步化疗包括静脉顺铂、口服替加氟加口服亚叶酸钙。
MRI数据与图像标注
MRI数据使用三台MRI扫描仪(Siemens、GE和Philips)采集。所有患者均接受本机构的标准MRI方案检查。在轴位和冠状位采集T1加权 turbo spin echo(TSE)图像(TR/TE:400–760/11–16 ms)和T2加权脂肪饱和(T2w-fs)TSE图像(TR/TE:4100–5300/80–92 ms)。静脉注射剂量为0.1 mmol/kg的钆剂后,在轴位、矢状位和冠状位获取脂肪饱和对比增强T1加权(cT1w-fs)TSE序列(TR/TE:400–680 ms)。采用轴位获取的cT1w-fs图像进行模型训练和测试,参数概述如下:视野,220 mm;层厚,4 mm;采集矩阵,256 × 256或384 × 320;重建矩阵,512 × 512;层数,30–36;扫描时间,200–280 s。
由两名神经放射科医师(S.H.N.,具有27年头颈部影像学经验;C.H.Y.,具有12年头颈部影像学经验)通过共识,在T2加权MR图像的辅助下,使用通过MATLAB(Mathworks)开发的本机构界面,在cT1w-fs MR图像上逐层分割覆盖原发肿瘤全体积肿瘤轮廓的感兴趣区(ROIs)。两名神经放射科医师对临床结局均设盲。标注的ROIs被用作模型训练的金标准。
图像预处理
对每个训练图像集进行数据增强,使训练模型能够对放大、旋转和平移的程度具有鲁棒性。每幅图像在−10至10°范围内随机旋转。随机平移范围为图像长度和宽度的0.9–1.1。图像按0.9–1.1的范围缩放。
网络与训练
本研究采用两种网络架构对肿瘤分割性能进行训练和测试:与前人研究一致的U-Net [18, 22],以及DeepLab V3+(图1),后者是一种带有深度可分离卷积的ASPP层解码器模块,用于改善目标边界检测 [23]。网络采用权重随机初始化和随机梯度下降Adam优化器方法进行训练 [24]。所有图像的信号强度均归一化为均值=0、标准差=1 [25]。学习率设为0.001,收敛前的训练轮数为100,批大小为2。网络使用Python 3.5.4编写的Keras 2.1.4和TensorFlow 1.5.0进行训练。DeepLab V3+模型的代码可在https://github.com/bonlime/keras-deeplab-v3-plus获取。
性能评估
各模型的分割性能使用以下指标进行评估 [26]:(1)DSC,即空间重叠度的度量,计算公式为2TP/(FP + 2TP + FN),其中TP、FP和FN分别代表真阳性、假阳性和假阴性检测;(2)Jaccard指数,计算公式为TP/(TP + FP + FN);(3)平均表面距离(ASD),计算为分割目标表面体素与金标准之间欧几里得距离的均值。
影像组学
为评估已建立模型预测ROI的可靠性,我们检查了通过手动和自动分割模型提取的肿瘤ROI的影像组学特征。肿瘤的影像组学特征使用Pyradiomics软件 [27] 基于图像上ROI的三维体积进行计算(https://pyradiomics.readthedocs.io/en/latest/features.html)。共提取105个影像组学特征,分为以下几类:一阶统计量(19个特征)、基于形状的特征(17个特征)、灰度共生矩阵(GLCM,24个特征)、灰度游程长度矩阵(GLRLM,14个特征)、灰度尺寸区域矩阵(GLSZM,13个特征)、邻域灰度差矩阵(NGTDM,4个特征)和灰度依赖矩阵(GLDM,14个特征)。
统计学
统计分析使用Mac版GraphPad Prism软件8.0进行。两种模型的性能指标采用Wilcoxon秩检验进行比较。不同MRI扫描仪之间DSC的差异采用Kruskal–Wallis检验评估。Bland–Altman图用于评估自动模型获得的肿瘤体积与手动分割获得的肿瘤体积之间的一致性。Pearson相关分析用于确定自动模型获得的肿瘤体积与手动分割获得的肿瘤体积之间的相关性。肿瘤ROI影像组学特征的可靠性使用手动和自动分割模型获得的组内相关系数(ICC)进行评估。DSC在肿瘤大小和肿瘤组织学方面的差异采用Mann–Whitney U检验评估。
结果
患者特征
表1展示了训练数据集(n = 178)和测试数据集(n = 44)的临床和人口统计学特征。患者中位年龄为53岁(范围:33–83岁)。训练数据集与测试数据集之间在临床或人口统计学特征方面未发现具有统计学意义的差异。
模型性能
表2总结了DeepLab V3 +和U-Net模型的性能。DeepLab V3 +在所有指标上均显著优于U-Net。与U-Net相比,DeepLab V3 +具有更高的DSC(p < 0.05)和Jaccard指数(p < 0.001),但ASD更低(p < 0.001)。在本研究所使用的3台不同MRI扫描仪获取的图像上,模型性能水平相似(U-Net和DeepLab V3 +模型的p值分别为0.78和0.83)(补充表1)。代表性图片(图2)分别展示了U-Net和DeepLab V3 +模型对一个大型下咽癌和一个小型下咽癌原发肿瘤的勾画。在分析测试数据集中的421个图像切片后,我们发现U-Net产生了41个(9.7%)假阳性(FP),其中最常出现在邻近淋巴结(n = 30),其次是颌下腺(n = 14)和舌根(n = 1)。DeepLab V3 +仅在颌下腺中产生了2个(0.5%)假阳性。
肿瘤体积对预测准确性的影响
图3显示,U-Net和DeepLab V3 +模型预测的肿瘤体积与手动勾画的肿瘤体积高度相关(U-Net和DeepLab V3 +模型的r分别为0.93和0.96,两者p < 0.001)。Bland–Altman图表明,与DeepLab V3 +模型相比,U-Net模型的平均差异偏倚更高(偏倚:16.6% vs 7.69%;95%一致性界限:U-Net和DeepLab V3 +模型分别为−30至72.6% vs −40.4至50.7%)。
图4绘制了U-Net和DeepLab V3 +模型的DSC与真值肿瘤体积的关系。U-Net模型在小肿瘤中显示的DSC低于DeepLab V3 +。通过逐步方法,我们使用不同阈值将数据集细分为亚组,然后比较这些阈值在产生肿瘤间DSC差异方面的表现。我们观察到10 cm3的阈值在大肿瘤和小肿瘤之间产生了最显著的DSC差异。我们通过将测试数据集按肿瘤体积分为两个亚组进行了亚组分析:小肿瘤组(体积 < 10 cm3;n = 21)和大肿瘤组(体积 > 10 cm3;n = 23)。在小肿瘤组中,DeepLab V3 +的DSC(0.74,95% CI:0.72–0.76)显著高于U-Net(0.70,95% CI:0.68–0.72;p < 0.001);然而,在大肿瘤组中,两模型的DSC无显著差异(DeepLab V3 +:0.8,95% CI:0.78–0.82;U-Net:0.79,95% CI:0.76–0.82;p = 0.72;图4C)。
影像组学特征的可重复性
图5显示了使用U-Net和DeepLab V3 +模型通过手动和预测ROI提取的影像组学特征的ICC值。对于一阶特征,两种模型均表现出高度一致性(ICC范围:U-Net模型为0.71–0.89,DeepLab V3 +模型为0.71–0.91)。DeepLab V3 +模型在19个特征中的以下7个特征上具有显著更高的ICC:均值、中位数、第10百分位数、第90百分位数、偏度、总能量、均匀性(p < 0.05)。对于基于形状的特征,两种模型均表现出中等至良好的一致性(ICC范围:U-Net模型为0.63–0.81,DeepLab V3 +模型为0.63–0.85)。DeepLab V3 +模型在17个特征中的以下8个特征上具有显著更高的ICC:伸长率、长轴长度、网格体积、球形不对称度、球形度、表面积、表面积体积比、体素体积(p < 0.05)。其他影像组学特征的ICC在两种模型中均为中等或较低(ICC范围:U-Net与DeepLab V3 +模型分别为0.41至0.71 vs 0.43至0.73。)
讨论
使用深度学习评估头颈癌是一个不断发展的领域,具有相当大的科学和临床潜力。然而,仅有少数研究探讨了深度学习模型在MR图像上用于特定类型头颈癌的应用。我们的研究使用基于CNN的模型,即DeepLab V3 +和U-Net,对MR图像上的下咽癌(HPC)进行自动分割和影像组学特征提取。DeepLab V3 +表现出优于U-Net和其他CNN模型的分割性能[14, 15],为提高AI网络对头颈癌自动分割的准确性提供了一个有前景的模型。我们还证明了模型衍生影像组学特征的泛化性,这可以有益于未来研究。我们建议在处理大量下咽癌患者的机构中使用现代MRI扫描仪。这些扫描仪提供更优越的软组织对比度,以及支持DL模型进行自动肿瘤分割和影像组学特征提取的强大性能潜力。
我们使用cT1w-fs序列进行模型训练,因为它能清晰描绘肿瘤边界,在临床实践中常被优先用于肿瘤范围识别。T2w-fs序列对病变范围评估同样有价值;因此,在本研究中,我们借助T2-fs图像在cT1w-fs图像上勾画ROI。Wong等报道,U-Net在T2w-fs和cT1-fs图像上分割鼻咽癌肿瘤的表现水平相似;据此,在需要避免使用对比剂的临床场景中,T2w-fs图像可能适合用于自动肿瘤分割[28]。
在放疗计划中手动勾画肿瘤耗时且因专业水平不同而存在差异。尽管自动分割算法可能节省放疗医师的精力和时间,但准确界定肿瘤的挑战仍然存在。Bielak等[14]使用输入7个MRI通道的3D DeepMedic CNN架构研究头颈部鳞状细胞癌(HNSCC),平均DSC评分为0.65。Schouten等[15]对各种HNSCC实施多视角CNN,所有病例的平均DSC为0.49,下咽癌(HPC)为0.57。在本研究中,我们专门针对HPC患者使用U-Net和DeepLab V3+模型进行训练,分别达到0.72和0.77的DSC。结果提示,使用U-Net或DeepLab V3+为HPC训练专用CNN模型可更好地预测靶肿瘤轮廓,并可能为基于人工智能(AI)的自动分割带来改进潜力。
据报道,CNN的分割准确性与肿瘤大小呈正相关[14, 15, 18]。Schouten等[15]报道,多视角CNN在肿瘤体积较大时产生更好的分割结果,并倾向于高估肿瘤体积,假阳性(FP)位于原发肿瘤周围或邻近肿大淋巴结。在我们的研究中,U-Net的DSC显著低于DeepLab V3+,尤其是对于小尺寸肿瘤。一个原因可能归因于U-Net采用通用全卷积网络,由于连续池化层过度降采样而对输入数据的掩膜尺寸敏感[29],而带有ASPP的DeepLab网络能够在多个空间尺度捕获上下文信息,并对不同尺寸的输入图像产生准确分割。我们的Bland–Altman图显示,U-Net的平均差异偏倚高于DeepLab V3+(16.6% vs 7.69%),可能是因为U-Net在邻近淋巴结和下颌下腺中有更多FP。在放疗中,FP发现可导致错误的治疗计划并带来不良毒性。放疗中肿瘤分割的最高可耐受误差可能因患者医疗状况、肿瘤类型、部位和处方放射剂量而异,应尽可能保持在低水平。尽管U-Net在分割医学图像方面显示出潜力,但放疗医师应认识到它可能在原发病灶附近产生真阳性(TP),如我们的病例所示,也如将其应用于膝关节半月板[30]和肺结节[31]分割的研究所报道。
我们的结果表明,由U-Net和DeepLab V3+模型提取的HPC影像组学参数在一阶特征和基于形状的特征方面具有稳健性。这一发现提示,这种基于卷积神经网络(CNN)的自动分割方法有望及时改善影像组学特征的高通量提取。Xue等[32]显示一阶影像组学特征的ICC显著高于其他纹理特征。我们的研究证明,使用基于CNN的U-Net或DeepLab V3+模型方法时一阶特征仍然可靠,这与使用U-Net对宫颈癌扩散加权成像一阶影像组学特征具有高可重复性的报道一致[18]。此外,我们的结果还表明,DeepLab V3+在基于形状的特征方面表现出比U-Net更高的可重复性。由于形状特征仅依赖于与肿瘤轮廓准确性相关的分割掩膜,这一发现提示DeepLab V3+将是一种可行的MRI影像组学特征提取方法,可能特别有助于HPC的可靠结局预测。
尽管有上述优势,我们的研究仍存在一些局限性。第一,本研究证明DeepLab V3+能够在MR图像上准确分割HPC。然而,仍需进一步研究以确定该模型的临床可接受性,并评估其在校放疗工作流程中可节省多少时间。第二,我们的研究表明DeepLab V3+提取的HPC MRI影像组学特征具有良好的可重复性,但这些提取特征在多大程度上有助于可靠的结局预测仍有待进一步研究。第三,单中心研究的发现可能无法推广至其他医院。尽管我们220例患者的样本量相对较小,但共使用了2085个肿瘤切片。尽管如此,仍需更大规模的多中心研究进行外部验证和前瞻性检验。我们的结果提示,训练后的模型在来自三台不同MRI扫描仪的图像上测试时表现出相似的水平。因此,这些模型可能适用于其他医院中具有相似成像参数的MRI扫描仪图像。
总之,我们的研究表明,DeepLab V3+和U-Net模型在MR图像上对HPC的自动分割和影像组学特征提取中均产生了合理的结果,而DeepLab V3+的性能优于U-Net。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 30 kb)
引用
- Lin YC, Lin G, Pandey S, et al. Fully automated segmentation and radiomics feature extraction of hypopharyngeal cancer on MRI using deep learning. Eur Radiol. 2023. PMID: 37338554. doi:10.1007/s00330-023-09827-2
- 全文:PMC10415433(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10415433/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。