文献速递妇产影像技术与安全MR

迁移学习将宫颈癌自动肿瘤分割模型泛化至子宫恶性肿瘤的DWI研究

Generalizable transfer learning of automated tumor segmentation from cervical cancers toward a universal model for uterine malignancies in diffusion-weighted MRI.
PubMed 文献 · Insights Imaging · 2023-01-24

本研究回顾性分析169例宫颈癌和320例子宫恶性肿瘤患者的盆腔DWI数据,以宫颈癌数据预训练DeepLab V3+模型,通过迁移学习调整训练数据量和微调层,用DSC评估分割性能。结果表明,迁移学习可在有限样本下提高自动分割的泛化性,当子宫数据≤51例时优于从头训练,但数据量≥128例时聚合模型更优。

要点

  • 宫颈癌预训练模型直接用于子宫恶性肿瘤时DSC仅0.31,需微调。
  • 迁移学习微调编码器早期层(L1)在样本≤51例时DSC最高(0.70)。
  • 数据量≥128例时,从头训练的聚合模型DSC更高(0.81)。

核心结论

  • 迁移学习可改善DWI自动肿瘤分割从宫颈癌向多种子宫恶性肿瘤的泛化性,尤其在样本量有限时。
  • 若可获得大量标注数据,使用目标数据集从头训练是更优选择。

研究设计与样本

  • 回顾性多中心研究,纳入169例宫颈癌和320例子宫恶性肿瘤患者,来自三级转诊中心。
  • 使用Siemens Skyra(n=248)和Trio TIM(n=72)扫描仪,采集DWI(b=0,1000 s/mm²)及ADC图。
  • 以DeepLab V3+网络(Xception骨干)建立预训练模型,进行迁移学习实验,调整训练数据量和微调层。
  • 参考标准为两名妇科放射科医生(7年和13年经验)共识勾画的肿瘤ROI。

关键影像表现/征象

  • 肿瘤在DWI上呈高信号、ADC图上呈低信号,分割模型以DWI和ADC作为三通道输入。
  • 预训练宫颈癌模型直接预测子宫恶性肿瘤时DSC仅0.31(95%CI 0.25–0.34),预测联合数据集时DSC 0.43(95%CI 0.38–0.49)。

诊断标准与关键数值

  • 分割精度用Dice相似系数(DSC)评估,手动勾画为金标准。
  • 迁移学习模型在加入5、13、26、51例子宫数据时DSC分别为0.57、0.62、0.68、0.70(p<0.001)。
  • 聚合模型在加入128例和256例时DSC分别为0.73和0.81(p<0.001)。
  • 迁移学习模型(L1微调)在子宫测试集上,训练样本13例和51例时DSC分别为0.61和0.70(p<0.001);从头训练模型全数据(256例)DSC为0.79(95%CI 0.75–0.83)。
  • 在宫颈测试集上,聚合模型全数据(256例)DSC达0.91(95%CI 0.87–0.94)。

临床应用与阅片要点

  • 在标注数据有限时,可利用宫颈癌预训练模型微调编码器早期层(L1)实现子宫肿瘤分割。
  • 迁移学习模型在样本量≤51例时优于从头训练,但数据量≥128例时从头训练或聚合模型更优。
  • 自动分割提取的ADC一阶放射组学特征在迁移学习模型(n=51)时ICC为0.73–0.89,具有中高度可靠性。

局限性

  • 仅探讨宫颈癌与子宫恶性肿瘤间的迁移学习,未涉及卵巢癌。
  • 仅使用DeepLab V3+网络,未验证其他架构。
  • 放疗规划常用高分辨率T2WI,向其他数据类型泛化性需进一步验证。
  • 回顾性研究,样本来自单一中心。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2023 Jan 24;14:14. doi: 10.1186/s13244-022-01356-8

引言

磁共振成像(MRI)在妇科恶性肿瘤的初始分期或术前分期、疗效监测及复发监测中发挥关键作用[1],可提供解剖细节和功能参数[2]。基于MRI的靶区正越来越多地用于宫颈癌放射治疗计划制定,其基础是准确的肿瘤勾画和精确评估肿瘤范围[3]。除肿瘤定位外,基于MRI的影像组学有潜力鉴别子宫肿瘤的良恶性[4],并为预后预测提供有用信息[5]。然而,影像组学流程涉及从大量图像中提取特征[6],这与不同阅片者之间手动勾画的潜在差异相关[7],凸显了对全自动肿瘤分割方法的迫切需求。

卷积神经网络(CNN)已显示出作为图像分割替代方法的潜力[8, 9]。然而,构建CNN模型所需的标注数据集远远超过医学影像中可获得的标注数据量[10]。此外,在三维体积数据集(如CT或MRI)中训练分割模型需要逐层手动标注,这极其耗费人力。因此,减少训练数据集的规模对于提高训练效率是必要的。迁移学习(TL)是解决这一问题的一种方法,它利用从源域学习到的特征作为预训练模型,并将其迁移到另一个域[11]。多项研究表明,TL有潜力克服医学影像中对大数据的需求[12–14]。据我们所知,尚无研究探讨TL在研究不同癌症中的实用性。由于大多数肿瘤在扩散加权(DW)成像上呈高信号、在表观扩散系数(ADC)图上呈低信号,我们假设各种肿瘤在网络某些层中具有共同特征,且关于一种肿瘤类型的知识可迁移用于另一种类型的研究。既往研究已利用DW图像建立了宫颈癌(CX)肿瘤分割模型[15]。在本研究中,我们假设CX数据集的预训练模型可迁移至所有宫颈和子宫恶性肿瘤,且所需标注图像样本量更少。

本研究探讨了从宫颈癌自动肿瘤分割的迁移学习(TL)向扩散加权磁共振成像(DWI)中所有宫颈和子宫恶性肿瘤通用模型推广的普适性。具体而言,我们研究了TL是否能减少目标域所需的数据量,并解析了CNN的哪些层部分应进行微调以实现足够准确的肿瘤分割。最后,我们将TL的模型性能与聚合模型进行比较,该聚合模型使用宫颈和子宫合并数据集训练,用于MRI上恶性子宫肿瘤的通用肿瘤分割。

材料与方法

患者

本探索性研究回顾性分析了2010年7月至2018年1月期间在一家三级转诊中心收治的宫颈或子宫恶性肿瘤患者的数据集。机构审查委员会批准了该研究,并豁免了知情同意。实验使用两个患者队列进行:(1) 宫颈数据集,用作预训练模型的源域。该数据集曾用于在既往报告[15]中建立肿瘤分割模型;该数据集包括144例宫颈癌患者的数据用于训练,以及25例患者的数据用于测试;(2) 子宫数据集,即迁移学习实验的目标域。

子宫数据集患者的纳入标准如下:(a) 女性;(b) 年龄20–80岁;(c) 临床诊断为子宫恶性肿瘤。排除标准如下:(a) 因心脏起搏器或人工耳蜗植入而禁忌行MRI检查;(b) 既往接受过重大盆腔手术、全髋关节置换术或盆腔内磁性物质植入;(c) 患有严重的主要全身性疾病,如肾功能衰竭、心力衰竭、卒中、急性心肌梗死/不稳定型心绞痛、控制不佳的糖尿病和控制不佳的高血压;(d) 妊娠或哺乳期。

在连续入组的345例患者中,我们排除了16例无可见肿瘤的患者和9例在DW成像中易受伪影影响的患者。因此,子宫数据集中320例患者的数据被纳入最终分析(图2)。其中,256例患者(80%)被随机分配至训练数据集,其余64例患者(20%)被纳入测试数据集。所有数据均以匿名方式导出。

MRI数据和图像标注

MRI检查使用两台MRI扫描仪进行:Skyra(n = 248)和Trio TIM(n = 72)(Siemens Healthineers)。所有患者均按照欧洲泌尿生殖放射学会女性盆腔成像指南[16]接受了长庚纪念医院的标准MR方案检查。成像方案包括矢状面和轴面采集的T1加权、T2加权、DW图像和对比增强T1加权图像。DW成像采用单次激发回波平面成像,b值 = 0和1000 s/mm2以生成ADC图。(重复时间/回波时间,3700–8200 ms/65–85 ms;层厚/间隔,4 mm/1 mm;视野,200 × 200 mm;矩阵,256 × 256)。切片层数为14–22层,以覆盖每例患者的整个肿瘤。每层的矢状面DW图像及对应的ADC图被用作训练和测试的输入来源。

肿瘤轮廓的感兴趣区(ROI)由两名妇科放射科医师(Y.L.H.和G.L.,分别具有7年和13年妇科影像经验)通过共识使用MATLAB(Mathworks, Natick)中自行开发的界面进行勾画。两名阅片者均对临床结局设盲。我们避免ROI污染邻近的正常子宫内膜和子宫肌层,并在研究宫颈侵犯时排除了正常宫颈间质。标注的ROI被用作模型训练的金标准。

网络与训练

在一项优化研究中,我们探索了U-Net和DeepLab V3+架构在宫颈癌肿瘤分割中的性能。最终,我们采用了DeepLab V3+架构,因为它产生了更高的初步准确率(附加文件1)。使用b值为0和1000 s/mm²的扩散加权(DW)MRI和ADC图像作为三通道输入源进行训练。Xception被用作DeepLab V3+网络的骨干(前356层)。网络采用权重随机初始化和随机梯度下降Adam优化器方法进行训练[17]。所有图像的信号强度被归一化为均值=0和标准差=1[18]。我们对每个训练图像集施加了数据增强,从而生成六倍的图像数据(20°、−20°、60°、−60°和水平翻转)。最终,来自子宫训练数据集中256名患者的10,164张图像被用于训练。学习率为0.001,收敛前的epoch数为100,批次大小为2。网络使用Python 3.5.4和TensorFlow 1.5.0编写的Keras 2.1.4进行训练。DeepLab V3+模型的代码可在https://github.com/bonlime/keras-deeplab-v3-plus获取。

模型实验

预训练模型使用DeepLab V3+在宫颈数据集(n=144)上建立。我们进行了三种模型训练和预测的组合:(a) 仅子宫(UT-only)模型:使用子宫数据集从头训练,不使用宫颈模型的迁移学习(TL);(b) TL模型:使用预训练的宫颈模型,并使用子宫数据集对某些层进行微调;(c) 聚合模型:使用宫颈和子宫合并数据集从头训练。提出该模型是为了测试对宫颈癌和子宫癌的泛化能力。

为了研究冻结/微调层对TL性能的影响,我们在TL模型上考察了三个层级作为截断层。所确定层之前的层被冻结,而其后的层基于目标域数据进行微调(图1)。(a) L1:编码器中Xception模型之后的第一个层。这是为了保留在源域中学习到的低层特征,并重新训练来自目标域的高层特征。(b) L2:编码器末端空洞空间金字塔池化之后的深层。这是为了保留源域编码器中的低层特征和大部分高层特征,并重新训练编码器中的最后一层。(c) L3:解码器起始处的层。这是为了保留源域编码器中所有提取的特征,并从解码器起始处重新训练。

为了评估数据量对训练性能的影响,我们通过随机分割训练样本,以2%(n=5)、5%(n=13)、10%(n=26)、20%(n=51)、50%(n=128)和100%(n=256)的患者比例考察了子宫数据集的不同训练数据量(图2)。由子宫癌患者(n=64)和宫颈癌患者(n=25)组成的独立数据集用于测试各组的性能。

图1 实验中DeepLab V3+网络架构。带有L1、L2和L3标注的红圈表示截断层级,其中前几层被冻结,而后面的层基于目标数据集进行微调。L1:编码器中跟随Xception模型后的浅层。L2:解码器末端跟随ASPP后的深层。L3:解码器起始处的层。ASPP:空洞空间金字塔池化 查看原图 ↗
图2 子宫肿瘤数据集流程图,展示数据收集及各种训练组合的数据划分 查看原图 ↗

模型性能评估

分割准确性使用骰子相似系数(DSC)[19]进行评估,公式如下:,其中X和Y分别表示预测分割和真实标签分割。每组中DSC最高的训练模型被选为最终模型用于测试数据集的预测。

ADC放射组学特征提取

为评估已建立模型预测ROI的可靠性,我们检查了通过手动和自动分割模型提取的肿瘤ROI的ADC值放射组学特征。基于ADC图像上ROI的3D体积,使用pyradiomics软件[20]计算了肿瘤的14个一阶放射组学特征。

统计学

统计分析使用GraphPad Prism软件8.0版 for Mac(GraphPad Software,圣迭戈,加利福尼亚州,美国)进行。各训练模型间DSC的差异使用方差分析(ANOVA)及Tukey事后分析进行评估。模型的稳定性通过k折交叉验证评估,即对各训练模型标注ROI与预测ROI之间的DSC使用ANOVA分析。肿瘤ROI放射组学特征的可靠性使用手动和自动分割模型获得的组内相关系数(ICC)进行评估。

结果

UT数据集中患者特征

共320例子宫恶性肿瘤患者纳入最终分析。表1展示了训练数据集(n = 256)和测试数据集(n = 64)的临床和人口学特征。患者中位年龄为53岁(范围:25–88岁)。组织病理学类型包括子宫内膜癌(EC,n = 309,96.5%)、子宫内膜间质肉瘤(ESS,n = 5,1.6%)、平滑肌肉瘤(LMS,n = 4,1.3%)和癌肉瘤(恶性混合苗勒管瘤,MMMT,n = 2,0.6%),肿瘤分化程度为高/中分化(n = 259,80.9%)或低分化(n = 61,19.1%)。肿瘤大小范围为0.14至270 cm³(中位数,4.2 cm³)。训练数据集与测试数据集之间在临床或人口学特征方面未发现统计学显著差异。

表1 子宫数据集患者人口学特征 查看原表 ↗

模型性能

图3展示了模型在子宫数据集中各种训练组合和不同样本量下的性能。最初将预训练的宫颈模型直接应用于宫颈和子宫合并数据集时,DSC仅为0.43(95%置信区间[CI],0.38–0.49)。微调水平为L1的迁移学习(TL)模型相比L2或L3水平的模型表现出更高的DSC(所有数据量亚组均p < 0.05)。当使用的子宫数据量≤51时,L1微调水平的TL模型表现出最高的DSC(样本量为5、13、26和51时DSC分别为0.57、0.62、0.68、0.70,p < 0.001)。随着更多训练数据的加入,模型性能提升。当使用数据量≥128时,聚合模型在所有模型中表现出最高的DSC(样本量为128和256时DSC分别为0.73和0.81,p < 0.001)。图4展示了一位子宫内膜癌患者,使用各种训练模型和样本量生成肿瘤轮廓的情况。

亚组分析分别对宫颈数据集、子宫数据集以及宫颈和子宫合并数据集进行。各种模型使用不同训练样本量预测肿瘤轮廓的预测准确率总结于图5和表2中。将预训练的宫颈模型直接应用于子宫数据集时,DSC仅为0.31(95% CI,0.25–0.34)。在测试子宫癌病例时,当子宫数据的训练量较小和中等时,TL模型在所有模型中表现出最高的DSC(n = 13和51时DSC分别为0.61和0.70)(p < 0.001)。仅子宫(UT-only)模型在使用全数据集时具有最高的DSC(n = 256,DSC = 0.79,95% CI,0.75–0.83,p < 0.001)。在测试宫颈癌病例时,如果加入n = 13和n = 51的子宫病例进行训练,TL模型达到了与聚合模型相似的DSC(DSC分别为0.67和0.71)。令人惊讶的是,如果加入全部子宫病例进行训练,聚合模型大幅提高了宫颈数据集的DSC(n = 256,DSC = 0.91,95% CI,0.87–0.94,p < 0.001)。

图3 模型在子宫肿瘤(UT)数据集上使用各种训练组合和样本量预测宫颈和子宫合并数据集的性能。TL模型中的L1、L2和L3表示如图1所示的微调水平。数据以均值±标准差误差棒表示。 查看原图 ↗
图4 一位子宫内膜癌患者使用子宫数据集上各种训练组合和样本量预测肿瘤轮廓的展示。A 肿瘤轮廓为手动勾画(红色轮廓)并叠加在ADC图像上。蓝色轮廓描绘了使用以下方法自动生成的肿瘤区域:B 预训练宫颈模型;C 仅子宫模型;D 在L1水平微调的TL模型。每张图像右下角的白色数字表示该病例的DSC。预训练宫颈模型本身仅生成了肿瘤的一小部分,DSC = 0.18。随着更多子宫数据加入微调,准确率提高。当微调数据量< 128时,TL模型优于仅子宫模型。仅子宫模型在使用全部患者数据时(n = 256)表现出最高的DSC为0.92。 查看原图 ↗
图5 使用子宫肿瘤数据集不同训练样本量时,各种模型对亚组子宫恶性肿瘤预测准确性的比较。迁移学习(TL)模型参考了L1的微调水平。*,与预训练模型相比有显著差异;#,仅子宫(UT)模型、TL模型或聚合模型之间有显著差异。*#,p < 0.05;**##,p < 0.001 查看原图 ↗
表2 使用不同训练样本量时模型对不同测试数据集的预测准确性 查看原表 ↗

影像组学特征的可靠性

图6显示了仅子宫模型和TL模型在不同训练样本量下,通过手动和自动分割获得的一阶ADC影像组学特征的ICC值。当训练数据量较小(n = 13)时,两种模型均表现出差至中度的可靠性,仅子宫模型的ICC = 0.32–0.58,TL模型的ICC = 0.38–0.69。当训练样本量增加至n = 51时,TL模型在所有参数上的ICC均高于仅子宫模型(TL模型和仅子宫模型的ICC分别为0.73–0.89和0.53–0.81,p < 0.001)。使用全部数据量时,两种模型均表现出高可靠性,所有参数的ICC > 0.8(TL模型和仅子宫模型的ICC分别为0.81–0.96和0.8–0.96)。

图6 仅子宫(UT)模型和TL模型在不同样本量下通过手动和自动分割获得的ADC影像组学特征(一阶)的组内相关系数(ICC)值。数据以中位数表示,误差线表示95%置信区间 查看原图 ↗

讨论

我们通过域适应探索了迁移学习(TL)在扩散MRI上用于妇科癌症自动肿瘤分割的潜力。我们的结果表明,通过将先前获得的宫颈癌知识适应于子宫恶性肿瘤的新领域,DeepLab V3+网络在肿瘤分割中是有效的。当目标数据集中训练样本数量有限时,TL方法优于使用相同训练数据量从头进行的传统训练。

TL的工作原理假设源域和目标域的数据分布共享共同的特征空间。具有可迁移权重的CNN架构特别适合TL [21, 22]。我们假设宫颈癌和子宫恶性肿瘤在妇科范围内的DW成像中可能具有一些共同特征,并且从预训练宫颈模型中学到的权重可能泛化至所有宫颈和子宫恶性肿瘤。我们的结果表明,无论从宫颈肿瘤还是子宫肿瘤训练的模型,在没有微调的情况下均无法正确预测另一种癌症的轮廓。我们的方法强调了宫颈癌和子宫恶性肿瘤确实共享可在低层学习的共同特征,而高层特征则特定于子宫恶性肿瘤的目标域。该网络可以仅使用小样本量快速适应目标域以微调权重。

我们的结果表明,在样本量较小的情况下,无论是分割相似度指标还是提取的影像组学参数的可靠性,迁移学习(TL)方法均优于从头训练。Kurata等[23]通过对180例子宫癌患者进行从头训练,在扩散加权成像(DW imaging)和ADC图像上分别展示了子宫内膜癌的DSC为0.68和0.56。我们的结果显示,仅使用51例患者,TL模型的DSC为0.70,高于仅使用无迁移学习(UT-only)模型的DSC 0.64。尽管DSC为0.7对于肿瘤分割任务而言并不令人满意,但提取的ADC影像组学参数是可靠的,ICC为0.73–0.89。这与Kurata等[23]的结果近乎相当,他们通过对180例子宫内膜癌患者进行训练,报告了基于T2加权图像的一阶特征的ICC为0.75–0.93。

TL方法对于本研究中展示的子宫肉瘤等罕见疾病可能特别有用。我们的发现与Ghafoorian等[24]的研究结果一致,他们在不同MRI之间对脑白质分割进行了域适应。他们表明,在样本量< 50的情况下,使用TL的模型准确率优于从头训练的模型。Swati等[25]报告,通过使用VGG19网络对MRI脑肿瘤分类采用TL,数据量可减少至低至25%(n = 58)。我们的结果显示,在数据量< 128时,TL模型优于所有非TL模型。可能的原因在于,预训练模型可能包含宫颈癌和子宫恶性肿瘤共有的一些特征,当样本量较小时,这些特征将主导训练模型的权重。

我们还证明了TL的性能取决于网络中的微调层。在卷积神经网络(CNN)中,靠近输入的卷积层被认为提取通用特征,而更深层则针对目标任务具有特异性[26]。Shirokikh等[27]报告,在使用U-Net进行脑分割时,微调前几层显著优于微调最后几层。我们的结果表明,在子宫恶性肿瘤的肿瘤分割中,DeepLab V3 +相比U-Net表现出更高的准确率。我们观察到,在网络的各个感兴趣层级中,紧接Xception部分[28]之后的层进行微调表现出最高性能。此外,在编码器(L1和L2层级)进行微调优于在网络的解码器(L3)进行微调。这一发现意味着编码器早期部分的低层特征主导了宫颈癌和子宫恶性肿瘤中肿瘤的共有特征。

我们的研究存在一些局限性。第一,我们仅关注宫颈癌与子宫恶性肿瘤之间的迁移学习(TL),因为这两种癌症在妇科中较为常见,且可用于临床的数据量最大。TL对卵巢癌的价值尚待研究。第二,本研究使用了DeepLab V3+;语义分割领域总是不断有创新网络出现。然而,大多数分割网络采用编码器-解码器形式,并使用各种骨干网络进行特征提取。尽管如此,本研究提供了概念验证,即对于不同癌症之间的TL,建议从编码器早期部分进行微调。第三,放疗计划所用的肿瘤是在快速自旋回波T2加权图像上分割的,这些图像具有更高的分辨率和信噪比。因此,未来还需要证明对其他类型数据集的泛化能力。

总之,我们的结果表明,TL可以提高特定癌症类型DWI自动肿瘤分割向多种子宫恶性肿瘤的泛化能力,尤其是在病例数有限的情况下。然而,如果有大量标注数据可用,使用目标数据集从头训练似乎是针对特定疾病的更好选择。

补充信息

附加文件1:U-Net与DeepLab V3+架构在宫颈癌肿瘤分割中的比较

引用

  1. Lin, Lin, Huang, et al. Generalizable transfer learning of automated tumor segmentation from cervical cancers toward a universal model for uterine malignancies in diffusion-weighted MRI. Insights Imaging. 2023. PMID: 36690870. doi:10.1186/s13244-022-01356-8
  2. 全文:PMC9871146(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9871146/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。