视觉集成选择深度学习模型在乳腺DCE-MRI肿瘤3D分割中的应用
本研究基于多中心3D T1-DCE MRI(n=141)开发三种3D U-Net模型用于乳腺肿瘤自动分割,并引入放射科医生视觉集成选择最佳分割。视觉集成选择获得的DSC为78.1±16.2%,与放射科医生间一致性(77.8±10.0%)相当,77%的病例分割被评为优秀或有用。
要点
- 视觉集成选择在77%病例中获得优秀或有用分割,与放射科医生间一致性相当。
- 使用减影图像联合增强图像可为CNN分割提供互补信息。
- 视觉集成选择优于任一单独3D U-Net模型,减少离群值。
核心结论
- 视觉集成选择使放射科医生从三种3D U-Net模型中选择最佳分割,结果与放射科医生间一致性相当。
- 联合使用增强和减影图像可为乳腺病灶3D分割提供互补信息。
- 视觉集成选择在77%病例中获得优秀或有用分割,而图像级融合模型为60%。
研究设计与样本
- 回顾性多中心研究,纳入141例局部晚期或侵袭性乳腺癌患者的3D T1-DCE MRI。
- 111例扫描由两位放射科医生均分手动分割作为训练集,30例由两位医生独立分割作为测试集。
- 训练三种3D U-Net模型:仅增强图像、图像级融合增强+减影图像、特征级融合增强+减影图像。
- 采用五折交叉验证,损失函数为交叉熵与软Dice加权组合(α=0.5)。
- 参考标准为两位放射科医生(经验15年和2年)的手动3D分割。
关键影像表现/征象
- 视觉集成选择在50%病例评为优秀,27%评为有用,仅23%为有帮助或不可接受。
- 三种单独模型优秀率为27%–33%,有用率20%–30%,不可接受率17%–27%。
- 视觉集成选择减少了离群值,体现三种模型的互补作用。
诊断标准与关键数值
- 放射科医生间DSC为77.8±10.0%,HD95为5.2±5.9 mm。
- 视觉集成选择DSC为78.1±16.2%,HD95为14.1±40.8 mm。
- 视觉集成选择定性评估优秀率50%,优秀或有用率77%。
- 以R1为参考标准,视觉集成选择DSC略优于放射科医生间DSC(p<0.03),HD95无显著差异。
- 分割质量评分:4分优秀(可直接临床使用),3分有用(修改少于25%层面且时间少于50%),2分有帮助(修改25%–66%层面),1分不可接受。
临床应用与阅片要点
- 视觉集成选择需放射科医生从三种模型输出中目视选择最佳分割,额外工作量低。
- 在LIFEx等工具中可实现视觉选择,便于整合到临床工作流。
- 自动分割可用于减少手动3D分割工作量,促进乳腺MRI定量研究。
- 需注意单独模型可能出现体积明显低估等离群错误,视觉选择可减少此类错误。
局限性
- 训练和测试数据集有限,理想病例数未知。
- 未探索其他增强期相、扩散加权成像及ADC图的价值。
- 策略非全自动,需额外视觉评估。
- 回顾性研究,多数扫描来自单一机构。
全文中译14 节 · 点击展开
引言
MR成像与乳腺X线摄影一样,是用于乳腺癌检测、诊断和治疗随访的标准成像方式之一[1]。动态对比增强MRI(DCE-MRI)常用于放射组学研究等定量分析[2],以评估乳腺病变的恶性程度或肿瘤范围,或预测其对新辅助治疗的反应[3]。该分析需要对乳腺肿瘤进行精确分割,但手动勾画病灶耗时、往往繁琐,且容易出现放射科医师间和医师自身的变异性[4]。它经常构成使用乳腺MRI进行较大规模影像学研究定量分析的瓶颈。通过提供一种便捷获取从肿瘤病灶中提取的稳健3D定量特征的方法,自动化3D肿瘤分割将显著改善乳腺MR成像中非侵入性生物标志物的识别。
近年来深度学习方法的兴起重新引起了人们对器官和病灶分割的关注[4]。深度卷积神经网络(CNN)已确立为在2D[5, 6]和3D[7, 8]中分割医学图像的最先进方法。许多公共数据库和分割挑战赛可在网上用于训练和测试CNN模型。尽管医学分割十项全能[9]旨在构建可使用不同成像方式分割多个器官的模型,但大多数挑战赛侧重于特定病灶,如脑肿瘤分割(BraTS)挑战赛[10]中的脑肿瘤或肝脏肿瘤分割(LiTS)挑战赛[11]基准中的肝脏。据我们所知,尚无使用DCE-MRI进行乳腺肿瘤分割的挑战赛报道。
使用深度学习方法通过DCE-MRI分割乳腺肿瘤的研究少于使用乳腺X线摄影的研究,部分原因是超大型乳腺X线摄影数据集的可获得性[12]。基于DCE-MRI的研究使用了成熟的CNN分割模型[13–16],这些模型基于U-Net[5]、DeepMedic[17]或SegNet[18]架构,或使用较少见的模型[19, 20]。几项研究[14, 16, 19, 21]通过使用不同的对比后或减影(对比后减去对比前采集)图像,利用了DCE-MRI提供的全部信息。例如,Piantadosi等[21]使用了来自三个不同时间点(对比前、第一幅和最后一幅对比后图像)的图像。同样,Hirsch等[16]构建了多个以不同对比后图像作为输入的模型,而Zhang等[19]将对比后和减影图像同时作为输入馈入分层CNN。
尽管所有这些研究都旨在将分割结果整合到临床工作流程中,但实际评估仅基于定量标准。然而,视觉评估对于检测异常值仍然是必要的,并且应被整合到评估过程中。因此,本研究的关键目标是定义一种临床有用的工具,以辅助放射科医生在DCE-MRI上进行乳腺病灶分割。考虑了三种不同的3D U-Net模型,分别使用第一个增强后T1 DCE-MRI(记为T1c)或T1c与减影图像的融合(记为SubT1),其中SubT1图像定义为第一个增强后图像与增强前图像之间的差异。T1c和SubT1图像的融合在图像层面和特征层面均进行了实现,从而产生了三种3D U-Net模型。对这些模型进行了训练,并考虑了视觉集成选择,即由放射科医生视觉选择最优分割,以利用不同U-Net模型的互补性,并为每位患者选择最佳分割。
材料与方法
图像数据库与参考标准定义
乳腺MR图像(n = 141)采集自2016年至2020年间在居里研究所接受新辅助化疗、被诊断为局部晚期或侵袭性乳腺癌的女性队列(临床特征见表1)。这项回顾性研究获得了我们机构审查委员会(IRB编号OBS180204)的批准,并豁免了书面知情同意。3D T1脂肪抑制DCE-MRI在多中心环境中采集,大多数扫描(77%)来自居里研究所,使用三台采集设备(见表2)。所有病例均使用了专用乳腺线圈。对于DCE-MRI,使用高压注射器注射钆基对比剂,随后用生理盐水冲洗。T1脂肪抑制DCE序列的代表性采集参数见补充表S1。在整个数据库中,平面内体素大小在0.62 × 0.62至1.0 × 1.0 mm之间变化,而体素厚度范围为0.7至2.2 mm。对居里研究所之外进行的MRI进行了审查,以控制图像质量并确保符合美国放射学会关于乳腺对比增强MRI执行的建议[22]。
由两位放射科医生对111个肿瘤病灶进行了均匀的3D分割(见补充图S1)。放射科医生R1在乳腺影像方面有15年经验,而放射科医生R2有2年经验。使用LIFEx软件(v6.0, www.lifexsoft.org)[23]手动分割肿瘤,并将其用作训练和验证CNN模型的参考标准标签。其余30个病灶由两位放射科医生共同分割,并定义为测试数据集。
图像预处理
所有MR图像均使用如[24]中所述的N4算法进行偏场增益校正,重采样以获得整个数据库中各向同性的1×1×1 mm体素,然后裁剪至固定尺寸的边界框(300×160×200 mm),确保整个乳腺区域和腋窝均包含在图像中。接下来,将图像重采样至2 mm体素大小,以减少分割模型的内存需求。此外,通过将每个图像体积的强度值除以其强度值的第95百分位数来对图像进行归一化,以避免基于强度离群值的归一化。
分割模型
模型的基本架构为3D U-Net,类似于No New-Net[7]中的实现。U-Net包含4条路径,每条路径由2个卷积层组成,卷积核大小分别为[3]和[1, 3](见补充图S2和表S2)。所有卷积层后均接实例归一化和泄漏整流线性单元(Leaky ReLU)激活函数。最后添加两个全连接层和一个softmax层作为最终层,将图像体素分类为健康组织或肿瘤组织。
详细设计了U-Net模型的三种不同配置。第一个模型(称为“U-Net (T1c)”)使用T1c图像进行训练,而另外两个模型使用第一幅增强后图像和第一幅减影图像的组合进行训练,采用图像级或特征级融合策略来组合图像。对于图像级融合方法(记为“U-Net ILF (T1c + SubT1)”),两幅MR图像构成双通道,作为CNN模型的输入。对于特征级融合方法(缩写为“U-Net FLF (T1c + SubT1)”),采用的U-Net架构中,编码器部分由两个独立通道组成,分别由增强后图像和减影图像输入。在U-Net的瓶颈处,特征图被拼接并作为解码器部分的输入,如图1所示。
模型使用DeepVoxNet[25]实现,这是一个基于Tensorflow/Keras的高级框架,但专门针对3D医学图像数据进行了设计和优化。所有模型均使用组合损失函数L(由式1定义)进行训练,该函数定义为交叉熵(LCE)和软Dice(LSD)损失的加权组合[26]:
α为两个损失项的权重因子。对于训练和验证,使用默认Keras设置(v 2.2.4,Tensorflow后端)的Adam优化器,初始学习率设为10⁻³。当验证Dice相似系数(DSC)达到平台期时,学习率降低5倍,当验证数据集上的DSC在最后500个epoch内没有改善时停止训练。在此实现中,单个epoch包括向模型输入12个完整图像体积,批次大小为2。所有计算均在弗拉芒超级计算机(CentOS Linux 7)上使用2块NVIDIA P100 GPU(CUDA v11.0,GPU驱动v450.57)和1块Intel Skylake CPU(18核)完成。
在训练过程中,进行了五折交叉验证以确定最佳训练轮数,并在[0.1, 0.9]范围内以0.1为步长进行网格搜索,以寻找超参数α的最佳值。当α设为0.5时,DSC最高,此时对软Dice损失函数和交叉熵损失函数进行了适当加权。在训练/验证结束时,保存了五个模型,然后用于在测试数据集上生成预测。为进行最终性能比较,对五折交叉验证的五个模型的分割掩膜取平均值,然后上采样至1 mm体素大小,以与真实标签进行比较。
视觉集成选择
放射科医师R1对三种模型获得的自动分割质量进行了视觉评估:U-Net(T1c)、U-Net ILF(T1c + SubT1)和U-Net-FLF(T1c + SubT1),并将分割质量评分为“优秀”、“有用”、“有帮助”或“不可接受”。评分4给予优秀分割,可无需进一步修改即可用于临床。评分3给予有用分割,可在合理时间内(少于从头分割所需时间的50%)完成修改(少于总切片数的25%)。评分2给予有帮助的结果,需要在较多切片上进行大幅修改(占总切片数的25%至66%)。评分1给予不可接受的结果,对应于肿瘤勾画中存在非常大的误差或未检测到肿瘤的病例。
因此定义了一种新颖的以患者为中心的方法,称为视觉集成选择,即对于每位患者,当视觉评分相同时,由放射科医师R1选择最佳分割。
定量分析
为比较分割结果,对测试数据库中的每个病例计算了病灶体积、DSC(测量重叠百分比,范围从0%(无重叠)到100%(完全重叠))以及对称Hausdorff距离的第95百分位数(记为HD95,测量两个分割之间的最远距离)。通过比较R1和R2的分割来评估放射科医师间一致性。将三种U-Net模型产生的3D分割和视觉集成选择与R1和R2定义的真实标签进行比较。
统计分析
统计分析使用R软件(版本4.1)进行,显著性水平设为0.05。使用Friedman检验比较视觉集成选择获得的分割与R1和R2之间的DSC和HD95值分布与放射科医师间DSC和HD95。根据四种定性评分,使用Kruskal-Wallis检验对三种3D U-Net模型产生的DSC和HD95分布进行整体比较,然后使用Dunn检验和Bonferroni校正进行比较。
结果
定量分析
表3显示了由两名放射科医师、三个3D U-Net模型以及视觉集成选择在测试数据库上评估的病灶体积。表4提供了DSC和HD95的均值和标准差,用于比较R1和R2分割(放射科医师间标准)以及比较三个3D U-Net模型和视觉集成选择与R1或R2提供的分割。图2展示了这些结果,提供了每种配置的箱线图。
定性分析
图3和图S3显示了根据视觉评估的四个质量评分获得的DSC和HD95箱线图。三个3D U-Net模型取得了相当的结果,27%至33%的病例评分为优秀,20%至30%为有用,20%至27%为有帮助,17%至27%为不可接受。使用视觉集成选择时,50%的病例评分为优秀,27%为有用,而仅有23%的病例评分为有帮助或不可接受。三个3D U-Net模型的整体性能受到一些离群值的影响而降低,而视觉集成选择减少了离群值的数量,这突出了三个3D U-Net模型的互补作用。
统计分析
对于由三个3D U-Net模型获得的分割,根据R1提供的视觉评估,测试数据库中定量标准(DSC和HD95)的均值在不可接受评分(优秀、有用、有帮助 versus 不可接受)之间差异显著(p < 0.0001)(补充图S3)。以R1作为金标准,基于配对秩分析(Friedman检验),视觉集成选择提供的分割与R1之间的DSC值略优于(p值 < 0.03)由R1和R2提供的分割计算得到的DSC值。HD95结果无统计学显著差异。以R2作为金标准,视觉集成选择提供的分割与R2之间的DSC值与使用R1和R2提供的分割计算得到的DSC值无显著差异(p值 = 0.27)。
根据视觉评估的定量分析
表5显示了根据视觉评估,视觉集成选择与R1或R2提供的分割相比的DSC和HD95的均值和标准差。对于评分为优秀的测试病例,平均DSC高于81%,标准差小于6%,与整个测试数据库的放射科医师间DSC相比显示出更好的结果。此外,对于这些病例,平均HD95小于4 mm,标准差小于2 mm。
典型病例
测试数据集的代表性分割结果如图4所示。这些示例病例展示了视觉集成选择的价值,同时突出了三个3D U-Net模型的互补作用。例如,使用T1c图像训练的U-Net可以提供优秀的结果(病例#1),但体积被大幅低估(病例#2和#3)。对于病例#2和#3,使用T1c和SubT1图像级融合作为输入的3D U-Net提供了最佳分割,病例#2评分为有帮助(30层中有13层需要一些修正),病例#3评分为有用(37层中有7层需要一些修正)。
讨论
我们提出了一种基于CNN的新方法,用于临床环境下的乳腺肿瘤分割。在我们的实现中,三个3D U-Net模型使用不同策略进行训练:仅使用增强后图像,或使用增强后图像与减影图像的组合,并在图像级或特征级进行融合。这三个模型在30个独立病例上进行了测试,没有一个模型优于另外两个。遵循辅助性原则,最终由放射科医生为每位患者选择三个模型中分割效果最好的一个,定义为视觉集成选择。使用LIFEx [23]中可用的适当显示工具,与仔细检查单个分割所需的时间相比,视觉选择所需的额外工作量较低。此外,视觉集成选择在77%的测试病例中提供了可接受的分割结果,且结果总体上在放射科医生间可重复性范围内。
我们的方法提供了乳腺病灶的3D分割,而一些最新研究仍进行2D分割[13, 16, 21],尽管通过MR成像测量的肿瘤体积是患者生存的强预测因子[27]。对于先进的影像组学研究或随访研究,3D分割也是一项需要完成的重要任务[3]。CNN模型使用多中心MRI进行训练,这是这些模型具有更高泛化能力的先决条件,并且还使用多扫描仪测试数据集进行了评估。与许多仅以DSC作为唯一评估标准的研究[15, 16]相比,我们增加了HD95作为两个分割之间最大距离的标准。与DSC不同,该标准未纳入模型训练的损失函数中,因此更为独立。本研究中设计的模型基于最先进的U-Net架构,类似于[20]中提出的模型,但不含残差块。Khaled等人[20]在预处理步骤中生成乳腺ROI掩膜,并将其与3D DCE-MRI一起作为分割模型的输入,而我们未向U-Net模型提供该先验信息。[16]中也使用了乳腺ROI掩膜的先验知识来训练U-Net架构的CNN分割模型。我们仅使用T1c或/和SubT1作为输入来训练U-Net模型,而非如[20]中使用完整的DCE-MRI序列进行训练,也非如[16]中使用T1和T2加权MRI序列。Deepmedic架构配合基于块的训练方法在[16]中进行了评估,其性能低于U-Net模型。该评估证实了我们选择U-Net架构的正确性。此外,我们的U-Net模型的性能与文献[13–16, 20, 21]报道的DSC范围(65–80%)相同,尽管难以比较在不同数据集上评估且DSC以2D或3D计算的方法。R1与R2之间的平均3D DSC与[28]中研究的不同观察者组合的平均3D DSC(78–83%)相似。我们的数据库包括局部晚期肿瘤或侵袭性肿瘤,其不规则形状难以分割。
文献[20]也提出了结合独立训练CNN模型输出的集成方法原理。作者比较了多数投票和并集操作的策略,以整合多个使用不同增强后图像和减影图像训练的CNN模型的结果。我们测试了自动集成方法,但它们并未改善最终结果(见补充表S3)。
尽管分割性能有所提高,但我们的研究存在一些局限性。用于训练和测试的数据库在数据集方面有限,但逐步添加新病例可以逐渐改善不同CNN模型的性能,即使理想病例数尚不清楚。需要进一步研究使用其他增强后图像,以及添加其他模态(如扩散加权图像和表观扩散系数图)的潜在价值。最后,我们提出的策略并非完全自动化,需要额外的视觉评估,但据我们所知,目前没有自动分割方法包含自我评估,尽管最近一项研究[15]提出了解决该问题的方案。
本研究提出视觉集成选择作为一种新的实用分割方法,要求放射科医师在三个不同3D U-Net模型获得的结果中选择最佳分割。这种视觉集成选择提供的结果与放射科医师间一致性相当,在77%的病例中提供了优异或有用的分割,而使用增强后和减影图像进行图像级融合的3D U-Net模型为60%,同时与单一分割的视觉评估相比,仅需少量额外工作量。
补充信息
ESM 1(DOCX 286 kb)
引用
- Rahimpour, Saint Martin, Frouin, et al. Visual ensemble selection of deep convolutional neural networks for 3D segmentation of breast tumors on dynamic contrast enhanced MRI. Eur Radiol. 2022. PMID: 36074262. doi:10.1007/s00330-022-09113-7
- 全文:PMC9889463(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9889463/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。