基于深度学习自配置nnU-net在多序列MRI上全自动分割和体积测量眼附属器淋巴瘤:一项多中心研究
本研究评估nnU-net在多序列MRI上自动分割和体积测量眼附属器淋巴瘤(OAL)的性能,使用4家机构147例训练集和33例外部测试集,训练Model 1(T1、T2、T1c)和Model 2(T1、T2)。结果显示nnU-net在T2_FS图像上分割性能优异,Model 1和Model 2的DSC为0.80-0.82,体积差异小(0.22-1.24 cm3),CCC为0.96和0.93。结论认为nnU-net在OAL的MRI自动分割和体积评估中表现优异,尤其在T2_FS图像上。
要点
- nnU-net在T2_FS图像上分割OAL表现最佳,Model 1和Model 2的DSC均为0.80-0.82。
- Model 2未检测到58%(19/33)的T1c病例,T1c_FS的DSC仅为0.59。
- T2_FS图像上nnU-net预测与人工勾画的肿瘤体积差异为0.22-1.24 cm3,CCC为0.93-0.96。
核心结论
- nnU-net在OAL的MRI自动分割和体积评估中表现优异,尤其在T2_FS图像上。
研究设计与样本
- 回顾性多中心研究,训练集来自中心1的147例患者,外部测试集来自中心2-4的33例患者。
- 训练集使用1.5T和3T扫描仪(Philips Ingenia、GE Discovery MR750、Siemens Magnetom Prisma),测试集仅使用3T扫描仪。
- 参考标准为两名放射科医生使用ITK-SNAP手动标注并达成共识的结果。
- Model 1训练于T1、T2和T1c图像,Model 2仅训练于T1和T2图像,均采用5折交叉验证。
关键影像表现/征象
- Model 1在测试集上T1c_FS的DSC最高为0.84(0.70, 0.90),T2_FS为0.82(0.75, 0.87),T1为0.80(0.75, 0.87),T1c_nFS为0.80(0.77, 0.85),T2_nFS为0.79(0.75, 0.89)。
- Model 2在测试集上T2_FS的DSC为0.80(0.59, 0.86),T1为0.79(0.74, 0.87),T2_nFS为0.76(0.76, 0.90),T1c_nFS的DSC为0.59(0.10, 0.85)。
- Model 2在测试集中有58%(19/33)的T1c病例无法自动分割,其中T1c_nFS未能检测21%(3/14)病例,T1c_FS未能检测84%(16/19)病例。
- Model 1在T2_FS图像上nnU-net预测与人工勾画的平均体积差异为0.22 cm3,小于10 cm3的病灶平均差异为0.27 cm3。
- Model 2在T2_FS图像上nnU-net预测与人工勾画的平均体积差异为1.24 cm3,小于10 cm3的病灶平均差异为1.39 cm3。
诊断标准与关键数值
- 分割性能评估指标包括Dice相似系数(DSC)、敏感度和阳性预测值(PPV)。
- Model 1在测试集T2_FS上的敏感度为81.2%(73.2%, 87.9%),PPV为86.1%(74.7%, 93.7%)。
- Model 2在测试集T2_FS上的敏感度为77.6%(61.4%, 83.8%),PPV为84.5%(76.1%, 93.2%)。
- Model 1在测试集T2_FS上的体积CCC为0.96,Model 2为0.93。
- 一致性解释标准:CCC > 0.99为几乎完美,0.95-0.99为实质性,0.90-0.95为中等,< 0.90为差。
临床应用与阅片要点
- T2_FS图像可能是OAL患者随访更合适的成像序列,有助于评估放疗效果和辅助治疗选择。
- nnU-net可在多序列MRI数据集上自动分割和测量OAL体积,不受成像设备和扫描参数影响。
- Model 2在T1_FS图像上可能更易出现假阴性。
局限性
- 本研究仅纳入OAL患者,缺乏对其他眼眶病变的讨论。
全文中译17 节 · 点击展开
引言
眼眶附属器淋巴瘤(OAL)是成人常见的眼眶恶性肿瘤,占眼眶恶性肿瘤的11%–55% [1–3]。过去几十年中,OAL的发病率显著上升,对患者的生活质量造成了不良影响 [3–6]。目前,放疗被临床推荐为OAL的重要治疗策略,因为它能够容易地定位并缩小肿瘤 [7–9]。确定肿瘤边界和体积对于放疗计划和治疗效果评估具有重要益处 [10, 11]。
既往研究表明,磁共振成像(MRI)能够为诊断和引导治疗提供定量和定性信息,是眼眶肿瘤的最佳无创检查方法 [12–14]。MRI在勾画肿瘤边界方面发挥重要作用,不仅用于初步诊断,还用于监测治疗进展并根据肿瘤特征做出必要调整。然而,在典型临床环境中,放射科医师通常依赖对MRI图像上肿瘤大小的主观评估,缺乏客观的肿瘤体积数据。这主要是由于手动分割的费力耗时特性,可能引入观察者间和观察者内误差。因此,在MRI图像上精确自动识别肿瘤轮廓并测量肿瘤体积,可能成为优化OAL患者日常临床工作流程的关键因素。
近期研究表明,深度神经网络能够处理多模态数据 [15, 16]。在MRI分析方面,卷积神经网络已被探索用于多序列建模并已被证明有效 [17]。然而,深度学习的复杂性涉及配置大量参数,对非专家而言在模型训练方面构成挑战。为解决这一问题,近年来已开发出面向医生和放射科医师的全自动深度学习框架和流程,如nnU-net,使得无需大量编码即可进行训练 [18]。
本研究旨在开发一种多序列深度神经网络,利用全自动自配置训练框架nnU-net,在多序列MRI数据集上分割OAL并测量其体积。
方法
研究设计与参与数据集
本回顾性研究获得医院机构审查委员会批准(编号:TREC2023-KY107)。鉴于其固有的回顾性性质,书面知情同意的要求被豁免。
回顾性收集本院2015年1月至2022年3月期间眼眶附属器淋巴瘤(OAL)患者的MRI图像。纳入标准包括:(1)组织病理学确诊为OAL;(2)完整的MRI图像数据集,包括轴位T1加权和T2加权图像(T1、T2)以及T1加权对比增强(T1c)序列;(3)MRI图像上存在相同的OAL病灶。排除标准包括:(1)严重运动伪影影响准确判读;(2)病灶较小,占据少于连续两个层面;(3)病灶缺乏明确的病理诊断。所有图像均经匿名化处理并以医学数字成像和通信(DICOM)格式导出。
基于上述纳入和排除标准,来自中心1的共147例患者被纳入训练集。此外,来自三个独立机构(中心2–4)在同一时期符合上述标准的33例OAL患者被选为外部测试集。参与中心之间建立并签署了数据共享协议。研究流程如图1所示。
MRI采集
训练数据集(n = 147)使用1.5T(Philips Ingenia,n = 2)和3T扫描仪[(1)Philips Ingenia,n = 83;(2)GE Discovery MR750,n = 50;(3)Siemens Magnetom Prisma,n = 12]采集,来自不同MRI制造商。测试数据集(n = 33)仅来自3T扫描仪:(1)中心2(n = 18):GE Discovery MR750(n = 5)、Siemens Somatom Skyra(n = 8)和Siemens Magnetom Verio(n = 5);(2)中心3(n = 5):Philips Ingenia;(3)中心4(n = 10):United Imaging uMR790(n = 2)、Philips Achieva(n = 1)和Siemens Somatom Skyra(n = 7)。由于不同中心的扫描方案存在差异,T2和T1c图像呈现为两种形式:含脂肪饱和和不含脂肪饱和(FS/nFS)。然而,每例患者仅有一种形式的T2或T1c图像。T1c图像通过静脉注射钆基对比剂获得,剂量为0.1 mmol/L。MRI扫描仪和序列的详细信息见表1,相应方案见补充表S1。
手动分割
所有OAL病灶的分割最初由一名具有四年头颈部影像学经验的初级放射科医师(放射科医师1)进行。使用ITK-SNAP(版本4.0.0,http://www.itksnap.org/pmwiki/pmwiki.php)在多序列MRI图像(T1、T2_FS或T2_nFS、T1c_FS或T1c_nFS)上逐层勾画OAL边界的感兴趣区(ROI)。随后,一名具有八年头颈部影像学经验的高级放射科医师(放射科医师2)审阅并验证了初始标注。任何分歧均通过讨论或咨询另一名经验丰富的专家以达成共识来解决。获得共识的手动分割结果被视为金标准。此外,为评估观察者内一致性,我们随机选取30例由放射科医师1在一个月后重新分割。
数据处理
所有扫描均自动重采样至一致的体素间距0.31 × 0.31 × 3.00 mm3(所有扫描的中位间距)。随后,应用Z分数归一化以标准化强度分布。我们采用了改编自NIFTYNET框架的基于补丁的训练策略[19]。鉴于中位图像尺寸为16 × 506 × 511体素,补丁大小自动设置为12 × 384 × 384体素。
在线空间数据增强包括随机翻转、旋转和仿射变换。强度增强包括高斯模糊、对比度调整、低分辨率模拟和默认参数的伽马变换。肿瘤体积的计算涉及将像素乘以体素间距的乘积。
模型开发
在为OAL开发MRI分割模型时,我们采用了nn-UNet V2流程(版本2.1)[18]。考虑到临床环境中的患者可能因造影剂过敏或其他原因而缺乏对比增强MRI图像,我们开发并训练了两个不同的模型以拓宽算法的适用性。第一个模型标记为“模型1”,在T1、T2和T1c图像上进行训练,而第二个模型标记为“模型2”,仅使用T1和T2图像。两个模型的输入通道均设置为1。两个模型在训练过程中均采用了五折交叉验证方法[20–23]。具体而言,训练数据集被分为5个互不重叠的折,每一折用于验证,其余四折用于训练。这产生了五个子模型,其中每一折被用于测试一次、训练四次。重要的是,每种变体最终模型的选择是基于其在各折内部验证中的性能来确定的。在推理阶段,OAL分割通过使用nnUNetv2_ensemble模块对5个子模型的预测取平均值来实现(补充图S1)。
训练配置采用“3d_fullres”模式,使用默认的nnU-Net V2采样策略,每个epoch随机选择250个包含OAL区域的图像块。每个模型训练1000个epoch,批大小为2。训练过程在两块各配备24 GB显存的GPU上执行,使用PyTorch(版本2.0.0,https://pytorch.org/get-started/locally/)和CUDA(版本11.7,https://developer.nvidia.com/cuda-11-7-0-download-archive)。数据处理工作流程见图2。
统计分析
统计分析使用Python(版本3.9)和SPSS(版本20.0,SPSS Inc.,芝加哥,美国)进行。采用Shapiro-Wilk检验评估数据分布的正态性。不符合正态分布的数据以中位数和四分位数间距表示,否则以均值±标准差(SD)汇总。t检验和卡方检验分别用于比较连续变量和分类变量。nnU-net的性能通过Dice相似系数(DSC,范围0至1)、灵敏度和阳性预测值(PPV)进行评估。使用真实标注和预测肿瘤的体积生成Bland–Altman图,并采用Lin一致性相关系数(CCC)评估两者之间的一致性。nnU-net预测与手动分割之间的一致性解释为几乎完美(> 0.99)、高度一致(0.95 ~ 0.99)、中等一致(0.90 ~ 0.95)和差(< 0.90)[24]。观察者内一致性以及通过手动分割在三个MRI序列上获得的肿瘤体积的一致性使用组内相关系数(ICC)以双向混合绝对一致性模型进行评估。ICC值的解释如下:差(ICC < 0.5)、中等(0.5 ≤ ICC < 0.75)、良好(0.75 ≤ ICC < 0.9)和优秀(ICC ≥ 0.9)[25]。p值小于0.05被视为具有统计学差异。
结果
患者特征
本研究纳入患者的特征见表2。训练集与测试集在性别(p = 0.327)或病灶位置侧别(p = 0.496)方面无显著差异。测试集患者较训练集年轻(p = 0.030),且两个数据集的肿瘤体积分布差异有统计学意义(p = 0.022)。观察者内一致性良好,ICC范围为0.889至0.956,表明ROI勾画的稳定性稳健。三个MRI序列间手动标注的肿瘤体积显示出极好的一致性,ICC为0.945。
训练集性能评估
采用5折交叉验证,nnU-net在模型1中考虑所有MRI序列时获得的DSC范围为0.78–0.87。nnU-net预测与真实值之间的体积差异为0.02–1.28 cm3,五个子模型的CCC范围为0.92至0.95。对于模型2,nnU-net获得的DSC范围为0.75至0.86,体积方差为0.08–1.71 cm3。模型2中所有子模型的CCC为0.84–0.89(补充图S2、表S2-S3)。
模型1的自动分割性能
在模型1的测试集评估中(表3),nnU-net在T1c_FS上表现出最高的中位DSC,为0.84(0.70, 0.90),略优于T2_FS的0.82(0.75, 0.87)。T1的DSC为0.80(0.75, 0.87),与T1c_nFS的0.80(0.77, 0.85)基本相当。nnU-net在T2_nFS上显示出最低的DSC,为0.79(0.75, 0.89)(图3a)。对于PPV,nnU-net在T1和T1c_FS上取得更好的结果,分别为92.8%(88.4%, 95.0%)和92.1%(86.9%, 94.8%)。T2_nFS和T1c_nFS的PPV相似,均为90.2%,优于T2_FS的PPV 86.1%(74.7%, 93.7%)(图3b)。nnU-net在T2_nFS上表现出最高的灵敏度,为82.3%(67.3%, 87.9%),超过T2_FS的灵敏度81.2%(73.2%, 87.9%)。这些值超过了T1c_FS、T1和T1c_nFS的灵敏度,分别为78.7%(66.0%, 86.1%)、76.3%(64.8%, 82.4%)和72.0%(66.0%, 85.0%)(图3c和4)。
模型1用于体积测量的性能
nnU-net的Bland-Altman图表现出极佳的性能,预测肿瘤体积与真实值之间的平均差异为1.07 cm3(表4;图3d)。对于体积小于10 cm3的较小病灶,nnU-net预测值与真实值之间的平均差异为0.27 cm3(图3d)。在整个测试集中,预测与手动分割之间体积的CCC为0.90(表4,补充图S3)。
对于每个序列,nnU-net在T2_nFS和T2_FS上预测体积与手动标注之间的差异较小,分别为0.03 cm3和0.22 cm3,而最大差异为T1c_nFS的2.37 cm3。在T1c_FS和T1中,nnU-net预测体积与手动勾画之间的变异分别为0.99 cm3和1.45 cm3(表4,补充图S4)。在所有序列中,T2_FS在预测与手动勾画之间体积的CCC最高,值为0.96(图3f)。T1、T2_nFS、T1c_FS和T1c_nFS图像上的CCC几乎相同,分别为0.87、0.87、0.86和0.87(表4,补充图S3)。
模型2用于自动分割的性能
我们进一步评估了模型2的分割性能,该模型仅包含非增强T1和T2图像用于训练。如表3所示,T2_FS、T1和T2_nFS的DSC分别为0.80(0.59,0.86)、0.79(0.74,0.87)和0.76(0.76,0.90)(图3a)。然而,测试集中有58%(19/33)的T1c病例无法自动分割。此外,nnU-net未能检测到来自中心2的21%(3/14)T1c_nFS病例,以及84%(16/19)的T1c_FS病例(3例来自中心2,4例来自中心3,9例来自中心4)。尽管如此,nnU-net在其余14例T1c_nFS中表现出接近中等的分割性能,DSC为0.59(0.10,0.85),尽管这些T1c图像未在训练数据集中出现(表3;图3a)。T1、T2_FS和T2_nFS的PPV和敏感度分别为92.2%(89.8%,95.1%)和72.7%(63.0%,81.8%)、84.5%(76.1%,93.2%)和77.6%(61.4%,83.8%)、91.8%(69.5%,97.4%)和84.3%(62.7%,87.8%)(表3;图3b-c)。对于T1c_nFS,PPV和敏感度分别为91.2%(20.1%,95.5%)和51.4%(6.1%,80.2%)(表3;图3b-c和5)。
模型2用于体积测量的性能
Bland-Altman图显示,在测试集中,nnU-net预测的肿瘤体积与真实值之间的平均差异为2.99 cm3(表4;图3e)。整个测试集中预测值与真实值之间体积的CCC为0.69(表4,补充图S3)。
对于每个序列,nnU-net在T2_nFS和T2_FS图像上分别实现了0.03 cm3和1.24 cm3的微小差异(表4,补充图S5)。对于T1、T1c_FS和T1c_nFS图像,nnU-net预测与真实值之间的肿瘤体积变化分别为2.25 cm3、6.03 cm3和4.89 cm3(表4,补充图S5)。nnU-net预测的肿瘤体积与放射科医师在T2_FS图像上勾画的肿瘤体积中度匹配,CCC为0.93(表4;图3f)。T1、T2_nFS、T1c_FS和T1c_nFS图像上的CCC较低,分别为0.85、0.85、0.25和0.44。(表4,补充图S3)。
异常值分析
在分析异常值时,我们发现模型1中的nnU-net在T2_FS序列上的一个小肿瘤(≤ 10 cm³)中产生了假阳性区域(图S6)。对于模型2,nnU-net对OAL区域的预测在两个T1c_FS病例中小于真实值(图S7),而在相同病例的T1c_nFS和T2_FS(图S8)图像中则大于真实值。值得注意的是,模型1中的异常值和模型2中高估的区域来自同一名患者,其病变位于左眼睑。模型2中的另外两个异常值是由于nnU-net在T1_FS图像上预测出假阴性区域。这表明在模型2中,nnU-net在T1_FS图像上可能更容易出现假阴性。
讨论
在这项多中心研究中,我们介绍了一种基于深度学习的自配置框架nnU-net,并利用两个训练模型评估其在OAL自动分割和体积测量中的潜力。我们进一步在具有异质性MRI数据的外部测试集上证实了其泛化性和可重复性。主要发现如下:(1)模型1在所有MRI序列上的分割性能均优于模型2;(2)在模型1和模型2中,nnU-net在T2_FS图像上勾画OAL均取得了优异性能和可靠性,DSC范围为0.80至0.82。此外,在T2_FS上观察到nnU-net预测值与真实值之间肿瘤体积存在0.22–1.24 cm3的微小差异,显示出可接受的一致性(CCC:0.93–0.96)。这些结果表明,无论成像设备和扫描参数如何,nnU-net在多序列MRI数据集上勾画和测量OAL体积均表现出较强的适应性和通用性。
有趣的是,尽管模型1的训练集中缺乏T1c_nFS,nnU-net在测试集上仍表现出色,达到了0.80的DSC和90.2%的PPV。同样,模型2的训练集缺乏T1c图像,但nnU-net在异质性MRI数据集中成功识别了79%(11/14)的T1c_nFS病例中OAL的边界,甚至在仅16%(3/19)的T1c_FS图像中也能识别。这些发现表明nnU-net能够在先前未见的图像中识别OAL病变的边界,进一步支持了深度学习固有的表征学习能力。在训练数据集中加入对比增强图像显著提高了T1c图像的DSC评分,T1c_nFS的DSC从0.59增加到0.80。然而,T1和T2图像的改变较少,表明数据集分布更广泛可导致分割性能改善。
在模型1中,nnU-net对T1c_FS取得了最高的DSC,为0.84,但体积差异(0.99 cm3 vs. 0.22 cm3)和CCC(0.86 vs. 0.96)劣于T2_FS。尽管如此,T2_FS的DSC与T1c_FS相似(0.82 vs. 0.84)。虽然nnU-net预测与手动分割在T2_nFS上的体积差异可忽略不计,两个模型均为0.03 cm3。然而,这可能受到病例数较少(n = 3)所致偏倚的影响。这些发现表明T2_FS可能是OAL患者随访更合适的成像模态,为评估放疗效果和辅助最佳治疗选择提供有意义且省时的益处。
随着深度学习在放射学领域的进步,多项研究集中于使用这些方法选择MRI影像组学特征,然后采用常规神经网络等方法区分OAL与特发性眼眶炎症[26]。然而,探索深度学习模型在OAL病例中自动分割潜力的研究有限。nnU-net分割肿瘤病变的潜在性能已在神经母细胞瘤[27]、肺癌[28]、胶质瘤[29]和脑膜瘤[30]中受到关注。据我们所知,这是首次使用来自不同机构的多序列MR数据集实施nnU-net自动分割OAL病变。
放疗是OAL患者的主要治疗方法之一,因其广泛报道的有效性[7, 31]。然而,许多OAL患者在放疗后通常显示残留肿瘤[32],这增加了复发风险并需要进行随访眼眶MRI检查。在MRI图像上自动分割OAL病变的能力可显著帮助随访期间监测这些患者。在本研究中,我们引入了一种基于深度学习的自配置nnU-net网络,用于使用多序列MRI图像自动分割OAL病变和体积测量。研究结果表明nnU-net预测与手动勾画在T2_FS图像上的差异极小,暗示nnU-net可作为评估OAL放疗结果的有效工具。
在我们的研究中,我们在每个MRI序列上手动勾画肿瘤体积,以捕捉每个序列所提供的独特对比度和细节。这种方法使我们能够确定nnU-net在T2_FS图像上表现最佳,预测肿瘤体积与手动勾画之间的差异最小。虽然我们同意最终只有一个肿瘤体积,但我们的方法使我们能够了解该算法对不同MRI对比度和细节的适应程度。基于三个MRI序列进行图像配准然后进行单次勾画确实是一种被提出的方法。目前,我们在每个MRI序列的原始空间中进行勾画的方法具有避免配准引入的潜在错误的优势。我们进一步评估了三个MRI序列之间肿瘤体积的一致性,结果显示高度一致,这支持了我们方法的有效性。
当前研究存在若干需要承认的局限性。首先,我们专注于评估nnU-net专门针对OAL的自动分割能力,因此仅纳入了诊断为OAL的患者。结果,在OAL与其他眼眶肿瘤鉴别方面的讨论存在不足。我们正在尝试构建我国眼眶肿瘤的MRI数据库(NCT06336499),未来的研究将在此基础上扩展,分析涵盖各种类型眼眶肿瘤的更大、更多样化的数据集。其次,我们对分割性能和体积测量的评估仅限于单一深度学习模型nnU-net,从而忽略了利用和比较替代模型的机会。在未来的工作中,我们计划开展涵盖多种方法的更广泛的比较研究,以提供更全面的分析,帮助临床方法选择。第三,由于所考虑的MRI数据的多样性,本研究的发现仍处于初步阶段。为进一步验证nnU-net在OAL分割中的可行性,有必要开展更大样本量的研究,并纳入更多样化的MRI数据类型,如弥散加权成像(DWI)、表观弥散系数(ADC)图和动态对比增强MRI(DCE-MRI)。最后,由于外部测试集的样本量相对较小,我们无法确定各模型中异常值的常见原因。这表明需要在未来研究中增加样本量,以进行更深入的调查和总结。尽管如此,我们仍希望通过对异常值中典型病例的分析,能为未来研究或任何尝试复现所提出方法的人提供有价值的见解。
结论
总之,nnU-net在OAL患者常规MRI图像的自动分割和体积评估中表现出优异的性能和稳健性,尤其是在T2_FS图像上。这表明其在评估治疗效果和简化随访工作流程方面具有广阔的潜力。此外,nnU-net展示了在T1c图像上预测OAL肿瘤边界的能力,该模型由未见过的对比增强MRI图像训练而成,这减少了对人工勾画的需求并缩短了模型训练时间。
电子补充材料
以下是电子补充材料的链接。
补充材料 1
引用
- Wang G, Yang B, Qu X, et al. Fully automated segmentation and volumetric measurement of ocular adnexal lymphoma by deep learning-based self-configuring nnU-net on multi-sequence MRI: a multi-center study. Neuroradiology. 2024. PMID: 39014270. doi:10.1007/s00234-024-03429-5
- 全文:PMC11424727(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11424727/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。