基于深度学习的最小交互式软组织肿瘤CT与MRI分割
该研究开发了一种仅需点击六个边界点即可分割软组织肿瘤的深度学习法(InteractiveNet),在514例多中心公共数据集内部验证DSC为CT 0.85±0.11、T1加权MRI 0.84±0.12,外部验证对未见表型及T2加权压脂序列DSC为CT 0.81±0.08、T1加权MRI 0.84±0.09、T2加权压脂MRI 0.88±0.08,交互分割时间明显短于手动分割。
要点
- 仅需在肿瘤三个平面近极端边界处点击六个点,InteractiveNet即可完成CT或MRI软组织肿瘤分割,内部验证DSC为CT 0.85、T1加权MRI 0.84。
- 外部验证对五种未见表型及未见T2加权压脂序列仍保持DSC 0.81–0.88,提示对软组织肿瘤表型和成像序列有较好泛化性。
- 交互分割耗时CT 364 s、T1加权MRI 258 s,明显短于手动分割的CT 1639 s、T1加权MRI 1895 s。
核心结论
- 最小交互式深度学习方法能有效分割CT和MRI上的软组织肿瘤表型,并对未见表型和成像序列表现出稳健的泛化性。
研究设计与样本
- 研究为方法开发与验证研究,采用多中心公共回顾性WORC数据库514例、9种软组织肿瘤表型、7个解剖部位、CT或T1加权MRI进行训练与内部验证。
- 外部验证采用公共TCIA数据集55例,包含5种WORC中未见的肢体软组织肿瘤表型,提供CT、T1加权MRI和T2加权压脂MRI。
- 参考标准为临床医生在肌骨放射科医师监督下手动勾画的肿瘤轮廓,TCIA参考分割由一名专家放射科医师在T2加权压脂MRI上手动完成并配准至CT和T1加权MRI。
- 交互方法要求用户在三个平面(横断、冠状、矢状)的近肿瘤极端边界处点击六个内部边缘点,据此裁剪感兴趣体积并计算指数化测地距离图,与图像一同输入3D卷积神经网络。
关键影像表现/征象
- 肿瘤与周围组织对比度差时,两种方法均可能出现低DSC;肿瘤边界不规则和分叶时所有方法均存在困难。
- 全自动nnU-Net在大视野尤其是CT中肿瘤检测困难,有时无分割结果(CT 5/39,T1加权MRI 5/62)或分割了不同对象(CT 10/39,T1加权MRI 3/62)。
- T2加权压脂MRI上肿瘤与周围组织对比度优于T1加权MRI,可能解释其略好的分割结果。
诊断标准与关键数值
- 内部验证WORC测试集DSC:InteractiveNet CT 0.85±0.11、T1加权MRI 0.84±0.12;nnU-Net CT 0.52±0.43、T1加权MRI 0.71±0.35。
- WORC测试集InteractiveNet与nnU-Net的DSC差异CT有统计学意义(p<0.001),T1加权MRI无显著差异(p=0.15)。
- WORC测试集InteractiveNet优于MIDeepSeg:CT 0.74±0.23(p<0.001)、T1加权MRI 0.74±0.15(p<0.001)。
- 外部验证TCIA测试集DSC:InteractiveNet CT 0.81±0.08、T1加权MRI 0.84±0.09、T2加权压脂MRI 0.88±0.08;nnU-Net CT 0.38±0.34、T1加权MRI 0.81±0.23、T2加权压脂MRI 0.78±0.22;MIDeepSeg CT 0.64±0.21、T1加权MRI 0.78±0.09、T2加权压脂MRI 0.75±0.08。
- TCIA测试集InteractiveNet与nnU-Net比较:CT p<0.001、T1加权MRI p=0.54、T2加权压脂MRI p=0.02。
临床应用与阅片要点
- 作者认为该方法可减轻手动分割负担,促进影像生物标志物(如放射组学)进入临床实践,并为体积和直径测量(如RECIST)提供快速半自动方案。
- 体积和直径测量与参考分割一致性良好:WORC测试集体积误差1±28 mm3(r=0.99)、直径误差−6±14 mm(r=0.90);TCIA测试集体积误差−7±23 mm3(r=0.96)、直径误差−3±6 mm(r=0.99)。
- 交互分割平均耗时:放射科医师CT 258 s、T1加权MRI 122 s;医学生CT 364 s、T1加权MRI 388 s;手动分割CT 1639 s、T1加权MRI 1895 s。
局限性
- 该方法仅在14种软组织肿瘤表型上评估,而组织学表型超过100种,对五种未见表型的泛化不能保证同样适用于其他软组织肿瘤表型或软组织肿瘤以外的其他癌症类型。
- 模型输入仅使用CT、T1加权或T2加权压脂MRI中的一种,同时使用不同序列的多模态方法可能进一步提升结果。
全文中译12 节 · 点击展开
引言
软组织肿瘤(STTs)是罕见的肿瘤,具有广泛的分化范围,可发生在身体中多种不同的部位。STT的进展在不同患者之间高度可变[1, 2]。STT的三维勾画,即分割,出于多种目的需要,例如靶向(新)辅助放疗计划[3]、定量成像生物标志物(影像组学)的计算[4–7]以及实体瘤疗效评价标准(RECIST)的计算[8]。目前,这些分割必须手工完成,这给医生的时间带来了巨大负担,推高了医疗成本,并且依赖于观察者。因此,临床实践中需要更省时的自动化分割方法。
使用深度学习的全自动分割方法已被证明在医学影像的各种应用中取得成功[9]。然而,由于STT表型、位置和成像模态的范围极其广泛[10],使得难以训练一种能够泛化到所有STT患者的全自动分割方法[10, 11],因此其在STT中的应用受到限制。结果是,自动分割方法的性能仍将不尽如人意。一种可能的解决方案是允许最少量的手动交互,利用放射科医生的知识来引导分割,从而提高泛化能力,同时在临床环境中保持实用效率[12]。
本工作的目的是开发并评估一种用于CT和MRI上STT分割的最小交互式深度学习方法。为此,采用了先前提出的框架[12],使用最先进的nnU-Net框架[9]的最佳实践对方法进行了优化,并在一个异质性公共数据集上进行了训练。作为比较,还实现了未经任何修改的先前提出的交互式分割方法[12]以及使用nnU-Net框架的全自动分割方法[9]。在另一个独立的公共数据集上,将各方法与手动参考分割进行了比较。最后,进行了体积和直径测量,以分析最小交互式分割在临床测量中的用途。
材料和方法
研究样本
本研究仅使用了包含STT的两个公开可用数据集。数据集的特征见表1,图像采集协议的特性总结见表S1。
对于模型开发和内部验证,使用了公共、回顾性、多中心WORC数据库中的所有STT,该数据库包括514名接受CT或T1加权MRI的患者(图1)[13]。WORC数据库包括由多位临床医生在肌肉骨骼放射科医生(4-5年经验)监督下,在T1加权MRI或CT扫描上通过手动分割获得的参考肿瘤勾画。对于CT和MRI,数据集均按STT表型分层拆分,80%用于模型开发,20%用于内部验证,分别称为WORC训练数据集和测试数据集。
为了进行外部验证,使用了在癌症影像档案(TCIA)上公开发布的55例患者的STT数据,称为TCIA测试数据集(图1)[14]。所有患者均有CT、T1加权和T2加权脂肪饱和(FS)MRI可用。参考分割由一名专家放射科医师在T2加权FS MRI扫描上手动完成。此外,还纳入了配准到CT和T1加权MRI的分割。TCIA测试数据集包括一种模态(T2加权FS MRI)和五种肿瘤表型(表1),这些在WORC数据集中不可用,从而能够评估在未见条件下的泛化性。
交互式分割
交互式分割方法(InteractiveNet)基于Luo等人[12]的框架,因其专为医学领域设计、所需用户交互有限,且已被证明能良好泛化到未见对象。在该方法中(图2A),用户在感兴趣3D对象的极端边界附近点击六个点,即在三个平面(横断面、冠状面、矢状面)中各点击两个极端内缘点。利用这些内缘点,将图像裁剪为感兴趣体积(VOI),以帮助模型进行肿瘤定位。物体内部至少需要六个点,以确保VOI包封整个3D对象。裁剪边界略微放宽,以包封整个对象。内缘点还用于计算指数化测地距离(EGD)图,该图基于周围体素与用户点击之间的强度和空间差异提供相似性图。我们假设EGD将基于与周围组织的强度差异来“突出”肿瘤体素。裁剪后的图像和EGD图一起作为3D卷积神经网络(CNN)的输入。
为了提供更准确的分割结果,将Luo等人[12]的原始工作与最先进的自配置nnU-Net框架[9]的最佳实践相结合,包括预处理、网络架构、训练、后处理和集成。实现细节见补充材料A。为评估这些修改的益处,将新开发的InteractiveNet与Luo等人2021年原始工作中描述的方法(称为“MIDeepSeg”)[12]进行了比较。由于模型训练的原始代码不可用,MIDeepSeg使用所提供的实现细节[12]重新实现。
全自动分割
为比较InteractiveNet的性能,训练了一种使用nnU-Net的全自动分割方法[9]。nnU-Net在整个体积上部署3D CNN以定位并分割肿瘤。在本工作之前,nnU-Net尚未应用于STT。
实验设置
分别针对CT和T1加权MRI训练了独立的分割模型,交互式和全自动方法均如此。首先,模型在WORC测试数据集上进行验证。其次,在TCIA测试数据集上进行外部验证,包括评估对未见表型及训练期间未遇到的T2加权FS MRI序列的泛化能力。此处,使用在T1加权MRI上训练的模型为T2加权FS MRI生成分割。
对于WORC和TCIA数据集,交互式分割方法所需的每幅图像六个内部边缘点均基于参考分割合成生成。首先,使用参考分割沿所有轴识别极值点。接着,为确保这些点位于对象内部,将这些点在平面内向内移动五个体素;对于各向异性图像(最大轴间距/最小轴间距 > 3),在平面外维度向内移动1个体素。
为进一步验证合成交互,一位肌肉骨骼放射科医生(8年经验)和一名医学生也在WORC测试数据集上执行了真实用户交互。选择医学生是为了评估执行这些交互是否需要专家放射学知识。仅向他们提供图像,并对临床数据(包括STT表型)设盲。用户在标注前未见过这些图像,标注期间未显示参考分割。我们评估了:(1)由这些真实用户交互生成的模型输出与参考分割的比较;(2)用户基于四个等级(优秀、充分、不足、错误,详见表S2)提供的质量评分;以及(3)标注(包括病灶识别和六个点的放置)、运行方法及评分分割质量的时间。
统计分析
使用灵敏度、交并比(IOU)和DSC评估分割性能[15]。为确定InteractiveNet与nnU-Net及MIDeepSeg之间DSC的差异,采用Wilcoxon符号秩检验。p值<0.05被认为具有统计学意义。
使用Pyradiomics计算预测分割与参考分割在横断面上的体积和最大直径[16]。使用Bland-Altman图和Pearson相关系数(r)评估各分割之间这些测量值的一致性[17]。
结果
交互式、全自动和参考分割在WORC测试数据集上的比较
InteractiveNet的分割结果在平均DSC上高于nnU-Net且标准差更低(CT:0.85 ± 0.11,T1加权MRI:0.84 ± 0.12;nnU-Net为CT:0.52 ± 0.43,T1加权MRI:0.71 ± 0.35)。CT的差异具有统计学意义(p < 0.001),而T1加权MRI未观察到显著差异(p = 0.15)。InteractiveNet较MIDeepSeg表现出统计学显著改善,后者CT评分为0.74 ± 0.23(p < 0.001),T1加权MRI为0.74 ± 0.15(p < 0.001)(图3A和表2;表S3)。
交互式和全自动分割的示例,包括合成交互和EGD图,见图2B。定性分析显示,肿瘤与周围组织之间对比度较差时,有时会导致任一种方法的DSC较低(图2B)。此外,当肿瘤形态不规则且呈分叶状时,所有方法在肿瘤边界方面均存在困难。nnU-Net在大视野方面存在困难,尤其是在CT中,肿瘤检测显示较为困难,有时导致无分割结果(CT:n = 5/39,T1加权MRI:n = 5/62),或分割出不同的对象(CT:n = 10/39,T1加权MRI:n = 3/62)。即使在移除nnU-Net未能分割正确病灶的23个离群值后,InteractiveNet在DSC方面仍优于全自动方法,具有更高的总体中位数、更小的四分位距和更少的离群值(图S1)。
补充材料B提供了关于两名人工标注者手动分割的观察者间变异性的详细信息、通过向合成交互中引入随机噪声模拟的用户变异性的影响,以及与真实用户交互的比较。
在TCIA测试数据集上的外部验证,包括未见过的肿瘤表型和未见过的成像序列
InteractiveNet能够在CT和T1加权MRI上分割未见表型,其DSC与WORC测试数据集中的表型相似(CT:0.81 ± 0.09,T1加权MRI:0.84 ± 0.09)(图3B和表2;表S3)。nnU-Net在T1加权MRI上的未见表型分割表现相似(DSC:0.81 ± 0.23);然而,与交互式分割相比,其在CT上分割肿瘤的失败率更高(DSC:0.38 ± 0.34)(T1加权MRI:p = 0.54,CT:p < 0.001)。InteractiveNet在CT(DSC:0.64 ± 0.21,p < 0.001)和T1加权MRI(DSC:0.78 ± 0.09,p < 0.001)上也显著优于MIDeepSeg。
在未见模态T2加权FS MRI上,InteractiveNet对未见表型的检测较T1加权MRI略有改善(DSC:0.88 ± 0.08)。nnU-Net在T2加权FS MRI上的结果略差于InteractiveNet(DSC:0.78 ± 0.22)(p = 0.02)。同样,InteractiveNet的结果优于MIDeepSeg(DSC:0.75 ± 0.08,p < 0.001)。与T1加权MRI相比,T2加权FS上肿瘤与周围组织之间更好的对比度可能解释了T2加权FS MRI上略好的分割结果,如示例所示(图S2)。
体积和直径测量的一致性
基于InteractiveNet的体积和直径测量与参考分割相比显示出较低的误差,无论是在WORC测试数据集(平均 ± 标准差体积误差:1 ± 28 mm3,r = 0.99;直径:−6 ± 14 mm,r = 0.90)还是在TCIA测试数据集(体积:−7 ± 23 mm3,r = 0.96;直径:−3 ± 6 mm,r = 0.99)(图4和S3)。
分割方法的时间效率
放射科医师和医学生分别在WORC数据集上进行交互式分割平均需要258秒(s)和364秒用于CT,以及122秒和388秒用于T1加权MRI,这显著短于手动分割(CT:1639秒,T1加权MRI:1895秒)(表3)[5–7]。
讨论
本研究开发了一种用于CT和MRI上STT最小交互式分割的深度学习方法。在WORC测试数据集进行内部验证后,InteractiveNet在九种STT表型上与临床医师的参考分割达到了高度重叠(CT:0.85 ± 0.109,T1加权MRI:0.84 ± 0.121),与全自动分割(nnU-Net)和MIDeepSeg相比具有更高的平均DSC和更低的标准差。在外部TCIA测试数据集中,InteractiveNet对未见表型和未见MRI序列表现出良好的泛化能力(CT:0.81 ± 0.092,T1加权MRI:0.84 ± 0.092,T2加权FS MRI:0.88 ± 0.075)。此外,交互式分割与参考分割之间在体积和直径计算方面的误差较低。
在补充材料C中,详细描述了软组织肿瘤(STT)中时间高效分割的高潜力(例如,形态学测量、放射组学生物标志物)以及关于微交互分割方法临床实施的额外考虑(例如,与自动分割的结合)。
先前有两项研究聚焦于基于深度学习的STT分割。首先,一项使用TCIA数据库的研究显示,当结合FDG-PET、CT和T2加权FS MRI进行自动分割时,获得了准确的结果(DSC:0.88)[18]。然而,该研究仅评估了四肢的STT,缺乏外部验证,并且需要所有三种模态才能提供准确的分割。其次,近期的工作实现了脂肪性肿瘤的准确自动分割(DSC:0.80 ± 0.184),但缺乏外部验证且仅聚焦于单一STT类型[19]。在此,提供了一种交互式分割方法,其分割结果有所改善,且能很好地泛化到不同的STT表型。
本研究有两个主要局限性。首先,该方法在14种STT表型上进行了评估,而组织学表型有100多种。尽管本研究表明该方法对五种未见过的STT表型具有良好的泛化能力,但这并不能保证它也能迁移到其他STT表型,甚至STT以外的其他癌症类型;因此,未来的工作应研究对其他肿瘤类型的进一步泛化。其次,CT、T1加权或T2加权FS MRI被用作模型输入;同时使用不同序列的多模态方法可能进一步改善结果[18]。
总之,基于深度学习的微交互分割方法能够为不同身体部位、经CT或MRI成像的多种STT准确生成分割[20]。因此,该方法可以减轻针对(新)辅助治疗的手动分割负担,使基于影像的生物标志物(例如,放射组学)能够整合到临床实践中,并为临床中的体积和直径测量提供快速、半自动的解决方案。未来的研究还包括将该方法扩展到STT以外的其他癌症类型。由于STT表型、位置和影像表现的多样性,我们预计该方法甚至可能无需任何调整即可直接适用于其他(类似的)肿瘤。
补充信息
电子补充材料
补充视频1
引用
- Spaanderman DJ, Starmans MPA, van Erp GCM, et al. Minimally interactive segmentation of soft-tissue tumors on CT and MRI using deep learning. Eur Radiol. 2024. PMID: 39560714. doi:10.1007/s00330-024-11167-8
- 全文:PMC12021718(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12021718/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。