文献速递泌尿生殖腹部MR

标签集选择对基于深度学习的前列腺MRI分割性能的影响

Label-set impact on deep learning-based prostate segmentation on MRI.
PubMed 文献 · Insights Imaging · 2023-09-25

研究使用PROSTATEx I训练集(n=198)的两套专家手动分割标签集和本院数据集(n=233),以nnU-Net评估标签集选择对前列腺及分区自动分割性能的影响。结果显示训练/测试标签集的选择对模型性能有显著影响(p<0.001),同一标签集训练测试时性能显著更高(p<0.001),自动分割间一致性显著高于手动分割间一致性(p<0.0001),模型性能可优于训练所用人工标签集。

要点

  • 训练和测试所用标签集的选择对前列腺自动分割模型性能有显著影响(p<0.001)。
  • 模型在与训练相同标签集上测试时DSC和HD95显著更优(p<0.001)。
  • 自动分割之间的一致性显著高于手动分割之间的一致性(p<0.0001)。

核心结论

  • 不同前列腺腺体及分区手动分割标签集的选择对深度学习模型性能有可测量的影响。
  • 基于深度学习的分割模型表现出比手动分割更高的读者间一致性。
  • 作者认为应更多关注标签集,重点是多中心手动分割并就共同流程达成一致。

研究设计与样本

  • 研究论文,使用PROSTATEx I训练数据集(n=204,因分割不匹配排除6例后n=198)和本院3T mpMRI数据集(n=233,2015年3月至2017年12月采集),以 transverse T2W 图像进行分割。
  • 采用nnU-Net(版本1.7.0)全分辨率3D模型,五折平均策略,训练300个epoch,在单张NVIDIA GeForce RTX 2070 Super GPU(8 GB VRAM)上实现。
  • 参考标准为手动分割标签集:PROSTATEx有Set A(住院医师分割、专家放射科医师审核)和Set B(影像专家分割、放射肿瘤科医师审核);本院数据集由一名放射科住院医师在ITK-SNAP(版本3.6.0)中分割PZ和TZ,WP为两者并集。
  • 共开发5个模型:Model 1/2分别用PROSTATEx Set A/B训练;Model 3用本院数据训练;Model 4/5分别用PROSTATEx随机选取148例(75%)的Set A/B训练。
  • 评估指标为Dice相似系数(DSC)、Hausdorff距离95百分位(HD95)和相对体积差(RVD),RVD仅用于WP;因数据非高斯分布采用Wilcoxon符号秩检验并经Bonferroni校正,校正p<0.05为有统计学意义。

关键影像表现/征象

  • 手动标签集Set A与Set B之间:WP、PZ、TZ的中位DSC分别为0.891、0.703、0.847,中位HD95分别为7.41、10.55、9.00 mm;以Set B为参考,WP中位RVD为9.27%。
  • Model 1(Set A训练)在本院测试集上WP、PZ、TZ的中位DSC分别为0.933、0.769、0.877,中位HD95分别为5.97、9.41、9.50 mm;Model 1中位RVD(WP)为6.66%,呈过分割倾向。
  • Model 2(Set B训练)在本院测试集上WP、PZ、TZ的中位DSC分别为0.916、0.754、0.878,中位HD95分别为6.18、8.88、7.44 mm;Model 2中位RVD(WP)为−3.73%,呈欠分割倾向。
  • Model 3以Set A为参考时WP、PZ、TZ的中位DSC分别为0.922、0.755、0.878,中位HD95分别为6.34、10.16、8.86 mm,中位RVD(WP)为8.52%;以Set B为参考时中位DSC分别为0.908、0.726、0.879,中位HD95分别为6.40、9.80、7.78 mm,中位RVD(WP)为−3.19%。

诊断标准与关键数值

  • 分割性能指标为DSC和HD95,另用RVD定量比较分割体积,RVD仅用于全前列腺(WP)。
  • 自动分割与人工标签集一致性比较显示,模型与训练所用同一标签集测试时DSC和HD95一致性显著更高,中位RVD更接近0。
  • Set A与Set B测试子集之间人工分割的一致性(DSC和多数HD95)显著低于一个标签集训练、另一标签集测试的模型分割之间的一致性。
  • Model 4与Model 5自动分割之间的一致性显著高于其训练所用人工专家分割之间的一致性,模型RVD变异小于人工标注者。

临床应用与阅片要点

  • 前列腺分割在临床用于估算腺体体积以计算PSA密度,以及靶向超声引导前列腺活检时的实时融合。
  • 模型性能应在训练和测试所用参考标准的背景下解读,使用不同标签集训练和/或测试的模型不能直接比较。
  • 作者提出可参照公共数据集或参加开放挑战赛(所有模型使用相同数据集和标签集)来基准化性能;当有3名及以上标注者分割时,STAPLE算法可能有助于构建稳健的分割标签集。

局限性

  • 仅使用单一深度学习分割模型架构(nnU-Net),结论可能不适用于其他架构。
  • 仅使用DSC和HD95两个评价指标,可能无法全面理解模型的分割性能。
  • 研究未分别分析前列腺各区(尖部、中部、基底部),可能增加分析复杂性。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2023 Sep 25;14:157. doi: 10.1186/s13244-023-01502-w

引言

前列腺癌(PCa)是主要的健康问题,在男性癌症相关死亡原因中排名第五,是全球男性中第二常见的癌症[1]。前列腺癌的准确诊断和早期发现对于该疾病的有效治疗至关重要[2]。多参数磁共振成像(mpMRI)已在国际上被确立为前列腺癌的重要诊断工具[3]。目前,放射科医师手动解读mpMRI图像。然而,这种方法存在诸多局限性,包括阅片者间变异。自动化计算机辅助检测与诊断系统(CAD)有助于克服这些局限性[4–6]。

感兴趣区(ROI)分割是前列腺癌CAD系统中的关键步骤[4]。基于深度学习(DL)的方法在性能方面已显示出令人鼓舞的结果。在多项研究中,基于卷积神经网络(CNN)的方法已被证明可达到高准确度,部分方法的分割性能可与专家放射科医师相媲美[7]。

近年来,已开发出多种用于前列腺癌的CAD系统,文献中报道了令人鼓舞的结果[8, 9]。此外,目前已有多种商业化的前列腺腺体及分区分割产品可供使用[6]。在临床实践中,这些分割用于估算腺体体积以计算前列腺特异性抗原(PSA)密度,以及用于靶向超声引导前列腺穿刺活检期间的实时融合[6]。然而,这些模型中的大多数是在数据集变异性较低的情况下训练的,主要是来自单一机构的图像和手动 ground-truth 分割(即标签)。

前列腺腺体的手动分割是一项耗时且困难的任务,易受阅片者间变异的影响[10]。这种变异可能源于放射科医师培训和经验的差异,以及所用成像设备和方案的差异。尽管如此,手动分割仍被认为是前列腺腺体分割的金标准。然而,许多已发表的分割方法提到需要更大规模的多机构图像数据集以提高分割性能[8, 9]。然而,标签集选择对这些模型性能的影响尚未被研究。

可以认为这是常识:基于DL的分割模型的准确性和可靠性依赖于标签的质量。因此,考虑并量化标签选择对基于DL的前列腺分割模型性能的影响至关重要。这将有助于提高前列腺癌CAD系统的准确性和可靠性,并最终促成对该疾病更好的诊断和治疗。

在本研究中,我们旨在研究和量化用于训练和评估的标签选择对基于DL的前列腺分割模型性能的影响。

方法

数据集

在本研究中,我们使用了来自两个数据集的横断面T2加权(T2W)MR图像:公开可用的PROSTATEx I训练数据集(n = 204;因分割不匹配排除6例)[11],以及一个内部采集的多参数3 T MRI数据集(n = 233)。

内部收集的数据集来自挪威特隆赫姆大学医院圣奥拉夫斯医院,收集时间为2015年3月至2017年12月,作为先前一项前瞻性研究的一部分[12]。该数据集包含233例患者的多参数磁共振(mpMR)图像(中位年龄=65岁;范围:44–76岁),这些患者因疑似前列腺癌经由挪威标准化诊疗路径接受检查,其中前列腺特异性抗原(PSA)升高和/或直肠指检结果异常的患者被转诊进行初始mpMRI扫描,以识别可疑癌组织。T2加权成像在Magnetom Skyra 3 T MRI系统(Siemens Healthineers,埃尔朗根,德国)上采用快速自旋回波序列完成(重复时间/回波时间=4450–9520/101–108 ms,矩阵大小320×320–384×384,层数26–64层,层厚3–3.5 mm,平面内分辨率0.5×0.5–0.6×0.6 mm²)。

手动分割

内部收集数据集的前列腺外周带(PZ)和移行带(TZ)手动分割由挪威特隆赫姆大学医院圣奥拉夫斯医院的一名放射科住院医师使用ITK-SNAP(版本3.6.0)[13]完成,该医师由一位在前列腺成像方面拥有超过10年经验的放射科医师培训。整个前列腺(WP)的分割由PZ和TZ的并集得出。病灶分割超出本研究范围,因此未予考虑。

对于PROSTATEx数据集,有两组专家手动分割结果(标签集):集合A:分割由两名放射科住院医师完成,并由两名专家放射科医师审核。每对住院医师和放射科医师审核一半病例。该标签集由Cucolo等人[14]公开提供。

集合B:分割由在前列腺成像领域合计经验超过25年的成像专家完成,并由美国迈阿密米勒医学院的放射肿瘤科医师审核。

对集合A和集合B的标签进行了错误检查(即悬浮、错误分割的像素)并相应校正。为此,使用了一种定制方法(https://github.com/meglaficus/ProstateSeg_QC)来查找最常见的手动分割错误并突出显示错误掩膜。

自动分割

PZ和TZ的自动分割使用全分辨率3D nnU-Net模型[15]完成,采用五折平均策略,即将训练集分为5折,每一折用于训练和验证一个子模型。为确保模型可比性,同一实验中使用的每个模型保持相同的折划分。然后使用5个子模型中的每一个在测试期间预测病例分割,再将五个预测结果平均以创建掩膜。nnU-Net(版本1.7.0)训练300个epoch,使用PyTorch(版本1.11.0)[16]和Python(版本3.9.12;Python Software Foundation,威尔明顿,特拉华州,美国)在单块NVIDIA GeForce RTX 2070 Super GPU(8 GB显存)上实现。nnU-Net是一个自配置框架,可自动优化预处理、模型配置和训练,因此我们未指定具体训练参数。

本研究开发了5个模型:模型1:使用PROSTATEx图像及其对应的集合A标签进行训练。

模型2:使用PROSTATEx图像及其对应的集合B标签进行训练。

模型3:使用内部图像及其对应标签进行训练。

模型4:使用从PROSTATEx图像中随机选取的148例患者子集(以创建75%/25%的训练/测试划分)及其来自集合A的对应标签进行训练。

模型5:使用从PROSTATEx图像中随机选取的148例患者子集及其来自集合B的对应标签进行训练。此处使用了与模型4相同的训练病例。

这些模型生成的掩膜经过后处理,仅保留中央占主导的最大三维连通分量,使用26像素连通性。全腺体(WP)分割由外周带(PZ)和移行带(TZ)的并集得出。

实验

手动衍生标签集之间的一致性

第一步是测量集合A和集合B标签之间的一致性,以建立比较深度学习(DL)模型性能的基线,并评估放射科医师之间的一致性。

训练标签集选择的影响

我们比较了模型1(在集合A上训练)和模型2(在集合B上训练)生成的掩膜,使用内部数据集作为测试集,以评估训练标签集选择对深度学习(DL)模型性能的影响。

测试标签集选择的影响

为补充前一实验,我们分别比较了模型3(在内部数据集上训练)为PROSTATEx图像生成的掩膜与来自集合A和集合B的标签,以评估测试标签集选择对深度学习(DL)模型表观性能的影响。

算法与人工分割之间的一致性

在本实验中,PROSTATEx数据集被划分为训练子集(148例;75%)和测试子集(50例;25%)。使用模型4和模型5以及测试标签集A和B,我们评估了若干因素。首先,我们评估了训练和测试使用同一标签集的标签与训练和测试使用不同标签集的标签之间的影响。其次,我们将模型4和模型5的性能与两个测试标签集之间的一致性(即人工性能)进行了比较。第三,我们将模型4和模型5生成的掩膜之间的一致性与两个测试标签集之间的一致性进行了比较。

统计分析

计算两个掩膜之间的Dice相似系数(DSC)[17]和Hausdorff距离的第95百分位数(HD95)[18],作为分割性能和掩膜一致性的指标。此外,计算相对体积差(RVD)作为分析和比较分割体积的定量指标[19]。RVD是唯一仅应用于全腺体(WP)的指标,因为这在临床环境中最为相关。

使用Shapiro–Wilk检验检验数据集的 normality,由于发现非高斯分布,使用Wilcoxon符号秩检验,随后进行Bonferroni多重检验校正,以评估DSC、DH95和RVD的差异。校正后p值小于0.05被认为具有统计学意义。

所有统计分析均在Python(版本3.9.12)中完成。

结果

所有模型的训练在300个epoch后收敛。损失函数图作为补充材料提供,见图S1。一例病例的人工和模型分割示例如图1所示。

图1 手动分割与自动分割示例。该图展示了来自PROSTATEx的一个病例的前列腺移行区(TZ)和外周带(PZ)分割结果,该病例属于模型4和模型5测试集的一部分。第1、2、3行分别显示前列腺底部、中部和尖部的轴位图像。第4行显示前列腺的冠状位图像。a–d为T2加权图像,其余分别为集A(e–h)、集B(i–l)、模型4(m–p)和模型5(q–t)的分割结果 查看原图 ↗

手动衍生标签集之间的一致性

比较手动衍生的集A与集B之间的一致性,全前列腺(WP)、外周带(PZ)和移行区(TZ)的DSC中位数分别为0.891、0.703和0.847,HD95中位数分别为7.41、10.55和9.00 mm。以集B为参考时,WP的RVD中位数为9.27%。

训练标签集选择的影响

模型1与模型2性能的比较见图2。结果表明,训练标签集的选择对独立测试集中的模型性能有显著影响,在内部采集数据集中,模型1(集A)在全前列腺分割的DSC和HD95上得分高于模型2(集B)。此外,两模型间的RDV存在显著差异。模型1表现出过度分割前列腺的倾向(RVD中位数为6.66%),而模型2倾向于分割不足(RVD中位数为− 3.73%)。

图2 模型1与模型2的性能。箱线图显示Dice相似系数(DSC)(a)、Hausdorff距离第95百分位数(HD95;应用对数以改善可视化)(b)以及全前列腺相对体积差(RVD(WP))(c),比较了使用集A训练的模型1与使用集B训练的模型2在同一测试集(内部)上的性能。模型1的全前列腺(WP)、外周带(PZ)和移行区(TZ)的DSC和HD95中位数分别为0.933、0.769和0.877以及5.97、9.41和9.50 mm。模型2的WP、PZ和TZ的DSC和HD95中位数分别为0.916、0.754和0.878以及6.18、8.88和7.44 mm。模型1和模型2的RVD(WP)中位数分别为6.66%和− 3.73%。ns:p ≥ 0.05,**** p < 0.0001 查看原图 ↗

测试标签集选择的影响

模型3生成的掩膜以集A和集B为参考的比较见图3。结果表明,独立测试标签集的选择对WP和PZ的DSC以及PZ和TZ的HD95的表观模型性能有显著影响。此外,不同标签集间的RDV存在显著差异。结果与前一实验相似,表明在以集A为参考评估时明显倾向于过度分割(RVD中位数为8.52%),而在以集B为参考评估时倾向于分割不足(RVD中位数为− 3.19%)。

图3 模型3在集合A和集合B上的性能。箱线图显示Dice相似系数(DSC)(a)、Hausdorff距离的第95百分位数(HD95;应用对数以改善可视化)(b)以及全前列腺相对体积差(RVD(WP))(c),分别比较模型3生成的PROSTATEx数据集掩膜与集合A和集合B之间的一致性。与集合A相比,全前列腺(WP)、外周带(PZ)和移行区(TZ)的DSC和HD95中位数分别为0.922、0.755和0.878以及6.34、10.16和8.86 mm。与集合B相比,WP、PZ和TZ的DSC和HD95中位数分别为0.908、0.726和0.879以及6.40、9.80和7.78 mm。模型1和模型2的RVD(WP)中位数分别为8.52%和−3.19%。ns:p ≥ 0.05,*** p < 0.001,**** p < 0.0001 查看原图 ↗

算法与人工分割之间的一致性

模型4和模型5生成的掩膜与集合A和集合B标签的比较见图4和表1。正如预期,结果表明,当掩膜与用于模型训练的同一标签集比较时,一致性(DSC和HD95)显著高于使用不同标签集进行训练时。同样,当训练集和测试集来自同一标签集时,RVD中位数更接近0。然而,有趣的是,测试子集的集合A和集合B人工分割之间的一致性(DSC和大多数95HD)显著低于用一个标签集训练并在另一个标签集上测试的模型所生成掩膜之间的一致性。此外,模型RVD的变异性小于人工分割的变异性。

模型4和模型5生成掩膜之间的一致性以及测试子集中集合A和集合B标签之间的一致性的比较见图5。结果表明,自动分割之间的一致性显著高于对其训练集进行分割的人类专家之间的一致性。此外,明显可见人工标注者之间RVD的变异性大于模型衍生分割之间的变异性。这些结果表明,基于DL的分割模型真正学会了分割图像,而不是简单地模仿训练标签集。

图4 模型4、模型5和人工分割在集合A和集合B上的性能。箱线图显示Dice相似系数(DSC)(a和d)、Hausdorff距离的第95百分位数(HD95;应用对数以改善可视化)(b和e)以及全前列腺相对体积差(RVD(WP))(c和f),比较模型4和模型5生成的PROSTATEx数据集测试子集掩膜与作为参考的集合A(a–c)和集合B(d–f)之间的一致性,此外还包括集合A和集合B(人工)之间的相似性。ns:p ≥ 0.05,* p < 0.05,** p < 0.01,*** p < 0.001,**** p < 0.0001 查看原图 ↗
表1 模型4、模型5的性能以及人工分割之间的相似性 查看原表 ↗
图5 生成的分割与人工分割之间的一致性。箱线图显示Dice相似系数(DSC)(a)、Hausdorff距离的第95百分位数(HD95;应用对数以改善可视化)(b)以及整个前列腺的相对体积差(RVD(WP))(c)。图a和b比较了测量模型4和模型5生成的掩膜之间一致性的评分与测量PROSTATEx数据集测试子集中人工掩膜之间一致性的评分。图c展示了相同比较的RVD评分。ns:p ≥ 0.05,**** p < 0.0001 查看原图 ↗

讨论

前列腺分割在临床环境中用于估计腺体体积,这对于计算前列腺特异性抗原(PSA)密度是必要的,并有助于在靶向超声引导前列腺活检期间促进实时融合[6]。此外,感兴趣区(ROI)分割是前列腺癌(PCa)检测的计算机辅助诊断(CAD)系统中的必要步骤[4],基于深度学习(DL)的模型已显示在前列腺分割方面具有前景[7]。然而,使用不同标签集对这些模型性能的影响尚未被广泛研究。因此,本研究探讨了标签集选择对基于DL的前列腺腺体和分区分割模型性能的影响。获取了PROSTATEx I挑战数据集的两种不同标签集,并结合一个内部数据集,在五种不同场景下训练和测试3D nnU-Net模型。观察并量化了标签集选择所导致的性能变化。

在我们的实验中,两种人工衍生标签集之间的一致性与此前研究报告的观察者间一致性相符[10, 20]。以这些值作为基准,本研究中的nnU-Net模型表现优于人工衍生标签集,但模型1中移行区(TZ)的HD95评分除外,该评分略高,但与人工标签集的评分相当。nnU-Net模型的性能也与使用不同训练和/或测试集训练的其他类似模型相当[21, 22]。

我们的实验表明,训练标签集和测试标签集的选择均对模型性能有显著影响。这意味着模型性能应始终在训练和测试的金标准背景下进行评估,并且使用不同标签集训练和/或测试的模型不能直接进行比较。然而,克服评估问题的一种可能解决方案是以公共数据集为基准或参与开放挑战赛,其中所有模型使用相同的数据集和标签集来比较其性能[6]。

此外,已开发了诸如同时真值和性能水平估计(STAPLE)算法等方法,以应对表征图像分割方法性能相关的挑战[23]。它提供了一种从多个标注者估计真实分割并考虑每个分割性能水平的手段。当可获得三个或更多标注者的分割时,这可能有助于编制稳健的分割标签集。

我们使用RVD对分割的前列腺体积进行了比较,以评估标签集选择对由在这些标签集上训练的模型所导出的腺体体积的影响,结果揭示了显著差异。这些发现强调,标签集的影响超出了常用的研究指标范围,并在真实世界的临床应用中对前列腺分割用于计算腺体体积具有实质性后果。

基于我们的结果,不能声称单一标签集具有更优的性能。第二和第三实验的结果表明,与集B相比,集A通常产生更高的DSC评分,但也产生更高的HD95评分。然而,标签集中的这种变化可能并非有害,实际上可能有益于使用多个标签集训练更具泛化性的分割模型,使其能够适应不同的变异。

我们对算法与人工分割之间一致性的分析支持以下结论:标签选择对模型性能有显著影响。正如预期的那样,结果表明,当分割掩膜使用与其模型训练相同的标签集进行测试时,性能优于使用来自不同标注者的标签进行测试[24, 25]。这明确表明,模型能够学习和适应训练期间所用标签集的特定特征。

同时,一个有趣的发现是,对于PROSTATEx测试子集,两个人工导出的标签集(集A和集B)之间的一致性显著低于用一个标签集训练的模型生成并在另一个标签集上测试的掩膜之间的一致性。此外,我们观察到人工导出标签集的RVD变异比模型导出标签集的变异更宽。这表明模型能够从图像中泛化学习,并且对标签集的变化相对稳健。这表明是真正的学习,而非简单地模仿训练标签集,这是医学图像分割领域的重大进步。这一发现凸显了这些模型在标签集变化可能发生的真实世界场景中使用的潜力。它也为未来研究探索促成基于DL的分割模型泛化能力的因素以及如何进一步改进这一能力提供了机会。

本研究存在一些在解读其结果时应予以考虑的局限性。使用单一的基于深度学习(DL)的分割模型架构(nnU-Net)意味着结论可能不适用于其他架构。然而,由于nnU-Net基于常用的U-Net架构,其他U-Net模型很可能获得类似结果[26–28]。此外,仅使用了两个评价指标(DSC和HD95),这可能无法全面了解模型的分割性能。然而,这些指标广泛用于前列腺癌分割,并提供对结果的不同视角,且其发现通过全腺体体积分析得到了证实。此外,本研究未分别分析前列腺区域(尖部、中部和基底部),这可能会增加分析的复杂性。尽管存在这些局限性,本研究为基于DL的分割模型在不同标签集上训练和测试时的性能提供了重要见解,并强调了在这些模型开发中考虑泛化性的重要性。

结论

在本研究中,我们探讨了标签集选择对基于DL的前列腺分割模型性能的影响。我们发现,使用不同的前列腺腺体和分区分割标签集对模型性能具有可测量的影响。应更多考虑标签集,重点关注多中心手动分割以及对常见流程的共识。此外,我们发现自动分割模型所做的预测比其训练所基于的手动获得的分割更一致。此外,基于DL的模型展示了真正从图像中学习的能力,而不仅仅是模仿训练标签集。这揭示了其未来在改善前列腺分割和标准化临床实践决策方面的潜力。

补充信息

附加文件1:图S1。所有5个模型的损失函数图。

引用

  1. Meglič J, Sunoqrot MRS, Bathen TF, et al. Label-set impact on deep learning-based prostate segmentation on MRI. Insights Imaging. 2023. PMID: 37749333. doi:10.1186/s13244-023-01502-w
  2. 全文:PMC10519913(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10519913/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。