接受手术切除患者中肾脏肿瘤分割、可视化及基于神经网络集成分割置信度
研究基于两个三级中心639例手术切除的实性肾肿瘤患者增强CT训练神经网络集成(ENN)自动分割模型,并在独立KiTS 2019数据集210例中测试。内部测试中皮质髓质期与肾实质期中位DICE分别为0.84与0.86,外部测试皮质髓质期中位DICE为0.84;分割置信度在训练集AUC=0.89,在测试集准确率0.84。作者认为ENN分割稳健且可能辅助肾肿瘤分类与治疗规划。
要点
- ENN自动分割实性肾肿瘤,内部测试皮质髓质期中位DICE=0.84、肾实质期中位DICE=0.86。
- 独立外部KiTS 2019数据集皮质髓质期中位DICE=0.84,提示分割稳健且可泛化。
- 分割置信度可区分成功与不充分分割,训练集AUC=0.89、测试集准确率0.84。
核心结论
- 基于ENN的肾肿瘤分割在外部测试数据中表现稳健,可能辅助肾肿瘤分类与治疗规划。
- ENN模型可在常规CT上自动分割肾肿瘤,为下游图像分析与治疗规划提供标准化基础。
- 提供分割置信度与分割叠加图可降低临床实施ENN的门槛。
研究设计与样本
- 回顾性研究,训练数据集纳入两个三级中心2012至2022年间接受手术切除的实性肾肿瘤患者共639例。
- 训练集CT为皮质髓质期和/或肾实质期增强扫描,手动肿瘤分割作为自动分割的参考标准。
- 独立测试使用公开KiTS 2019数据集210例皮质髓质期CT,参考标准为Cornell大学泌尿研究团队手动分割。
- ENN采用基于ResNet50主干的DeepLabV3,独立训练10次得到10组权重,输出取平均后二值化为肿瘤与周围组织。
- 内部测试为训练数据集10%的留出集,训练集按80%、10%、10%分为训练、验证与内部测试。
关键影像表现/征象
- ENN分割以每个体素0%至100%的肾肿瘤概率进行颜色编码叠加于临床CT,红色代表0%肿瘤概率、绿色代表100%肿瘤概率,并以等高线标出概率阈值。
- 以平均前景熵衡量分割置信度,前景熵越低表示置信度越高。
- 成功分割(DICE>0.8)CT图像的中位前景熵=0.245,不充分分割(DICE≤0.8)的中位前景熵=0.743,两者差异p<0.001。
- 示例病例中,56岁女性左肾13.9 cm透明细胞肾细胞癌DICE=0.97、平均前景熵=0.09提示高置信度;68岁男性右肾10.6 cm透明细胞肾细胞癌DICE=85、平均前景熵=0.42提示中等置信度。
- 示例病例中,58岁男性左肾2.4 cm透明细胞肾细胞癌因将脾脏误识别为肾肿瘤导致DICE=0,平均前景熵=0.92印证低分割置信度。
诊断标准与关键数值
- 内部测试集皮质髓质期ENN中位DICE=0.84(IQR 0.62-0.97),肾实质期中位DICE=0.86(IQR 0.77-0.96)。
- 独立外部测试集皮质髓质期ENN中位DICE=0.84(IQR 0.71-0.97)。
- 训练数据集分割置信度区分成功与不充分分割的AUC=0.92(原文摘要与结果分别报告AUC=0.89与AUC=0.92,原文此处表述有矛盾),前景熵截断值=0.512(基于Youden指数),敏感度=0.86、特异度=0.77。
- 独立测试集应用前景熵阈值0.512的准确率=0.84,敏感度=0.86、特异度=0.81。
- 成功分割定义为DICE>0.8,不充分分割定义为DICE≤0.8。
临床应用与阅片要点
- 作者认为分割置信度可促进并简化离群病例的识别,便于专家放射科医师监督并手动调整ENN分割。
- 作者认为分割置信度可能用于辅助住院放射科医师培训,通过捕获多位有经验读片者的知识并展示其最可能的分割决策预测。
- 作者认为逐体素颜色编码的分割预测较二值输出更便于放射科医师根据经验针对个体患者调整ENN分割。
- 作者指出仍需进一步研究评估ENN分割在临床实践中的实际可用性、接受度与影响,以及不同可视化方法和分割置信度指标可能带来的影响。
局限性
- 测试数据集仅包括皮质髓质期CT患者,未评估ENN在肾实质期的表现。
- 肾肿瘤与健康肾实质交界处缺乏真正金标准,因为回顾性研究无法对手术标本进行三维放射-病理映射,手动分割虽可视为参考标准但存在固有不确定性。
- 仅纳入手术治疗患者可能限制ENN分割对非手术病例的泛化性,如富脂性血管平滑肌脂肪瘤或转诊热消融的患者。
- 纳入标准可能影响研究结果对放射科实践中更广泛肾肿瘤人群的泛化性。
- 研究仅纳入实性肾肿瘤,无数据说明ENN模型对囊性肾病变的表现,需在单独研究中评估。
全文中译16 节 · 点击展开
引言
西方人群肾细胞癌的年发病率呈上升趋势,据报道,1983年至2002年间美国公民肾癌发病率从每10万人7例增至11例[1]。
这些变化部分归因于先进横断面放射成像的广泛使用使肾肿瘤检出率提高,偶发检出增多,尤其是直径< 4 cm、符合T1a期肿瘤(小肾肿块,SRM)的肿瘤[2]。直径较小的肾肿瘤较少表现出恶性肿瘤的典型影像学特征,在影像学上对其潜在恶性程度和组织学亚型的表征更具挑战性[2]。由于这种诊断不确定性,居住在高扫描率地区的患者面临部分性和根治性肾切除术以及肾脏消融的更高风险,这可能反映了过度诊断继而过度治疗[3]。
感兴趣区(即肾肿瘤)的准确分割是进行定量图像分析(如强化分析或影像组学)的必要前提步骤[4]。此外,肾肿瘤分割可用于体积测量和肾肿瘤治疗计划[5]。例如,R.E.N.A.L.肾切除术评分根据肿瘤直径和位置等对患者肾肿瘤的复杂性进行评级,从而辅助手术决策和随访[6]。精确的肾肿瘤分割还可促进热消融手术的计划制定,即优化消融探针放置和消融边缘[7]。
手动肿瘤分割已成熟确立,但仍然费时费力,且存在较高的观察者间变异[8]。这种高观察者间变异需要新方法从训练有素的专家集合中学习,并保留关于一致和分歧标注区域的联合知识。因此,自动肾肿瘤分割算法可加速和优化分割过程,并促进治疗计划和下游图像分析(如影像组学),最终有助于改善肾肿瘤患者的诊疗。此外,稳健的肾肿瘤分割可辅助手术切除以及肾肿瘤热消融的治疗计划。
在本研究中,我们旨在开发一种自动体素级语义分割模型,用于在临床常规采集的对比增强CT图像上分割实性肾肿瘤。此外,我们意图以不同阈值和相关置信度可视化分割结果,以提升所提出算法的透明度和临床适用性。
材料与方法
两个参与中心的当地伦理委员会均事先批准了这项回顾性研究(编号2/4/17和编号67/19),该研究符合《赫尔辛基宣言》。
训练数据集
纳入2012年至2022年间在哥廷根大学医学中心泌尿科和萨尔大学泌尿科及小儿泌尿科因肾肿瘤转诊接受手术切除的成年患者,前提是他们接受了术前增强CT成像,包括动脉期(皮髓质期)和/或静脉期(肾实质期)对比剂增强扫描。CT扫描在三级中心或外部影像中心(包括医院和私人诊所)进行,对扫描方案(即CT扫描仪类型、对比剂用量和给药速率)和图像质量不设限制,以更好地反映临床异质性并提高分割模型的泛化能力。
所有CT扫描均以512 × 512像素矩阵提供,中位层厚为3 mm(IQR:1–5 mm)。大多数患者使用Emotion 16(16.4%)和SOMATOM Definition AS/AS+扫描仪(12.5%)进行检查。关于具体CT扫描仪的更多详细信息见补充表1(电子补充材料)。
分析不受肾肿瘤直径和组织学亚型的限制。表现为浸润性肾肿瘤(即淋巴瘤或慢性炎症性改变)的患者以及囊性肾肿瘤患者被排除在分析之外。
训练数据集的一个子集(418例患者)近期已在另一篇关于利用影像组学特征分析鉴别肾肿瘤亚型的独立论文中报道(10.1007/s00330-024-10731-6)。本研究聚焦于肾肿瘤分割,并在训练数据中新增了n = 221例患者的数据,以及一个独立测试数据集。
测试数据集
为进行独立测试,使用了公开可用的KiTS 2019挑战赛数据集,包括在皮髓质期对比剂增强CT成像的实性肾肿瘤患者。测试数据集中的所有肾肿瘤均由美国康奈尔大学的泌尿外科研究团队手动分割[9]。
肾肿瘤评估
所有纳入的肾肿瘤的部分或根治性肾切除术标本均在两个参与三级中心的病理科进行组织病理学分析,以建立组织学参考标准。
影像学肾肿瘤分割
训练数据集中的手动肿瘤分割由一位经验丰富的泌尿生殖系统放射科医师(J.U.;7年经验)完成。所有肾肿瘤均在每个可用的轴位CT层面上进行手动分割,并通过3D重建审查以确保分割的一致性。手动分割对动脉期和静脉期对比剂增强期分别以盲法方式进行。CT层面数量根据肾肿瘤大小和CT层厚而不同:包含肾肿瘤的CT层面中位数为13(IQR:7–32),补充图1和2中亦有展示。使用开源软件3D Slicer进行肾肿瘤分割。
自动化肾肿瘤分割
对于肾肿瘤的自动分割,神经网络集成(ENN)在所有包含肾肿瘤的全身体部轴位CT切片上进行训练,使用基于PyTorch可用的ResNet50骨干网络的现有DeepLabV3版本(模型DeepLabV3-ResNet50),其中最终分类器被替换以获得二分类预测。尽管分割是一个三维问题,本研究中的肾肿瘤分割被视为每个轴位CT切片上独立的二维分割任务。训练和推理使用512×512体素的全体素矩阵和完整16位色深进行。模型独立训练共十次,产生十组不同的权重(集成的“成员”),用于预测同一图像。收集所有输出并应用sigmoid激活函数后,对结果取平均值并四舍五入为0或1,以获得二分类预测(肾肿瘤 vs. 周围组织)(见图1)。
每个网络各自的权重集独立训练,差异性通过以下方式引入:(1)随机初始化,(2)随机打乱训练图像,(3)每次迭代时应用随机增强。训练进行20个epoch(批次大小为64),学习率为0.1,使用随机梯度下降(动量0.9)和基于DICE评分的损失函数,改编自Wolny等人[10]。
对于ENN训练,来自训练数据集(包括哥廷根大学医学中心和萨尔兰大学的患者)的动脉期和静脉期对比增强CT成像数据被分为三组:训练集、训练期间验证集和用于内部测试的留出集(分别占所有CT检查的80%、10%、10%)。已注意确保与单个患者耦合的数据集(即包括两个对比增强期相)位于同一数据集中,以避免过拟合。测试数据集(独立外部KiTS 2019数据集)用于ENN的测试。
自动分割可视化与置信度
ENN分割结果使用每个体素肾肿瘤的估计概率(范围0至100%)进行可视化。这些概率用颜色编码,红色表示0%肾肿瘤概率,绿色表示100%肾肿瘤概率。颜色编码叠加在每个体素的临床CT扫描上。此外,相似的肿瘤概率用等高线描绘。
为向临床医生提供ENN分割可靠性的反馈,测量了ENN对自身分割成功的置信度。因此,使用了ENN的平均前景熵。在此背景下,较高的熵值表示较低的分割置信度,即ENN产生低质量肾分割的高概率。
ENN对其分割成功置信度的测试在训练数据集的留出集(10%)和独立测试数据集上进行。
统计分析
连续数据以中位数和四分位距(IQR)汇总。分类数据以绝对数和百分比提供。在训练数据集和测试数据集之间,连续数据采用Wilcoxon秩和检验进行比较,分类数据采用卡方检验进行比较。
DICE评分用于量化ENN肾肿瘤分割与参考标准(手动肾肿瘤分割)的相似性,DICE评分=1表示完全相似。在本研究背景下,成功分割定义为ENN与参考标准相比DICE评分>0.8的任何分割,分割不充分定义为DICE评分≤0.8。此二分类基于文献中肾肿瘤DICE评分的预期上限及潜在临床适用性[11]。
受试者工作特征曲线(ROC曲线)和ROC曲线下面积(AUC)用于评估ENN对其分割成功信心的诊断性能。ENN分割成功的敏感度和特异度在训练数据集中使用Youden指数从ROC曲线导出。所有统计分析使用R版本4.2.1和Python版本3.10.13进行。显著性水平设定为0.05。所有报告的p值均为双侧。
结果
患者队列
训练数据集共纳入n=639例患者,独立测试数据集另纳入n=210例患者。人口学变量、CT成像技术和肿瘤参数汇总于表1。
ENN训练与内部测试
ENN训练在训练数据集的80%上进行(皮髓质期和肾实质期CM期分别为n=399/n=464例患者,n=11,184/n=13,148层CT切片)。内部测试在训练数据集的10%上进行(皮髓质期和肾实质期CM期分别为n=46/n=52例患者,n=1176/n=1538层CT切片)。
内部测试产生的DICE评分中位数在皮髓质期和肾实质期CM期分别为0.84(IQR:0.62–0.97)和0.86(IQR:0.77–0.96),各自与手动肾肿瘤分割的参考标准进行比较。
ENN分割:KiTS数据集外部测试
对于ENN模型的外部独立测试,使用了KiTS数据集中n=210例在皮髓质对比剂期成像的患者(n=5712层CT切片)。在这个CT图像未知的数据集中,ENN达到了DICE评分中位数0.84(IQR:0.71–0.97;与手动肾肿瘤分割的参考标准比较)。
ENN分割可视化与信心
ENN分割通过颜色编码进行可视化,颜色编码表示体素为肾肿瘤相对于周围组织的个体概率。此外,还提供了颜色编码的概率阈值。分割概率和阈值(作为轮廓线)叠加在临床CT图像上,以提供即时视觉反馈,如图2–4所示。
前景熵被用作衡量ENN对其分割成功信心的指标,前景熵水平越低表示信心越高。在训练数据集中,区分CT图像中肾肿瘤分割成功与不充分时,AUC = 0.92(基于Youden指数的前景熵截断值 = 0.512;敏感度 = 0.86;特异度 = 0.77),如图5所示。
在独立测试数据集上应用此前景熵阈值,得到的准确率为0.84,敏感度 = 0.86,特异度 = 0.81。测试数据集中DICE评分与前景熵的散点图见图6。
讨论
肾肿瘤分割正越来越多地用于体积测量和手术规划,以及下游图像分析,例如影像组学特征分析[5]。尽管CT图像上肾肿瘤的手动分割已较为成熟,但其仍然费时费力,且放射科医师之间存在较高的观察者间变异性[8]。
因此,在本研究中,我们实现了一种ENN,以自动化和促进CT图像上肾肿瘤的分割、向放射科医师可视化其输出,并提供分割置信度的度量。
对于训练数据集,我们从德国两家三级转诊中心共招募了639例实性肾肿瘤患者,这是迄今为止报道的最大肾肿瘤CT影像队列[11]。该训练数据集以及外部KiTS测试数据集中的年龄和性别分布与肾肿瘤文献一致,显示男性占优势和平均年龄为60–70岁[12, 13]。有趣的是,训练数据集和测试数据集之间在组织学肾肿瘤亚型和肿瘤直径方面存在明显差异,良性肿瘤(AML、嗜酸细胞瘤)和大直径肿瘤在训练数据集中更为常见(均p < 0.05)。这可能是由于欧洲(训练数据集)和美国(测试数据集)在肾肿瘤手术方式方面中心特定指南和国家指南的差异所致。此外,肾肿瘤的术前活检可能解释美国测试数据集中良性肾肿瘤频率较低。本研究的训练数据集招募自接受手术切除的肾肿瘤患者,与外部测试数据集一致,以通过对手术标本进行组织学检查而非仅活检来获得参考标准。该患者选择排除了影像学上为良性肿瘤的患者(即富脂性AML)或接受微创经皮肾肿瘤治疗(如微波消融或冷冻消融)的患者。在两家三级中心,微创经皮治疗的决定基于肿瘤直径、位置、多灶性、合并症和患者偏好。
我们的ENN模型在内部验证数据集中对CT图像上的肾肿瘤分割取得了良好性能,皮质髓质期和肾实质期CM相的中位DICE评分分别为0.84和0.86。这一性能在独立外部测试数据集中得到确认,中位DICE评分为0.84,尽管仅有皮质髓质CM期的CT可用。在一个地理上独立的患者队列中、使用不同CT扫描仪获取的独立测试数据集中可重复的分割性能,突显了使用ENN进行肾肿瘤分割具有稳健性并可推广至外部数据。此外,尽管训练数据集(由放射科医师完成)和测试数据集(由学生在泌尿科医师监督下完成)中CT图像上的手动肾肿瘤分割可能存在系统性差异,我们的ENN方法仍表现出稳健的结果。这可能部分归因于ENN的基础架构,通常已知其可在无需对模型或训练程序进行大幅修改的情况下改善深度学习任务中的模型校准和性能[14, 15]。这有利于下游再训练或网络成员的 partial/full 切换。此外,我们研究中应用的基于DICE损失的ENN训练方法已知在生物医学图像分割中常见的非平衡数据上表现良好,并且与加权交叉熵损失相比往往能带来更好的性能[16]。
我们研究中ENN所取得的肾肿瘤分割性能与文献相当。例如,在KiTS 2019分割挑战赛中,使用包含90例肾肿瘤患者的单独测试数据集,排名最高的团队使用UNET架构取得的DICE评分最高达0.85[11]。尽管如此,本文的结果与KiTS 2019挑战赛的结果不能直接比较,因为使用了不同的测试队列,且本文的训练队列包含大规模外部患者组。此外,本文中的分割由一名经验丰富的泌尿生殖(GU)放射科医师完成,而KiTS 2019挑战赛中由一组泌尿科医师完成。最后,本文使用ENN方法可能影响了总体结果。总之,本文所呈现的研究纳入了迄今最大的患者队列,利用了不同的CM期,并独特地在独立测试数据集中验证了其结果。
我们的ENN模型还提供了分割置信度指标,该指标能够在训练数据集(AUC = 0.89)和测试数据集(准确率 = 0.84,敏感度 = 0.86,特异度 = 0.81)中准确区分成功与不充分的分割。这种分割置信度可促进并简化离群病例的识别,这些病例需要专家放射科医师监督并手动调整ENN分割。此外,它还可用于辅助培训住院放射科医师,通过捕获多位经验丰富阅片者的知识,并帮助展示他们对新病例最可能的分割决策预测,以便与其上级讨论。
对于ENN分割可视化,提供了个体颜色编码的体素预测值和阈值轮廓线,并将其叠加到CT图像上。与二值[0/1]输出相比,这些线性颜色编码的分割预测可促进ENN模型在肾肿瘤分割中的临床应用,因为放射科医师可以更容易地根据其经验将ENN分割调整至个体患者。尽管如此,仍需进一步研究评估ENN分割在临床实践中的实际可用性、可接受性和影响,以及这些可能如何受到不同可视化方法和分割置信度指标的影响。
我们的研究并非没有局限性。第一,测试数据集仅包括在皮髓质CT CM期成像的患者,因此无法估计ENN在肾源性CM期的表现如何。第二,对于肾肿瘤与健康肾实质交界处的精确勾画,没有真正的金标准,因为无法以回顾性方式进行手术标本的三维放射-病理映射。因此,虽然手动肾肿瘤分割可被视为参考标准,但存在固有的相关不确定性。第三,本研究仅纳入接受手术治疗的患者,可能限制ENN分割对非手术病例的泛化性,即那些富含脂肪的AML患者或转诊进行热消融的患者。此外,本研究的纳入标准可能影响研究结果对放射学实践中更广泛肾肿瘤患者人群的泛化性。最后,由于我们的研究仅纳入实性肾肿瘤,没有关于我们的ENN模型在囊性肾脏病变上表现如何的数据,这需要在单独的研究中评估。
结论
利用大规模多中心CT成像队列,我们证明ENN模型对肾肿瘤分割提供高准确性。ENN模型在一个独立的、地理上不同的、以美国患者为基础的测试数据集上表现稳健,突出了我们方法的泛化性。提供自适应、颜色编码的ENN分割预测以及ENN分割置信度指标可促进肾肿瘤分割方法的临床应用。这可能有助于肾肿瘤分类以及肾肿瘤手术切除或热消融的规划。
补充信息
电子补充材料
引用
- Bachanek S, Wuerzberg P, Biggemann L, et al. Renal tumor segmentation, visualization, and segmentation confidence using ensembles of neural networks in patients undergoing surgical resection. Eur Radiol. 2024. PMID: 39177855. doi:10.1007/s00330-024-11026-6
- 全文:PMC11913914(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11913914/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。