基于多模态融合与深度学习的UTUC围手术期预后系统
本研究对623例接受根治性肾输尿管切除术的上尿路尿路上皮癌患者进行多中心回顾性分析,以术前CT尿路造影为基础,融合临床、影像组学及深度学习特征构建联合预后模型。结果显示联合模型在各队列中C指数均优于单模态模型,外部验证3年AUC为0.766,可辅助术后辅助治疗决策。
要点
- 联合模型在外部验证集C指数0.704,优于全部单模态模型,可用于UTUC术后总生存风险分层。
- 2.5D深度学习策略较2D有增量提升,训练队列C指数分别为0.705与0.681,提示多平面融合更具价值。
- 联合模型在pT分期亚组中仍保持风险分层能力,尤其在≥T2肌层浸润亚组外部验证中仍显著。
核心结论
- 多模态联合模型在训练、内部验证及外部验证中均优于临床、影像组学及深度学习单模态模型,可改善UTUC总生存预测。
- 联合模型对根治性肾输尿管切除术后即刻的围手术期风险分层提供可靠工具,尤其在3年中期临床决策中价值明确。
研究设计与样本
- 多中心回顾性研究,纳入6家中心共623例病理确诊并接受根治性肾输尿管切除术的UTUC患者,时间跨度2012年12月至2024年12月。
- 患者分为训练集331例、内部验证集142例及来自4家中心的外部验证集150例,主要终点为总生存。
- 影像输入为术前CT尿路造影皮质髓质期图像,感染趣区由两名放射科医师用ITK-SNAP手动勾画,不一致时由20年经验高年资放射科医师裁决。
- 以C指数、时间依赖性AUC、校准曲线、综合Brier评分及决策曲线分析评估各模型,以1000次自助重抽样计算95%置信区间。
关键影像表现/征象
- Grad-CAM热图显示深度学习模型聚焦于肿瘤区域内对预后预测影响最关键的区域。
- 2.5D深度学习采用肿瘤最大轴位、最大矢状位、最大冠状位切片叠成多通道输入,以整合多平面肿瘤异质性信息。
诊断标准与关键数值
- 联合模型训练集、内部验证集、外部验证集C指数分别为0.758(95% CI:0.712–0.804)、0.725(95% CI:0.651–0.798)、0.704(95% CI:0.631–0.777)。
- 外部验证集中联合模型3年AUC为0.766(95% CI:0.653–0.880),优于临床模型0.703、影像组学模型0.731、2D深度学习模型0.630及2.5D深度学习模型0.664。
- 2.5D深度学习模型训练队列C指数为0.705,2D深度学习模型训练队列C指数为0.681,显示2.5D策略的增量提升。
- 临床模型训练集C指数0.648(95% CI:0.596–0.699),内部验证0.613(95% CI:0.533–0.694),外部验证0.604(95% CI:0.525–0.682);pT≥T2与肿瘤大小是显著预后因素。
- 影像组学模型经可重复性过滤、相关过滤、单因素Cox及LASSO-Cox筛选后由15个特征构建,三队列C指数分别为0.664(95% CI:0.614–0.715)、0.656(95% CI:0.578–0.734)、0.657(95% CI:0.581–0.733)。
临床应用与阅片要点
- 联合模型以列线图形式呈现,整合肿瘤大小、pT二分类、影像组学及深度学习评分,可预测1年、3年、5年总生存。
- 术后获得病理T分期后即可利用该模型进行围手术期风险分层,协助判断辅助化疗及随访强度。
- 分层分析显示联合模型在肌层浸润(≥T2)患者中外部验证仍可显著区分高低危组,对辅助治疗决策价值较高。
局限性
- 本研究为回顾性研究,且原文提示2024年入组患者随访时间有限,生存数据以末次随访日期作为删失处理。
- 各中心CT尿路造影采集方案存在差异,虽然采用标准化预处理流程,但设备差异仍可能影响特征稳健性。
全文中译16 节 · 点击展开
引言
上尿路尿路上皮癌(UTUC)是一种相对罕见但具有侵袭性的恶性肿瘤,起源于肾盂和输尿管尿路上皮 [1, 2]。虽然UTUC仅占所有尿路上皮癌的5%–10%,但其以高复发率和快速进展为特征 [1, 3–5]。尽管根治性肾输尿管切除术(RNU)仍是局限性UTUC的标准治疗方法,但准确的风险分层对于指导围手术期管理至关重要,尤其是在辅助化疗的实施和随访监测的强度方面 [1, 6]。然而,当前的预后系统主要依赖于传统的临床病理特征(如肿瘤分期和分级),其预测能力有限,无法充分反映该疾病的复杂性和异质性 [7–9]。此外,目前仅基于CT的术前分期(cT)与病理分期(pT)相比往往不准确 [1, 6],这可能引入大量噪声并限制临床决策的可靠性。因此,临床上迫切需要一种更全面、更准确的预后模型。
近年来,人工智能(AI),包括影像组学和深度学习(DL),通过解码肿瘤异质性为医学预后开辟了有前景的新途径 [10–12]。影像组学从标准医学图像中提取高通量定量特征,而深度学习可以直接从原始数据中自动学习高维特征模式 [13–16]。这些技术能够识别与临床预后密切相关的深层图像特征,而这些特征往往难以通过肉眼观察发现 [17–19]。影像组学与深度学习的深度融合为构建更精确、可量化的UTUC预后模型提供了有力的技术工具,有望突破当前临床风险评估的困境。
尽管取得了这些进展,现有的UTUC预后研究往往依赖单模态方法。必须明确指出的是,将多种算法(如影像组学和深度学习)仅应用于CT图像,本质上仍属于单模态方法。这种单一来源的影像策略本质上缺乏捕捉完整临床全貌的能力。我们认为,一个真正的多模态框架,即将这些高维影像表型与互补的临床和病理数据相整合,能够提供单一来源可能无法捕获的生物学信息 [20, 21]。多模态数据的协同整合对于全面理解肿瘤行为至关重要。在特定肿瘤学领域,通过整合多模态数据已取得了显著进展 [22, 23]。例如,Mahootiha等 [24] 在儿童低级别胶质瘤(pLGGs)的研究中,构建了一个综合多模态深度学习模型,通过将传统临床指标与从术前MRI扫描中自动提取的深度学习特征相结合,显著提高了预测术后复发风险的准确性。因此,本研究的主要目标是构建一个稳健的多模态融合模型。
然而,这种多模态模型的性能在很大程度上取决于影像模态特征提取的质量。在本研究中,我们通过整合围手术期临床数据、影像组学特征和深度学习(DL)签名,构建了一个联合预后模型,显著提高了上尿路尿路上皮癌(UTUC)总生存期(OS)预测的准确性。为了增强该融合框架中的影像组件,我们引入了一种创新的2.5D多视角深度学习策略。该策略能有效捕获多平面信息,并比传统的2D切片分析更全面地揭示肿瘤异质性。通过大规模、多中心队列研究,我们严格验证了模型的稳健性和泛化能力,充分展示了其在围手术期临床应用中的潜力。
方法
患者与研究设计
本研究获得伦理批准(CY2024-308-02),并豁免知情同意。在本研究中,围手术期风险分层被明确定义为根治性肾输尿管切除术(RNU)后立即进行的风险评估。在这一临床时间节点,模型整合基线术前影像特征与新获得的术后病理分期,为后续辅助管理提供综合评估。本研究的总体工作流程见图1。这项多中心回顾性研究获得了各参与机构伦理委员会的批准,并豁免知情同意要求;研究遵照《赫尔辛基宣言》进行。本研究遵循CLEAR检查清单指南[25]。共纳入2012年12月至2024年12月期间接受RNU且经病理确诊为上尿路尿路上皮癌(UTUC)的623例患者。纳入标准如下:(1) 组织学确诊为UTUC;(2) 具备术前计算机断层尿路造影(CTU)数据。排除标准包括:图像质量差、CTU前接受过肿瘤相关治疗、合并其他原发恶性肿瘤、或缺乏完整的临床病理或随访数据。详细的患者筛选过程见图S1。来自中心1和中心2的患者(n = 473)按7:3比例随机分为训练集(n = 331)和内部验证集(n = 142)。外部验证集由来自其他四个中心(中心3、4、5和6)的150例患者组成,用于独立验证。本研究的主要终点为OS,定义为从初次诊断至因任何原因死亡的时间。随访时间有限的患者(如2024年入组的患者)被纳入风险集,其生存数据在末次随访日期按删失进行有效处理。
图像获取与预处理
从各机构的图像存档与通信系统中以医学数字成像与通信(DICOM)格式获取术前CTU图像。六个中心的采集方案总结于表S1。为确保各机构间的一致性,统一选择皮髓质期图像进行分析,因为该期相能提供最佳的肿瘤-背景对比度。为最大限度地减少不同扫描设备间的差异,所有图像均经过标准化预处理流程:(1)体素间距标准化:使用三次插值法将所有CTU图像重采样为1 × 1 × 1 mm³的各向同性体素间距。(2)强度标准化与对比度调整:窗位和窗宽标准化为50 HU和200 HU(范围:−50至150 HU)。(3)感兴趣区(ROI)分割:在轴位CT层面上手动勾画感兴趣区(ROI)。为确保分割精度,所有勾画均在皮髓质期图像上统一进行。分割过程由两名经验丰富的放射科医师使用ITK-SNAP软件完成。分歧由一名资深放射科医师(20年经验)解决。为定量评估观察者间可重复性,随机选取30例由第二名放射科医师独立重新分割,以计算组内相关系数(ICC,双因素混合效应模型,单一评估者,绝对一致性)。
临床与影像组学模型构建
从病历中提取临床变量,包括年龄、性别、肿瘤大小、pT分期、分级、淋巴血管侵犯(LVI)和肾积水。连续变量进行正态性检验(Shapiro–Wilk检验),并使用t检验或Mann–Whitney U检验进行比较;分类变量使用卡方(χ2)检验进行比较。在我们的分析中,病理T分期(pT)被进一步简化为二分类变量pT_binary,其中T0/Tx/T1期患者被归类为非肌层浸润(< T2),T2、T3和T4期患者被归类为肌层浸润(≥ T2)。之所以选择这种二分类方法,是因为器官局限性与肌层浸润性疾病之间的区分是辅助化疗和淋巴结清扫适应证的关键临床决定因素[1]。
使用PyRadiomics(v3.0.1)按照影像生物标志物标准化倡议(IBSI)指南从分割的ROI中提取影像组学特征。在特征降维之前,应用Z-score标准化来规范所提取影像组学特征的分布。经过体素重采样和强度离散化(64个灰度级)后,计算了七个特征类别:一阶统计量、形状、GLCM、GLRLM、GLSZM、GLDZM和NGTDM。最初,从定义的ROI中提取了1288个影像组学特征。四步特征降维过程产生了以下特征数量:(1)可重复性筛选保留了864个ICC ≥ 0.85的特征;(2)相关性筛选移除了高度冗余的变量,将特征池减少到187个;(3)单变量Cox分析确定了28个与OS显著相关的特征(p < 0.05);(4)最后,使用10折交叉验证的LASSO-Cox回归选择了15个特征的最优子集来构建最终的影像组学标签(图S2)。
DL模型构建
DL模型采用迁移学习方法进行开发。
数据准备
为了准备数据,我们采用了两种不同的输入策略。对于DL(2D)模型,我们使用肿瘤的最大轴位切片作为代表性输入。对于DL25D(2.5D)模型,采用了多视图ROI提取策略,从每个3D肿瘤体积中提取最大轴位切片、最大矢状位切片和最大冠状位切片,并将其堆叠形成多通道输入(图1D)。为确保不同网络架构之间的空间对齐并保留高分辨率的瘤内异质性,提取的ROI被裁剪并使用双三次插值调整为448×448像素。图像强度随后进行Z-score标准化,以标准差为单位表示。这种2.5D方法旨在整合全局横断面多平面特征,同时减轻在临床数据集上进行全3D处理或相邻切片序列建模所带来的内存限制和严重的过拟合风险。
模型架构与迁移学习
我们使用已在ImageNet上预训练的权重,测试了四种知名架构——ResNet50、Vgg19、DenseNet121和Inception_v3。初始卷积层被重新配置以接收多通道输入,后期特征被输入一个带L2正则化的全连接层,随后连接一个单节点输出用于对数风险预测。该网络使用Cox部分似然损失进行训练,以建模影像衍生特征与生存结局之间的非线性关系[26]。详细的超参数配置,包括学习率调度器、优化策略和正则化技术,见补充材料。
模型可解释性
为了对模型的决策过程提供解释说明,我们使用梯度加权类激活映射(Grad-CAM)生成热图[27]。这些可视化结果突出显示了对模型预后预测影响最大的特定肿瘤区域。
统计分析与模型评估
所有数据分析均在OnekeyAI平台上使用Python(v3.7.12)执行。我们的深度学习框架基于PyTorch(v1.11.0)开发,并通过CUDA(v11.3.1)和cuDNN(v8.2.1)优化以提升性能。
将每个优化的单模态模型得出的预后评分输入逐步选择的多变量Cox回归,以构建最终的联合预后模型。对于生存分析,生成Kaplan–Meier(KM)曲线,并根据预测的风险比(HR)对样本进行分层,组间分离的显著性通过log-rank检验评估。模型的区分性能使用一致性指数(C-index)和时间依赖性曲线下面积(AUC)进行评估。为稳健地评估内部和外部效度,使用1000次迭代的自举重采样计算各指标的95%置信区间(CI)。校准性使用校准曲线进行评估,并通过综合Brier评分进行量化,反映预测生存概率与观察生存概率之间的一致性。此外,利用决策曲线分析(DCA)评估模型在不同阈值概率下的临床净获益。
结果
患者特征与队列分布
如表1所示,共纳入来自六个中心的623例上尿路尿路上皮癌(UTUC)患者,分为训练队列(n = 331)、内部验证队列(n = 142)和外部验证队列(n = 150)。所有入组患者的平均年龄为68.21岁(± 10.06)。大多数患者为男性(58.9%),肿瘤大小≥2 cm者占74.0%。三个队列的基线临床和病理特征在统计学上相似,年龄、性别、肿瘤大小、侧别、位置、分级、切缘、淋巴血管侵犯(LVI)和肾积水等关键变量均无显著差异(p > 0.05)。然而,pT分期(p = 0.038)和pT二分类(p = 0.006)存在显著差异。整个队列的中位随访时间为24.03个月(IQR:13.68–32.28)。
临床模型和影像组学模型的性能
我们首先评估了两个单模态模型的预测效能。临床模型采用多变量Cox回归构建(图1B),确定pT分期二分类和肿瘤大小为显著预后因素(图2A)。该模型在训练队列中的C指数为0.648(95% CI:0.596–0.699),在内部和外部验证集中分别获得0.613(95% CI:0.533–0.694)和0.604(95% CI:0.525–0.682)的C指数验证(图2B–D及表2)。
在影像组学模型构建过程中,我们采用了标准化工作流程,包括从三组维度提取特征:一阶特征、形状特征和纹理特征(图S2)。经LASSO-Cox回归进行特征筛选后,最终模型的KM生存曲线展示了其预测效能,在三个研究队列中的C指数分别为0.664(95% CI:0.614–0.715)、0.656(95% CI:0.578–0.734)和0.657(95% CI:0.581–0.733)(图3及表2)。
深度学习模型的优化与性能
为确定最有效的深度学习架构,我们评估了四种常用网络在2D和2.5D输入上的预后性能(图4A)。如表S2所示,2D ResNet-50模型在训练队列中获得了0.681的C指数,而2.5D ResNet-50模型获得了略高的C指数0.705。鉴于其更丰富的空间特征表示,ResNet-50架构被选定用于2D和2.5D特征提取。
随后评估了基于这些提取特征构建的模型的预后性能。如表2所示,深度学习模型(基于2D特征)在训练集、内部验证集和外部验证集中的C指数分别为0.681(95% CI:0.631–0.731)、0.656(95% CI:0.578–0.734)和0.651(95% CI:0.575–0.727)(图S3A)。DL25D模型(基于2.5D特征)在三个队列中的C指数分别为0.705(95% CI:0.656–0.754)、0.668(95% CI:0.591–0.746)和0.658(95% CI:0.582–0.734)(图S3B)。两个深度学习模型的决策过程进一步通过Grad-CAM进行可视化,突出显示了对其预测最为关键的肿瘤区域(图4B)。
联合模型的构建与性能
将临床、影像组学、DL和DL25D模型的预后评分进行整合,构建了一个综合联合模型,作为最终预后系统以列线图形式呈现(图5A)。在所有队列中,该联合模型始终表现出优于所有单模态模型的区分能力。如表2所示,联合模型在训练集、内部验证集和外部验证集中分别取得了最高的C指数值:0.758(95% CI:0.712–0.804)、0.725(95% CI:0.651–0.798)和0.704(95% CI:0.631–0.777)。KM生存分析进一步证实了该模型稳健的预后能力,显示在全部三个队列中,高危组与低危组之间的总生存期(OS)存在显著差异(图5B–D)。
为进一步评估联合模型在不同肿瘤分期中的预后稳健性,基于病理T(pT)分期进行了分层分析。使用训练队列得出的全局中位风险评分将各亚队列中的患者分为高危组和低危组。如图S6所示,在训练队列和内部验证队列中,联合模型成功区分了非肌层浸润(< T2)和肌层浸润(≥ T2)亚组的生存结局(所有log-rank p < 0.05)。在独立外部验证队列中,该模型对肌层浸润(≥ T2)患者保持了显著的风险分层(log-rank p = 0.011)。对于外部早期(< T2)患者,尽管生存差异接近显著(p = 0.066),可能由于样本量有限和事件率较低所致,但仍观察到一致的风险分离趋势。这些结果表明,联合模型提供了独立于基线pT分期的一致预后信息。
综合性能评估
最后,采用ROC曲线分析、校准分析和决策曲线分析(DCA)综合评价所有模型在1年、3年和5年的表现。如图6、S4和S5所示,联合模型显示出最高的AUC值,表明其具有更优的区分能力。例如,在外部验证集中,联合模型的3年AUC值达到0.766(95% CI:0.653–0.880),在数值上超过了临床模型(0.703)、影像组学模型(0.731)、DL模型(0.630)和DL25D模型(0.664)。联合模型的校准曲线表明预测生存概率与实际生存概率之间存在较强的关联(例如,训练集中3年Brier评分 = 0.187)。DCA的结果显示,在广泛的概率阈值范围内,与单模态模型相比,联合模型始终提供最高的净获益,突出了其在辅助治疗决策中的临床实用性。
讨论
在本研究中,我们通过整合临床、影像组学和深度学习(DL)特征,开发并验证了一个用于上尿路尿路上皮癌(UTUC)患者的联合预后模型。我们的研究结果表明,该联合模型相较于单模态模型具有显著优势,在训练集、内部验证集和独立外部验证集中均展现出更优的区分能力、校准性能和临床实用性。该预测系统为根治性肾输尿管切除术(RNU)后即刻进行个体化围手术期风险分层提供了一个有力的工具。通过提供高度可靠的3年中期生存预测,它能有效指导UTUC患者的辅助治疗管理策略。
我们的研究结果提供了有力证据,表明整合多种数据模态是增强预后预测的有效策略。如表2所示,联合模型在所有队列中均取得了最高的C指数,表明其具有稳健的性能。这一结论与肿瘤学界日益形成的共识一致,即同时纳入临床和影像数据的多模态模型在预测患者预后方面更为有效 [28, 29]。这种性能的提升得益于不同数据类型之间的互补价值。临床模型提供了对患者状态和肿瘤特征的宏观洞察,如pT分期和肿瘤大小,这些都是已确立的预后指标 [1, 30]。相比之下,影像组学特征提供了一种定量视角,可揭示肿瘤异质性,并提供对肿瘤生物学和微环境的深入认识,而这些仅靠肉眼观察难以辨别 [11, 13]。既往研究已证实,特定的影像组学特征可作为预测基因突变和治疗反应的无创生物标志物 [31, 32]。此外,深度学习特征能够自动捕捉原始图像数据中复杂而细微的模式,包括空间关联——这些细节有效补充了标准的影像组学分析 [33, 34]。通过将这种整合视为一个统一的综合分析框架,我们的综合联合模型构建了更完整的肿瘤特征表征。
虽然本研究的总体目标是多模态融合,但我们的核心技术进展在于采用2.5D深度学习策略,以最大限度地提高从影像模态中提取特征的质量。鉴于临床研究中常见的样本量有限,全3D深度学习模型容易过拟合,且需要大量训练样本才能实现稳健的泛化。我们的2.5D模型提供了一个实用的折中方案,综合最大的轴位、矢状位和冠状位信息,在降低计算成本的同时提供重要的多平面上下文信息。如表2所示,我们的2.5D ResNet-50模型在全部三个队列中的C指数相较于2D模型均表现出适度但一致的递增提升。这种综合使模型能够更精确地刻画肿瘤形态、边界和内部结构。既往研究也表明,采用2.5D或3D卷积神经网络用于肺结节分类和脑肿瘤分割等任务具有优势,证实了其利用体积数据提升性能的能力 [35–37]。此外,模型可解释性对于临床应用至关重要。Grad-CAM的可视化结果强调,肿瘤边缘和内部异质性是预测风险的关键决定因素,这与已确立的病理预后因素高度一致 [25, 38]。
本研究最重要的贡献在于我们的模型在多个机构队列和不同疾病严重程度中得到了严格验证。如表1所示,不同队列间pT分期存在显著差异——这是多机构研究中常见的挑战[39, 40]。为明确解决这一不均衡问题,并证明影像学特征在基础临床分期之外的增量价值,我们基于pT分期进行了严格的亚组分析。采用训练队列得出的严格全局中位风险截断值,联合模型在非肌层浸润(< T2)和肌层浸润(≥ T2)亚队列中均成功将患者区分为不同的预后组(图S6)。值得注意的是,在未参与训练的外部验证队列中,模型对肌层浸润患者仍保持了稳健的分层能力。对于外部早期(< T2)亚组,尽管由于样本量有限和本身事件发生率较低,生存差异仅具有边缘显著性(p = 0.066),但仍可观察到明显的风险分离临床趋势。图6、S4和S5所示的决策曲线分析(DCA)进一步强调了模型的临床实用性。在UTUC围手术期管理中,采纳模型的建议(“治疗”)意味着对高风险患者实施更密集的术后监测或考虑辅助治疗,而“不治疗”则意味着标准常规随访。DCA数据表明,在广泛的概率阈值范围内,我们的联合模型比默认策略提供了更高的净获益,有助于医生制定个体化的随访计划。
尽管取得了这些有前景的结果,我们的研究仍存在若干局限性。首先,虽然我们的研究纳入了大型多中心队列,但所有数据均为回顾性收集。各机构的CT尿路造影方案(如扫描期相、层厚)存在差异,尽管图像经过重采样,固有的差异和潜在的插值伪影仍可能影响特征提取。其次,由于这项真实世界多中心研究的回顾性性质,详细的术后治疗信息(如辅助化疗)和临床N分期在大多数参与机构中记录不一致,因此无法纳入当前模型。因此,我们无法完全排除预测的生存结局可能部分受到后续临床管理差异以及肿瘤固有生物学风险混杂影响的可能性。第三,我们的纳入期截至2024年12月,这意味着近期入组的患者随访时间有限,这直接影响了我们长期预测的稳定性。虽然我们的模型展现了稳健的整体预测能力,但其校准度在不同时间点有所差异。1年校准曲线中观察到的轻微偏差主要归因于UTUC术后短期死亡率本身极低;这种阳性事件的极度稀缺导致模型倾向于预测过高的生存概率。相反,5年预测的不稳定性则是上述严重右删失的直接后果。由于我们为了最大化深度学习样本量而未设定严格的最短随访时间,这种在5年时间点的极端尾部样本流失导致了更宽的置信区间和可靠性较低的长期预测。第四,关于2.5D策略,仅从三个正交平面选取最大面积切片能够捕捉整体宏观形态,但与基于层块(相邻切片)或完整3D模型相比,可能无法完全涵盖UTUC的连续性纵向蔓延。最后,我们的模型旨在预测总生存期。整合其他终点,如癌症特异性生存期或无复发生存期,可能在未来前瞻性研究中提供更全面的患者预后评估。
补充信息
电子补充材料
引用
- Peng, Li, Shi, et al. A perioperative multi-modal fusion and deep learning-based prognostic system for upper tract urothelial carcinoma: a multi-institutional study. Insights Imaging. 2026. PMID: 42342957. doi:10.1186/s13244-026-02337-x
- 全文:PMC13294415(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13294415/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。