基于多任务深度学习与多模态MRI预测局部进展期直肠癌复发
回顾性多中心研究纳入445例接受新辅助放化疗的局部进展期直肠癌患者,构建多任务深度学习网络MultiRecNet,同步实现肿瘤分割、3年复发转移分类和無病生存预测。内部测试集最佳模型(All模型)分割DSC为0.72,3年复发分类AUC为0.97(95%CI: 0.92, >.99),DFS预测C-index为0.92;外部测试集DFS预测C-index为0.81(P < .001),提示该模型可全自动完成预后预测。
要点
- MultiRecNet可在单一框架内同步完成肿瘤分割、3年复发转移分类和DFS预测,实现端到端全自动流程。
- 内部测试集All模型(T2WI、ADC、Dapp、Kapp、治疗前临床指标及术后病理指标)3年复发分类AUC达0.97(95%CI: 0.92, >.99)。
- 外部测试集All模型DFS预测C-index为0.81(P < .001),高风险组DFS较低风险组差(HR = 4.41 [95%CI: 1.71, 10.02],P < .001)。
核心结论
- 基于MultiRecNet的模型能以全自动端到端方式对接受新辅助放化疗后的局部进展期直肠癌患者进行预后预测。
研究设计与样本
- 回顾性多中心研究,三个中心共纳入445例患者,训练集261例、验证集37例、内部测试集75例、外部测试集72例;输入为基线多模态MRI(T2、ADC、Dapp、Kapp)及临床病理数据;参考标准为组织病理学检查或随访影像学检查证实的复发或转移。
关键影像表现/征象
- MultiRecNet生成的激活热图所关注的区域与肿瘤区域一致,风险评分越接近1提示早期复发转移风险越大。
- 内部测试集中,仅输入T2图像的单模态模型分割DSC为0.69,输入T2+DKI的多模态模型分割DSC为0.69,加入临床信息后All模型分割DSC提升至0.72(P < .001)。
诊断标准与关键数值
- 内部测试集All模型肿瘤分割DSC为0.72;3年复发或转移分类AUC为0.97(95%CI: 0.92, >.99);DFS预测C-index为0.92(95%CI: 0.86, 0.97)。
- 内部测试集T2+DKI模型3年复发分类AUC为0.76(95%CI: 0.62, 0.89),优于单模态T2模型的AUC 0.54(95%CI: 0.38, 0.70)(P = .02)。
- 内部测试集T2+DKI+Preclinical模型3年复发分类AUC为0.87(95%CI: 0.78, 0.96),All模型较其AUC提高(P = .05)。
- 内部测试集All模型1年、2年、3年复发转移状态的时间依赖ROC AUC分别为0.88(95%CI: 0.78, 0.98)、0.97(95%CI: 0.92, >.99)、0.97(95%CI: 0.92, >.99)。
- 外部测试集T2+DKI+Preclinical模型DFS预测C-index为0.72(95%CI: 0.59, 0.85),All模型为0.81(95%CI: 0.72, 0.90)。
临床应用与阅片要点
- 作者认为,MultiRecNet模型以全自动端到端方式实现了对接受新辅助放化疗后局部进展期直肠癌患者的预后预测。
- 原文结论未据此给出具体临床推荐。
局限性
- 原文未报告局限性。
全文中译15 节 · 点击展开
摘要
MultiRecNet是一个全自动多任务深度学习网络,利用多模态MRI准确预测了局部晚期直肠癌患者在新辅助放化疗后的无病生存期。
要点
■ MultiRecNet是一个全自动多任务深度学习网络,在局部晚期直肠癌患者的初始诊断阶段和术后阶段均表现出良好的肿瘤分割和3年复发或转移分类性能(在内部测试集中,肿瘤分割的Dice相似系数分别为0.73和0.72;分类性能的受试者工作特征曲线下面积分别为0.87和0.97)。
■ 在内部测试集(Harrell一致性指数[C-index]分别为0.81和0.92)和外部测试集(C-index分别为0.72和0.81)中,基于MultiRecNet的风险评分所识别的高风险患者在初始诊断阶段和术后阶段的无病生存期均低于低风险患者(P < .001)。
引言
根据美国国家综合癌症网络指南,局部晚期直肠癌(LARC)患者目前的标准治疗方案是全直肠系膜切除术联合术前新辅助放化疗(nCRT),该方案已被证明对局部控制有效(1)。然而,复发或转移(RM)及长期无病生存(DFS)的差异在不同人群中仍是主要问题。在标准治疗下,超过30%的LARC患者在术后短期出现RM(2,3),而某些个体即使在中等强度治疗下也获得了良好预后(4,5)。因此,实施合适的治疗方案对于改善LARC患者的长期DFS至关重要。早期预测DFS可为指导治疗选择提供有价值的信息,但经过临床验证的工具很少。
已有几种用于评估直肠癌患者DFS相关因素的MRI方法被报道(6,7)。特别是功能成像特征的价值受到强调,如弥散加权成像(8)。弥散峰度成像(DKI)是一种多指数非高斯扩散模型,可产生若干定量参数(如Dapp和Kapp)。这些参数描述扩散模型偏离高斯分布的程度,比传统弥散加权成像能更好地衡量有机结构的复杂性(9)。既往研究表明,DKI参数与多种病理预后因素(如组织学分级、淋巴结受累和淋巴血管侵犯)及治疗结局显著相关(10–14)。此外,Cui等(15)报道了基于DKI的影像组学模型预测LARC患者DFS的可行性,但该方法需要耗费大量人工勾画肿瘤掩膜和定义特征,限制了其临床应用。
深度学习(DL)技术可以有效规避这些问题,其在不同肿瘤类型中用于预后预测的潜力已有报道(16–19)。然而,用于预后预测的无掩膜DL模型通常基于卷积神经网络,可能引入无关背景信息的干扰,可能导致模型遗漏肿瘤特异性信息。近年来,已有研究探索使用多任务DL网络进行分割和分类任务(20–22)。该方法通过隐式引导模式使模型能够聚焦于肿瘤区域而不丢失瘤外信息。由于该方法的多任务特性,整个流程可以自动化,显示出临床应用前景。
因此,我们开发并验证了一个基于临床信息和多模态MR图像(T2加权和DKI)的多任务DL网络,用于接受nCRT的LARC患者的DFS预测。该网络以端到端方式同时执行分割、风险分类和生存预测任务。
材料与方法
伦理声明
这项回顾性、多中心研究获得了参与机构机构审查委员会的批准,由于其回顾性性质,获准豁免知情同意。该研究按照《赫尔辛基宣言》进行,设计遵循个体预后或诊断多变量预测模型的透明报告指南(即TRIPOD),并被归类为III型研究(23)。
数据收集
研究数据来自中国三家机构。2014年2月至2019年5月期间,来自复旦大学附属肿瘤医院(中心1)和山西省肿瘤医院(中心2)的直肠癌患者被纳入作为主要队列。患者的纳入标准如下:(a)组织学确诊为直肠腺癌,(b)在全直肠系膜切除术手术前2周内接受过nCRT,(c)有治疗前MR图像,包括DKI序列,可获得且临床评估为LARC(≥cT3和/或cN+),(d)有可获得的临床特征,以及(e)在全直肠系膜切除术手术后进行了常规随访。无图像信息或图像质量差的患者被排除。然后,主要队列中的患者按7:1:2的比例随机分配到训练集、验证集和内部测试集,分别用于模型构建、超参数优化和性能评估(图1A)。
2011年10月至2015年6月期间,来自北京大学肿瘤医院及研究所(中心3)的患者被纳入作为外部队列,以评估我们模型的性能(图1B)。
此外,从电子病历中获取了关于治疗前临床状态(年龄、性别、癌胚抗原水平、癌抗原19-9水平、病灶位置、临床分期、临床T和N分期、MR检测的直肠系膜筋膜、MR检测的壁外静脉侵犯)和治疗后病理状态(病理T和N分期、淋巴血管侵犯、神经周围侵犯、病理肿瘤退缩分级)的数据。pTRG分类标准符合美国癌症联合委员会四阶段分级系统(22)。记录治疗后治疗状态,包括患者是否接受术后辅助化疗等信息。
所有RM病例均经组织病理学检查或随访影像学研究(包括CT、PET/CT或MRI)证实,显示出现新的局部或远处病灶。无RM的患者最短随访时间为36个月(3年)。
成像方案
MRI检查前未进行肠道准备。所有MR图像均使用3-T MRI扫描仪获取(表S1)。DK图像在原型后处理工作站(Siemens Healthineers,详见附录S1)上处理获得Dapp、Kapp和表观扩散系数(ADC)图像。这些图像和斜轴位薄层T2加权图像随后传输至移动工作站,使用ITK-SNAP软件(版本4.0.0;www.itk-snap.org)进行手动勾画。两名放射科医师(Z.L.和Y.S.,分别具有3年和10年直肠癌诊断临床经验)参照《结直肠癌CT和MRI标注专家共识(2020)》(24)的标注指南,独立在轴位T2加权图像上沿肿瘤轮廓勾画感兴趣区,并参考ADC图像。除肿瘤位置外,放射科医师对所有临床信息均设盲。所有感兴趣区均由另一位具有超过16年临床经验的直肠癌成像资深专家(T.T.)验证。为实现所有MRI序列的空间对齐,采用刚性变换将Dapp、Kapp和ADC图像配准至T2加权图像(详见附录S2)。
DL网络开发与模型选择
开发了MultiRecNet,一种基于多模态成像的多任务深度学习网络,用于预测局部晚期直肠癌(LARC)患者的肿瘤复发或转移(RM)(图2)。该网络通过使用多模态MR图像和临床数据,同时预测肿瘤体积、患者3年RM状态和生存风险评分。MultiRecNet融合了三维U-Net(25)和图神经网络(26)的元素,从图像和临床数据中提取特征。引入多个模块以增强有效性和鲁棒性,包括多模态自适应学习模块、掩蔽策略、实例间交互模块和协同双流结构(详见附录S3和S4)。进行了一项对比分析,以评估与既往研究中各种单任务和多任务方法的性能。具体而言,对于单任务方法,我们使用U-Net和V-Net进行肿瘤分割,而VGG16、InceptionV3、DenseNet和ResNet用于患者RM状态预测。对于多任务分析,我们应用了基于Transformer的多模态分割与生存预测网络(TMSS)(20)和深度多任务生存模型(DeepMTS)(21),这些模型专门针对生存分析和肿瘤分割任务进行了定制。在整个优化过程中,我们采用了焦点Dice损失、交叉熵损失和负对数似然损失的组合,权重比为1:2:1(详见附录S5)。模型构建过程中使用的模块和软件包见表S2。
为近似真实临床使用场景,我们实验了不同临床阶段可用的各种类型数据作为MultiRecNet的输入,包括基线图像、治疗前临床数据、术后病理数据以及不同的数据组合。对于模型选择,我们基于验证数据集选择了受试者工作特征(ROC)曲线下面积(AUC)最高和准确率最高的模型。最终,生成了六个不同的模型,随后基于测试数据集对模型进行评估以进行进一步分析。
统计分析
随访时间定义为从手术日期至RM或任何原因死亡日期或末次记录随访日期之间的间隔。
连续变量以中位数和IQR表示,而分类变量以频数和百分比表示。为分析各数据集间患者特征的差异,对连续变量(随访时间)采用单因素方差分析,对分类变量采用Pearson χ2检验或Fisher精确检验。
采用平均Dice相似系数(DSC)和95% Hausdorff距离评估分割性能。计算AUC并采用DeLong检验评估显著性差异,同时计算灵敏度、特异度、准确率、召回率和Jaccard相似系数以评估RM状态分类性能。采用Harrell一致性指数(C-index)和时间依赖ROC曲线下面积(time-ROC)评估生存预测性能。基于内部和外部测试集进行Kaplan-Meier生存分析及log-rank检验,以评估按生存预测风险评分分层(截断值为0.5)的各组间DFS差异。为减轻队列间临床基线特征差异对模型性能的潜在影响,基于这些特征进行亚组分析以控制该效应。此外,采用1:1最近邻匹配(卡钳宽度为0.2 SD)在训练集与外部测试集之间进行倾向性评分匹配,以校正混杂因素。
统计分析使用R软件(版本4.3.0;http://www.Rproject.org;所用程序包列于表S3)。P值小于.05被认为具有统计学意义。
代码可用性
模型构建和统计分析中所使用的模块和程序包见表S2和表S3。所有源代码公开可获取于https://github.com/run-r/MultiRecNet。
结果
患者特征与数据集
在排除图像缺失或质量不佳的病例(原发队列43例,外部队列28例)后,这项多中心研究纳入了在中国三个中心接受nCRT治疗的445例LARC患者(图1)。其中,来自原发队列的373例患者用于模型构建、超参数优化和性能评估。具体而言,261例、37例和75例患者被随机分配至训练集(中位年龄60岁[IQR,53–67岁];男172例,女89例)、验证集(中位年龄61岁[IQR,55–68岁];男27例,女10例)和内部测试集(中位年龄60岁[IQR,51–67岁];男45例,女30例)。来自外部队列的共72例患者被纳入作为外部测试集(中位年龄55岁[IQR,49–61岁];男38例,女34例)。
收集了每位患者的特征,包括基线临床和术后病理数据(详见材料与方法部分),并在表1和图S1中比较和总结了这些特征在训练集、内部测试集和外部测试集之间的分布差异。除肿瘤位置、MRI检测的直肠系膜筋膜、MRI检测的壁外静脉侵犯、pT分期、pN分期、淋巴血管侵犯和术后辅助化疗外,没有证据表明各数据集之间存在差异。经过多次事后比较后,未发现训练集与内部测试集之间存在差异的证据。外部测试集与训练集和内部测试集均存在差异,特别是在肿瘤位置、MRI检测的壁外静脉侵犯和术后辅助化疗方面(P < .001)。
内部测试集中的模型分割性能
对于以图像数据为输入的模型,使用我们的网络生成的单模态(T2模型)和多模态(T2+DKI模型)图像模型的分割效能相似(DSC = 0.69 vs 0.69,P > .99),且在将临床信息输入模型后分割效能有所提高(All模型:DSC = 0.72,P < .001)。我们的网络的分割性能与单任务网络(表S4)和新兴多任务网络(包括TMSS和DeepMTS)所构建的模型相当,我们的模型优于若干最先进的模型(表S5)。基于训练集、内部测试集和外部测试集的我们模型的详细结果,以及每个模型的输入数据类型,呈现在表2中。
内部测试集中3年RM分类的模型性能
对于3年RM状态分类任务,多模态图像模型(T2+DKI模型)的表现优于仅使用T2加权成像的单模态图像模型(T2模型)(AUC = 0.76 [95% CI:0.62,0.89] vs 0.54 [95% CI:0.38,0.70],P = .02)以及所有其他测试的传统卷积神经网络(表S6),而仅使用治疗前临床信息的模型(Preclinical模型)表现较差(AUC = 0.69 [95% CI:0.56,0.81],P > .99 [vs T2+DKI模型])。合并所有基线数据后,模型(T2+DKI+Preclinical模型)性能进一步提高(AUC = 0.87 [95% CI:0.78,0.96],P = .40 [vs T2+DKI模型])。当获得术后病理数据后,整合基线和术后期间所有可用数据的模型(All模型)表现出最佳性能(AUC = 0.97 [95% CI:0.92,>.99],P = .05 [vs T2+DKI+Preclinical模型]),优于仅使用临床信息的传统模型(Clinical模型)(AUC = 0.75 [95% CI:0.62,0.87],P < .001 [vs All模型])。ROC曲线见图3A–3D(训练集见图S2),决策曲线分析见图S3,其他详细结果见表2和图3E和3F。
基于模型的高危患者分层用于早期RM
对于生存预测,All模型取得了最佳性能,DFS的C指数为0.92(95%CI:0.86,0.97),时间-ROC的AUC值在1年、2年和3年RM状态分别为0.88(95%CI:0.78,0.98)、0.97(95%CI:0.92,>.99)和0.97(95%CI:0.92,>.99)。在仅输入基线数据的多模态模型中,T2+DKI+Preclinical模型和T2+DKI模型也表现出良好性能(C指数分别为0.81[95%CI:0.73,0.89]和0.71[95%CI:0.58,0.83])。各模型的C指数和时间-ROC曲线见图4A和图S4。与其他多任务网络相比,MultiRecNet在生存预测性能方面显示出明显改善(图4B)。
根据计算得到的风险评分将患者分为高危组和低危组,并对每个模型进行Kaplan-Meier分析。除T2模型外,高危组患者的DFS时间均短于低危组患者(P<.05),基线期和总体的最高风险比(HR)分别见于T2+DKI+Preclinical模型(HR=9.64[95%CI:2.60,35.70],图4C)和All模型(HR=41.83[95%CI:13.91,125.84],图4D)。其他模型的Kaplan-Meier曲线见图S5。
为了可视化对预测特别重要的图像区域,我们采用激活映射生成热图(图5A–5D)。
模型在外部队列和临床亚组中的泛化性
各模型在分类分布和生存预测性能方面的趋势与基于外部测试集确定的趋势相似,最佳基线性能和总体预测性能分别由T2+DKI+临床前模型(C指数 = 0.72 [95% CI:0.59,0.85])和All模型(C指数 = 0.81 [95% CI:0.72,0.90])获得(图4A)。使用上述两种模型时,低风险组的DFS均大于高风险组(分别为HR = 4.24 [95% CI:0.77,23.28],P = .002,图4E;HR = 4.41 [95% CI:1.71,10.02],P < .001,图4F)。
由于外部测试集在肿瘤位置、MR检测到的壁外静脉侵犯和术后辅助化疗方面与训练集和内部测试集均不同,基于这些临床因素使用外部测试集进行了亚组分析。除无MR检测到的壁外静脉侵犯和无术后辅助化疗的亚组外,All模型可在所有其余亚组患者中有效区分高风险组与低风险组之间的DFS率(P < .01),而T2+DKI+临床前模型在所有亚组中均表现出对DFS风险的显著区分能力(图S6)。在调整肿瘤位置、MR derived壁外静脉侵犯和术后辅助化疗后,T2+DKI+临床前模型和All模型在外部测试集的倾向性评分匹配平衡子集(45对匹配)中维持了对DFS风险的显著分层(P < .001,图S7)。此外,验证了模型在对nCRT反应不同的人群中的普遍适用性,结果表明,All模型和T2+DKI+临床前模型在内部和外部测试集中均可有效区分治疗结局良好和不良者的RM风险(P < .05,图6)。
讨论
本研究开发并验证了MultiRecNet,一种用于预测LARC患者接受nCRT后RM风险的多任务深度学习(DL)网络。该网络同时执行病灶分割、3年RM状态分类和生存预测,实现了临床预后预测过程的自动化。MultiRecNet在初诊阶段取得了良好的预测性能(T2+DKI+临床前模型:AUC = 0.87 [95% CI:0.78,0.96],C-index = 0.81 [95% CI:0.73,0.89],HR = 9.64 [95% CI:2.60,35.70]),在内部测试集中纳入术后病理指标后性能有所提高(All模型:AUC = 0.97 [95% CI:0.92,>.99],C-index = 0.92 [95% CI:0.86,0.97],HR = 41.83 [95% CI:13.91,125.84])。其泛化性通过外部测试集得到验证(T2+DKI+临床前模型和All模型的C-index分别为0.72 [95% CI:0.59,0.85]和0.81 [95% CI:0.72,0.90];HR分别为4.24 [95% CI:0.77,23.28]和4.41 [95% CI:1.71,10.02])。
以往使用传统放射组学方法和单任务DL方法的研究在分类和生存预测任务中取得了良好性能,AUC和C-index值大约大于0.80(15,18,27–29)。然而,这些方法需要劳动密集型的人工标注,或使用单独的网络进行分割和分类,限制了准确性并使流程复杂化。MultiRecNet用一个网络执行多项任务;因此,不同任务可以协同提高性能,并实现全流程自动化预测模式。此外,模态融合特征使模型能够适应不同阶段可用的各种形式数据,从而解决因部分数据缺失而导致的问题,这在临床实践中是常见情况。
我们研究的最终目标不是准确分割肿瘤,而是预测患者生存。因此,将分割任务引入本研究的必要性值得考虑。在我们的预实验(详见附录S6)中,我们注意到,当分别对三个任务使用单任务模型时,模型所识别的注意力区域相似,这意味着三个任务之间存在潜在联系。因此,纳入分割任务可能使分类和生存预测任务的注意力区域更加集中。另一项关于多任务建模用于治疗反应预测的研究得出了类似结论(30)。尽管注意力区域可能并不完全匹配临床医生手动标注的区域,但所识别的区域并未偏离肿瘤区域。此外,我们的方法可能有助于检测临床医生未识别的瘤周区域的有价值特征,从而可能提高预测性能。事实上,既往多项研究已证明瘤周区域的影像特征与肿瘤生物学和临床结局相关(16,31,32)。在我们的研究中,输入T2和DK图像的MultiRecNet在3年RM风险分类任务中的表现明显优于任何使用手动标注的单任务卷积神经网络(AUC = 0.76 vs 0.70 [DenseNet,表现最好的卷积神经网络])。
目前,接受nCRT的LARC患者后续治疗方案的选择仍存在争议,通常根据治疗反应来决定。然而,忽视长期预后可能导致过度治疗或治疗不足的风险增加。在本研究中,MultiRecNet被用作预后工具。它使医生能够基于易于获取的临床和影像数据,有效对具有不同RM风险的患者进行分层,并在实施治疗前制定更个性化的方案,从而改善患者的生存结局和生存质量。此外,我们的研究采用了多种方法来解决随访数据的删失问题,这是DL模型生存预测中的常见挑战。一种方法是将生存预测任务转化为分类任务,正如既往多项研究所做的那样(27,33,34)。该方法对预测RM状态有效。然而,即使在RM风险较高的人群中,仍观察到从治疗到RM的时间长短存在差异。对于术后短间期内易发生RM的患者,可能需要更积极的临床干预。因此,我们根据生存数据的概率性质,将交叉熵损失和负对数似然损失相结合,用于直接的生存分析任务。通过使用该损失函数,我们可以有效确定事件随时间发生的概率,并在分析中容纳缺失数据。该方法使我们能够将模型输出解释为对数似然值,从而增强生存模型的可解释性,并实现更可靠的概率预测。MultiRecNet在两项任务中均取得了良好结果,表明其不仅能预测发生的可能性,还能预测早期RM的风险。
除了提高疗效外,直肠癌的治疗越来越关注生存时间和生活质量。对临床完全缓解的患者采用非手术的“观察等待”策略可以保留器官功能并改善生活质量;然而,该策略需要准确的评估(35)。特别是对于通常被认为预后较好的患者,例如新辅助放化疗(nCRT)反应良好者(肿瘤退缩分级=0或1),通常基于传统评估方法实施保守治疗策略,可能因治疗不足而导致部分患者预后不良。在本研究中,MultiRecNet的多模态数据输入使预测任务能够在不同临床治疗阶段进行,同时保持良好的预测性能。因此,MultiRecNet对于初始治疗方案选择和确定治疗后早期远处转移(RM)风险均有效,即使在当前阶段反应良好(在反应良好和反应不良组中log-rank P均<.001)。
我们的研究存在若干局限性。第一,回顾性设计可能引入了固有偏倚和隐性混杂因素。第二,由于使用了弥散峰度成像(DKI)序列,样本量较小,该序列在临床实践中尚未广泛使用。然而,纳入DKI序列后模型的预测性能有所提高,部分原因在于其更真实的成像原理。第三,具有某些特征的患者数量较少,可能导致外部测试集中某些人群的生存差异不显著。最后,我们的研究仅分析了一项生存指标,即无病生存期(DFS),由于事件数较少未研究总生存期。然而,在大多数既往研究中,据报道基于深度学习(DL)的预测模型对总生存期的预测表现优于对DFS的预测。因此,我们的研究表明该模型可能是局部进展期直肠癌(LARC)患者DFS的有效预测因子。
总之,MultiRecNet展示了作为LARC患者术前和术后风险分层工具的潜力,支持精准医学的推进。该网络能够利用不同临床阶段的可用多模态数据全自动输出风险评分,值得在未来研究中进一步验证。未来研究应关注前瞻性验证、纳入更多常规成像序列以及研究额外的生存指标,以增强模型的临床适用性和泛化能力。
引用
- Liu Z, Meng R, Ma Q, et al. Predicting Recurrence in Locally Advanced Rectal Cancer Using Multitask Deep Learning and Multimodal MRI. Radiol Imaging Cancer. 2025. PMID: 40445102. doi:10.1148/rycan.240359
- 全文:PMC12130701(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12130701/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。