多模态深度学习实现胰腺癌端到端预后预测:一项回顾性、多中心研究
本研究基于荷兰和西班牙三个中心的862例胰腺导管腺癌患者,开发并验证了整合临床变量与增强CT影像的多模态深度学习模型,用于预测短期与长期生存。多模态模型在内部验证集的AUC为0.637,外部验证集AUC分别为0.571和0.675,作者认为其预后分层能力优于现行TNM分期系统。
要点
- 多模态AI模型在内部验证集预测胰腺癌短期与长期生存的AUC为0.637(95%CI 0.500-0.774)。
- 外部验证中,CENTER 2的AUC为0.571(95%CI 0.453-0.689),CENTER 3为0.675(95%CI 0.593-0.757)。
- 作者认为多模态AI的预后分层能力优于现行TNM分期系统,但ROC分析显示其预后价值仍低于其他癌种。
核心结论
- 多模态AI可预测胰腺导管腺癌患者的长期与短期生存,显示出作为临床决策预后工具的潜力。
研究设计与样本
- 回顾性多中心研究,开发队列为荷兰CENTER 1的401例患者(2004-2021年),内部验证为同中心额外100例,外部验证为荷兰CENTER 2的252例(2009-2023年)和西班牙CENTER 3的109例(2009-2014年);采用五折交叉验证,以时间依赖ROC曲线下面积(AUC)评估。
关键影像表现/征象
- 临床模型纳入年龄、CA19-9、CEA、BMI、非预期体重下降和ECOG体能状态共七个参数。
- Kaplan-Meier分析显示多模态AI风险评分总体呈现更显著的风险分层。
诊断标准与关键数值
- 以开发队列中非切除胰腺导管腺癌患者的中位生存时间230天为阈值,将患者分为短期生存组(OS<230天)和长期生存组。
- 开发队列中短期生存者98例(24.4%),长期生存者303例(75.6%);外部验证队列中短期生存者110例(30.5%),较长生存者251例(69.5%)。
- 内部验证集多模态模型预测短期与长期生存的AUC为0.637(95%CI 0.500-0.774)。
- 外部验证CENTER 2多模态模型AUC为0.571(95%CI 0.453-0.689),CENTER 3为0.675(95%CI 0.593-0.757)。
- 开发队列五折交叉验证中,临床单模态模型平均AUC为0.578(95%CI 0.312-0.845),影像单模态模型为0.575(95%CI 0.478-0.673)。
临床应用与阅片要点
- 作者认为多模态AI模型相比现行TNM分期系统提供了更高的预后准确性,可能改善临床决策和个体化管理策略。
- 作者指出在将此类AI模型应用于临床实践之前,尚需考虑治疗特异性队列的未来研究。
局限性
- 所有病例均为回顾性收集,导致连续患者与便利样本混合。
- 为最大化AI开发数据集,患者采集时间跨度较大,临床变量采集方案、影像采集方案及分期系统均有变化。
- 患者未按治疗进行分层,因这样做会导致数据集有限,从而阻碍AI开发和泛化。
- 作者指出在将此类AI模型应用于临床实践之前,尚需考虑治疗特异性队列的未来研究。
全文中译8 节 · 点击展开
引言
胰腺导管腺癌(PDAC)的五年生存率仅为5%,仍然是全球最致命的恶性肿瘤之一,给患者、临床医生和研究人员 alike 带来了相当大的挑战[1]。影像学对于将PDAC患者分层以接受与分期相适应的治疗至关重要,其中对比增强CT(CECT)是主要的影像学模态[2, 3]。癌症分期的临床标准是TNM系统,该系统考虑肿瘤的范围(T)、向区域淋巴结的扩散(N)以及向远处部位的扩散(转移,M)。该分期系统旨在识别患者群体中不同的生存亚组(IA、IB、IIA、IIB、III、IV期),目前指导PDAC的治疗轨迹。只有20%的患者(I-III期)适合接受治愈性切除,使得切除和辅助/新辅助治疗成为其长期生存或治愈的主要希望[4, 5]。超过90%接受治愈性切除的PDAC患者经历区域癌症复发、远处复发或转移[4]。此外,相同TNM分期的患者表现出显著不同的总生存率。这种变异性反映在TNM分期的预后性能中,可使用一致性指数(c-index)进行量化——该指标衡量模型区分具有不同生存结局患者的能力[6]。c-index为0.5表明区分能力不优于随机 chance,而值为1代表完美的预后准确性。据报道,TNM分期在可切除和不可切除患者中的c-index分别低至0.57和0.611[7–12]。因此,显而易见的是,TNM分期缺乏预后准确性,未能与总生存率显著相关,并在指导治疗决策方面被证明不可靠[4, 13]。
鉴于传统TNM分期的局限性,迫切需要更好的PDAC分层系统。人工智能(AI)目前广泛应用于医学图像分析和癌症研究,在预测各种类型癌(如喉癌[14]、乳腺癌[15]、肾癌[16]、结直肠癌[17]和胰腺癌)的患者结局方面显示出有希望的结果。虽然临床医生通常使用多种数据来源来指导决策(例如,在可获得时将放射学影像与临床或实验室检查结果以及组织病理学评估相结合),但绝大多数使用影像学进行PDAC预后预测的AI研究依赖于单一数据类型[18]。多模态AI算法可以从多个数据来源和类型中提取并组合信息,以做出更明智的决策,模拟临床医生目前用于解决复杂临床问题(如癌症预后预测)的输入条件。[16, 19]。
在本研究中,我们首先探索了单模态临床变量和影像学AI模型在诊断时区分短期和长期PDAC生存者方面的预测能力。随后,开发了一个整合临床生物标志物和影像数据的综合多模态AI模型,以评估其与单模态AI相比的性能。
材料和方法
伦理声明
各参与中心均获得了伦理批准。数据收集和分析以匿名方式进行。本研究获得了机构审查委员会的批准(荷兰奈梅亨拉德堡德大学医学中心,CMO2016-3045,方案版本3,2018年9月21日),并且由于其为回顾性设计,豁免了单个患者的知情同意。
患者队列
这项回顾性、多中心研究纳入了来自三家医疗中心(荷兰和西班牙)的匿名增强计算机断层扫描(CECT)扫描和临床数据。纳入标准为(1)治疗前门静脉期基线CECT成像;(2)有可获得的生存信息,即末次接触时间或生存时间;(3)病理证实的胰腺导管腺癌(PDAC)或由胰腺癌专门多学科咨询委员会记录的、支持PDAC诊断的有效文件。排除标准为CECT成像质量欠佳。总生存期随访至死亡或末次接触日期。患者纳入流程图见图1。各数据集中的患者特征已总结(表1)。
模型开发队列包括2004年至2021年间从中心1(荷兰奈梅亨拉德堡德大学医学中心(RUMC))获取的401例各分期PDAC患者。内部验证队列包括来自中心1的另外100例未用于模型开发的患者。使用了两个独立的外部验证队列。第一个外部验证队列包括2009年至2023年间从中心2(荷兰格罗宁根大学医学中心(UMCG))获取的252例患者。第二个外部验证队列包括2009年至2014年间从中心3(西班牙马德里国家肿瘤研究中心(CNIO))获取的109例患者。
实验设计与统计学
所有开发的人工智能(AI)模型均预测患者水平的短期生存可能性评分。以开发队列中未切除PDAC患者的中位生存时间作为阈值,将患者分为短期生存组或长期生存组。受试者工作特征曲线下面积(AUROC)是二分类常用的指标,用于评估模型区分短期和长期生存的能力。AUC的95%置信区间(CI)代表真实AUC值可能落入的范围,表明模型性能估计的不确定性。使用对数秩检验比较不同TNM分期患者之间的生存,以评估当前TNM分期系统的预后价值。统计分析使用Python中的Lifelines包实施Kaplan–Meier分析、对数秩检验和Cox比例风险检验,以比较各组之间的生存。使用Scikit-learn包计算AUROC和95%置信区间。
临床模型
收集的临床变量包括年龄、性别、碳水化合物抗原(CA)19-9水平、癌胚抗原(CEA)水平、美国东部肿瘤协作组(ECOG)状态、体重指数(BMI)、非意愿性体重下降以及第8版美国癌症联合委员会(AJCC)TNM分期。来自CENTER 1的腹部影像学专家评估了肿瘤位置和大小(表1)。最终,我们使用七个参数构建临床模型:诊断时年龄、CA19-9水平、CEA水平、BMI、非预期体重下降和ECOG体能状态。除CA19-9和CEA水平外,所有变量均按开发队列内的最大值和最小值进行归一化。CA19-9和CEA水平被截断至开发队列内最大值的95%百分位数,以考虑极端升高情况,并按截断后队列内的最大值和最小值进行归一化。临床模型由一个双层神经网络组成,采用二元交叉熵损失函数,使用五折交叉验证训练200个epoch。对于每一折,训练集和验证集中的缺失临床值仅通过取训练集中该临床变量的中位数进行插补。CENTER 1、CENTER 2和CENTER 3内部验证数据集中的缺失变量,以CENTER 1完整开发队列中临床变量的中位数进行插补。
影像模型
所有CECT均使用先前已验证的开源AI算法对胰腺实质、胰管和胰腺肿瘤进行自动分割[20]。来自CENTER 1、CENTER 2和CENTER 3队列的分割结果由受过培训的医学生使用ITK-SNAP 3.8.0版(一款用于交互式分割的专用医学影像软件)进行手动验证和校正,并由一位拥有23年胰腺影像学经验的腹部放射科医师监督。胰腺实质和胰腺肿瘤分割用于对CECT进行掩膜处理。由于CECT可在不同分辨率下采集,即单个3D体素的大小可能不同,本研究中的所有CECT图像随后被调整为相同尺寸(96, 192, 300)和均匀体素大小(1, 1, 1)。强度(即亨斯菲尔德单位)被截断在[−1000, 300]之间以考虑极端值,并按患者层面的最大和最小强度值进行归一化。强度截断范围[−1000, 300] HU是基于既有领域知识选择的,因为低于−1000 HU的值对应于非生理性噪声或空气伪影,而高于300 HU的值通常代表骨骼、钙化或对比剂材料,这些与我们的软组织分析无关,并可能在学习过程中引入噪声。
影像AI模型由一个EfficientNet-B4组成,在MONAI(基于PyTorch)中实现,使用五折交叉验证训练500个epoch [21]。多模态AI模型通过添加一个逻辑回归模型将单模态AI模型的风险评分作为输入进行整合。这些AI模型已在GitHub上公开(https://github.com/meganschuurmans/mosp)。
结果
我们开发了用于临床数据和影像数据的端到端单模态深度学习模型,以及一个联合多模态模型(图2)。在开发队列中采用五折交叉验证,使用临床变量的单模态人工智能模型的平均AUROC为0.578(95% CI:0.312–0.845),使用影像的单模态人工智能模型的平均AUROC为0.575(95% CI:0.478–0.673)。多模态人工智能模型的平均AUCROC为0.637(95% CI:0.500–0.774)。在外部验证集中,使用临床和影像变量的单模态人工智能模型的AUROC分别为:CENTER 2为0.554(95% CI:0.455–0.653)、0.536(95% CI:0.452–0.620),CENTER 3为0.638(95% CI:0.430–0.846)、0.550(95% CI:0.485–0.615)。多模态人工智能模型的AUROC在CENTER 2为0.571(95% CI:0.453–0.689),在CENTER 3为0.675(95% CI:0.593–0.757)。在Kaplan–Meier分析中,深度学习风险评分在多模态人工智能模型中总体上显示出更显著的风险分层(图3)。
多模态人工智能算法输出的患者示例见图4。来自CENTER 1:验证队列的被分类为短期和长期生存者分别为60岁男性和63岁男性。两名患者均未接受切除术,诊断时均存在转移,AJCC TNM分期均为IV期。来自CENTER 2的被分类为短期和长期生存者分别为66岁女性和71岁女性。两名患者均未接受切除术。被分类为短期生存的患者诊断时存在转移,而被分类为长期生存的患者不存在转移。被分类为短期和长期生存的患者AJCC TNM分期分别为IV期和III期。来自CENTER 3的被分类为短期和长期生存者分别为74岁男性和72岁女性。两名患者均未接受切除术。被分类为短期和长期生存的患者AJCC TNM分期分别为III期和IV期。
此外,我们绘制了开发队列和验证队列中TNM分期的Kaplan–Meier曲线,使用log-rank检验比较IA期与IB-IV期(图5)。该分析通过所有分期之间生存差异的统计学显著性反映了TNM分期的区分能力。值得注意的是,来自CENTER 3的数据缺少IB期和IIB期分类。p值在不同中心之间表现出显著异质性。对于CENTER 1的开发队列,IB-IV期的p值分别为0.7040、0.8658、0.1632、0.0107和0.0001,其中统计学差异最显著的是I期与IV期之间。在CENTER 1的验证队列中,IB-IV期的p值分别为0.8262、0.6592、0.6394、0.3773和0.2648,表明与I期相比无显著差异。在CENTER 2,IB-IV期的p值分别为0.1771、0.0060、0.0241、0.0036和0.0011,提示统计学显著性高于CENTER 1,尽管2A期和3期的Kaplan–Meier曲线相互交织。最后,在CENTER 3,II-IV期的p值分别为0.6659、0.0039和0.0018,显示I期与IV期之间存在显著差异,但III期与IV期之间显著性较低,如曲线重叠所示。
讨论
在本研究中,我们开发了一种基于深度学习的PDAC患者多模态预后分层系统。我们的开源多模态模型在内部验证队列和两个外部国际队列中显示出有前景的预测性能。
PDAC患病率低,但缺乏典型的早期症状,且高度恶性。当前的TNM分期系统指导治疗计划并显著影响生存时间。多项研究评估了TNM分期在预测PDAC患者总生存方面的性能,揭示了其在患者结局分层方面的不足。规模最大的队列研究涉及来自美国和欧洲的125,183例患者,报告各分期之间的生存改善有限,I-II期与III-IV期之间的差异主要无统计学意义[22]。此外,该研究缺乏对各分期之间生存结局的详细分析,而这对于完善治疗策略和预后判断至关重要。另一项近期研究评估了最新版TNM分期在PDAC患者中的预后准确性,利用了1043例患者的大型队列。研究结果显示IB期与IIA期之间无显著生存差异。此外,大多数患者出现了淋巴结分期假阴性。这些结果强调,当前的TNM分期系统并不适合PDAC的临床分期[13]。最新版TNM分期的预后准确性性能还在荷兰一项全国性研究中得到验证,该研究纳入750例切除患者,确认其仍缺乏预后价值(c指数:0.59)[12]。尽管TNM分期存在这些局限性,但目前在诊断时能够准确对PDAC患者生存进行分层的AI模型明显缺乏[18]。这一空白强调需要创新方法来改善PDAC的早期预后评估。
目前,尚无临床公认的阈值来区分短期与长期PDAC生存者。过去的研究探索了从3个月到5年不等的各种阈值[23–25]。然而,这些阈值均未被确证具有临床意义或在预测生存时间方面具有决定性。在本研究中,我们使用接受非治愈性治疗患者的中位生存时间(230天)作为阈值。在该AI模型应用的背景下,这是一个相关的时间点,因为它有助于避免对预测无法生存的患者进行治疗,甚至可达到接受无治愈性治疗者的生存时间。
关于PDAC生存结局的研究有限,该领域发表的研究相对较少。现有研究常受样本量小的限制,而我们的研究包含862例,是迄今为止分析的最大队列。此外,既往研究通常集中于疾病的单一分期,限制了其普遍性;相比之下,我们的数据集更全面地代表了PDAC的所有分期[23]。此外,我们的研究是迄今为止唯一的多模态研究,整合了多种数据类型以提高预后准确性。
近期的高影响力研究聚焦于利用AI的创新分期策略,以提高预后准确性并更好地指导不同类型癌症的治疗决策[14–17, 23, 26]。虽然PDAC中的大多数AI研究集中于单模态方法,但近期研究结果表明,整合多个数据来源的信息可增强预测能力[19, 27–30]。我们的发现与这些结果一致,强调了多模态AI在PDAC患者预后分层中优于当前临床TNM分期系统的优势。未来纳入其他数据模态(如组织病理学和基因组学)的研究可能会提高PDAC预后预测的准确性。
本研究存在局限性。第一,所有病例均为回顾性收集,导致连续患者与便利样本混合。第二,为最大化用于AI开发的数据集,患者在相对较长的时间跨度内获取,临床变量采集方案、影像采集方案多样,且分期系统有所变化。第三,患者未根据治疗进行分层,因为这会导致数据集有限,从而阻碍AI开发和普遍性。我们的结果提供了强有力的证据,表明与当前TNM分期相比,AI可以改善PDAC预后预测。然而,在此类AI模型可应用于临床实践之前,有必要开展考虑特定治疗队列的未来研究。
总之,我们开发并验证了基于深度学习的单模态和多模态模型,这些模型利用诊断时的临床信息和CECT直接预测所有分期PDAC患者的生存。研究结果表明,多模态AI可以提高预后准确性,可能有助于临床医生做出更明智的治疗决策,同时凸显了该任务对胰腺癌的固有复杂性和难度。如Kaplan–Meier分析所示,我们的多模态AI生物标志物与目前临床使用的TNM分期系统相比显示出更优越的分层能力,尽管受试者工作特征分析显示其预后价值仍低于其他癌症类型。本研究代表了胰腺癌管理个性化医疗的重要进步。我们已将模型开源,使其他研究团队易于重用、复现或扩展我们的方法。
引用
- Schuurmans M, Saha A, Alves N, et al. End-to-end prognostication in pancreatic cancer by multimodal deep learning: a retrospective, multicenter study. Eur Radiol. 2025. PMID: 40410330. doi:10.1007/s00330-025-11694-y
- 全文:PMC12634761(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12634761/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。