CT-病理融合模型预测NSCLC PD-L1表达及免疫治疗反应
回顾性纳入328例NSCLC患者构建基于CT影像组学与H&E病理深度学习的融合模型,预测PD-L1表达(TPS≥1%为阳性),并在47例免疫治疗队列中验证预后价值。融合模型在训练、验证、测试集AUC分别为0.90、0.80、0.73,优于单一模态模型。免疫治疗队列中高分组PFS和OS均显著优于低分组,融合评分是PFS的独立预测因子,联合临床因素预测PFS的C-index为0.74(95%CI: 0.665-0.809)。
要点
- CT影像组学与H&E病理深度学习融合模型预测PD-L1表达优于单一模态模型,测试集AUC为0.73。
- 融合模型评分≥0.46的高分组免疫治疗患者PFS和OS显著延长,提示可辅助筛选免疫治疗获益人群。
- PD-L1阳性定义为TPS≥1%,采用Dako 22C3抗体染色,由两名高年资病理科医师独立评估。
核心结论
- 首次构建基于CT影像组学与H&E病理深度学习特征的融合模型预测NSCLC PD-L1表达,并在独立免疫治疗队列中验证其预后预测价值。
研究设计与样本
- PD-L1预测队列为回顾性研究,纳入328例有PD-L1免疫组化结果的NSCLC患者,按4:1:1随机分为训练集219例、验证集56例、测试集53例。
- CT图像由经验丰富的放射科医师在ITK-SNAP软件中逐层手动勾画肿瘤ROI,30例用于评估观察者内及观察者间一致性,ICC≥0.85认为可重复性良好。
- PD-L1免疫组化采用Dako 22C3抗体和Dako Autostainer Link 48平台,H&E切片以40倍放大扫描为全切片图像。
- 免疫治疗生存验证队列为独立回顾性队列,共47例接受PD-1/PD-L1抑制剂单药或联合免疫化疗超过2周期的NSCLC患者。
- 病理深度学习采用基于ResNet-50的DSMIL多实例学习框架,仅使用切片级PD-L1标签训练,无需逐块标注。
关键影像表现/征象
- 融合模型注意力热图显示模型重点关注大多数PD-L1染色阳性的肿瘤细胞区域,与IHC染色结果一致。
- CT影像组学提取形状、一阶及纹理特征,经ICC筛选、t检验和LASSO回归后保留19个稳定特征用于建模。
- 病理模型从每张WSI切分为1792×1792像素的图像块中提取特征,以注意力权重整合为切片级表征。
诊断标准与关键数值
- PD-L1阳性定义为TPS≥1%,阴性为TPS<1%,由两名超过10年经验的病理科医师独立评估,分歧经讨论达成共识。
- 融合模型在训练、验证、测试集的AUC分别为0.90、0.80、0.73,高于影像组学模型(0.79、0.69、0.63)和病理模型(0.85、0.76、0.70)。
- DeLong检验显示训练集中融合模型显著优于两个单一模态模型(p<0.001),验证集和测试集差异未达到统计学显著(p>0.05)。
- 融合模型在测试集检测TPS≥50%高表达的AUC为0.69(95%CI: 0.55-0.81),敏感度75.0%,特异度59.5%。
- 免疫治疗队列中融合评分最佳截断值为0.46,高分组中位PFS为16.6个月,低分组为7.33个月(p<0.001),中位OS分别为39.77与17.63个月(p=0.021)。
临床应用与阅片要点
- 融合模型决策曲线分析显示在较宽阈值概率范围内净获益优于单一模态模型,提示其有潜在临床应用价值。
- 检测TPS≥50%时敏感度75.0%而特异度59.5%,提示可用于排除低表达患者或优先筛选需行IHC确认的病例,但不宜直接替代IHC。
- 免疫治疗队列中联合免疫化疗是PFS的独立保护因素(HR=0.42,p=0.015),阅片报告中可注明治疗背景以辅助预后解读。
局限性
- 免疫治疗生存验证队列样本量仅47例,OS数据中17例失访,可能削弱对OS的预测效能评估。
- PD-L1预测队列来自单中心回顾性数据,样本量328例相对较小。
- 验证集和测试集中融合模型与单一模态模型的AUC差异未达到统计学显著(p>0.05)。
- 未与TMB、ctDNA等其他免疫治疗生物标志物进行头对头比较。
全文中译12 节 · 点击展开
引言
肺癌已成为全球癌症相关死亡的主要原因 [1]。免疫检查点抑制剂(ICIs)在晚期或转移性非小细胞肺癌(NSCLC)患者中已显示出显著的生存获益 [2–4]。然而,免疫治疗并不适用于所有肺癌患者。有时,肿瘤对免疫治疗无应答 [5],免疫相关不良事件也很常见 [6]。因此,识别哪些NSCLC患者将从免疫治疗中获益至关重要。多项大型多中心临床研究表明,程序性死亡配体1(PD-L1)阳性表达的NSCLC患者比阴性表达者更有可能从ICIs中获益 [7, 8]。然而,PD-L1检测通常基于标本的免疫组织化学(IHC)染色,在临床实践中仍有许多不足有待解决 [9]。首先,PD-L1检测存在多种染色平台,导致评价标准差异很大 [10]。其次,PD-L1表达水平的评估依赖于病理医师的主观判断,更容易引入偏倚 [11]。
影像组学既包含整个肿瘤的特征,如一阶特征、形态学特征和纹理特征,也包含肿瘤的空间特征,能直观反映周围结构的信息 [12]。然而,这种反映是间接的,影像组学特征与肿瘤组织实际的组织学特征之间仍存在显著差距。肿瘤的苏木精-伊红(H&E)染色切片包含大量微观信息,包括肿瘤细胞特征、密度、肿瘤微环境及其他与肿瘤侵袭性相关的信息 [13, 14]。此外,全切片图像(WSI)包含大量隐藏信息,为组织病理切片的定量分析提供了可靠基础 [15]。CT与H&E染色切片相结合的特征是宏观与微观信息的多尺度融合,能够更全面地反映肿瘤信息,并准确评估肿瘤异质性和预后 [16–18]。
因此,我们假设基于CT和H&E染色切片的融合模型(FM)具有互补信息,有助于更准确地评估PD-L1表达。据我们所知,目前尚无此类尝试。因此,在本研究中,我们分别构建了基于CT图像的影像组学模型(RM)和基于H&E-WSI的病理深度学习模型,以预测NSCLC中PD-L1的表达(阳性或阴性)。随后,我们融合两者的特征,建立了影像-病理融合模型,并在一个接受免疫治疗的独立NSCLC队列中进行了验证,以探索其在预测免疫治疗结局方面的附加价值。
方法
研究人群
本研究经浙江大学医学院附属邵逸夫医院伦理委员会批准(编号:2022-0432)。由于本研究为回顾性研究,免除了知情同意。PD-L1表达预测模型使用2020年1月至2022年7月在该院诊断为NSCLC且具有PD-L1检测结果的患者数据开发。纳入标准如下:(1)病理确诊为NSCLC;(2)组织标本使用22C3检测方法进行了PD-L1检测;(3)在PD-L1检测前一个月内接受了胸部CT扫描。符合以下任一条件的患者被排除:(1)PD-L1结果无法确认;(2)胸部CT上无法确认靶病灶;(3)病理标本取自肺外组织;(4)CT图像质量差(如运动伪影);(5)H&E染色切片被污染或缺失;(6)H&E染色切片图像不合格,原因包括组织折叠、染色不良或肿瘤含量不足等。患者纳入和排除的详细流程见图1。
为验证影像-病理融合模型在预测免疫治疗预后方面的附加价值,我们回顾性纳入了接受免疫治疗的NSCLC患者。该队列的纳入标准如下:(1)2017年6月至2019年10月期间病理确诊为NSCLC;(2)接受ICI单药治疗或联合免疫化疗超过2个周期;(3)具有治疗前一个月内获取的组织学标本和胸部CT图像;(4)H&E全视野数字切片(WSI)和CT图像满足实验分析要求;(5)具有可用于分析的临床及随访生存数据。
根据RECIST 1.1标准[19],无进展生存期(PFS)定义为从免疫治疗开始至首次记录到疾病进展或因任何原因死亡的时间。疾病进展定义为靶病灶直径增加≥20%,且绝对增加≥5 mm。总生存期(OS)定义为从免疫治疗开始至因任何原因死亡的时间。末次随访日期为2024年8月10日。共有47例患者纳入免疫治疗生存验证队列。
病理评估
本研究中的PD-L1免疫组织化学(IHC)检测使用Dako 22C3抗体在Dako Autostainer Link 48平台上进行。所有切片均为福尔马林固定石蜡包埋(FFPE)标本。两位资深病理医师(Y. Gan医生和L.Y. Ding医生,均具有10年以上经验)独立评估肿瘤细胞中的PD-L1表达。采用肿瘤比例评分(TPS)表示肿瘤的PD-L1表达水平[10, 19]。PD-L1阳性定义为TPS≥1%,PD-L1阴性定义为TPS<1%。两位病理医师对PD-L1表达水平的判读不一致时,通过讨论达成共识。相应的H&E染色切片使用数字病理扫描仪(KF-PRO-400,KFBIO)在40倍放大下扫描,用于数据分析。
影像组学模型的构建
所有患者在PD-L1检测前均接受了胸部CT检查。详细的CT扫描和重建参数见补充材料第一部分和第二部分。所有CT图像均导入ITK-SNAP软件(版本3.8.0)中。一名经验丰富的放射科医生(黄D.P.医生,具有10年以上经验)在不知晓病理结果的情况下,逐层手动勾画肿瘤感兴趣区(ROI)。为评估分割的一致性,随机选取30例,1个月后由黄D.P.医生和娄K.H.医生(具有2年以上经验的放射科医生)分别独立重新分割。计算观察者间和观察者内的组内相关系数(ICC),以评估影像组学特征在观察者内和观察者间的可重复性。ICC ≥ 0.85被认为具有良好可重复性[20]。
使用PyRadiomics软件包提取影像组学特征——包括形状特征、一阶特征和纹理特征。在特征选择方面,采用t检验和最小绝对收缩与选择算子(LASSO)回归筛选最具判别力的影像组学特征。利用最终筛选出的稳定特征集,使用五种分类器构建模型:决策树、高斯过程、支持向量机、逻辑回归和随机森林。选择在测试集上表现最佳的分类器用于最终预测。经过ICC评估、t检验和LASSO回归筛选后,共选出19个稳定特征用于模型训练(补充表S2)。采用逻辑回归分类器构建最终模型。
病理深度学习模型的构建
首先,对H&E图像数据进行预处理。对于每张全切片图像(WSI),使用Otsu方法分割前景和背景区域。随后,采用滑动窗口方法将WSI划分为大小为1792 × 1792像素的图像块。其次,使用预训练的ResNet-50模型从每张WSI内的图像块中提取特征。鉴于神经网络的深层捕获与数据集相关的高级语义信息,而浅层捕获输入数据的低级特征表示,因此使用ResNet模型的第三个模块进行特征提取。第三个模块的输出被保存为提取的特征,用于后续模型训练。
在本研究中,病理流程采用双流多实例学习(DSMIL)框架[21]实现,该框架在WSI层面运行,不需要图像块级别的标注。每张WSI被划分为多个非重叠的图像块,模型仅使用切片级别的PD-L1 TPS标签(阳性或阴性)进行训练。在DSMIL架构中,注意力机制根据每个图像块与WSI级别预测的相关性自动为其分配权重。这些学习到的注意力分数反映了模型对每个图像块对阳性分类贡献可能性的内部估计。然后,根据这些注意力分数对所有图像块特征进行加权求和,形成统一的WSI级别表示,并将其传递给最终的全连接分类器。重要的是,训练过程中未生成、推断或使用任何图像块级别的标签;所有监督均来自WSI级别的金标准。
影像-病理融合模型的构建
在本研究中,我们整合了来自同一批患者CT图像的影像组学特征和H&E染色切片的深度学习病理特征。本研究的工作流程如图2所示。
影像组学特征以20维向量表示,病理特征以768维向量表示。在融合之前,两组特征分别使用最小-最大归一化方法进行独立归一化,将其数值范围调整到0到1之间。对任一模态均未进行降维处理。随后将归一化后的影像组学特征和病理特征直接拼接,为每位患者构建一个788维的多模态融合特征向量。该融合向量被输入线性分类层,模型训练以交叉熵损失进行监督。
统计分析
统计分析使用SPSS(版本25.0)、MedCalc(版本20.1)和RStudio(版本2023.12.1)进行。连续变量的组间差异采用独立样本t检验或Mann–Whitney U检验进行评估。分类变量的组间差异采用卡方检验或Fisher精确检验进行评估。预测模型的性能采用受试者工作特征(ROC)曲线进行评估,曲线下面积(AUC)使用DeLong法进行计算和比较。预测模型的临床效用采用决策曲线分析(DCA)进行评估。
与生存结局相关的影像-病理融合模型(FM)评分的截断值使用X-tile软件(版本3.6.1,耶鲁大学医学院)计算。采用Kaplan-Meier生存曲线和log-rank检验比较免疫治疗验证队列中的PFS和OS。采用单因素和多因素Cox回归分析确定与生存相关的因素,并使用C指数评估这些因素对生存结局的预测能力。p值<0.05被认为具有统计学意义。
结果
PD-L1预测队列
共纳入328例患者,按接近4:1:1的比例随机分为训练集(n=219)、验证集(n=56)和测试集(n=53)。最终队列包括182例PD-L1(+)和146例PD-L1(−)患者。PD-L1预测队列的基线特征见表1和表2。
大多数患者为男性(79.6%),中位年龄67岁,43%有吸烟史。PD-L1(+)组与PD-L1(−)组在性别和肿瘤分期方面观察到具有统计学意义的差异,而在年龄、吸烟史、癌胚抗原(CEA)或病理类型方面未观察到显著差异。在训练集、验证集和测试集三个子集之间,临床特征未观察到显著差异。
不同模型的表现
放射组学模型(RM)在训练集、验证集和测试集中的AUC分别为0.79、0.69和0.63。病理模型(PM)在三个数据集中的AUC分别为0.85、0.76和0.70。融合模型(FM)表现出最高的预测性能,在相应子集中的AUC分别为0.90、0.80和0.73。ROC曲线及相关指标见图3a–c和表3。DeLong检验显示,在训练集中,FM在区分PD-L1阳性与阴性表达方面显著优于放射组学模型和病理模型(p < 0.001)。然而,在验证集和测试集中,尽管FM的AUC数值上更高,但差异未达到统计学显著性(p > 0.05)(表3)。决策曲线分析表明,在全部三个数据集中,与其他两个模型相比,FM在较宽的阈值概率范围内提供了更大的净获益(图3d–f)。为了可视化FM的决策机制,生成了注意力热图。该图显示模型正确地关注了大多数PD-L1染色的肿瘤细胞,与PD-L1高表达一致(图4)。
除了基于PD-L1 TPS ≥ 1%的主要分析外,我们还评估了模型识别高PD-L1表达(TPS ≥ 50%)患者的能力。在测试集上,FM检测TPS ≥ 50%的AUC为0.69(95% CI:0.55–0.81),敏感性为75.0%,特异性为59.5%(补充图S1)。虽然该性能低于在≥ 1%阈值下观察到的结果,但相对较高的敏感性提示其在排除低PD-L1表达者或优先安排确证性IHC检测方面具有潜在应用价值。
放射-病理融合模型的预后预测验证
在应用纳入和排除标准后,本队列共纳入47例患者(表4)。大多数为男性(93.6%),中位年龄为67岁,鳞状细胞癌是主要的组织学类型(59.6%)。其中,21例(44.7%)接受了ICI单药治疗,26例(55.3%)接受了免疫联合化疗。本队列的中位PFS为8.34个月。对于OS,17例患者失访,其余30例患者的中位OS为29.47个月。使用影像-病理融合模型为每例患者生成评分。利用X-tile软件,确定FM评分预测生存预后的最佳截断值为0.46。根据该截断值,将患者分为高分组(≥ 0.46)和低分组(< 0.46),并评估两组间临床特征的差异(表4)。单因素分析显示,两组在大多数临床特征上无显著差异。然而,高分组的中位PFS显著长于低分组(16.6个月 vs 7.33个月,p < 0.001),中位OS也显著更长(39.77个月 vs 17.63个月,p = 0.021)。Kaplan–Meier生存曲线证实两组在PFS和OS上均存在显著差异(图5),高分组结局更优,提示FM评分在免疫治疗中具有显著的预后价值。按治疗方案、组织学亚型和临床分期进行的进一步分层生存分析一致表明,融合模型评分在各亚组中均可预测PFS,而其与OS的关联仍然有限——这可能是由于随访不完整以及亚组比较中样本量较小所致(补充图S2)。单因素Cox回归分析(表5)确定吸烟史(p = 0.045,HR = 2.00)、免疫联合化疗(p = 0.015,HR = 0.42)和FM评分(p < 0.001,HR = 0.0006)为与PFS相关的因素。多因素Cox回归分析(表5)证实,免疫联合化疗和FM评分均为PFS的独立预测因素(p < 0.05)。纳入吸烟史和治疗方案的临床模型C指数为0.63。加入FM评分后,预测准确性提高(C指数:0.74,95% CI:0.67–0.81)。
讨论
目前,已有多种生物标志物被确立为免疫治疗反应的预测因子,包括PD-L1、肿瘤突变负荷(TMB)[22]和循环肿瘤DNA(ctDNA)[23]。然而,这些生物标志物的检测方法各不相同,其预测效能也存在显著差异[24, 25]。其中,PD-L1尽管预测准确性不够理想,但仍是临床实践中首个且应用最广泛的生物标志物。然而,通过免疫组织化学(IHC)检测评估PD-L1存在若干局限性——如空间异质性、观察者间变异性和采样偏倚——可能影响结果的可靠性。在本研究中,我们率先将影像组学与组织病理图像的深度学习分析相结合,构建了一个影像-病理融合模型(FM),用于预测非小细胞肺癌(NSCLC)中PD-L1的表达。重要的是,我们的研究结果进一步表明,该多模态模型有望预测免疫治疗后的生存结局。
我们的结果显示,影像组学模型(RM)在训练集、验证集和测试集中的AUC分别为0.79、0.69和0.63。影像组学通过从医学图像中无创提取宏观空间和纹理特征,在疾病诊断、治疗指导和预后预测方面已展现出重要的临床价值[12]。相比之下,组织病理图像提供了肿瘤细胞形态和肿瘤微环境的详细信息,可直接反映肿瘤的侵袭性和异质性[26]。大量研究已证实,基于深度学习的病理图像分析可有效预测基因突变和治疗反应[14, 27, 28]。与之相一致的是,我们的病理深度学习模型在三个数据集中的AUC分别为0.85、0.76和0.70。值得注意的是,病理模型(PM)在所有子集中的表现均优于影像组学模型(RM),这可能是因为组织病理数据更直接地捕捉了与PD-L1表达和免疫治疗反应相关的细胞和微环境特征。因此,整合影像组学和病理学信息可提升预测模型的维度和生物学相关性,从而更准确地评估肿瘤生物标志物和治疗结局。
通过结合CT衍生的影像组学特征和基于H&E染色的病理特征,影像-病理融合模型(FM)有效区分了PD-L1阳性和PD-L1阴性的NSCLC患者。该模型在三个子集中的AUC分别为0.90、0.80和0.73,表现优于任一单模态模型。值得注意的是,我们用于模型开发的队列包含328例患者——规模小于其他已发表的影像组学研究[29–31]。尽管样本量相对有限,我们的模型仍取得了具有竞争力的预测准确性。这可能归因于多模态数据的互补性:宏观影像与微观病理细节的整合提供了丰富的多尺度生物学信息,弥补了数据量的不足。这些发现强调了多模态融合即使在较小数据集下也能提升模型性能的潜力,凸显了本研究方法的科学严谨性和创新性。
此外,FM在预测接受免疫治疗的NSCLC患者预后方面显示出一定的价值。FM评分高的患者其PFS和OS均显著优于评分低的患者,提示其在指导晚期NSCLC治疗决策方面具有临床应用价值。亚组分析显示,模型评分在不同临床和病理亚组中对PFS具有一致的预测价值,而对OS的预测能力则相对不够稳健。这种差异可能由PFS评估的客观性更强来解释,而OS则受多种因素影响——包括后续治疗、耐药性、合并症和社会经济状况[32]。此外,17例患者(约36.2%)失访,导致OS数据不完整,可能削弱了模型对OS的预测效能。单因素和多因素Cox回归分析证实,联合免疫化疗和FM评分均为PFS的独立预测因素,进一步支持了其增量预后价值。
人工智能在医学中的一个主要局限是许多模型的“黑箱”性质,这限制了其透明度和临床信任度[33]。为了提高可解释性,我们生成了注意力热图,以可视化FM在预测过程中所关注的区域。这些热图显示,模型主要关注具有膜性PD-L1染色的肿瘤细胞,而未染色的肿瘤细胞和非肿瘤间质细胞受到的关注较少。这一视觉证据支持了模型预测的生物学合理性和特异性,减少了对任意或虚假关联的担忧。
我们研究的另一项关键创新在于其临床可行性。尽管PD-L1 IHC仍是临床金标准,但其存在公认的局限性,包括组织消耗、观察者间差异以及偶尔出现的模棱两可的结果,尤其是在接近临床相关阈值(如1%)时。我们的FM通过使用治疗前常规可获得的数据——CT扫描和H&E染色的WSI——来解决这些挑战。重要的是,H&E切片是所有患者标准病理工作流程的一部分,因此该模型无需额外组织或专门的IHC检测即可提供PD-L1相关的信息。因此,该模型并非旨在取代IHC,而是在特定临床情况下作为一种补充工具。例如,当组织不足以进行全面生物标志物检测时、当IHC结果处于临界状态或延迟时,或当需要早期风险分层以指导治疗讨论时,该模型可能有所帮助。通过利用现有的诊断材料,该方法有潜力简化决策流程、降低成本并减轻患者负担。
应当承认存在若干局限性。首先,这是一项回顾性研究,本身存在选择偏倚的风险。其次,本研究样本量相对较小,且为单中心设计,可能影响模型的普适性。从训练集到测试集的性能下降提示存在一定程度的过拟合,这可能归因于病理特征的高维性和有限的样本量。值得注意的是,免疫治疗验证队列较小,且因失访导致OS数据不完整,限制了生存分析的稳健性。因此,我们的主要临床结论基于PFS,其数据更为完整,而关于OS的结论仅作为探索性结果呈现。缺乏外部验证进一步限制了普适性。未来需要更大规模、多中心的研究队列来验证和完善该模型。第三,数据存在明显的异质性。CT扫描采用不同的扫描设备和方案,病理标本同时包括活检和手术样本。此外,疗效评估基于RECIST 1.1而非iRECIST,因为常规实践中确认性扫描的可用性有限。虽然这可能低估了真实的免疫治疗相关进展模式,但这反映了真实世界的限制条件,并与许多回顾性生物标志物研究一致。最后,生存队列中部分患者失访,可能对OS估计引入偏倚,并限制了模型预测长期结局的能力。
总之,本研究提出了首个整合CT影像和H&E病理学的放射-病理基础模型(FM),用于预测非小细胞肺癌(NSCLC)中PD-L1的表达。我们进一步证明了其在预测免疫治疗预后方面的潜在价值。这些发现支持多模态人工智能模型在精准肿瘤学中的可行性和前景。
电子补充材料
补充材料
引用
- Huang, Xu, Gan, et al. A radio-pathological fusion model for predicting PD-L1 expression and immunotherapy response in non-small cell lung cancer. Insights Imaging. 2026. PMID: 42295571. doi:10.1186/s13244-026-02322-4
- 全文:PMC13269606(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13269606/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。