基于多病灶和时间序列CT图像的深度学习模型预测IV期胃癌抗HER2靶向治疗获益
多中心研究纳入207例接受抗HER2靶向治疗的HER2阳性IV期胃癌患者,构建基于多病灶和时间序列CT图像及肿瘤标志物的列线图Nomo-LDLM-2F预测总生存。内部验证和前瞻性队列一年AUC分别为0.894(0.728-1.000)和0.809(0.561-1.000),外部验证无肿瘤标志物的Nomo-w/o TDLM一年AUC为0.771(0.510-1.000)。Nomo-LDLM-2F低评分患者较高评分患者从抗HER2靶向治疗中显著获得生存获益(均p<0.05)。
要点
- Nomo-LDLM-2F低评分患者较高评分患者从抗HER2靶向治疗中显著获得生存获益(均p<0.05)。
- 基于两次随访CT的LDLM-2F在内部验证、外部验证和前瞻性队列一年AUC分别为0.844(0.673-0.971)、0.683(0.350-0.957)和0.690(0.419-0.962)。
- 仅用基线CT的LDLM-BS在三个队列中均未能区分高、低风险组的总生存(p>0.05)。
核心结论
- 基于基线和早期随访CT图像构建的深度学习模型可预测接受抗HER2靶向治疗的HER2阳性IV期胃癌患者的总生存。
- 多病灶和时间序列CT图像分析可同时关注IV期胃癌的时空异质性,可能帮助临床医生早期做出治疗决策。
研究设计与样本
- 多中心研究,共纳入207例HER2阳性IV期胃癌患者,其中来自中心1的137例回顾性收集并随机按2:1分为训练集(n=91)和内部验证集(n=46),前瞻性收集33例纳入前瞻性队列,外部验证队列纳入来自中心2-4的37例(郑州大学第一附属医院25例、南京大学医学院附属鼓楼医院10例、上海交通大学医学院附属瑞金医院2例)。
- 患者于2011年11月至2019年11月从四个中心回顾性入组,并于2019年12月至2020年12月在中心1前瞻性入组,均接受曲妥珠单抗抗HER2靶向治疗,收集基线和治疗后CT图像(训练队列最多四次随访,验证队列仅使用基线和最多两次随访)。
- 共收集680次CT扫描和703次肿瘤标志物检查;两位有两年诊断经验的放射科医生用ITK-SNAP(版本3.8)在原发性肿瘤和目标病灶最大层面手动勾画边界框,由一位有18年诊断经验的资深放射科医生审核。
- 根据RECIST v1.1,每位患者选取最多五个基线直径大于10 mm的目标病灶,共在全身CT动脉期和静脉期(肝转移灶仅静脉期)勾画4104个边界框。
- 采用基于Transformer架构的两级注意力深度学习框架,第一级为时间异质性Transformer(TH-former)建模病灶或肿瘤标志物随时间的变化,第二级为对象异质性Transformer(OH-former)建模多病灶或肿瘤标志物特征间的交互。
关键影像表现/征象
- GradCAM热图显示低风险组(HER2 3+,第二次随访评估为SD,TB=-27.49%,治疗25个周期后进展,OS为34.1个月)模型关注原发肿瘤和淋巴结边缘部分。
- 高风险组(HER2 3+,第二次随访评估为SD,TB=-11.34%,第三次随访时进展,OS为10.97个月)模型高度关注原发肿瘤和肝转移灶。
- 高风险组中淋巴结与腹膜转移灶呈强协同相关,淋巴结与其他转移灶总体高度相关。
- LDLM在高风险组较低风险组更关注第一次随访,提示预后差的患者可能更早出现耐药。
诊断标准与关键数值
- LDLM-2F在内部验证、外部验证和前瞻性队列的一年AUC分别为0.844(0.673-0.971)、0.683(0.350-0.957)和0.690(0.419-0.962)。
- Nomo-LDLM-2F在训练队列、内部验证队列和前瞻性队列的一年AUC分别为0.891(0.785-0.967)、0.894(0.728-1.000)和0.809(0.561-1.000)。
- 外部验证队列中无肿瘤标志物的Nomo-w/o TDLM一年AUC为0.771(0.510-1.000)。
- LDLM-BS在三个队列中高、低风险组总生存差异均无统计学意义(p>0.05);LDLM-2F在三个队列中高、低风险组总生存差异均有统计学意义(均p<0.05,log-rank检验)。
- Nomo-LDLM-2F低评分患者较高评分患者从抗HER2靶向治疗中显著获得生存获益(均p<0.05)。
临床应用与阅片要点
- 本研究中心开发了本院软件(附加文件2:视频),由经验丰富的人员快速标注ROI以计算风险概率,并结合临床信息和RECIST评估结果评估患者长期预后。
- 作者认为,基于基线和早期随访CT图像的深度学习模型可能帮助临床医生早期做出治疗决策。
局限性
- 作者指出,虽纳入多中心患者,但样本量仍然有限。
- 作者指出,虽使用边界框减少工作量,但放射科医生仍需手动分割ROI。
- 作者指出,这是单一成像模态的预测模型,希望纳入MRI或病理图像等其他模态使其更可靠和稳健。
- 作者指出,需要更大患者人群、最好包含多模态信息和合并症因素的前瞻性收集数据来验证其泛化性和准确性。
全文中译14 节 · 点击展开
引言
胃癌(GC)在全球范围内是第五大最常见癌症,也是癌症相关死亡的第三大原因[1]。在人表皮生长因子受体2(HER2)过表达在17–30.5%的胃癌患者中被检出[2, 3]。抗HER2靶向治疗已被证明是胃癌的一种切实可行的治疗方法[4]。在曲妥珠单抗治疗胃癌(ToGA)研究中,曲妥珠单抗联合化疗将HER2阳性晚期胃癌患者的总生存期(OS)延长至16个月。然而,ToGA研究报告的客观缓解率仅为47.3%[5]。因此,识别有潜力从抗HER2靶向治疗中获益的患者早已迫在眉睫。
胃癌以高度的时空异质性为特征,这在抗HER2治疗耐药中起着至关重要的作用[6]。时间异质性表现为治疗前后HER2状态的变化,而空间异质性则表现为原发灶与转移灶之间HER2表达的不一致[7]。临床上缺乏评估IV期胃癌时空异质性的方法。胃镜下多点采样只能代表原发肿瘤在特定时间点的静态快照,无法反映不同转移灶随时间推移对靶向治疗的异质性特征。因此,迫切需要开发一种能够在时间和空间两个维度上预测抗HER2靶向治疗长期预后的模型,以便实施个体化治疗。
临床医生主要使用肿瘤标志物和影像学图像来追踪肿瘤的动态变化[8]。RECIST v1.1通常用于评估晚期胃癌的治疗疗效,其仅关注病灶的单维测量,而未考虑整体情况。然而,由于胃的空腔性质,原发肿瘤无法被确定为靶病灶。相比之下,有证据支持人工智能可以揭示治疗过程中的纵向异质性[9–12]。Xu等人开发的深度学习模型利用基线和第1、3、6个月的随访CT图像来预测接受放化疗的非小细胞肺癌患者的生存和癌症特异性结局[8]。Lu等人使用不限数量的时间序列CT图像训练深度学习模型,并使用基线和两个月随访图像来预测转移性结肠癌患者的OS[9]。迄今为止,尚无研究使用基于时间序列CT图像的深度学习模型来筛选从抗HER2靶向治疗中获益的胃癌患者。我们认为早期影像学变化值得挖掘,因为它们从时间维度展示了肿瘤对靶向治疗的反应性或耐药性。
本研究收集的多病灶和时间序列图像能够更好地反映IV期胃癌(GC)的时空异质性。我们构建了一个基于注意力机制的深度学习框架,能够自动从不同时间点的多个病灶中识别特征,用于抗HER2靶向治疗的OS预测。我们将该框架应用于时间序列CT图像和肿瘤标志物,引入了基于病灶的深度学习模型(LDLM)和基于肿瘤标志物的深度学习模型(TDLM)。此外,我们将深度学习模型与临床信息相结合,构建了一个列线图(Nomo-LDLM),以实现对OS概率的准确早期预测。
方法
数据收集
我们回顾性纳入了2011年11月至2019年11月期间在四个中心接受曲妥珠单抗治疗的HER2阳性晚期GC患者,并前瞻性纳入了2019年12月至2020年12月期间在中心1就诊的患者。北京大学肿瘤医院(PUCH)伦理委员会批准了本研究(编号:2020KT08)。OS定义为从开始抗HER2治疗至任何原因死亡或最近一次随访的时间。
患者招募详情见图1和文本S1。共纳入375例诊断为HER2阳性晚期GC的患者,其中207例符合标准的患者纳入分析。回顾性收集的来自中心1的137例患者按2:1比例随机分为训练队列和内部验证队列(分别为n=91和46),前瞻性收集的33例患者纳入前瞻性队列。外部验证队列包括来自中心2-4的37例患者(郑州大学第一附属医院25例,南京大学医学院附属鼓楼医院10例,上海交通大学附属瑞金医院2例)。我们在训练队列中纳入基线和治疗后最多四次随访的CT图像用于模型构建,并在其他队列中仅使用基线和治疗后最多两次随访的CT图像验证其早期预测性能。此外,中心1还记录了基线和治疗后最多两次随访的肿瘤标志物用于模型改进(中心2/3/4的肿瘤标志物未纳入)。共收集了680次CT扫描和703次肿瘤标志物检查。表S1显示了CT扫描的方案详情。
数据预处理
工作流程见图文摘要。对于CT图像,两名放射科医师(M.H.和J.Y.,均具有两年诊断经验)使用ITK-SNAP(版本3.8)在原发肿瘤和目标病灶的最大层面手动提供边界框。根据RECIST v1.1,对于每例患者,放射科医师在基线时选择最多五个直径大于10 mm的目标病灶。然后,放射科医师使用边界框标记每个病灶,并保持基线和随访图像上边界框的大小一致,以维持尺度信息。边界框随后由一名资深放射科医师(L.T.,具有18年诊断经验)审核。所有阅片者均对人口学信息设盲。
如图形摘要所示,图像在输入网络之前按以下方式处理:(1)从CT切片中提取标注边界框区域的1.5倍作为病灶的兴趣区域(ROIs);(2)将矩形ROI对称填充至其最小外接正方形以生成图像块,然后重采样至224 × 224分辨率;(3)肺转移瘤以窗位-400、窗宽1500进行归一化,腹部病灶以窗位50、窗宽350进行归一化;(4)通过-30至30°的随机旋转对图像进行增强,以应对临床环境中的不确定性。我们对标注病灶的上层和下层应用相同的操作,获得3通道图像(224 × 224 × 3),以提供更丰富的上下文信息(图S1、S2、文本S2和表S2)。对于肿瘤标志物,我们使用训练队列中的均值和方差对所有数据进行归一化(表S3)。
基于深度学习的模型
我们使用Transformer架构[13–15]构建了一个两级注意力深度学习框架。第一级为时间异质性Transformer(TH-former),对病灶或肿瘤标志物随时间变化的特征变化进行建模。第二级为目标异质性Transformer(OH-former),对多个病灶或肿瘤标志物特征之间的交互进行建模,并为每位患者生成特征描述性签名。该框架分别实例化为针对病灶的LDLM和针对肿瘤标志物的TDLM(图S4、文本S3和S4)。训练LDLM时,输入模型的CT图像包含基线和最多四次随访,通过降低时间依赖性信号噪声提高了模型的稳健性[10, 16]。随后,在验证队列中,将基线和最多两次随访获得的CT图像纳入模型,用于早期治疗中预测。
对于一位患者的多个ROI,首先通过特征提取器提取特征,然后使用注意力加权进行组合。图S5展示了特征融合的可视化示例。我们首先定义一个可学习的聚合向量;然后通过Transformer的注意力加权模块,将时间序列病灶间异质性的重要性传递至该向量。通过这种聚合,每位患者无论目标病灶数量多少,均只有一个结局向量。最后,我们使用带softmax层的多层感知机生成预测的OS概率,即一个范围从0到1的连续变量,低值表示不良OS(< 12个月),高值表示良好OS(> 12个月)。此外,我们使用掩码操作处理临床环境中的缺失数据(文本S5)。代码可在GitHub https://anonymous.4open.science/r/HER2/ 上找到。
基于RECIST v1.1和肿瘤负荷的模型
我们基于RECIST v1.1和肿瘤负荷测量建立了两个预后模型(TB-delta模型)。对于RECIST模型,我们根据RECIST标准评估基线与第二次随访之间直径的相对变化。TB-delta通过基线与第二次随访之间目标病灶面积总和的百分比变化来测量。如果患者仅有基线和第一次随访CT图像,则RECIST和TB-delta的结果基于这两次检查计算。
使用列线图的整体模型
深度网络高度关注高阶特征[17]。相比之下,基于尺寸的RECIST关注一阶特征,为深度网络提供了良好的补充。我们通过Cox回归基于多个变量(LDLM评分、TDLM评分、RECIST和临床信息)构建了一个列线图,称为Nomo-LDLM,以实现优势互补。我们还构建了一个不含TDLM评分的列线图Nomo-w/o TDLM,用于在无肿瘤标志物的外部验证队列中进行性能比较。
深度学习模型的解释
Transformer模块(TH-former和OH-former)的核心模块对多个组件(时间点和对象)之间的复杂关系进行了建模。我们将Transformer的最后一层描绘为注意力图,其突出了不同时间点的贡献,并区分了高风险组和低风险组中来自不同器官的病灶之间的关系。特别地,我们使用梯度加权类激活映射(GradCAM)算法生成LDLM的热图可视化。热图中的高响应区域表示模型更加关注病灶的该部分,表明在像素水平上病灶与风险概率之间存在强关系[18]。
统计分析
数据以均值±标准差描述。定量变量采用Kruskal–Wallis检验,相关样本采用Wilcoxon符号秩检验。定性变量采用Pearson卡方检验和Fisher检验。一致性指数(C-index)和一年AUC用于比较模型预测OS的性能。在训练队列中使用Youden指数选择最佳截断值,并在其他队列中将患者分层为低风险组或高风险组。采用Kaplan–Meier分析和log-rank检验比较两组的OS。采用校准曲线和Hosmer–Lemeshow检验分析列线图的预测能力。统计分析使用R 4.1.3和Python 3.7进行。p < 0.05表示差异有统计学意义。
结果
临床特征
本研究最终纳入来自4个中心的207例HER2阳性IV期GC患者(表1)。不同中心和队列的Kaplan–Meier分析显示生存差异无统计学意义(分别为p = 0.22和0.064,图S6)。研究共使用680次CT扫描,检查了涉及10个解剖部位的765个病灶(207个原发灶和558个目标病灶,平均每例患者3.70 ± 1.23个)。仅17例个体(占总数的8%)只接受了一次随访CT检查,其他患者均采集了基线和至少两次随访CT图像。在全身CT的动脉期和静脉期(肝转移灶仅静脉期)共勾画了4104个边界框。四个队列之间目标病灶的数量和面积无显著差异(p > 0.0083,Bonferroni校正,表S1和S4)。
LDLM的建立与验证
该模型在训练队列中使用331个病灶的2125个边界框进行训练,然后纵向预测患者随时间变化的风险概率。我们发现,基于两次随访的深度学习模型总体上优于LDLM-BS和LDLM-1F(基线(BS);一次随访(1F);两次随访(2F),表3),其内部验证、外部验证和前瞻性队列的一年AUC分别为0.844(0.673–0.971)、0.683(0.350–0.957)和0.690(0.419–0.962)。
我们根据训练队列的约登指数选择最佳截断值。预测风险概率大于截断值的患者被归类为高风险组,风险概率较低的患者被归类为低风险组。在两組之间进行Kaplan–Meier分析,以比较基于基线无随访或最多两次随访CT扫描的模型的预后分层能力(图2)。我们发现,LDLM-BS在三个队列中均未在高风险组和低风险组之间产生统计学显著的预后差异(p > 0.05)。随着随访CT扫描的加入,高风险组和低风险组之间OS的分层逐渐变得更加可区分(LDLM-2F:所有p < 0.05,log-rank检验)。
LDLM-2F与其他模型的比较
如表2所示,我们建立了八种预后模型:RECIST、TB-delta、LDLM-BS、LDLM-1F、LDLM-2F、TDLM、Nomo-LDLM-2F和Nomo-w/o TDLM(图S7)。图3显示了Nomo-LDLM-2F及其一年生存校准曲线。Nomo-LDLM-2F的预测结果与实际结果高度一致(训练AUC = 0.891(0.785–0.967),内部验证 = 0.894(0.728–1.000),前瞻性 = 0.809(0.561–1.000))。在外部验证队列中,Nomo-w/o TDLM也达到了0.771(0.510–1.000)的AUC(图4A)。
在预后预测方面,RECIST表现相对较好;然而,它未能在所有队列中进行风险分层(图S8)。Nomo-w/o TDLM或Nomo-LDLM-2F在四个队列中优于其他模型,表明随访图像的加入提供了关于时间异质性的额外信息,从而能够实现更精确的预后分层。包含TDLM的列线图在内部验证和前瞻性队列中表现最佳,表明肿瘤标志物的加入完善了多维模型(表3,图4B、C)。
GradCAM用于可视化LDLM中高亮的区域
我们使用GradCAM来定位与预后相关的显著性信息,以对肿瘤或周围区域被激活的病灶进行聚类。GradCAM证实了LDLM在揭示高风险组和低风险组之间时空差异方面的优越性。图5展示了两名患者,一名来自低风险组(I),HER2 3+,在第二次随访时评估为SD(TB = -27.49%);疾病在25个周期治疗后进展,OS为34.1个月。GradCAM映射聚焦于原发肿瘤和淋巴结边缘部分。另一名高风险组患者(II)同样为HER2 3+,在第二次随访时诊断为SD(TB = -11.34%);疾病在第三次随访时进展,OS为10.97个月。在GradCAM图中,LDLM高度关注原发肿瘤和肝转移灶。如图6A所示,在高风险组中淋巴结与腹膜转移灶具有强烈的协同相关性。总体而言,淋巴结与其他转移灶具有高度相关性。我们还观察了高风险组和低风险组中不同时间点注意力模式的重要性(图6B)。与低风险组相比,LDLM在高风险组中更多关注第一次随访,提示预后不良的患者更可能在早期阶段出现耐药。
讨论
我们利用来自多个中心的多病灶和时间序列CT图像,建立了一个由临床数据和影像学特征构建的列线图,该列线图可在早期阶段评估接受抗HER2靶向治疗的IV期GC患者的OS结局。
原发灶和转移灶之间的异质性对于治疗评估和临床决策至关重要。GC高度的病灶级别异质性使得仅从单个病灶准确评估整体治疗反应变得困难[19, 20]。大多数既往影像组学研究仅使用原发灶[9, 21]或目标病灶[10]来预测预后。在我们的消融实验中,我们发现单独使用原发灶效果不佳,而单独使用目标病灶虽然取得了更高的性能但仍不令人满意。我们的模型同时考虑了原发灶和目标病灶,取得了良好的性能,提示互补信息是有用的(表S5)。我们利用GradCAM图来可视化LDLM中肿瘤间相互作用的重要性。高风险患者的病灶相互作用模式更为复杂。它最关注腹膜转移灶与原发肿瘤和淋巴结之间的关系,这可能与高度侵袭性的生物学行为有关。
此外,追踪肿瘤演变对于预测靶向治疗的预后至关重要。既往的影像组学研究主要关注单一时间点的治疗前图像。在本研究中,我们通过引入时间位置提供了明确的时间信息,使模型能够区分基线与随访扫描。若不加入时间位置嵌入,模型的性能将会减弱,因为它仅关注患者在多个时间点的整体特征,而非序列信息(表S6)。随访CT扫描是抗肿瘤治疗实践中的常规组成部分。我们的模型无需额外侵入性检查即可提供随时间变化的额外动态信息,帮助临床医生评估患者是否适合接受抗HER2靶向治疗。
此外,既往研究仅使用交叉熵损失函数[22, 23]或生存损失[24, 25]来训练预后模型。然而,表S7显示,使用“”优于单独使用任一损失函数。交叉熵损失更关注不同组之间的可区分表征,而生存损失负责排列所有样本之间的关系,为边缘样本提供额外信息。我们通过消融实验验证了聚合两种损失可提升模型性能(文本S6及表S7和表S8)。
本研究存在若干局限性。我们纳入了来自多个中心的患者,但样本量仍然有限。因此,我们在训练队列中最多收集了四次随访CT图像,以减少时间相关的信号噪声。我们还设置了多个随机种子以确保可重复性(文本S7和表S9)。此外,尽管我们使用边界框来减少工作量,放射科医生仍需手动分割感兴趣区(ROI)。而且,这是一个单一成像模态的预测模型。我们希望纳入其他模态(如磁共振成像或病理图像)以使其更加可靠和稳健。我们已在中心开发了内部软件(附加文件2:视频),经验丰富的研究人员快速标注ROI以计算风险概率,并结合临床信息和RECIST评估结果来评估患者的长期预后。因此,需要更大患者人群的数据,最好是前瞻性收集的更全面数据,包含多模态信息和合并症因素,以验证其泛化性和准确性。
总之,本研究基于基线和早期随访CT图像证明,深度学习模型可以预测接受抗HER2靶向治疗的IV期胃癌(GC)患者的总生存期(OS)。对多病灶和时间序列CT图像的分析可以同时关注IV期胃癌的时空异质性,这可能有助于临床医生做出早期治疗决策。
补充信息
附加文件1:文本S1。患者招募的详细信息。文本S2。预处理流程的详细信息。文本S3。LDLM的详细信息。文本S4。TDLM的详细信息。文本S5。缺失数据处理的具体细节。文本S6。文本S7。表S1。四个中心的CT扫描方案。表S2。不同中心的归一化参数。表S3。不同肿瘤标志物的归一化参数。表S4。标注信息的统计。表S5。模型输入病灶的消融研究。表S6。验证队列上时间位置嵌入的消融研究。表S7。验证队列上不同损失函数的消融研究。表S8。小批量大小对验证队列生存损失的影响。表S9。验证队列上不同随机种子的可重复性分析。表S10。所有模型在四个队列中预测总生存期的性能比较及预测一年生存期的AUC比较。图S1。CT图像预处理示例。图S2。输入数据的典型示例,包括基线和前两次随访时的边界框。图S3。基于ResNet-18的CNN特征提取器架构。图S4。模块的详细信息。图S5。通过注意力加权机制,时间异质性Transformer和对象异质性Transformer将患者不同时间点的不同病灶特征进行组合,生成基于病灶的深度学习评分。图S6。不同中心和队列的总生存期分析。图S7。未纳入TDLM的列线图(Nomo-w/o TDLM)。图S8。在训练队列、内部验证队列、外部测试队列和前瞻性队列中,按RECIST 1.1分层进行的总生存期Kaplan–Meier分析(p < 0.05,log-rank检验)。图S9。用于说明掩码操作如何处理特定肿瘤标志物缺失的示例病例。
附加文件2:补充视频。
引用
- He M, Chen ZF, Liu S, et al. Deep learning model based on multi-lesion and time series CT images for predicting the benefits from anti-HER2 targeted therapy in stage IV gastric cancer. Insights Imaging. 2024. PMID: 38411839. doi:10.1186/s13244-024-01639-2
- 全文:PMC10899559(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10899559/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。