文献速递腹部胸部技术与安全CT

基于CT的多模态深度学习用于接受免疫治疗的晚期肝细胞癌患者总生存期无创预测

CT-based multimodal deep learning for non-invasive overall survival prediction in advanced hepatocellular carcinoma patients treated with immunotherapy.
PubMed 文献 · Insights Imaging · 2024-08-26

这项回顾性多中心研究纳入2018年至2022年52个中心接受免疫治疗的207例晚期肝细胞癌患者,构建结合基线与首次随访CT及7个临床变量的卷积-循环神经网络模型。多模态模型在验证集和测试集的1年总生存预测AUC分别为0.777和0.704,风险分层优于基于大小的RECIST标准。

要点

  • 模型输入为基线与首次随访静脉期CT自动选取的3个肝脏和3个肺部2D切片及7个临床变量。
  • 多模态模型RadCLN-D在验证集和测试集的1年OS预测AUC分别为0.777和0.704。
  • 按训练集中位风险评分0.66分层,RadCLN-D风险分层HR在验证集为3.330、测试集为2.024。

核心结论

  • CT扫描与临床数据的深度学习分析可为晚期肝细胞癌患者提供显著的预后信息。
  • 所建模型有助于监测患者疾病状态,并在首次随访时识别预后不良者。

研究设计与样本

  • 回顾性多中心研究,纳入2018年4月9日至2022年7月6日52个中心接受抗PD-1单克隆抗体治疗的不可切除肝细胞癌患者207例。
  • 按中心随机分配为模型开发集161例(37个中心)和评估集46例(15个中心),开发集再按8:2随机分为训练集和验证集。
  • 输入为基线及首次随访静脉期腹部CT(层厚重采样至5 mm)自动选取的3个肝脏和3个肺部2D切片,以及7个临床变量。
  • 参考标准为总生存期,采用Harrell C-index、时间依赖AUC、Kaplan-Meier法和log-rank检验评估。

关键影像表现/征象

  • Grad-CAM热图显示模型主要关注肿瘤区域,两名低风险患者的非肝脏恶性肿瘤导致模型检测到整个肝脏的热区。
  • 肺部扫描中模型同样更多关注可疑病灶区域。

诊断标准与关键数值

  • RadCLN-D的1年OS预测AUC在训练集为0.966、验证集为0.777、测试集为0.704;2年OS预测AUC分别为0.983、0.839、0.652。
  • 以训练集中位评分0.66为界,评分>0.66为高风险、≤0.66为低风险。
  • RadCLN-D风险分层HR在训练集为24.173(95%CI 12.181–47.971,p<0.001)、验证集为3.330(95%CI 1.369–8.102,p=0.008)、测试集为2.024(95%CI 1.009–4.064,p=0.047)。
  • RECIST标准风险分层HR为1.992(95%CI 1.119–3.545,p=0.019),RadCLN-D为2.450(95%CI 1.424–4.214,p=0.001)。

临床应用与阅片要点

  • 多模态模型RadCLN-D在验证集和测试集的C-index分别为0.752(95%CI 0.660–0.844)和0.695(95%CI 0.581–0.809)。
  • 单模态影像模型Rad-D的C-index在验证集为0.748(95%CI 0.664–0.832)、测试集为0.681(95%CI 0.573–0.789)。
  • 仅用基线影像的Rad-S的C-index在验证集为0.692(95%CI 0.569–0.815)、测试集为0.608(95%CI 0.504–0.712)。
  • 临床变量模型CLN的C-index在验证集为0.537(95%CI 0.406–0.668)、测试集为0.622(95%CI 0.500–0.744)。
  • 基于RadCLN-D构建的列线图可估算个体患者1年和2年生存概率,校准曲线显示预测与观察结果具有良好可比性。

局限性

  • 原文未报告局限性。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Aug 26;15:214. doi: 10.1186/s13244-024-01784-8

引言

肝细胞癌(HCC)是肝癌最主要的组织学类型,属于侵袭性恶性肿瘤,致死率高[1],是癌症相关死亡的第三大原因[2]。晚期HCC患者通常被评估为不适合手术。此类患者通常接受姑息性手术或非手术治疗的系统性方法,包括化疗、放疗、靶向治疗和免疫治疗[3, 4]。遗憾的是,这些治疗预后较差,中位总生存期(OS)约为1年[5, 6]。监测患者的疾病状态并识别预后不良的患者,有助于临床医生做出明智的治疗决策和及时干预。

实体瘤疗效评价标准(RECIST)是临床实践中评估肿瘤治疗反应的标准化方法[7, 8]。它提供了在纵向影像学检查中测量肿瘤大小变化的指南,并将治疗结果分为四类:完全缓解、部分缓解、疾病稳定或疾病进展[9]。虽然疾病进展通常与较差的预后相关,但两者之间是否存在严格的正相关尚未得到明确证实[10]。因此,传统指南在临床实践中无法为HCC患者的OS提供可靠的预测。

目前,人工智能的日益普及使得卷积神经网络(CNN)被广泛用于从临床图像中自动提取特征,并为疾病预后提供见解[11, 12]。已有许多深度学习模型利用病理图像(主要是苏木精-伊红切片)预测HCC患者的生存结局[13–15]。此外,基因测序已被用于区分HCC患者的生存亚群[16]。这些定量影像学研究在预测预后风险方面均取得了良好的表现。然而,由于部分患者缺乏病理和遗传数据,单一时间点的生物标志物在晚期阶段可能效果较差。系列CT扫描提供了一种无创且信息丰富的方法来捕捉肿瘤动态变化。然而,据我们所知,目前尚无利用系列CT扫描进行晚期HCC预后预测的模型。

因此,我们旨在开发一个深度学习模型来预测晚期HCC患者的生存结局。研究数据包括一个多中心临床试验队列,这些患者在参与免疫治疗试验之前曾接受过常规治疗。我们收集了纵向CT影像和少量临床变量来构建多模态预后模型。所设计的模型采用卷积-循环神经网络(CRNN)结构,从CT图像中解码空间信息,并提取基线与随访之间肿瘤变化的时间信息。比较了不同输入模态的各种预测模型。为评估所提出模型带来的额外获益,比较了深度学习方法与传统RECIST标准之间的风险分层能力。

材料与方法

数据收集

所有数据均通过伦理审查(申请号I2021173I),并获得中国人类遗传资源管理办公室批准(批准号[2021] GH5565),所有参与者均提供知情同意。这项回顾性、多中心研究纳入2018年4月9日至2022年7月6日期间接受抗PD-1单克隆抗体治疗(clinicaltrials.gov注册号:NCT03419897)的不可切除肝细胞癌(HCC)患者。收集患者的CT扫描和临床信息。排除标准为:(1)缺乏完整的腹部静脉期CT扫描;(2)失访。经过样本筛选后,来自52个跨国中心(站点位于中国、法国、德国、意大利、波兰、西班牙和英国)的207例患者用于训练和验证模型。患者按中心随机分配用于模型开发(包括来自37个中心的161例患者)和评估(包括来自15个中心的46例患者)。模型开发数据集进一步按8:2比例随机分为训练集和验证集(图1)。

图1 患者筛选流程工作图 查看原图 ↗

CT成像与临床信息获取

患者在增强CT扫描前需口服或静脉注射对比剂。所有参与者均必须进行腹部增强成像,强烈推荐进行胸部成像。同一患者各次就诊的成像方法保持一致(即各期相采集时间、对比剂、扫描模式和参数)。静脉期CT图像使用不同扫描仪采集,然后重采样并线性插值至5 mm层厚。腹部扫描归一化为窗宽(WW)400、窗位(WL)0,胸部扫描归一化为WW 1200、WL −600。

为减少计算负荷同时保留整个CT扫描中信息量最大的部分,从每个3D CT扫描中自动选取三个肝脏层面和三个肺部层面作为模型输入。肝脏和肺部代表性层面的选取过程如下:若存在肿瘤,从3D扫描中选取轴位视图上肿瘤尺寸最大的三个2D层面。若含肿瘤的层面少于三个,则先选取含肿瘤的层面,再根据最大器官尺寸(肝脏或肺部)选取剩余层面,以呈现该特定器官的整体状态。若不存在肿瘤,则所有代表性层面均根据最大器官尺寸选取(图2a)。为实现这一目标,使用四个预训练的自动化模型分割肺部、肺部肿瘤、肝脏和肝脏肿瘤的边界。这些预训练分割模型基于nnU-Net架构[17],该架构是一种自适应框架,可根据数据集特征自动调整模型超参数以达到最优性能。该架构在包括肝脏和肺部在内的多器官和肿瘤分割任务中已取得最先进(SOTA)的结果[18]。这些选定的2D CT图像被重塑为224 × 224并标准化为零均值和方差为一,作为深度学习模型的输入。训练图像以0.5的概率随机翻转以进行数据增强。

临床数据包括七个变量:肿瘤组织学分化类型、非酒精性脂肪性肝炎(NASH)或非酒精性脂肪性肝病(NAFLD)的存在、既往手术史、部分或完全门静脉癌栓(PVTT)的存在、外照射放疗(EBRT)治疗、经动脉栓塞(TAE)/经动脉化疗栓塞(TACE)治疗以及射频消融(RFA)/微波消融(MWA)治疗。

研究标签,即总生存期(OS),从临床记录表(CRF)中获取。对于删失患者,删失时间定义为CRF中记录的时间与最近一次CT扫描时间之间的最大值。

图2 图像选择与模型示意图。a 代表性CT图像选择过程,从3D扫描到选定的2D肝脏和肺部扫描。b 深度学习模型流程图。特征维度已标注。M,取平均值 查看原图 ↗

模型开发

图2b展示了深度学习模型(后续内容中称为“Rad-D”)处理放射学图像的工作流程。模型输入由基线和第一次随访扫描组成。根据纳入标准和影像采集方案,每位患者均有基线及随访腹部扫描。然而,如果随访胸部图像不可用,则将基线图像复制并用作随访的替代,这是一种在纵向数据分析中被称为末次观测值结转(LOCF)策略的常见做法[19]。LOCF是一种用于填补数据集中缺失值的方法,即用该数据点最后已知的非缺失值替换任何缺失值。LOCF可以在不增加模型复杂度的情况下提高数据利用率。

共12幅图像(每个时间点每个器官3幅图像)被输入到EfficientNet-b0 [20]中,使用在ImageNet上预训练的权重来提取特征。EfficientNet-b0是一种轻量级CNN骨干网络,采用复合缩放来提升性能。从基线和随访中各取三幅代表性图像提取的特征取平均值后,输入长短期记忆(LSTM)模块[21]以捕获时间信息。LSTM是一种循环神经网络(RNN),利用记忆单元和门控机制来有效捕获和处理序列数据。然后,将肝脏和肺部特征拼接,并使用线性层来预测风险评分。

不同输入模态模型的简要描述如下:

CLN:一种多变量Cox比例风险模型,使用七个临床变量进行风险回归(图S1a)。

Rad-S:一种不使用随访扫描和RNN层的深度学习模型。它仅使用EfficientNet-b0从基线图像中提取特征(图S1b)。

RadCLN-S:一种多模态模型,将CLN和Rad-S的风险评分相结合,然后使用双变量Cox模型计算以预测预后风险(图S1c)。

Rad-D:上述使用CRNN结构评估基线和随访CT扫描的深度学习模型。

RadCLN-D:一种多模态模型,通过使用双变量Cox模型将CLN的临床风险评分与Rad-D输出的放射学评分相结合来预测预后风险(图S1d)。

深度学习模型的梯度优化过程采用偏似然损失函数,这是一种无偏且高效的方法来估计Cox比例风险模型的参数。

模型使用1 × NVIDIA A100(40 G)训练了200个epoch,CRNN在PyTorch 1.11.0和MONAI 0.9.1中实现,批量大小为16,使用Adam优化器,学习率为5 × 10−5。代码可在https://github.com/EstelleXIA/ProgHCC获取。

评估指标与统计分析

模型性能使用Harrell一致性指数(C-index)[22]以及不同时间点的受试者工作特征曲线下面积(AUC)[23]进行评估。C-index量化模型正确排序个体对相对风险的能力。生存估计使用Kaplan–Meier法计算低危组和高危组,分组基于训练集预测得分的中位数进行分层。进一步计算风险比(HR),并使用log-rank检验测量显著性。对于RadCLN-D模型,使用Cox回归系数生成列线图。校准曲线用于展示列线图确定的实际结局与预测结局之间的一致性。

统计检验使用R4.2.2中的survival、survcomp、survminer、timeROC和rms包进行。双侧p < 0.05表示统计学显著性。模型解释使用梯度加权类激活映射(Grad-CAM)[24],并通过pytorch-gradcam 0.2.1进行可视化。

结果

患者特征

207例患者(平均年龄61岁 ± 12 [SD],180例男性)的特征见表1。在所有患者中,基线与随访CT之间的中位间隔为55天。中位生存时间为475天,其中138例患者(66.7%)已死亡。训练集、验证集和测试集之间的生存状态无显著差异(图S2,训练集 vs 验证集,HR,1.051,95%置信区间[CI]:0.662–1.669,p = 0.833;训练集 vs 测试集,HR,1.032,95% CI:0.686–1.552,p = 0.880;验证集 vs 测试集,HR,1.039,95% CI:0.604–1.790,p = 0.889)。组织学类型方面,207例患者中,29例(14%)为高分化,154例(74%)为中分化,23例(11%)为低分化,1例(< 1%)为未分化。基线症状方面,35例(17%)有NASH/NAFLD,36例(17%)有PVTT。额外治疗方面,109例(53%)接受了手术,10例(5%)接受了EBRT,121例(58%)接受了TAE/TACE,58例(28%)接受了RFA/WMA。多变量Cox回归基于七个变量计算风险评分,公式为:(图S3,C-index = 0.630,p = 0.018)。

表1 患者特征 查看原表 ↗

不同模型在生存预测上的比较

在验证集和独立测试集上,对CLN、Rad-S、RadCLN-S、Rad-D和RadCLN-D的预测性能进行了比较(表2和表3及图S4)。临床变量显示出不利的预测性能,验证集上的C指数为0.537(95% CI:0.406–0.668),测试集上为0.622(95% CI:0.500–0.744)。使用基线放射学图像在验证集上达到C指数0.692(95% CI:0.569–0.815),在测试集上为0.608(95% CI:0.504–0.712)。通过纳入第一次随访图像,性能表现出显著改善,在验证集和测试集上分别达到0.748(95% CI:0.664–0.832)和0.681(95% CI:0.573–0.789)。多模态输入(RadCLN-S和RadCLN-D)优于单模态(CLN、Rad-S和Rad-D)。RadCLN-S在验证集上达到C指数0.697(95% CI:0.574–0.820),在测试集上为0.638(95% CI:0.536–0.740)。RadCLN-D在验证集上达到0.752(95% CI:0.660–0.844),在测试集上为0.695(95% CI:0.581–0.809)。时间依赖性ROC在生存预测性能上显示出相似的模式(图S4b和S4c)。

为进一步证明模型的预后预测能力,评估了模型的风险分层能力。RadCLN-S、Rad-D和RadCLN-D有效将患者分为高风险组和低风险组(图3右、图S5和图S6),证明模型能够利用临床信息和基线CT扫描或仅基线和第一次随访扫描来识别生存风险。在所有模型中,RadCLN-D表现出最高的预测性能,因为它包含了最全面的信息。

表2 预后预测模型的一致性指数 查看原表 ↗
表3 预后预测模型的时间依赖性AUC 查看原表 ↗
图3 RadCLN-D的性能。左,展示了基于多模态预测的风险评分分布。热图用于说明两种模态(放射学和临床)的分布水平。中,1年和2年的时间依赖性ROC曲线。右,OS的Kaplan–Meier生存估计,根据训练集中的中位风险评分分层为低风险组和高风险组。AUC,曲线下面积;HR,风险比 查看原图 ↗

RadCLN-D准确预测OS

进一步详细说明了RadCLN-D的表现。RadCLN-D通过公式将CRNN结构输出的放射学评分与临床评分相结合,两种模态均对OS预测有显著贡献(图4b,放射学,p < 0.001;临床,p = 0.0056;Wald检验)。对于1年OS预测,训练集中的AUC为0.966,验证集中为0.777,测试集中为0.704。对于2年OS预测,训练集中的AUC为0.983,验证集中为0.839,测试集中为0.652(图3,中)。多模态评分较低的患者倾向于被删失或具有相对较长的生存时间,而大多数评分较高的患者出现早期死亡(图3,左)。使用训练数据的中位评分作为截断值,将患者分层为高风险组和低风险组,即“评分 > 0.66”表示高风险,“评分 ≤ 0.66”表示低风险。为检验泛化性,验证集和测试集中使用的风险评分计算和截断值分层与训练集一致。多模态评分显示出可靠的预测准确性。它在所有训练集(HR,24.173,95% CI:12.181–47.971,p < 0.001)、验证集(HR,3.330,95% CI:1.369–8.102,p = 0.008)和测试集(HR,2.024,95% CI:1.009–4.064,p = 0.047)中均实现了显著的风险分层。

基于RadCLN-D预测模型开发了列线图,用于确定个体患者的OS(图4a)。它使临床医生能够以清晰简洁的方式估计1年和2年生存概率。校准图表明,在训练集、验证集和测试数据集中,列线图与理想模型之间具有良好可比性(图4c)。

此外,为评估模型的稳健性,验证集和测试集中的患者根据所使用的制造商进行分组。在78例患者中,主要制造商为西门子(37例患者)和通用电气(33例患者)。由于飞利浦、东芝和日立医疗等其他制造商的样本量较小,这些患者未纳入分析。比较了两种主要制造商患者的预后性能,西门子组的C指数为0.728,通用电气组为0.707。

图4 建立并验证RadCLN-D的列线图。a 对于放射学评分和临床评分,在列线图提供的标尺上定位相应值,然后相加得到总分。从总分值作垂线即为1年和2年生存概率的预测概率。b 放射学评分和临床评分的重要性。c 列线图在预测与观察1年生存结局之间一致性方面的校准 查看原图 ↗

深度学习模型的解释

为展示深度学习模型的可解释性,从测试集中选取了四名患者,包括两名被Rad-D预测为高风险和两名被预测为低风险的患者,以解释所构建的CRNN架构。热图突出了图像中对网络决策过程贡献最大的区域。预后模型特别关注肿瘤区域(图5a、b,肝脏扫描,肿瘤上最热的区域),这与高恶性区域与预后强烈相关的常见医学知识一致。两名低风险患者的非肝脏恶性肿瘤导致模型检测到整个肝脏的热区域(图5c、d,肝脏扫描)。在肺部扫描中可以观察到深度学习模型预测的类似热图模式,即模型更多地关注可疑病变区域。

图5 深度学习模型的解释。Grad-CAM计算目标类别得分(即风险评分)相对于网络最后一个卷积层特征图的梯度。这些梯度随后通过梯度的平均池化进行加权,以获得特征图的重要性权重,然后归一化到[0,1](蓝色接近零,红色接近一),并与原始特征图线性组合。展示的四个病例选自独立测试集。a、b 两名模型预测为高风险的患者。c、d 两名模型预测为低风险的患者 查看原图 ↗

RadCLN-D相对于传统基于大小的方法的增量价值

采用独立审查委员会评估的RECIST结果,将进展状态的患者分配至高危组。比较了RadCLN-D和传统RECIST标准的风险分层性能(图6)。RECIST结果显示出可接受的风险预测性能,因为缓解状态显著分层了高风险组和低风险组(HR,1.992,95% CI:1.119–3.545,p = 0.019)。然而,RadCLN-D表现出更强的分类能力(HR,2.450,95% CI:1.424–4.214,p = 0.001),表明基于深度学习的方法相对于传统基于大小的方法有所改进。

图6 深度学习模型和传统RECIST标准的风险分层。结果基于验证集和测试集的组合。a 深度学习模型RadCLN-D的风险分层,高风险组定义为评分 > 0.66,低风险组定义为评分 ≤ 0.66。b RECIST标准的风险分层,高风险组定义为首次随访时疾病进展,低风险定义为首次随访时未观察到进展。HR,风险比;RECIST,实体瘤疗效评价标准 查看原图 ↗

讨论

在本研究中,我们开发并验证了一个深度学习模型,该模型从放射影像和临床变量中解码时空信息,以预测晚期HCC患者的预后结局。我们的多模态方法将基线和第一次随访扫描与临床信息相结合,在验证集中达到1年AUC为0.777,在独立测试集中为0.704。此外,缺失模态的模型,即基于单模态影像的模型(Rad-D)和仅纳入基线扫描的模型(RadCLN-S),仍可实现良好的风险分层性能(除测试集上的RadCLN-S外,所有p < 0.05,p = 0.053)。与传统RECIST标准相比,该深度学习模型表现出更优的预后预测能力(RECIST,HR,1.992,p = 0.019;RadCLN-D,HR,2.450,p = 0.001)。本研究表明,对CT扫描进行深度学习分析可产生有价值的预后信息,以指导接受免疫治疗的晚期HCC患者的监测。

HCC的预后预测可帮助医生制定更有针对性的治疗方案,从而最大化患者的治疗效果。随着放射组学和深度学习技术的发展,已有若干针对HCC的预后预测模型。He等[25]利用从增强腹部CT扫描中提取的放射组学,开发了针对巨梁状-团块型HCC患者的生存模型。Meng等[26]采用了一种深度学习模型,利用CNN分析MRI图像以预测肝切除术后早期复发。Xu等[27]提出了一种深度预测网络,利用CT图像中全肝和肿瘤掩膜的信息来预测早期复发。Zhang等[28]使用预训练CNN模型从CT扫描中提取特征,然后采用机器学习方法对接受索拉非尼治疗不可切除患者提供OS预测。Wei等[29]提出了一种深度学习模型,利用基于自动分割的MRI放射组学特征来评估术后早期复发风险。然而,这些预后模型并非专门为接受免疫治疗的晚期HCC患者开发。接受免疫治疗的HCC患者通常进行多次影像随访,以帮助观察药物疗效。因此,这些仅利用单一时间点数据的模型无法捕捉肿瘤的动态生长特征。此外,肺是晚期肝癌最常见的转移部位。因此,评估胸部状况对预后预测很重要。将现有方法直接应用于晚期HCC可能影响模型性能,因为它们仅关注肝脏而忽视肺部。

在我们开发的模型中,我们使用了基线和随访时的肝脏和肺部图像,采用CRNN结构进行预后预测。CNN能够熟练地从放射影像中提取与预后相关的特征。结合临床信息,RadCLN-S能够实现精确的生存预测。此外,RNN架构有效捕捉基线和随访测量之间的肿瘤变化。时间和空间信息的整合导致风险分层结果改善。

模型性能从多个角度(即时间依赖性AUC、风险分层能力和总体C-index)在多中心数据上的验证结果说明了该深度学习模型的实用性和优越性。不同输入设置下模型的比较结果表明,即使缺少某些模态,模型仍能产生 reasonably accurate 的预测结果。此外,与RECIST标准的比较表明,与人工评估全身病灶生长趋势相比,深度学习囊括了超出大小的额外信息,为预后预测增加了增量信息。我们的模型有潜力被有效用于晚期HCC患者的预后预测,并帮助临床医生制定自适应治疗计划以改善患者结局。

我们提出的预后模型具有可解释性。热图可以提供与预后相关区域的粗略定位,这证明了影像学输入的可解释性。对于肝脏热图,尽管我们没有在模型中明确输入肝脏或肝脏肿瘤区域作为辅助信息,热图始终揭示出肝脏内的高亮区域。具体而言,在两名高风险患者中,着色最深的红色核心区域定位于肿瘤区域,提示肿瘤的存在与模型预测的不良预后之间存在强关联。此外,模型对肿瘤区域的关注允许更全面地捕捉肿瘤特征,如大小和形态。这些肿瘤相关特征与预后密切相关。

此外,本研究中选择的临床变量也是可解释的。它包括HCC常用的治疗方法,如手术切除和局部非手术治疗,以及先前已确立并报道的预后变量。临床Cox回归模型(CLN模型,图S3)的结果与先前研究的证据一致。德国癌症研究中心[30]报道,免疫治疗未能为NASH/NAFLD患者提供生存获益,原因是肝脏内异常CD8+/PD-1+T细胞的积累。PVTT被认为是晚期疾病的标志,未经治疗的病例中位OS仅为2.7–4.0个月[31]。组织学分化类型是公认的预后因素,较高的分化类型通常提示较好的预后[32, 33]。至于治疗,既往接受过RFA/MWA、EBRT或手术切除的患者均表现出阳性预后效应。TAE/TACE治疗与预后之间存在反向关系,这可能是由于病情较重的患者中TAE/TACE干预频率较高。

我们提出的模型在处理放射学影像方面是高效的。具有代表性的二维扫描图像是通过预训练的当前最优(SOTA)分割模型从原始全身CT扫描中自动选取的。以往大多数工作通过手动勾画特定肿瘤区域来生成输入[34, 35],这种方式劳动强度大,且对于晚期肝细胞癌(HCC)而言因存在多灶性肝脏病变而不可行。此外,将肿瘤及其周围组织纳入模型输入可为生存预测提供额外的指示信息。一些研究[36, 37]采用半自动种子生长法来创建感兴趣区域,但在病灶识别方面仍需大量人工投入。基于深度学习的分割模型在自动描绘肺和肝脏的肿瘤及组织区域方面可取得相当的性能[17, 38, 39]。因此,我们整合了当前最优模型来辅助代表性层面的选取,最终使模型更加用户友好。

我们的研究数据来自多个中心,数据的多样性使模型能够适应不同厂商,使其在各种成像设置下更具鲁棒性和可迁移性。实验结果表明,我们的模型在不同设备上表现相似,证明了模型的泛化能力。

我们的研究存在局限性。首先,一些晚期肝癌患者除肺部外可能还存在其他转移性病灶,如脑、淋巴结和肾上腺。尽管已有报道称,除肺转移外的远处器官转移通常不会对预后产生不利影响[40],但未来的工作可以考虑更多转移器官以潜在改善预测性能。其次,研究数据为回顾性收集,可能引入各种偏倚。应开展更大样本量的前瞻性研究以进一步验证所提出模型的实用性。

总之,使用多模态卷积循环神经网络(CRNN)模型对CT扫描进行深度学习分析可提供有价值的预后信息,从而实现对晚期HCC患者的有效监测。所提出的方法可帮助临床医生基于从CT扫描和临床信息中得出的风险分层模式,就患者管理和随访策略做出知情决策。

补充信息

电子补充材料

引用

  1. Xia Y, Zhou J, Xun X, et al. CT-based multimodal deep learning for non-invasive overall survival prediction in advanced hepatocellular carcinoma patients treated with immunotherapy. Insights Imaging. 2024. PMID: 39186192. doi:10.1186/s13244-024-01784-8
  2. 全文:PMC11347550(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11347550/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。