基于放射组学增强的深度学习用于结直肠癌同时性腹膜转移风险评估
本研究纳入220例结直肠癌患者,基于治疗前PET/CT图像构建放射组学增强的深度学习模型评估同时性腹膜转移风险。该模型在训练、内部验证、外部验证及全部验证集的AUC分别为0.926、0.897、0.885和0.889,性能优于经典放射组学模型、临床及主观CT征象模型和SUVmax评估。
要点
- 放射组学增强深度学习模型在全部验证集AUC为0.889(95%CI:0.823-0.954),用于术前评估同时性腹膜转移风险。
- 模型在内部验证集AUC为0.897(95%CI:0.801-0.994),外部验证集AUC为0.885(95%CI:0.795-0.975)。
- 纳入肿瘤周围区域(扩展ROI)可提升CT和PET模型性能,验证集平均AUC分别为0.739±0.027和0.798±0.007。
核心结论
- 放射组学增强的深度学习模型在治疗前PET/CT图像上对同时性结直肠癌腹膜转移的术前预测表现出更优的估计性能。
- 该模型可为制定更个性化的治疗方法和随访计划提供潜在帮助。
研究设计与样本
- 回顾性研究,纳入220例在南通大学附属医院诊断为结直肠癌的患者,其中腹膜转移80例、无转移140例。
- 2016年6月至2023年8月纳入患者,2023年3月前患者按6:2:2随机分为训练集(n=123)、内部验证集(n=41)和外部验证集,2023年3月至2023年8月诊断的所有患者归入外部验证集(n=56)。
- 基于ResNet50架构,使用PET/CT图像块和放射组学特征图训练放射组学增强的深度学习模型,并以AUC评估各模型性能。
关键影像表现/征象
- CT放射组学特征图与图像叠加后肿瘤边界较原图更清晰,若原图肿瘤周围存在脂肪浸润,对应位置放射组学特征图像素值相应降低。
- CT特征图中与显著性图平均相关性最高的是基于GLDM的小依赖强调(0.145)和基于GLDM的小依赖高灰度强调(0.146)。
- PET特征图中与显著性图平均相关性最高的是基于GLCM的差值熵(0.288)和基于GLDM的大依赖低灰度强调(0.258)。
- CT生成的特征图与显著性图的总体平均相关性低于PET。
诊断标准与关键数值
- 放射组学增强深度学习模型在训练集AUC为0.926(95%CI:0.874-0.978),内部验证集为0.897(95%CI:0.801-0.994)。
- 该模型在外部验证集AUC为0.885(95%CI:0.795-0.975),全部验证集为0.889(95%CI:0.823-0.954)。
- 经典PET/CT放射组学模型在训练、内部、外部及全部验证集的AUC分别为0.813(95%CI:0.736-0.890)、0.680(95%CI:0.504-0.855)、0.642(95%CI:0.473-0.810)、0.659(95%CI:0.537-0.779)。
- 临床及主观CT征象模型在训练、内部、外部及全部验证集的AUC分别为0.797(95%CI:0.717-0.877)、0.727(95%CI:0.567-0.887)、0.786(95%CI:0.657-0.915)、0.758(95%CI:0.658-0.858);SUVmax的AUC分别为0.650(95%CI:0.544-0.757)、0.680(95%CI:0.506-0.853)、0.672(95%CI:0.518-0.826)、0.686(95%CI:0.575-0.798)。
临床应用与阅片要点
- 作者认为,对于高风险患者,有必要更详细地搜寻转移灶或制定更紧凑、更敏感的随访计划。
- 本研究模型可评估患者当前风险并预测腹膜转移的短期显著进展,即使对初始评估为阴性的患者也可提醒医生更详细搜寻转移灶或制定更敏感的随访计划。
- 本研究独立预测因素包括CEA和CA19-9水平升高,以及肿瘤位于右半结肠与腹膜转移倾向更高相关(p=0.020)。
局限性
- 原文未报告局限性。
全文中译17 节 · 点击展开
引言
结直肠癌(CRC)是癌症相关死亡的第二大原因[1]。在初次诊断时,5%–15%的CRC患者存在腹膜转移[2]。同时性结直肠癌腹膜转移(CRPM)是指腹膜转移(PM)在初次诊断时或术后六个月内发生的情况[3]。PM的预后严峻,缺乏标准治疗,平均预期生存时间为6至12个月[4, 5]。尽管贝伐珠单抗联合西妥昔单抗可将CRPM患者的总生存期(OS)延长18.2个月,但其疗效仍不及肝转移和肺转移[6]。一项多中心III期临床试验证明了细胞减灭术(CRS)在治疗CRPM方面的潜力,中位OS为41.2个月[7]。CRPM的准确诊断至关重要;然而,诊断过程具有挑战性,且并非所有患者都能接受腹腔镜检查以获得病理确诊。
无创方法常用于预测PM,其中癌胚抗原(CEA)和糖类抗原19-9(CA19-9)等血清肿瘤标志物发挥重要作用,其在一定程度上反映了肿瘤的侵袭、增殖及对腹膜间皮细胞的侵犯,但并非所有患者均表现为肿瘤标志物升高,使其仅作为辅助诊断工具[8, 9]。计算机断层扫描(CT)对小于0.5 cm的腹膜病灶的敏感性仅为11%–48%[10]。尽管弥散加权磁共振成像(DW-MRI)和PET/CT对CRPM具有高敏感性和特异性,但它们可受到呼吸运动和肠道蠕动、病灶大小变化及病理类型等因素的影响。特别是18F-氟脱氧葡萄糖PET/CT(18F-FDG PET/CT)对包括CRC在内的多种恶性肿瘤的诊断和分期具有重要价值,但由于正常肠道对FDG的生理性摄取以及某些黏液性肿瘤摄取较低,鉴别腹膜癌病灶具有挑战性[11, 12]。此外,影像诊断中阅片者间的变异性也无法完全避免。
影像组学和深度学习算法在医学影像分析中日益受到认可[13, 14]。提取手工影像组学特征可敏感地检测肿瘤形态或功能的细微异质性。Li等人利用从原发肿瘤病灶和最大转移淋巴结中提取的CT纹理特征,在预测CRPM状态方面展示了高准确率[14]。然而,手工影像组学特征高度依赖于准确勾画病灶边界。相比之下,卷积神经网络通过直接从输入图像中学习特定特征,提高了准确性并消除了对精确病灶描绘的需求[15]。
本研究利用手工影像组学和深度学习的互补性,开发一种影像组学增强的深度学习模型,基于PET/CT图像用于同时性CRPM的术前风险评估。值得注意的是,目前尚无关于应用基于PET/CT的影像组学和深度学习方法预测同时性CRPM的报道。
方法与材料
患者选择
本回顾性研究获得南通大学附属医院伦理委员会批准,因其回顾性性质而豁免知情同意。研究纳入2016年6月至2023年8月在南通大学附属医院诊断为结直肠癌(CRC)的220例患者。2023年3月之前,患者按6:2:2比例随机分为训练组(n = 123)、内部验证组(n = 41)和外部验证组。随后,2023年3月至2023年8月诊断的所有患者均分配至外部验证组(n = 56)。纳入80例腹膜转移(PM)和140例无转移(NM)患者。纳入标准包括:(1)在任何治疗前接受FDG-PET/CT扫描;(2)通过手术或活检确诊CRC;(3)可获得随访数据和临床病理信息。排除标准包括:(1)手术前接受新辅助化疗和放疗;(2)PET/CT图像质量差影响准确标注;(3)腹部创伤、腹盆腔感染或其他恶性肿瘤并发病灶。详细的队列纳入情况见图1。临床病理数据和实验室结果在PET/CT扫描前两周内收集。同时性结直肠癌腹膜转移(CRPM)状态评估的详细信息见补充材料A1。
感兴趣区(ROI)图像块生成
18F-氟脱氧葡萄糖正电子发射断层扫描/计算机断层扫描(18F-FDG-PET/CT)检查、图像预处理和CT主观征象评估的详细信息见补充材料A2。使用Lifex软件(版本7.23)[16],在轴位最大肿瘤横截面图像上沿病灶轮廓勾画原始感兴趣区(ROI)。围绕每个手动原始ROI创建最小矩形边界,并进行裁剪以获得原始ROI图像块。为探索周围组织的潜在贡献,我们在ROI最小边界框周围扩展10个像素,创建扩展ROI图像块(图2)。所有图像调整为224 × 224。
放射组学特征图(RFM)生成
经典放射组学通常用于捕捉ROI的整体纹理,但可能无法有效辨别细微的纹理变化。为解决这一局限性,我们设计了计算RFM的工作流程,如图2所示。利用7 × 7矩阵尺寸的核,我们从ROI中提取了75个放射组学特征,具体包括GLCM × 24、GLDM × 14、GLRLM × 16、GLSZM × 16和NGTDM × 5(参见表1)[17]。利用该核,我们通过在ROI图像块上滑动,生成75个与ROI图像块尺寸相同的特征图,并将核的中心值填充到每个像素中。
对于每个特征,以ROI为中心,利用移动核在ROI图像块上作为滑动窗口操作来赋值特征值。该过程最终形成75个特征图,保持与原始ROI图像块相同的尺寸。
为减少特征冗余,我们对训练队列中的每位患者计算每对射频特征图(RFM)之间的皮尔逊相关系数(r),从而生成123个协方差矩阵。随后在平均皮尔逊协方差矩阵中排除r > 0.95的高度相关特征图[18]。
神经网络架构
我们探索了两种神经网络架构,即ResNet34(图3A)和ResNet50(图3B)。为使模型适应特定问题,我们采用了迁移学习和微调技术,包括:(1)使用ImageNet的预训练权重初始化卷积基,(2)将最后两个全连接层(FC)作为自由参数用于特定任务的训练[19]。为防止过拟合,在两个FC层之间设置了dropout,输出采用softmax激活。深度学习模型的详细参数见补充材料A3。
对于试点模型,唯一输入包括原始和扩展的ROI图像块。灰度ROI图像块被广播至三个通道以匹配预训练神经网络的输入形状。在影像组学增强模型中,通过堆叠灰度ROI图像块和两个RFM作为输入变量生成三通道图像。这两个RFM基于试点模型的显著性图(SM)选取,SM indicating each pixel's importance for final classification。SM中强度值较高的像素被认为对神经网络诊断更为关键,因此选择在训练数据集中与SM平均相关性最高的两个RFM。对于每个模型,我们通过50次运行评估稳定性。随后,选择平均曲线下面积(AUC)最佳的模型及其输入变量作为最终模型。选择最接近平均AUC的模型以获得所有病例的输出概率。最后,基于网络输出概率,使用多变量逻辑分析构建PET/CT影像组学增强深度学习模型。
模型比较
影像组学增强深度学习与经典影像组学模型的比较
我们对影像组学增强深度学习模型与经典影像组学模型进行了对比分析,以评估其有效性。经典影像组学模型的构建过程详见补充材料A4。
影像组学增强深度学习与临床及主观CT表现模型的比较
采用单变量逻辑回归分析探讨临床信息和主观CT表现对CRPM风险的影响。临床及主观CT表现模型使用后向逐步选择的多变量逻辑分析构建。
基于最大标准化摄取值(SUVmax)的分类
SUVmax是PET/CT研究中广泛认可的半定量参数。我们在队列中评估了基于SUVmax的逻辑回归模型作为基线比较[20, 21]。
统计分析
使用R版本4.2.2(http://www.r-project.org)进行统计分析。分类变量以计数及比例表示,而正态分布和非正态分布的连续变量分别以均值±标准差、中位数和四分位距表示。双侧p < 0.05的显著性水平被认为具有统计学意义。使用“pROC”包进行ROC分析。采用Wilcoxon符号秩检验比较试点模型中50次运行的结果。
结果
临床信息和主观CT表现
表2显示了所有队列的人口统计学和主观CT表现。根据随访结果将患者分为两组:PM和NM。在三个队列中,两组间肿瘤浸润周围脂肪和CA19-9水平均观察到显著差异。原发肿瘤位置、SUVmax和CEA水平在训练队列和外部验证队列中表现出差异。患者年龄仅在内验证队列中达到统计学意义(p < 0.05)。
试点模型的预测性能
表3总结了定量比较结果,包括训练队列和内验证队列中试点模型与放射组学增强模型的灵敏度、特异度、准确率、阳性预测值(PPV)、阴性预测值(NPV)、AUC以及50次运行的平均AUC。在所有试点模型中,使用扩展ROI图像块作为输入变量在验证队列中获得了更高的平均AUC值(p < 0.001)。比较ResNet34和ResNet50模型,后者在使用任何CT图像块作为输入变量时均获得平均AUC增益,并使用PET扩展ROI图像块作为输入变量,产生了相似的结果(p < 0.001)(图S1 A、B、D和E)。最终,从试点模型中选择了两个最优模型:以CT和PET扩展ROI图像块作为输入变量的ResNet50,表现出更高的AUC和更低的标准差(SD),表明其具有高水平的稳健性(分别为0.739 ± 0.027和0.798 ± 0.007)。在内验证队列中最接近平均AUC值的CT模型的AUC、准确率、灵敏度、特异度、PPV和NPV分别为0.749、0.659、0.600、0.692、0.529和0.750,而在PET模型中分别为0.797、0.732、0.933、0.615、0.583和0.941。
RFM选择和放射组学增强深度学习模型构建
图4A、C展示了由CT和PET图像的扩展ROI图像块生成的RFM的平均相关性热图。在排除高度相关的特征后,CT和PET的RFM分别包括37个和27个特征。两个试点模型中RFM与SM之间的平均相关值如图4B、D所示,绿色方框突出显示了表现最佳的特征。对于CT图像块的RFM,基于GLDM的小依赖强调(SDE)(0.145)和基于GLDM的小依赖高灰度强调(SDHGLE)(0.146)达到了最高的平均相关性。类似地,对于PET图像块的RFM,选择了基于GLCM的差分熵(DE)(0.288)和基于GLDM的大依赖低灰度强调(LDLGLE)(0.258)。由CT生成的RFM的总体平均相关值低于PET。
与仅使用CT扩展ROI图像块作为输入的ResNet50相比,加入RFM后模型性能显著提高(AUC从0.739 ± 0.027提高到0.866 ± 0.018,p < 0.001)(图S1 C)。内部验证队列的AUC、准确率、敏感性、特异性、PPV和NPV分别为0.869、0.780、0.800、0.769、0.667和0.870。出乎意料的是,放射组学增强模型在PET中的性能下降(AUC从0.798 ± 0.007降至0.796 ± 0.008,p = 0.006)(图S1 F和表3)。
在对多种模型进行全面比较后,确定了两个基于PET/CT图像的最佳模型:(1)以CT ROI扩展图像块 + RFM作为输入的ResNet50。(2)仅以PET ROI扩展图像块作为输入的ResNet50。通过对两个模型输出概率进行多变量逻辑回归,获得放射组学增强深度学习模型评分。该模型不仅在训练队列和内部验证队列中表现出最佳预测性能,而且在外部验证队列中具有较高的泛化能力。内部验证队列的AUC、准确率、敏感性、特异性、PPV和NPV分别为0.897(95%置信区间(CI):0.801–0.994)、0.829、0.800、0.846、0.750和0.880,外部验证队列分别为0.885(95% CI:0.795–0.975)、0.821、0.700、0.889、0.778和0.842。在所有验证数据集中,这些值分别为0.889(95% CI:0.823–0.954)、0.825、0.743、0.871、0765和0.857(表4)。所有数据集均显示NM组与PM组之间存在差异(图5A)。根据Hosmer-Lemeshow检验,在训练、内部、外部和所有验证数据集中,理想曲线与预测校准曲线相似(p分别为0.225、0.224、0.447、0.696)(图5B、C)。
模型比较
放射组学增强深度学习与经典放射组学模型的比较
放射组学模型在所有队列中的AUC见图S2 A–F。通过多变量逻辑回归计算的PET/CT经典放射组学模型评分在训练、内部、外部和所有验证数据集中产生的AUC分别为0.813(95% CI:0.736–0.890)、0.680(95% CI:0.504–0.855)、0.642(95% CI:0.473–0.810)和0.659(95% CI:0.537–0.779)。IDI和DeLong检验表明,与经典放射组学模型相比,放射组学增强深度学习模型的性能有所提高(IDI = 0.302,p < 0.001;DeLong检验,p < 0.001)(图5D–G)。
放射组学增强深度学习与临床及主观CT表现模型的比较
采用单因素和多因素logistic回归筛选出3项临床信息和1项主观CT特征,构建临床及主观CT征象模型(表5)。训练集、内部验证集、外部验证集及全部验证集的AUC分别为0.797(95% CI:0.717–0.877)、0.727(95% CI:0.567–0.887)、0.786(95% CI:0.657–0.915)和0.758(95% CI:0.658–0.858)。其性能仍低于放射组学增强深度学习模型(IDI = 0.206,p = 0.005;DeLong检验,p = 0.024)(图5D–G)。
SUVmax评估
SUVmax表现有限,训练队列AUC为0.650(95% CI:0.544–0.757),内部验证集、外部验证集及全部验证集AUC分别为0.680(95% CI:0.506–0.853)、0.672(95% CI:0.518–0.826)和0.686(95% CI:0.575–0.798)(图5D–G)。所有模型的AUC、准确率、灵敏度、特异度、PPV和NPV的详细数据见表4。
讨论
本研究采用放射组学与深度学习相结合的新方法用于同时性结直肠癌腹膜转移(CRPM)的风险预测。所提出的放射组学增强深度学习模型完全优于临床及主观CT征象模型、经典放射组学模型和SUVmax评估,取得了最佳性能。我们认为,对于高危患者,有必要更详细地搜索转移病灶或制定更紧凑、更敏感的随访方案。
本研究中CRPM的独立预测因素包括CEA和CA19-9水平升高,这与既往研究结果一致[22–25]。此外,我们还发现位于右半结肠的肿瘤具有更高的腹膜转移(PM)倾向(p = 0.020)。既往研究表明,与左半结肠腺癌(32.5%)相比,黏液腺癌(42.3%)和印戒细胞癌(48.8%)在右半结肠更为常见,其PM概率分别为20.1%、48.2%和51.2%(p < 0.001)[26]。近期结直肠癌(CRC)研究探索了放射组学和深度学习技术的应用[27–31]。Li等[14]基于原发肿瘤病灶和最大转移淋巴结的纹理特征开发了放射组学-临床融合模型,在预测同时性CRPM方面取得了良好性能(训练集AUC:0.855,验证集:0.793)。Yuan等[32]采用基于ResNet3D + SVM的深度学习框架,在PM检测方面展现出潜力,但需要大量计算资源。Zhang等[33]利用元学习算法成功开发了具有稳健泛化能力的PM检测模型,尽管原始数据有限,其AUC达到0.728。
同时性CRPM起病隐匿,症状缺乏特异性。国家指南推荐将血液学检查、影像学检查、诊断性腹腔镜以及腹水或灌洗液细胞学检查作为CRPM的主要诊断工具[12, 34–36]。然而,由于各种方法的局限性,相当数量的患者直至手术探查时才被诊断为PM[37]。本研究通过病理学或影像学进行至少六个月的随访,基于治疗前PET/CT图像开发了经典影像组学和影像组学增强的深度学习模型。这些模型能够有效评估CRPM患者的当前风险并预测短期显著进展,即使在最初评估为阴性的患者中也是如此。它可以提醒医生更详细地寻找转移病灶或制定更敏感的随访方案。在本研究中,构建了四个CT和两个PET影像组学特征的经典影像组学模型用于同时性CRPM风险评估(补充材料A5)。值得注意的是,在本研究中,CT衍生特征强调图像纹理的复杂性和均匀性,而PET特征仅为一阶特征,描绘ROI内像素或体素的分布,类似于医生的阅片判读,忽略了空间相关性[17]。然而,依赖预定义特征的经典影像组学模型预测准确性较差(所有验证数据集的AUC:0.659(95% CI:0.537–0.779))。既往研究已强调深度学习与影像组学特征之间的协同作用,促使本研究通过深度学习技术提升模型效能,同时利用影像组学特征的优势[38–41]。
为克服深度学习需要大量训练数据集的挑战,我们应用迁移学习和数据增强来扩展数据集并防止过拟合。ResNet精简的架构和高效的训练时间有效捕捉了预测特征,这在本研究中得到证实,并得到其他研究的支持[3, 42]。
为了理解肿瘤周围组织对分类的影响,我们标注了额外的图像区块,涵盖原始感兴趣区(ROI)的周围区域。纳入周围组织显著提升了CT和PET模型的性能,在验证队列中平均AUC分别达到0.739 ± 0.027和0.798 ± 0.007。这一观察结果与CT图像上对肿瘤周围脂肪浸润的主观评估一致(所有队列中p < 0.05)。在结直肠癌(CRC)中,pT4分期——提示肿瘤细胞侵犯浆膜——已被确定为关键的独立预后因素,其重要性超过局部扩散和淋巴结受累 [43]。Santvoort等 [44] 主张对影像学怀疑T4期CRC的患者在选择性地切除术前进行诊断性腹腔镜检查。放射组学特征图(RFMs)的引入是一个值得注意的亮点,其捕捉ROI内由解剖因素驱动的细微纹理变化,而非以标量值计算的放射组学特征。既往关于肺部疾病的研究已验证了该方法的合理性,提示RFMs中潜在的功能信息可提高CRC患者腹膜转移(PM)术前风险评估的准确性 [18, 45]。CT图像与RFMs的叠加产生了显著的性能增益,其中基于GLDM的SDE和基于GLDM的SDHGLE与SM的相关性最高。基于GLDM的SDE评估小依赖性的分布,值越大表示依赖性越小、纹理越不均匀。基于GLDM的SDHGLE测量小依赖性与较高灰度值的联合分布。两组RFMs中的肿瘤边界比原始图像中更清晰,且若原始图像中肿瘤周围存在脂肪浸润,则RFMs中相应位置的像素值相应降低(图6)。
基于PET原始ROI区块的神经网络模型表现出良好的预测性能,但经放射组学增强后性能受到抑制。这可能归因于原始图像中丰富的组织代谢信息,但图像中像素数量少且缺乏解剖纹理信息。这些结果与近期研究一致,表明原发肿瘤组织中FDG代谢水平与结直肠癌腹膜转移(CRPM)之间存在密切关系,易导致PM的黏液成分表现出较低的FDG摄取,尽管本研究中AUC值相对较低 [9, 46, 47]。
图6展示了两种深度学习模型的推理过程。SM中的像素代表深度学习模型中的注意力,热区根据注意力模式着色。该模型对CT图像的肿瘤周围区域表现出更多关注,而PET图像中的注意力则显示出FDG代谢的显著差异。
本研究应承认若干局限性。首先,这是一项回顾性单中心研究,样本量相对较小且存在潜在偏倚,可能高估模型性能。未来应在不同数据库(如多中心、更大样本量)中开展进一步研究。其次,部分CRPM患者的诊断依赖随访,因无法接受手术或腹腔镜探查以确认,导致缺乏金标准诊断。第三,本研究采用二维卷积神经网络,将三维病灶信息转换为二维,可能破坏不同肿瘤层面之间的空间拓扑关系,可能导致肿瘤整体评估关键信息的丢失。第四,本研究中经典影像组学模型仅从肿瘤病灶提取特征,未纳入肿瘤周围区域。最后,我们观察到基于临床和主观CT表现的模型表现出高敏感性。未来,将深度学习模型与临床信息整合可能实现更高的诊断效能。
总之,我们的结果表明,影像组学增强的深度学习模型优于经典影像组学模型、SUVmax模型以及临床和主观CT表现模型。这可能有助于医生为患者制定更个性化的治疗决策和随访计划。
补充信息
电子补充材料
引用
- Zhang D, Zheng B, Xu L, et al. A radiomics-boosted deep-learning for risk assessment of synchronous peritoneal metastasis in colorectal cancer. Insights Imaging. 2024. PMID: 38886244. doi:10.1186/s13244-024-01733-5
- 全文:PMC11183032(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11183032/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。