多模态深度学习影像组学预测食管鳞状细胞癌新辅助放化疗后的病理反应
该研究回顾性纳入三个机构的151例接受新辅助放化疗后手术的食管鳞状细胞癌患者,从治疗前CT、T2和DWI提取传统与深度学习影像组学特征构建多模态整合模型。整合模型在测试队列预测病理完全缓解的AUC为0.868(95%CI 0.766-0.959),敏感度88%、特异度78.4%,优于单模态模型和临床模型。
要点
- 整合CT、T2和DWI的传统与深度学习影像组学特征的多模态模型预测pCR的AUC为0.868(95%CI 0.766-0.959)。
- 测试队列中整合模型敏感度88%(95%CI 73.9-100)、特异度78.4%(95%CI 63.6-90.2)、NPV 90.6%。
- 整合模型在DeLong检验中优于除CT传统影像组学模型和T2传统影像组学模型以外的其他所有模型(p<0.05)。
核心结论
- 基于CT、T2和DWI的多模态深度学习影像组学模型经开发与验证可准确预测食管鳞状细胞癌新辅助放化疗后的病理完全缓解。
- 作者认为该多模态深度学习影像组学对食管鳞状细胞癌新辅助放化疗反应具有满意的预测价值,并可能为包括器官保留策略在内的个体化治疗提供有帮助的工具。
研究设计与样本
- 多队列研究,从三个机构纳入151例患者,包括两个回顾性队列和一个前瞻性临床试验(KEYSTONE-002,NCT04807673)队列的回顾性分析。
- 训练队列为机构1的89例患者(中位年龄62岁,IQR 57-68,男性73例),测试队列为机构2的52例患者(中位年龄62岁,IQR 55-67,男性41例)加机构3的10例患者(中位年龄69岁,IQR 61-71,男性9例)。
- 所有患者接受治疗前增强CT和MR扫描(含DWI和T2WI),扫描于nCRT开始前两周内完成,肿瘤区域由两名有5年胸部影像经验的放射科医生手动分割。
- 病理肿瘤退缩分级采用Mandard方法术后评定,Mandard 1级且淋巴结转移阴性定义为pCR。
- 从原始和滤波图像共提取1652个特征,深度学习采用ImageNet预训练的Inception-V3网络提取2048个深度学习特征。
关键影像表现/征象
- 整合模型纳入四个关键特征:一个CT传统影像组学特征、一个CT深度学习特征、一个T2深度学习特征和一个DWI深度学习特征。
- CT的wavelet-HHL_glszm_LargeAreaHighGrayLevelEmphasis特征稳健性突出,在100次迭代中被选中80次。
- CT的GLSZM特征量化灰度强度变化,反映瘤内异质性;小波变换特征提供更复杂的肿瘤异质性信息。
诊断标准与关键数值
- 整合模型在测试队列的AUC为0.868(95%CI 0.766-0.959),敏感度88%(95%CI 73.9-100),特异度78.4%(95%CI 63.6-90.2),PPV 73.3%(95%CI 56.5-88.0),NPV 90.6%(95%CI 80.6-100.0)。
- CT传统影像组学模型在测试队列AUC 0.758(95%CI 0.619-0.872),敏感度68.0%(95%CI 50.0-85.7),特异度75.7%(95%CI 61.5-88.9),PPV 65.4%(95%CI 46.4-83.3),NPV 77.8%(95%CI 64.3-90.6)。
- T2传统影像组学模型在测试队列AUC 0.728(95%CI 0.600-0.852),应用训练队列cut-off值后敏感度100%、特异度18%(95%CI 7.9-31.6)。
- DWI联合模型在测试队列AUC 0.604(95%CI 0.455-0.763),敏感度52.0%(95%CI 32.0-70.8),特异度81.1%(95%CI 66.7-93.6),PPV 65.0%(95%CI 41.6-85.7),NPV 71.4%(95%CI 56.4-84.4)。
- 临床模型(年龄、性别、cT、cN)在测试队列AUC为0.520(95%CI 0.369-0.657)。
临床应用与阅片要点
- 整合模型在测试队列的 retrospective set 和 clinical trial set 中AUC分别为0.875和0.958。
- DCA提示整合模型提供最大的临床获益,校准分析证实其校准满意。
- 整合模型在DeLong检验中优于除CT传统影像组学模型和T2传统影像组学模型以外的所有其他模型(p<0.05)。
- 作者认为多模态影像组学可能有助于食管癌的个体化治疗。
局限性
- 数据收集为回顾性,可能引入与患者选择和历史治疗差异相关的偏倚。
- 训练队列AUC为1及DeLong检验结果提示潜在过拟合,主要由于样本量相对较小。
- 原文指出5折交叉验证表现满意,与外部队列一致,提示泛化性良好。
全文中译17 节 · 点击展开
引言
可切除食管鳞状细胞癌(ESCC)治疗管理的进步,显著体现在新辅助放化疗(nCRT)序贯手术的演变[1]。该方案使病理完全缓解(pCR)率达到43.2–49%,与单纯手术相比,10年总生存(OS)绝对改善达23%[2–4]。然而,患者之间的治疗反应存在差异,36.4%的患者在5年时出现复发或死亡[5]。值得注意的是,pCR与OS和无病生存之间均存在显著相关性[6]。此外,pCR状态可影响后续治疗策略,因为未达到pCR的患者可能从追加免疫治疗中获益以改善结局[7]。然而,pCR的确认只能通过食管切除术实现。准确预测pCR对患者结局具有重大意义。在pCR可能性大的情况下,“观察等待”策略或标准食管切除术后的OS相当,可能避免与手术相关的并发症[8]。相反,对于标准nCRT后不太可能达到pCR的患者,继续进行手术对于获得最佳结局仍然至关重要。
既往研究强调了CT、T2加权成像(T2WI)、扩散加权成像(DWI)和PET/CT模态在评估食管癌nCRT后pCR方面的独特价值[9, 10]。Yang等[11]基于治疗前CT图像开发了放射组学模型以预测pCR,在其测试数据集中达到曲线下面积(AUC)0.79。同样,Li等[12]使用nCRT完成后采集的DWI所得ADC值,在pCR预测中达到71.4%的准确率。在Vollenbrock等[13]的一项研究中,对T2WI和DWI的定性评估在预测pCR方面显示出中等诊断性能,T2WI的AUC范围为0.65–0.68,与DWI联合时提高至0.70–0.71。然而,这些研究因缺乏来自独立机构的外部验证队列以及需要提升性能以满足临床需求而受到局限。尽管取得了这些进展,将上述模态整合为一个全面的、统一的预测模型——从而利用每种模态的独特优势进一步提升性能——仍是一个尚未探索的重要方向。
放射组学因其能够检测影像数据中常常超出人眼感知能力和传统分析方法能力的复杂模式和特征而闻名,其在预测治疗反应方面的效力日益受到认可[14]。放射组学的应用,特别是使用治疗前CT图像用于接受新辅助放化疗(nCRT)治疗的食管癌,已被广泛研究并显示出具有相当大的价值[15]。深度学习,尤其是通过卷积神经网络(CNNs),已成为与传统放射组学相比明显更优越的方法[16, 17]。其在自主分析和解读复杂、高维医学影像数据方面的能力已被证明能够产生对肿瘤特征的更深入理解。传统放射组学与深度学习放射组学的整合提供了对肿瘤的全面评估。例如,Wang等[18]结合了这两种方法,在预测喉鳞状细胞癌隐匿性淋巴结转移的测试集中取得了令人印象深刻的AUC 0.89–0.90,超越了单独深度学习或传统放射组学的性能。这种联合方法也可能有潜力预测食管鳞状细胞癌(ESCC)的病理完全缓解(pCR)。
鉴于这些见解,我们的研究提出了一种新的多模态深度学习放射组学方法,通过结合传统放射组学和深度学习放射组学,融合CT、T2和DWI扫描的独特优势。我们旨在开发并验证一个协同模型,以对接受nCRT治疗的ESCC患者的pCR提供准确、全面的预测。
方法
该研究获得了机构审查委员会的批准。由于回顾性设计,知情同意的要求被豁免。该研究遵循放射组学研究评估指南清单[19]以确保全面和透明的报告。
患者
本多队列研究纳入了来自三个医疗机构的患者,包括两个回顾性队列以及一个来自前瞻性临床试验队列的回顾性分析。纳入标准如下:(a)经病理确诊的食管鳞状细胞癌(ESCC),(b)接受新辅助放化疗(nCRT)及根治性切除,(c)具备治疗前增强CT和MR数据,包括弥散加权成像(DWI)和T2加权成像(T2WI)。排除标准包括:(a)因明显伪影导致图像质量不佳,(b)临床和病理数据不完整。回顾性队列的患者分别于2014年9月至2023年9月期间从机构1招募,以及2017年12月至2021年8月期间从机构2招募。临床试验队列由机构3截至2023年11月入组KEYSTONE-002试验的患者组成。KEYSTONE-002试验是一项正在进行的III期随机对照试验,注册于ClinicalTrials.gov(NCT04807673),主要纳入标准为(a)经病理确诊的ESCC,(b)R0可切除的胸段食管癌,cT1-3N1-2M0、cT2-3N0M0,(c)年龄18-75岁,(d)美国东部肿瘤协作组体能状态评分(ECOG-PS)0-1。所有患者均接受根治性切除,包括经胸食管切除术联合二野或三野淋巴结清扫术。治疗前影像学检查,包括增强CT和MR,于nCRT开始前两周内完成。来自机构1的患者被分配至训练队列,来自机构2和机构3的患者被分配至测试队列。
临床和病理数据收集
收集的临床数据包括年龄、性别、ECOG-PS、肿瘤位置、肿瘤长度、TNM分期(AJCC第8版)、化疗方案、放疗技术及放疗剂量。所有患者均接受内镜检查,大多数病例通过测量距门齿的距离来确定肿瘤位置和长度,并根据AJCC第8版进行分类。在少数内镜无法通过的病例中,使用CT评估肿瘤位置和长度。临床分期通过增强CT和MR进行评估。除少数探头无法通过的病例外,均使用了超声内镜。对35例(23.2%)在CT或MR成像上疑似转移性疾病但未明确识别的患者进行了18F-FDG PET-CT检查。临床分期由各机构经验丰富的放射科医师和內镜医师根据初始影像报告确定。所有机构的 staging 流程一致,包括机构3的队列。病理肿瘤退缩分级于术后采用Mandard等人[20]描述的方法确定。治疗反应分为五个等级。根据手术病理检查报告,Mandard 1级且无淋巴结转移被归类为病理完全缓解(pCR),其他为非pCR。
CT和MR技术
所有患者均接受了nCRT前增强CT和MR扫描。收集门静脉期CT图像,扫描参数详情见eTable 1。MR扫描参数详情见eTable 2。
肿瘤分割
由两位分别具有五年胸部影像判读经验的放射科医师,在增强CT、T2WI和DWI图像的多个连续轴位层面上手动分割肿瘤区域,以覆盖整个肿瘤体积。分割结果由两位分别具有15年和25年经验的资深专家审核。为进行观察者间可重复性分析,另由一位具有6年经验的放射科医师独立对训练队列中随机选取的20例患者的肿瘤进行分割。手动分割过程见eFig. 1。
影像组学分析
特征提取
对MR序列采用N4偏场校正以解决图像不均匀性[21]。图像经各向同性重采样至1×1×1的体素尺寸以标准化体素间距。为减轻噪声并使强度离散化,将CT图像的亨斯菲尔德单位调整至标准腹部窗,设置窗中心为50、窗宽为350。在提取传统特征之前实施Z分数归一化。从原始图像和滤波后图像中共提取1652个特征(eTable 3)。对于深度学习,采用在ImageNet数据上预训练的Inception-V3网络[22]。裁剪每位患者最大的肿瘤图像用于特征提取,使用最小–最大变换将灰度值归一化至[−1, 1]范围内。随后使用最近插值将图像调整大小为299×299。移除网络最后一个全连接层,并使用特征图的平均池化层提取2048个深度学习特征。
特征选择
本研究的特征选择过程在训练队列内进行。仅保留组内相关系数(ICC)大于0.8的特征。训练队列按4:1比例分为内部训练集和内部验证集,该过程重复100次迭代。在每次迭代中,内部训练集采用Mann–Whitney U检验和最小绝对收缩和选择算子(LASSO)结合5折交叉验证进行分析。采用这些方法生成用于模型构建的特征集。使用十种算法构建分类器:逻辑回归(LR)、支持向量机(SVM)、K近邻(KNN)、决策树、随机森林、极端随机树、XGBoost、多层感知机(MLP)、朴素贝叶斯和轻量梯度提升机(LightGBM)。这些分类器的性能在内部验证集上进行测试。记录每次迭代中表现最佳的分类器及其特征集。根据特征被选择的频率对其进行排序。每种成像模态(CT和MRI)和特征提取方法(传统影像组学和深度学习)的前两个特征被选出,使用十种算法构建单模态模型。然后,对每种成像模态,构建基于传统和深度学习影像组学特征二者的联合模型。为增强模型的泛化能力并减少过拟合,基于前一流程中选出的十二个特征,再次进行一轮特征选择和模型构建,同样重复100次迭代。此过程旨在选出前四个特征,以使用十种算法构建整合模型。
模型构建
对每种模态的选定特征集使用十种算法(LR、SVM、KNN、决策树、随机森林、Extra Trees、XGBoost、MLP、朴素贝叶斯和LightGBM)进行了五折交叉验证。算法性能的评估基于平均AUC的计算,平均AUC作为算法选择的主要指标。随后,选择表现出更优性能(即平均AUC最高)的算法,使用与每种特定模态相对应的训练队列来开发专用机器学习模型。
模型性能评估
采用受试者工作特征曲线分析和AUC对模型进行评价,通过bootstrap重采样(重复1000次)生成95%置信区间(CI)。使用十种算法的模型在测试队列中独立测试,保留最佳模型以代表模型性能。为确定放射组学评分的最有效阈值,在训练队列中最大化Youden指数,随后将这些最佳截断值应用于测试队列,并计算灵敏度、特异度、阳性预测值(PPV)和阴性预测值(NPV)。不同模型间AUC值的比较采用DeLong方法。采用校准曲线和决策曲线分析(DCA)进一步评估模型性能及其临床实用性。放射组学分析的工作流程如图1所示。
统计分析
本研究的统计分析使用R 4.1.2版本和Python 3.9执行。分类变量采用Fisher精确检验评估,连续变量采用Mann–Whitney U检验分析。双侧p值小于0.05设定为具有统计学意义。
结果
患者
在本研究中,731例筛选患者中排除了580例,最终选取了151例患者(图2)。训练队列由来自机构1的89例患者组成(中位年龄62岁,四分位距(IQR):57–68,男性73例)。此外,测试队列由62例患者组成(中位年龄62岁,IQR:56–68,男性50例),包括来自机构2的52例患者(中位年龄62岁,IQR:55–67,男性41例)和来自机构3的10例患者(中位年龄69岁,IQR:61–71,男性9例)。达到pCR的患者比例在训练队列中为42.7%(38例),在测试队列中为40.3%(25例)(机构2中为36.5%(19例),机构3中为60.0%(6例))。大多数特征在训练队列和测试队列之间均衡良好。然而,与训练队列相比,测试队列中的患者表现出更好的体能状态(p = 0.002)和更高的铂类联合紫杉醇化疗方案使用率(p = 0.015)。两个队列之间在放疗技术方面存在显著差异(p < 0.001),且同步整合加量放疗仅在训练队列中实施。这些组的详细临床特征总结于表1和eTable 4中。值得注意的是,在训练队列和测试队列中,均未发现临床因素与pCR存在显著相关性。
特征选择
关于特征选择,在评估特征具有令人满意的可重复性后,该研究针对CT、T2和DWI的传统影像组学分别保留了1497、1606和1618个特征。对于深度学习影像组学,CT、T2和DWI分别保留了1754、987和2010个特征。经过100次U检验和LASSO分析迭代后,筛选出六个传统影像组学特征和六个深度学习特征(详见e表5和e表6)。在此特征选择过程中,单模态模型的平均AUC范围为0.484至0.750。最佳性能见于CT传统影像组学,使用LightGBM的平均AUC为0.750,其次为T2深度学习影像组学,使用KNN或LR的平均AUC为0.706。随后进行的分析针对先前选出的12个特征额外进行了100次迭代,所得平均AUC范围在0.750至0.839之间,最佳性能由Extra Trees实现。此阶段最终确定了整合模型的四个关键特征:一个来自CT的传统特征和一个来自CT的深度学习特征、一个来自T2的深度学习特征以及一个来自DWI的深度学习特征(详见e表7和e表8)。值得注意的是,其中来自CT的wavelet-HHL_glszm_LargeAreaHighGrayLevelEmphasis特征因其稳健性而突出,在100次迭代中有80次被选中。
模型构建
临床模型通过纳入临床专家认为至关重要的因素——具体为年龄、性别、cT和cN——设计而成,在五折交叉验证中使用MLP达到最高平均AUC为0.639。对于CT图像,传统影像组学和深度学习影像组学分别达到峰值平均AUC 0.725(LR)和0.701(SVM)。将传统影像组学与深度学习影像组学相结合后性能有所提升,最高平均AUC为0.802(MLP)。对于T2图像,传统影像组学和深度学习影像组学分别记录到最高平均AUC 0.669(MLP)和0.763(KNN),联合模型达到0.720(MLP)。DWI图像显示传统影像组学最高平均AUC为0.633(MLP),深度学习影像组学为0.750(SVM),联合模型达到0.694(XGboost)。最终整合模型在除Naïve Bayes外的所有算法中均表现出优于其他模型的性能,使用Extra Trees的最高平均AUC为0.835(e表9)。
模型评估
临床模型在测试队列中的AUC为0.520(95% CI:0.369–0.657)。对于CT图像,传统影像组学模型表现出更优的性能,AUC达到0.758(95% CI:0.619–0.872)。其记录的敏感度为68.0%(95% CI:50.0–85.7),特异度为75.7%(95% CI:61.5–88.9),同时阳性预测值(PPV)为65.4%(95% CI:46.4–83.3),阴性预测值(NPV)为77.8%(95% CI:64.3–90.6)。在T2图像中,传统影像组学模型表现出最佳性能,AUC为0.728(95% CI:0.600–0.852),但应用训练队列的截断值导致敏感度为100%,特异度为18%(95% CI:7.9–31.6)。对于DWI图像,联合模型在测试队列中表现出最佳性能,AUC为0.604(95% CI:0.455–0.763),敏感度为52.0%(95% CI:32.0–70.8),特异度为81.1%(95% CI:66.7–93.6),PPV为65.0%(95% CI:41.6–85.7),NPV为71.4%(95% CI:56.4–84.4)。整合模型表现出更优的性能,AUC为0.868(95% CI:0.766–0.959),敏感度为88%(95% CI:73.9–100),特异度为78.4%(95% CI:63.6–90.2),同时PPV为73.3%(95% CI:56.5–88.0),NPV为90.6%(95% CI:80.6–100.0)。比较训练队列与测试队列性能的DeLong检验显示差异有统计学意义(p < 0.001)。所有模型的综合性能见表2和图3。整合模型在测试队列的回顾性集和临床试验集中分别达到AUC 0.875和0.958(eFigure 2)。整合模型在本研究中优于所有其他模型,表现出最高的有效性。这一优越性体现为与所有其他模型相比均有显著差异(DeLong检验中p < 0.05),但在性能指标上与CT传统影像组学模型和T2传统影像组学模型除外,详见图4。决策曲线分析(DCA)表明整合模型提供了最大的临床获益(eFigure 3),校准分析证实其校准令人满意(eFigure 4)。
讨论
本研究介绍了一种利用多模态深度学习影像组学框架预测ESCC新辅助放化疗(nCRT)后病理完全缓解(pCR)的方法。该方法协同了多种成像模态——CT、T2和DWI——以及传统影像组学和深度学习影像组学的独特优势,形成了全面且稳健的预测模型。我们的模型在多机构测试队列中表现出AUC为0.868,标志着其为首个采用多模态深度学习影像组学预测ESCC nCRT后pCR的研究。
既往研究大多集中于使用单模态影像预测pCR。一项荟萃分析报告,使用PET、CT或MRI的影像组学研究AUC范围为0.65至0.86 [23]。然而,这些研究往往缺乏全面的外部验证,仅有三项研究具有来自单一机构的外部验证集,显示AUC在0.79至0.85之间 [11, 24, 25]。我们的多模态影像方法克服了既往研究的若干局限性。单模态模型虽有价值,但往往无法完全捕捉肿瘤异质性及其对治疗的反应 [26, 27]。相比之下,我们整合了CT、T2和DWI扫描的综合模型,相较于单模态模型表现出更优的性能。这表明,结合多种成像技术能够实现更精细的肿瘤分析,并识别出单模态成像可能忽略的细微治疗反应指标。
该综合模型纳入了1个传统影像组学特征和3个深度学习影像组学特征。具体而言,来自CT成像的GLSZM特征提供了灰度强度变化的量化,反映了瘤内异质性 [28]。此外,小波变换特征虽然复杂,但提供了对肿瘤异质性更精细的洞察。与我们的研究一致,CT的小波GLSZM特征被发现对预测直肠癌nCRT后pCR具有价值 [29]。
将深度学习影像组学整合到我们的模型中是本研究的关键要素。目前,采用深度学习技术预测ESCC pCR的研究明显匮乏。在此背景下,Hu等人的工作——涉及应用预训练深度学习模型——尤为突出。他们在预测pCR中达到了0.805的AUC,从而超越了通过传统影像组学方法获得的结果 [25]。然而,我们的研究更进一步,在多模态成像上利用预训练的Inception-V3网络,从而达到了更高的性能水平。这一提升可归因于传统影像组学与深度学习的协同结合,正如一项荟萃分析所示,联合模型在63%的受检研究中表现更优,在13%中具有相当的性能 [30]。此外,我们的研究独特地利用了T2和DWI成像模态,这些模态以优越的软组织对比度和功能信息著称,此前尚未在深度学习预测pCR中得到探索。Hirata等人 [31] 使用58例患者DWI的预处理直方图衍生ADC,发现偏度是pCR的最佳预测因子,达到0.86的AUC。使用T2成像的传统影像组学在内部测试集中预测ESCC新辅助化疗反应达到了0.83的AUC [32]。值得注意的是,所有这些研究均缺乏多中心外部测试集。相比之下,我们的模型不仅表现出更好的性能,还展示了广泛适用性,表明深度学习可能更有效地利用MR序列所提供的信息。
尽管我们的研究具有优势,但也认识到若干局限性。首先,我们的数据收集本质上是回顾性的,可能引入与患者选择和历史治疗差异相关的偏倚。其次,训练队列中AUC为1以及DeLong检验的结果提示可能存在过拟合,主要由于样本量相对较小。然而,5折交叉验证显示了令人满意的性能,与外部测试集吻合良好,表明具有良好的泛化能力。为减轻潜在过拟合并提高模型稳健性,我们计划在未来的研究中扩大样本量。第三,影像研究中手动分割肿瘤区域的过程既耗时又费力。为应对这一挑战,我们正在积极研究自动分割技术。此外,MRI目前尚未被推荐作为食管癌分期的标准工具,这可能限制我们模型在MRI不常用机构中的可重复性和外部验证。此外,指南推荐PET/CT用于食管切除术候选者的分期[33],但在我们的研究中仅在临床有指征时才进行。PET/CT使用的不一致可能影响了肿瘤分期的准确性和肿瘤异质性的评估,从而影响我们结果的普适性。最后,我们的研究未深入探讨预测模型背后的生物学机制。为进一步加深理解和提高模型的稳健性,未来的研究将聚焦于前瞻性验证并整合基因组和转录组数据,从而以更全面的生物学背景丰富模型的预测能力。
总之,本研究开发并验证了一种准确的多模态深度学习影像组学模型,用于预测食管鳞状细胞癌(ESCC)新辅助放化疗(nCRT)后病理完全缓解(pCR)。它突显了在该研究领域结合多模态影像和深度学习的潜力,也促进了食管癌个性化诊疗的进步。
补充信息
电子补充材料
引用
- Liu Y, Wang Y, Hu X, et al. Multimodality deep learning radiomics predicts pathological response after neoadjuvant chemoradiotherapy for esophageal squamous cell carcinoma. Insights Imaging. 2024. PMID: 39546168. doi:10.1186/s13244-024-01851-0
- 全文:PMC11568088(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11568088/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。