基于CT影像的残差卷积神经网络预测肝细胞癌经动脉化疗栓塞治疗反应
研究利用562例南方医院、89例珠海医院和138例中山大学肿瘤防治中心患者的CT图像,构建ResNet50深度学习模型预测中晚期肝细胞癌TACE治疗后CR、PR、SD、PD四种反应;训练集准确率84.3%,两个独立验证集准确率分别为85.1%和82.8%,模型在预测客观反应时三个队列AUC分别为0.95、0.96和0.97,决策曲线分析显示两个验证队列净获益较高。
要点
- 基于治疗前肝脏动脉期CT的ResNet50模型可预测TACE后CR、PR、SD、PD四种反应。
- 训练集各反应AUC 0.95–0.97,两个外部验证集AUC 0.94–0.98。
- 模型对客观反应预测在三个队列AUC均为0.95–0.97。
核心结论
- 基于CT图像的深度学习模型对预测TACE治疗反应表现良好,可帮助临床医生更好地筛选能从介入治疗中获益的HCC患者。
研究设计与样本
- 回顾性研究,训练集为南方医院562例患者(1687个图像块),验证集1为珠海医院89例患者(268个图像块),验证集2为中山大学肿瘤防治中心138例患者(406个图像块),使用ResNet50迁移学习,参考标准为mRECIST 1.1评估的CR、PR、SD、PD。
关键影像表现/征象
- 以治疗前肝动脉期CT肿瘤感兴趣区提取图像块,经ResNet50输出四种治疗反应的概率。
- 训练集图像块平均准确率84.0%,验证集1为85.1%,验证集2为82.8%。
- 误分类示例包括CR被错误预测为SD(概率44.67%)和PD被错误预测为PR(概率76.02%)。
诊断标准与关键数值
- 训练集预测CR、PR、SD、PD的AUC分别为0.97(0.97–0.98)、0.96(0.96–0.97)、0.95(0.94–0.96)、0.96(0.96–0.97)。
- 验证集1预测CR、PR、SD、PD的AUC分别为0.98(0.97–0.99)、0.96(0.95–0.98)、0.95(0.93–0.98)、0.94(0.90–0.98)。
- 验证集2预测CR、PR、SD、PD的AUC分别为0.97(0.96–0.98)、0.96(0.94–0.98)、0.94(0.92–0.97)、0.97(0.95–0.98)。
- 预测客观反应(CR+PR)时,南方医院、珠海医院、中山大学肿瘤防治中心图像块AUC分别为0.95(0.95–0.96)、0.96(0.94–0.97)、0.97(0.96–0.98)。
- 按患者平均概率预测客观反应时,三个队列AUC分别为0.95、0.96、0.97。
临床应用与阅片要点
- 模型可在TACE术前基于CT图像无创预测四种治疗反应,辅助筛选可能获益的患者。
- 原文指出临床使用前仍需进一步改进。
局限性
- 训练集准确率低于验证集1(84.3% vs. 85.1%),作者推测与验证集1样本量小有关,增加患者数可能降低验证准确率。
- 原文指出临床使用前仍需进一步改进。
全文中译12 节 · 点击展开
引言
肝细胞癌(HCC)在全球癌症相关死亡原因中位居第二,是全球第六大常见癌症。近年来其发病率持续上升,全球每年新诊断的HCC病例约850,200例[1, 2]。不足30%的HCC患者适合接受潜在治愈性治疗,如移植、切除或消融[3, 4]。对于不适合此类干预但病变局限于肝脏、肝功能保留且体能状态良好的特定患者,根据国际指南推荐采用经动脉化疗栓塞(TACE)[5–9]。
尽管通常需要重复进行TACE操作,但初始反应能有效预测总生存期(OS),因为单次TACE后并不总能达到最佳反应,尤其是在大肿瘤中。此外,在早期时间点获得治疗反应是良好结局的强有力预测因素[10]。基于TACE前增强磁共振成像(MRI)的纹理分析可作为影像生物标志物,用于预测HCC患者的早期反应。完全缓解(CR)组与非完全缓解(NCR)组的最高准确率为0.76[11]。治疗前动态CT纹理分析也可用于预测HCC对TACE的治疗反应。较高的动脉期强化和GLCM(灰度共生矩阵)矩、较低的均匀性以及较小的肿瘤尺寸是TACE后完全缓解(CR)的显著预测因素[12]。然而,基于传统统计学和机器学习,该方法的准确性有限。在受试者工作特征(ROC)曲线中预测TACE后CR的最佳截断值条件下,纹理参数的最高AUC为0.72。此外,大多数研究集中于二分类(CR或NCR),而使用CT图像预测四分类(CR、PR、SD和PD)的研究尚不明确。因此,迫切需要一种更有效的模型来准确识别TACE治疗后可能获得初始反应的患者,以促进个体化治疗策略的制定。
深度学习近来作为一种实现人工智能(AI)的技术而受到关注[13–15]。多种类型的深度堆叠人工神经网络,如卷积神经网络(CNN)和循环神经网络(RNN),已被提出并在各领域中得到了合理应用。深度CNN尤其被认为在图像识别任务中表现出高性能[16, 17]。将深度学习应用于放射学图像评估方面已取得了一些初步成功[18–21]。一项研究使用深度学习算法在低级别和高级别胶质瘤的多机构数据集中非侵入性地预测IDH(异柠檬酸脱氢酶)状态[22]。深度学习还显示出基于放射学图像对肝纤维化进行分期的潜力[23]。然而,令人尴尬的是,进行深度学习往往面临医学数据短缺的问题,尤其是在接受治疗的患者的放射学图像方面。迁移学习是一种可行的深度学习技术,可用于解决图像数据缺乏的问题,已被证明是一种高效的技术,特别是在医学图像有限的情况下[24, 25]。这些模型已被用于以更快速的方式区分医学图像的特征,且所需的训练医学图像显著减少[13]。
在本研究中,基于来自三个独立中心的CT图像,我们旨在研究一种深度学习算法,以在TACE治疗前精确且非侵入性地评估HCC患者的不同治疗反应。
材料与方法
患者
我们的回顾性研究已获得机构审查委员会和伦理委员会的批准(NFEC-201208-K3)。本研究纳入了南方医院(NFH)、暨南大学附属珠海医院(ZHHAJU)和中山大学肿瘤防治中心(SYUCC)中符合以下选择标准的患者:(a)经放射学或病理学证实为HCC;(b)接受TACE初始治疗;(c)治疗前7天内有肝动脉CT成像资料;(d)治疗后30天内有肝动脉CT成像资料;(e)为巴塞罗那临床肝癌(BCLC)B期患者。排除标准如下:(a)既往接受过治疗,包括局部区域或全身治疗,如肝移植、放疗、射频消融或索拉非尼治疗;(b)其他恶性肝脏肿瘤。使用电子病历收集患者的治疗前临床特征。补充图1显示了训练队列和两个验证队列中患者的招募路径。根据首次TACE治疗后患者的放射学评估,通过改良RECIST(mRECIST 1.1)确定肝动脉CT图像上的不同反应,包括完全缓解(CR)、部分缓解(PR)、疾病稳定(SD)和疾病进展(PD)。我们将客观缓解定义为CR+PR,将无缓解定义为SD+PD。
CT采集和感兴趣区分割
对比增强计算机断层扫描(CECT)在三家医院按照先前描述的方法进行[26]。补充表S1列出了三个中心的扫描特征。所有CT图像均通过图像归档与通信系统(PACS;中国南方医院、暨南大学附属珠海医院和中山大学肿瘤防治中心网络中心)下载。所有患者的CT图像被输入ITK-SNAP软件(版本3.6)。肿瘤感兴趣区(ROI)由三位资深放射科医师分析,他们分别具有14年经验(读者1,Jing Zhang)、17年经验(读者2,Jingxian Shen)和23年经验(读者3,Yikai Xu)。训练队列(NFH)和两个验证队列(ZHHAJU和SYUCC)的CT图像ROI分别由读者1和读者2手动分割。随后,读者3确认每个ROI,并在ITK-SNAP软件中保存为主文件(CT图像)和分割文件(掩膜图像)。所有放射科医师对三个队列患者的治疗结局均设盲。
图像预处理
窗宽和窗位被转换为原始值。所有CT图像使用中等锐利重建算法以1 mm层厚进行重建。随后,图像的强度值被映射至[0, 1]。深度学习算法的目标为CR、PR、SD和PD的分类标签。我们为每位患者保存最大肿瘤区域的一张CT图像和ROI掩膜,然后从最近序列中保存另外两张CT图像和两张对应的ROI掩膜。使用内部算法,我们分别在训练队列和两个验证队列中为每位患者提取平均约三个补丁,尺寸调整为224 × 224 × 3。值得注意的是,用于网络训练和验证的每个补丁均完全包含在CT图像的ROI内。最终,从562例患者中提取1687个补丁用于训练(NFH);从89例患者中提取268个补丁用于验证1(ZHHAJU);从138例患者中提取406个补丁用于验证2(SYUCC)。考虑到数据不平衡可能导致的偏倚以及深度学习的大数据需求,在训练过程之前引入了数据增强技术[27]。具体而言,在本研究中,通过数据增强使补丁在各类别间均匀随机分布,包括水平翻转、垂直翻转、水平和垂直翻转、90°旋转和− 90°旋转。使用该方法,我们构建了“新”的训练数据,且该增强仅在NFH队列上进行,不在两个外部验证队列上进行。为最小化内存使用,我们仅实时使用数据增强。
残差神经网络的迁移学习
ResNet是一种代表性的深度卷积神经网络,融合了图像、自动编码和分类功能。它通过使用特征传输防止梯度消失,从而能够有效训练比以往所用网络更深的网络,赢得了2015年ImageNet大规模视觉识别挑战赛(ILSVRC)[28]。受既往研究的启发——更深的网络可能比浅层网络更强大——我们的残差网络源自50层残差网络架构,总共具有177层,在补充信息(ResNet50)中展示了详细信息。ResNet50已在ImageNet数据库(http://www.image-net.org)的一个子集上进行了训练,可将图像分为1000个对象类别(例如键盘、鼠标、铅笔和许多动物)。ResNet50的架构和CT图像深度学习的流程图见图1a–c。我们冻结了预训练网络中较早层(1至174层)的权重。训练后的网络不更新冻结层的参数。冻结许多初始层的权重可以显著加快网络训练速度,并防止对新医学数据集过拟合。
由三个卷积层(fc1000、fc1000_softmax和classification layers_fc1000)组成的一系列模块被新层(fc4、fc4_softmax和classification layers_fc4)替换,以提取深层残差特征并将特征从前层传输到后层。在网络末端,使用全连接层进行分类。训练期间,通过随机梯度下降(SGD)优化算法以64的小批量大小优化权重[29]。在微调深度学习参数后,学习率和最大轮数分别设置为0.0001和54,以确保覆盖整个数据以实现高效训练。损失函数确定为二元交叉熵。我们在输出层之前使用sigmoid函数计算概率。深度学习模型的性能通过AUC和准确率( )进行评估。来自南方医院(NFH)的图像块通过预训练的ResNet50进行训练。基于训练后的模型,分别使用来自暨南大学附属珠海医院(ZHHAJU)和中山大学肿瘤防治中心(SYUCC)的图像块进行验证。
实现细节
我们的实现基于MATLAB(2018a版;MathWorks)中的深度学习工具箱™ ResNet50网络模型。我们的训练实验在Linux环境下进行,机器配置如下:CPU为Intel Xeon处理器E5-2640V3,主频2.60 GHz,GPU为NVIDIA Pascal Titan X,内存128 GB。
统计分析
统计分析使用R统计软件3.5.0版(R Core Team,2018)、GraphPad Prism 7.0和MATLAB 2018a进行。受试者工作特征(ROC)曲线使用“pROC”包绘制。AUC的95%置信区间(CI)使用各数据集计算(1000次bootstrap)。在三个不同队列中使用MATLAB 2018a绘制混淆矩阵,以计算估计TACE治疗反应的准确率。决策曲线分析(DCA)使用“dca.R”包进行。Mann–Whitney U检验由R统计软件分析。双侧p值<0.05被认为具有统计学意义。
结果
患者的临床特征
最终共有562例HCC患者纳入训练队列(NFH),分别有89例和138例患者分配至独立验证队列1(ZHHAJU)和队列2(SYUCC)。表1总结了训练队列和两个验证队列的基线临床特征。在训练队列、验证队列1和验证队列2中,年龄超过60岁的患者分别为168例(29.90%)、28例(31.46%)和38例(27.54%)。在训练队列、验证队列1和队列2中,女性患者分别为60例(10.68%)、14例(15.73%)和15例(10.87%)。在训练队列中,CR、PR、SD和PD的患者分别为83例(14.77%)、151例(26.87%)、222例(39.50%)和106例(18.86%)。在验证队列1和2中,CR、PR、SD和PD的患者分别为13例(14.61%)和21例(15.22%)、24例(26.97%)和37例(26.81%)、35例(39.33%)和54例(39.13%)、17例(19.09%)和26例(18.84%)。三个队列在临床数据库方面未观察到显著差异。
深度学习模型在多分类中的训练和验证
所有图像块(n = 1687)在训练队列中通过残差卷积神经网络(ResNet50)进行增强和训练,以提高模型的鲁棒性。图2a显示,经过54个epoch训练(1401次迭代)和71分38秒时间(图2b)后,准确率高于80%,交叉熵损失接近0.5。所得模型对CR、PR、SD和PD的AUC分别为0.97(0.97–0.98)、0.96(0.96–0.97)、0.95(0.94–0.96)和0.96(0.96–0.97)(图3a)。随后我们在验证队列1中测试了图像块(n = 268)。观察到CR、PR、SD和PD的AUC分别为0.98(0.97–0.99)、0.96(0.95–0.98)、0.95(0.93–0.98)和0.94(0.90–0.98)(图3b)。在验证队列2中,预测TACE治疗中CR、PR、SD和PD的AUC分别为0.97(0.96–0.98)、0.96(0.94–0.98)、0.94(0.92–0.97)和0.97(0.95–0.98)(图3c)。该深度学习模型在两个队列中使用ROI图像块显示出对治疗反应的良好区分能力。
我们接下来通过混淆矩阵关注深度学习模型在每个图像块中的预测准确性。训练队列在预测TACE治疗中的CR、PR、SD和PD方面表现出84.0%的平均准确率和16%的低错误率(图3d)。独立验证队列1和2分别显示出85.1%和82.8%的平均准确率以及14.9%和17.2%的低错误率(图3e、f)。我们进一步从验证队列2中选择了四种不同治疗反应的典型图像块,并展示了肝肿瘤最大横截面直径的CT图像,包括治疗前和治疗后肝动脉期图像(图4a)。如图所示,深度学习模型在预测TACE治疗的CR、PR、SD和PD分类方面表现良好。ResNet50中有一些这些模式的困难病例被错误分类。我们在图4b中展示了来自验证队列1和2的八个ROI错误分类图像。例如,在患者2中CR可能被错误预测为SD(44.67%),在患者7中PD也可能被错误预测为PR(76.02%)。
通过训练的ResNet50模型对二分类性能的评估
ResNet50 模型的卷积层输出了多个二维数组。为了进一步评估我们在四分类学习上训练的深度网络的分类性能,我们考虑了一项临床重要任务,包括客观缓解(CR 或 PR)与无缓解(SD 或 PD)的二分类。在二分类任务上,我们合并了训练好的四分类深度学习模型的输出预测概率,将 CR 和 PR 相加(即 yresponse = yCR + yPR)。在补充图 2A–C 中,缓解 HCC 图像块的治疗缓解(客观缓解)概率值显著高于无缓解 HCC 图像块(每个队列,p < 0.0001)。通过该方法,模型在来自 NFH、ZHHAJU 和 SYUCC 队列的图像块中分别达到 0.95(0.95–0.96)、0.96(0.94–0.97)和 0.97(0.96–0.98)的 AUC(图 5a)。治疗缓解的概率值通过计算三个队列中每位患者所有图像块的平均概率值获得。我们发现 ResNet50 模型在三个队列的患者中均呈现高 AUC(图 5b)。为了分析基于深度学习的模型的临床用途,本研究对 ResNet50 预测因子进行了决策曲线分析(DCA)。当阈值概率约为 2% 和 4% 时,该模型在 ZHHAJU(图 5c)和 SYUCC(图 5d)队列中 Compared with treat-all 或 treat-none 策略显示出更强的获益。DCA 的这种相似表现也已在训练队列中展示(补充图 3)。
讨论
在本研究中,我们在一个三机构 HCC 数据集中展示了深度学习预测 TACE 治疗缓解的新应用。据我们所知,这是首次使用基于放射学图像的深度学习模型来预测肝癌介入治疗的四类缓解。该算法可能促进深度学习技术在精准治疗肿瘤学医学领域的应用。基于 HCC 患者的治疗前 ROI 图像,这种深度学习实用模型是预测 TACE 治疗缓解的潜在方法。
根据BCLC分期系统,TACE推荐用于BCLC B期的HCC患者[6, 30–32]。对于C期患者,TACE治疗也是一种常见且重要的应用治疗,尤其是在综合治疗中[33–35]。近期研究显示,首次化疗栓塞的治疗反应是肝细胞癌良好预后的良好预测因素[10, 36]。然而,尚无报道涉及通过CT图像深度学习预测肝细胞癌领域TACE治疗的反应。既往研究显示,不同临床危险因素(如肿瘤大小)在预测中表现良好[37–39],但对四种治疗反应的精确估计在临床环境中仍具挑战性且难以实施。一种涉及基于放射学图像(如CT、MR和PET-CT)的放射组学方法的新方法目前也正应用于各种肿瘤。它从常规图像中提取放射学特征,包括肿瘤形状、纹理、强度和小波变换特征[40–46]。然而,大量预工程特征为人工设计特征。由于不同类型成像设备的扫描参数可变,这可能导致CT图像的可重复性差和非冗余放射组学特征(RFs)[47]。放射组学的应用还依赖于传统机器学习技术。与上述方法不同,深度学习算法可以直接从图像中学习预测特征,并可能大大提高这些放射学图像的稳健准确性[48, 49]。
以往的研究大多集中于基于每个ROI图像小分割块块的深度学习,以增大样本量,并经常显示出显著的AUC[50–52]。然而,预测整个ROI图像标签的场景常常被忽视。因此,我们使用迁移学习算法通过整个CT-ROI块块来评估治疗反应。与既往研究相比,在三个队列中观察到预测TACE治疗反应中CR、PR、SD和PD的高AUC[12]。这一结果表明,我们的迁移学习模型在使用来自三个独立中心的CT图像预测不同治疗反应方面表现良好。混淆矩阵的结果显示,在NFH、ZHHAJU和SYUCC队列中预测准确率显著较高,且与既往报道不同[11]。有趣的是,我们发现训练队列的准确率低于验证队列1(84.3% vs. 85.1%)。我们推测这一现象与验证队列1中患者样本量较小有关。增加患者数量可能会降低验证准确率。在训练队列(1.5%)和验证队列1(1.7%)及2(1.1%)中,深度学习模型误分类的CR块块更多见于PR块块中,而非SD和PD块块中。同时,误分类的PD块块更多见于PR块块中,而非SD和CR块块中。计算了通过每个ROI块块术前预测四种治疗反应(即CR、PR、SD和PD)的精确概率,并发现其在个体化临床治疗中有用。我们进一步研究了块块或患者层面客观反应(反应或无反应)的预测,并在三个队列中也发现了高准确率。这一发现表明,基于CT图像的深度学习模型可能有助于医生识别那些对TACE治疗将获得良好或较差初始反应的患者。
然而,我们的研究存在若干局限性。第一,HCC患者的样本量相对较小,且这是一项回顾性研究。未来将从更多中心收集更大规模的前瞻性研究数据库。第二,我们训练并验证了来自三个医疗中心的所有2D CT图像块块。由于3D块块具有更多上下文信息的潜力,我们推测3D CT块块比2D CT块块具有更高的准确率和更好的模型质量。3D CT块块将在下一步进行研究。第三,HCC中生物学过程(例如差异基因表达和通路)与深度学习网络预测结果之间的相关性尚不清楚,应在未来进行分析。第四,在我们的研究中ROI为手动勾画。由不同腹部放射科医生选择的病灶可能存在各种差异,影响疾病分类。在后续研究中,我们将使用HCC分割算法与ResNet50模型的组合来自动预测TACE治疗的结果。
总之,基于CT图像的深度学习模型有可能成为一种新工具,用于预测接受TACE治疗患者的治疗反应。我们使用迁移学习对放射学图像进行预测分类的方法也可能用于确定其他恶性肿瘤更精确的临床治疗。
电子补充材料
ESM 1(DOCX 3103 kb)
引用
- Peng J, Kang S, Ning Z, et al. Residual convolutional neural network for predicting response of transarterial chemoembolization in hepatocellular carcinoma from CT imaging. Eur Radiol. 2019. PMID: 31332558. doi:10.1007/s00330-019-06318-1
- 全文:PMC6890698(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6890698/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。