文献速递腹部技术与安全CT

深度学习肝纤维化分期:模型诊断决策的视觉解释

Liver fibrosis staging by deep learning: a visual-based explanation of diagnostic decisions of the model.
PubMed 文献 · Eur Radiol · 2021-05-20

本研究基于252例有组织学肝纤维化分期的患者,开发并评估了门静脉期增强CT的肝纤维化分期网络(LFS网络),并用Grad-cam生成位置图解释其决策依据。测试集上诊断显著纤维化、进展期纤维化和肝硬化的AUC分别为0.92、0.89和0.88。位置图显示,无纤维化(F0)时网络主要关注肝表面,肝硬化(F4)时则更多关注肝实质和脾脏。

要点

  • LFS网络在测试集上诊断显著纤维化、进展期纤维化和肝硬化的AUC分别为0.92、0.89和0.88。
  • Grad-cam位置图显示F0时网络关注肝表面,F4时关注肝实质和脾脏。
  • 建议开发深度学习肝纤维化分期算法时使用整个上腹部CT图像而非仅分割的肝脏。

关键影像表现/征象

  • F0患者的位置图中肝表面被突出显示而肝实质中央区未显示,该模式见于91.0%的F0位置图。
  • F4患者的位置图中肝实质和脾脏(主要为中央区域)均被突出显示,该模式见于76.4%的F4位置图。
  • 肝实质平均权重在F0和F4分别为0.58(0.43–0.75)和1.43(1.22–1.63),差异有统计学意义(p < 0.001)。

诊断标准与关键数值

  • LFS网络在测试集上诊断显著纤维化(F2-F4)的AUC为0.92,诊断进展期纤维化(F3-F4)的AUC为0.89,诊断肝硬化(F4)的AUC为0.88。
  • 预测显著纤维化、进展期纤维化和肝硬化的诊断准确率分别为88.3%、85.2%和83.2%。
  • 肝纤维化分期采用5级系统:F0无纤维化,F1门管区纤维化无间隔,F2门管区纤维化伴少数间隔,F3间隔纤维化无肝硬化,F4肝硬化。

临床应用与阅片要点

  • 位置图可用于质量控制:当位置图显示异常模式或关注与肝纤维化无关区域时,应重新考虑网络的分期预测。
  • 临床实践中应关注肝外征象(如脾脏改变)对肝纤维化分期的提示价值。
  • 开发肝纤维化分期深度学习算法时,应使用包含完整上腹部的CT图像而非仅分割的肝脏。

局限性

  • 训练数据集相对较小,诊断准确性和位置图稳定性高度依赖训练集的多样性和数量,需更大规模多中心研究验证。
  • 不同纤维化分期的数据集不平衡,因F1或F2患者通常不进行肝活检而缺乏可靠参考标准。
  • CT图像常仅包含上腹部,可能限制信息量,全腹部CT可能提供更多信息并潜在提升深度学习性能。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 May 20;31(12):9620–7. doi: 10.1007/s00330-021-08046-x

引言

在肝纤维化患者中,正常肝实质被瘢痕组织替代[1]。肝纤维化的主要原因包括过度饮酒、严重脂肪变性/脂肪性肝炎以及病毒性肝炎[2]。肝硬化是肝纤维化的最严重阶段,可导致门静脉高压、肝细胞癌的发生以及肝衰竭。因此,在肝纤维化进展为不可逆的终末期肝病之前,对其进行充分诊断和分期至关重要。目前肝纤维化诊断和分期的金标准是通过经皮穿刺活检获取肝组织的组织病理学检查。然而,活检存在若干缺点,如围手术期疼痛或不适、大出血(据报道死亡率高达1.6%),以及由于仅分析少量肝实质标本而导致的采样误差风险[3–5]。

为克服这些缺点,人们探索了基于非侵入性影像的方法以替代活检[6, 7]。多项研究表明深度学习方法能够在CT或MRI图像上对肝纤维化进行分期[8–10]。然而,缺乏透明度和可解释性(黑箱原理)可被视为临床接受度和在标准实践中实施的障碍。目前尚不清楚卷积神经网络(CNN)是基于与肝纤维化相关的既定放射学形态特征(例如,强化的纤维间隔、包括再生结节或异型增生结节在内的实质改变,以及门静脉高压的征象)做出诊断决策[6, 7],还是使用了其他特征或信息[11]。为了能够信任深度学习方法所做的诊断决策,了解系统的工作原理非常重要。尽管理解深度学习方法仍是一项技术挑战,但已有算法被开发用于可视化网络在做出预测时所关注的区域[12–14]。梯度加权类激活映射(Grad-cam)是一种最先进的技术,可生成突出重要区域的定位图,从而为模型决策提供视觉解释[12]。由于肝纤维化可被视为一种系统性疾病,我们假设对于深度学习技术而言,肝脏以外的信息可能与肝脏本身同样重要。这可能进一步增强临床医生对深度学习方法的信任。

为验证我们的假设,本研究旨在通过使用Grad-cam,对深度学习在腹部CT扫描上预测肝纤维化分期时所做诊断决策提供基于视觉的解释。

材料与方法

本研究是一项回顾性、探索性研究,旨在探讨LFS网络的可解释性。本研究经当地机构审查委员会批准(编号:2018/139),并获得知情同意的豁免。

研究人群

2006年至2018年间在我们三级转诊中心接受治疗且符合以下标准的患者被纳入本研究(图1):(i) 年龄≥16岁;(ii) 具有门静脉期增强CT扫描,无相关肝外异常且显示完整肝脏;(iii) 具有肝纤维化程度的组织病理学证据,可通过肝活检、肝切除或肝移植后获得;(iv) CT成像与获取组织病理学之间的时间间隔<6个月。

为获得足够数量的无肝纤维化患者(此类患者通常不进行肝组织取样),添加了一组患者,这些患者在同一纳入期内因排除创伤性损伤而在急诊科接受了门静脉期腹部增强CT扫描。如果无肝损伤或肝脏其他形态学异常,且无肝病史或相关危险因素,则纳入这些患者。随后,由委员会认证的腹部放射科医师对每份CT扫描核查纳入标准。

收集每位患者的以下临床变量:出生日期、性别、肝纤维化病因、组织病理学标本类型、相关病史、(既往)全身化疗使用情况,以及肿瘤标志物包括甲胎蛋白、糖类抗原19-9和癌胚抗原水平。

图1 患者纳入流程图。缩写:CT=计算机断层扫描 查看原图 ↗

参考标准生成

肝纤维化分期由专门的肝脏病理学家使用包含5个分期的分期系统确定(0期,健康肝脏无纤维化;1期,汇管区纤维化无间隔;2期,汇管区纤维化伴少量间隔;3期,间隔纤维化无肝硬化;4期,肝硬化)[15]。

算法方案

为研究肝外结构在预测肝纤维化分期中的重要性,我们构建了LFS网络并使用腹部CT容积对其进行训练。在最终卷积层之间集成了Grad-cam以可视化网络关注的腹部区域。随后,放射科医师可通过检查所突出的腹部区域是否对肝纤维化分期具有临床相关性来验证LFS网络的可靠性。总体方案如图2所示。

首先,对CT扫描进行预处理。原始CT扫描上的密度值范围为−1024至3071亨斯菲尔德单位(HU),但腹部组织的密度仅涉及全范围的一小部分。因此,我们在输入CT层面上应用了−125至+225 HU之间的软组织窗,以去除无关信息并增强腹部器官之间的对比度。

处理后的CT扫描随后被输入LFS网络,该网络由四个卷积层、三个池化层和两个全连接层组成。最后一个全连接层输出每个肝纤维化分期的预测概率。每个卷积层具有多个通道,用于从原始输入中提取不同特征,特征图保留了来自输入CT体积的空间信息。常见做法是基于这些保留的空间信息来解释网络[12–14]。Grad-cam为每个特征图分配权重,这些权重表示特征对诊断决策的贡献程度。位置图上每个体素的权重代表LFS网络对输入CT上该位置所赋予的重要性。位置图上的权重越高,表明LFS网络对相应输入CT上特定区域的关注程度越高。通过可视化Grad-cam生成的地图,可以获得对诊断决策有贡献的特征的空间信息。有关LFS网络训练的更多细节可在附录1中找到。

整个项目使用Python 3.0编程。预处理过程中使用了Simple-Insight Toolkit和Numpy库[16, 17],LFS网络在Tensorflow框架下构建,该框架是一个用于深度学习的开源库[18]。

图2 深度学习肝纤维化分期的整体方案。计算机断层扫描(CT)首先通过组织窗进行预处理,并标准化至[0,1]。然后,在每个训练迭代中随机选择3D分割肝脏的32个连续切片作为一个斑块,输入卷积神经网络。网络输出纤维化分期(F0–F4)的预测概率数组。在测试训练好的肝纤维化分期网络时,Grad-Cam被集成在第三个卷积层和最后一个卷积层之间,以生成显示网络关注位置的地图。缩写:CT:计算机断层扫描;Conv:卷积层;Max_pool:最大池化层;GradCam:梯度加权类激活映射;5*5 kernel:使用大小为[5]的卷积核在卷积层中提取特征;channel:卷积层之间应用的卷积核数量;Softmax:softmax激活函数 查看原图 ↗

评价指标

评价指标包括两部分:肝纤维化分期的评价指标,以及分析指示网络关注区域的位置图的指标。

采用五折交叉验证评估训练好的LFS网络的泛化能力。与其他肝纤维化分期研究[9, 10]类似,绘制了显著纤维化(F2、F3和F4期)、进展性纤维化(F3和F4期)和肝硬化(F4期)的受试者工作特征(ROC)曲线。采用敏感度、特异度、准确率和ROC曲线下面积(AUC)评价LFS网络性能。此外,绘制了微平均和宏平均ROC曲线,以评价LFS网络作为多分期分类的性能。宏平均ROC曲线将F0–F4期的分类简化为多组二分类,而微平均ROC曲线对每个样本取平均以获得总体结果。

由Grad-cam生成的位置图上的焦点模式由三名放射科医师通过视觉检查进行评估。为了量化位置图上肝实质的值,生成了Grad-cam位置图上分割肝脏区域平均值的箱线图。

统计分析在Python 3.0中进行。ROC曲线基于scikit-learn库绘制并计算AUC [19]。

结果

研究人群

共有252名患者纳入研究以开发LFS网络。按肝纤维化分期分类的患者数量见表1。两名接受肝移植的患者在数据集中被纳入两次,因为组织病理学结果基于不同的肝脏(即移植前的原生肝脏和再移植后的移植肝脏)。

表1 研究人群的人口统计学特征 查看原表 ↗

LFS网络在测试集上的准确性

在测试集上,显著纤维化、进展性纤维化和肝硬化的分期AUC分别为0.92、0.89和0.88,相应的ROC曲线见图3。特异性、敏感性和准确性值列于表2。

图3 测试集的受试者工作特征(ROC)曲线。a 测试集上预测肝纤维化严重程度的ROC曲线,包括显著纤维化、进展性纤维化和肝硬化。b 将F0–F4分期分类简化为多组二分类的宏平均ROC曲线,以及对聚合结果的每个样本进行平均的微平均ROC曲线 查看原图 ↗
表2 肝纤维化分期网络在测试集中预测肝纤维化严重程度的性能总结。相应的受试者工作特征曲线见图3 查看原表 ↗

位置图分析

如前所述,位置图指示了对LFS网络所做诊断决策有贡献的区域。位置图上识别出两种模式:(i) 当LFS网络预测基于健康肝脏(纤维化分期F0)患者的CT扫描时,位置图上肝脏表面被突出显示,但肝实质中央区域未被突出显示;该模式在F0肝纤维化患者的位置图中占91.0%;(ii) 当LFS网络预测基于肝硬化(纤维化分期F4)患者的CT扫描时,肝脏和脾脏(主要为中央区域)均被突出显示;该模式在肝硬化(F4肝纤维化)患者的位置图中占76.4%。图4展示了几个示例。

在一项事后分析中,为进一步量化位置图中观察到的模式,我们选择肝实质作为感兴趣区,并计算LFS网络在位置图上分配给感兴趣区的平均权重,数值越高表明网络在预测肝纤维化分期时关注度越高。肝实质由微调后的V-net分割,像素准确率为0.99,F1分数(Dice系数)为0.90。对于F0和F4肝纤维化,位置图上肝实质内权重的中位数和四分位距分别为0.58(0.43–0.75)和1.43(1.22–1.63)。位置图上肝实质内权重分布之间的差异具有统计学意义(p < 0.001)。两组权重的分布如图5箱线图所示。

图4 a 所示为无肝纤维化(F0期)患者不同层面上腹部轴位计算机断层扫描图像上叠加的位置图。这些位置图中肝表面被高亮显示,表明从肝表面利用的信息有助于卷积神经网络对F0肝纤维化的预测。b 所示为肝硬化(F4期)患者不同层面中上腹部轴位计算机断层扫描图像上叠加的位置图。这些位置图中肝实质和脾脏被高亮显示,表明从肝实质和脾脏利用的信息有助于卷积神经网络对F4肝纤维化(肝硬化)的预测 查看原图 ↗
图5 肝纤维化分期(LFS)网络在位置图上分配给肝实质的平均权重分布。权重代表CT上肝实质对于LFS网络做出诊断决策时的重要性。两组根据LFS网络预测的肝纤维化分期进行划分 查看原图 ↗

讨论

本研究旨在提高肝纤维化分期神经网络的可解释性。为此,我们开发了用于肝纤维化分期的深度学习方法,随后应用Grad-Cam确定网络在预测测试集肝纤维化分期时的感兴趣区。通过这样做,可以区分神经网络在上腹部感兴趣区的两种模式,即F0肝纤维化时位置图上肝表面高亮显示,而F4肝纤维化患者中肝脏和脾脏中央区域高亮显示。

预测显著纤维化、进展期纤维化和肝硬化的诊断准确率分别为88.3%、85.2%和83.2%,AUC分别为0.92、0.89和0.88。这些诊断性能结果与先前几项研究深度学习确定肝纤维化分期可能性的研究相当。Yasaka等[10]利用286例患者CT扫描上裁剪的肝脏图像块训练了一个肝纤维化分期卷积神经网络(CNN),确定显著纤维化、进展期纤维化和肝硬化的AUC分别为0.74、0.76和0.73。Choi等[8]不使用裁剪的图像块,而是利用分割后的肝脏开发了一个肝纤维化分期CNN,并用包含6670例患者的多中心测试数据集对该CNN进行了评估。诊断显著纤维化、进展期纤维化和肝硬化的AUC分别达到0.96、0.97和0.95[8]。

尽管深度学习 method 在两项研究中均已被证明能够基于CT图像对肝纤维化进行分期,但神经网络利用CT图像的哪一部分进行肝纤维化分期仍不清楚。此外,上腹部肝脏以外可用信息是否有助于神经网络做出诊断决策也不明确。显示有助于纤维化分期预测区域空间信息的位置图可以进一步解释神经网络所做的诊断决策。在本研究中,我们观察到神经网络在预测肝纤维化分期时不仅关注肝实质,还关注上腹部CT扫描上的其他可用信息,例如来源于肝脏和脾脏的信息。当网络判定为健康肝脏时,相应位置图显示网络强烈关注肝表面而非肝实质,而在肝硬化(F4肝纤维化)情况下,网络更关注肝实质中央部分和脾脏。LFS网络在F0和F4肝实质中分配权重的箱线图进一步支持了我们的观察。因此,我们认为神经网络应在包含完整上腹部的CT层面上进行训练,而不是在仅包含分割肝脏的CT图像上进行训练。从临床角度来看,在肝硬化情况下神经网络同时关注肝脏和脾脏似乎是合理的,因为肝硬化发展时这两个器官均发生形态学改变(即肝实质纤维化改变、肝脏结节性增加、脾肿大和脾含铁结节)[20–22]。据我们所知,这是第一项更深入揭示深度学习技术在肝纤维化分期时所做决策的研究。

了解神经网络在肝纤维化分期时利用CT图像上的肝表面、肝实质和脾脏信息,可提高网络预测肝纤维化分期的透明度和可解释性。定位图还可作为网络纤维化分期预测的质量控制。例如,当定位图显示异常模式或当这些图集中于被认为与肝纤维化无关的区域时,医生可以重新考虑网络对肝纤维化分期的预测。此外,它进一步强调,在临床实践和开发肝纤维化分期软件时,均应考虑肝纤维化的肝外征象。

我们的研究有一些局限性。首先,我们研究中的训练数据集相对较小。由于深度学习方法是数据驱动的,诊断准确性和定位图的稳定性高度依赖于训练集的多样性和数量。因此,我们的结果应在更大规模(多中心)研究中得到证实。其次,不同纤维化阶段的数据集不平衡,原因是1期或2期肝纤维化患者通常不接受肝活检,因此缺乏可靠的参考标准。这在Yasaka等[9, 10]和Choi等[8]的研究中也有观察到。最后,通常CT图像仅能获得上腹部,这与CT扫描的适应证有关。也许,全腹部的CT图像可以提供更多信息,从而可能改善深度学习性能。这应成为进一步研究的主题。

总之,用于肝纤维化分期的神经网络利用了来自肝表面、肝实质和脾脏的基于CT的信息。使用整个上腹部而非分割的肝脏可改善肝纤维化分期算法的开发。此外,Grad-cam的应用通过提供网络所使用信息的视觉解释,提高了肝纤维化分期神经网络的透明度,从而提高了其可靠性。我们的结果也可作为路线图,以揭示人工智能在其他医学领域图像分析任务中的黑箱原理。

补充信息

ESM 1(DOCX 17 kb)

引用

  1. Yin Y, Yakar D, Dierckx RAJO, et al. Liver fibrosis staging by deep learning: a visual-based explanation of diagnostic decisions of the model. Eur Radiol. 2021. PMID: 34014382. doi:10.1007/s00330-021-08046-x
  2. 全文:PMC8589780(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8589780/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。