基于多模态超声影像的迁移学习影像组学用于肝纤维化分期
本研究纳入466例接受部分肝切除术的患者,采用Inception-V3网络迁移学习分析灰阶与弹性超声图像进行肝纤维化分期;多模态灰阶+弹性模型对S4、≥S3、≥S2分类的AUC分别为0.950、0.932、0.930,优于灰阶+肝硬度值、单模态及血清学指标。
要点
- 灰阶与弹性超声双模态迁移学习模型对肝纤维化S4、≥S3、≥S2分类AUC达0.950、0.932、0.930。
- 双模态模型优于灰阶+肝硬度值、单模态灰阶或弹性及LSM、APRI、FIB-4。
- 迁移学习在灰阶和弹性模态的AUC均高于非迁移学习(均p<.01)。
关键影像表现/征象
- 灰阶超声可显示肝实质细结构反射与散射、门静脉壁清晰度丧失、肝静脉边缘不规则等与纤维化相关的征象。
- 弹性图彩色编码显示肝实质硬度随纤维化进展而增加,LSM通过Q-box(平均直径20 mm)测量。
- 肝实质回声粗糙及轻度回声增强常见于肝硬化,但评估主观且观察者间与观察者内一致性差。
诊断标准与关键数值
- 测试队列中GM+EM对S4、≥S3、≥S2分类的AUC分别为0.950、0.932、0.930。
- 测试队列中GM+LSM对≥S2、≥S3、S4诊断的AUC分别为93.7%、92.7%、92.0%。
- 训练队列中TL在GM的AUC对三种分层分别为99.19%、99.2%、99.42%,较非TL高0.66%、1.38%、3.95%。
- 训练队列中TL在EM的AUC对三种分层分别为99.37%、99.34%、100%,较非TL高0.59%、0.82%、0.94%。
- 测试队列中非TL在GM的AUC较TL低3.84%、4.19%、4.55%(均p<.01);非TL在EM的AUC较TL低5.9%、4.9%、4.0%(均p<.01)。
临床应用与阅片要点
- 作者认为迁移学习在灰阶和弹性模态中有望应用于临床肝纤维化分期。
- 作者建议应开展多中心和大规模研究以改进和验证该模型。
局限性
- 纤维化各期患者分布不均,尤其是S4期,主要因接受部分肝切除术者中肝细胞癌和肝硬化比例较大。
- 本研究患者数量有限,应开展多中心验证和前瞻性研究评估TL在GM和EM中的价值。
- 将研究如何从跨领域提取更适合当前领域的特征,并研究更通用的肝纤维化分期模型。
- 灰阶和弹性超声图像易受重建和处理算法影响,可能影响迁移学习深度卷积神经网络方法的诊断性能。
全文中译14 节 · 点击展开
引言
慢性肝病(CLD)的多种病因遵循肝纤维化进行性发展的共同途径,最终发展为肝硬化。已有研究证实,肝纤维化和早期肝硬化具有一定程度的可逆性[1]。因此,准确诊断肝纤维化对于CLD患者的管理和预后判断至关重要。传统上,肝活检是评估肝纤维化的参考标准。然而,肝活检具有侵入性和疼痛性,并因采样误差和观察者内及观察者间变异而在准确性方面存在局限性[2–5]。鉴于这些局限性,肝活检并非重复评估疾病进展的理想方法。
近年来,超声弹性成像已被广泛应用于评估CLD的程度[6]。基于剪切波的弹性成像方法主要包括瞬时弹性成像、点剪切波弹性成像和二维剪切波弹性成像(2D SWE),其操作者内和操作者间可重复性良好[7, 8]。2D SWE可定量估测组织硬度,与瞬时弹性成像、虚拟触诊组织定量及血清肝纤维化指标相比,能更准确地反映肝弹性与肝纤维化分期的相关性[9]。然而,2D SWE进行的肝脏硬度测量(LSM)可受多种因素影响,如操作者经验、肥胖、转氨酶水平以及脂肪变性和坏死炎症活动的程度[9–12]。既往研究中,2D SWE用于识别慢性乙型肝炎(CHB)患者纤维化分期的阈值显示出很大差异[1, 9, 10, 13]。因此,单独使用2D SWE值可能不足以准确评估肝纤维化分期。
根据既往研究,影像组学在肝纤维化分类方面具有巨大潜力。Gao等[14]采用纹理分析对超声肝脏图像进行分类,S0–S4的分类准确率分别为100%、90%、70%、90%和100%。Kayaaltı等[15]通过分析肝脏CT图像的一些纹理特征来判定肝纤维化分期。Acharya等[16]采用核判别分析和方差分析技术将图像分类为不同肝纤维化阶段。Yeh等[17]从灰度共生和非可分小波变换中提取图像特征,以支持向量机对纤维化进行分类。计算特征的传统方法多种多样,但无法保证特征提取的完整性。近年来,深度学习方法也被用于评估肝纤维化。例如,Wang等[18]设计了四个卷积层并应用全连接层进行二分类肝纤维化分类。Lee等[19]开发了一个深度卷积神经网络,并训练了四分类模型(F0 vs. F1 vs. F23 vs. F4),利用B型超声图像预测METAVIR评分。要使深度学习取得成功,必须使用大型训练数据集。然而,在临床应用中,获取大量医学图像既困难又昂贵。解决该问题的一条途径是使用迁移学习,通过将知识从其他领域迁移到医学超声领域来提高性能[20]。Yu等[21]采用AlexNet迁移学习研究大鼠纤维化评分,并将其与传统的非深度学习算法进行比较。
在本研究中,我们使用迁移学习分析弹性成像模态(EM)和灰阶模态(GM),并将结果与肝纤维化分期的病理诊断进行比较。综合利用灰阶和弹性成像图像的高通量信息将提高肝纤维化诊断的准确性。迁移学习有望解决医学图像不足导致的医学成像过拟合问题。
材料与方法
患者
本回顾性研究经机构伦理委员会批准,并获得了所有患者的知情同意。2016年1月至2016年12月期间,招募了717例在我院接受部分肝切除术治疗的连续性肝脏局部病变患者。纳入标准为(a)术前两周内使用Aixplorer系统接受二维剪切波弹性成像(2D SWE)检查,以及(b)年龄18岁或以上。排除标准为(a)最大肿瘤直径大于5 cm的患者,(b)因肥胖、腹水或肿瘤位于肝脏5段或6段导致2D SWE技术失败,(c)合并慢性乙型肝炎(CHB)以外的肝炎病毒感染的患者,(d)六个月内接受抗病毒治疗,(e)既往肝移植,(f)超声或CT/MRI诊断的由肿瘤压迫或门静脉血栓引起的肝内胆管扩张,以及(g)患有充血性心脏病的患者。最终,466例患者纳入研究;364例患者通过随机化分配至训练队列,其余102例患者纳入测试队列。
多模态超声图像
使用Aixplorer(SuperSonic Imagine)系统,在肝脏手术前3天内以凸阵探头(SC6–1)获取图像。测量通过肋间隙在肝右叶进行。患者在检查前保持一夜空腹。优化超声成像设置,包括深度、总增益、时间增益补偿和压缩。在弹性成像检查中,弹性图的最大彩色标尺设定为40 kPa。所有患者的全部灰阶和弹性图成像设置保持不变。在实时灰阶超声图像辅助下,将感兴趣区(ROI)置于肝包膜下1–2 cm处,且距病灶边缘至少2 cm,避开大血管和声影。一旦在剪切波弹性成像(SWE)取样框内获得完整且均匀填充的彩色图,即使用Q-box(平均直径20 mm)获取肝脏硬度测量值(LSM)。取5次LSM的平均值作为每例患者的代表性测量值[10]。
血清学检查
血清学检查在手术前1周内、过夜空腹后进行。记录血小板计数、天冬氨酸氨基转移酶、丙氨酸氨基转移酶、白蛋白、γ-谷氨酰转肽酶、总胆固醇、总胆汁酸水平及国际标准化比值。无创血清肝纤维化指标——APRI和FIB-4——依据已发表的公式确定[22, 23]。
病理检查
局灶性肝脏病变及邻近肝组织的手术标本以10%福尔马林固定并常规石蜡包埋。距病灶周边0.5–2.0 cm的背景肝组织切片行苏木精-伊红、Masson三色及网状纤维染色。纤维化按照Scheuer评分系统分期,包括0、1、2、3和4期[24, 25]。所有标本均由一名具有10年经验的病理科医师分析。
迁移学习
迁移学习是将在大数据集上训练的网络迁移至不同的相关任务,从而避免常规深度学习中训练数据不足所致的过拟合问题。本文使用的迁移学习(TL)模型为Inception-V3网络[26],该网络在ImageNet[27]上进行了预训练。Inception-V3网络采用若干Inception模块,因而能够以不同卷积核学习低层和高层特征。图1描述了我们所提出的Inception-V3工作流程(详见补充材料)。我们的医学数据集较ImageNet规模更小但内容不同。因此,我们初始化了在ImageNet上微调过的网络权重,并使用一个二分类层对数据集中的灰阶和弹性图超声图像进行分类。同时,我们微调了网络的高层,因为这些网络层对细微特征逐渐变得更具特异性。为防止网络对我们有限的训练数据集过拟合,我们还通过随机裁剪和翻转人工扩充了训练规模。
在弹性成像图中,在彩色编码的梯形框内尽可能大地绘制一个方形感兴趣区(ROI),其中包含Q-box。然后在下方灰阶图像中自动生成相同的ROI(图2)。对于灰阶ROI,尽管图像看起来是灰色的,但它仍然是RGB图像。TL模型的细节在补充方法部分中描述。还训练了非迁移学习(non-TL)模型,以说明迁移学习策略在肝纤维化分期中的优势。
多模态
大量研究表明,二维SWE具有优异的诊断准确性,且肝脏硬度测量(LSM)与病理纤维化分期具有良好的相关性[11, 28]。本文分析了结合灰阶图像分析和二维SWE结果的诊断价值。一幅图像的置信系数反映了其分类准确性。在获得二维SWE的置信度(详见补充材料)后,我们将其与灰阶图像的置信度结合作为特征输入,通过逻辑回归进行分析。然后我们实施小批量梯度下降以寻找分类的最优参数。
灰阶图像和弹性成像图均包含与肝纤维化相关的诊断信息。因此,在从先前单模态实验中训练的GM模型和EM模型提取2048维特征后,我们将两种模态的特征拼接为4096维特征,并使用3个全连接层作为分类器。我们提出的GM + EM工作流程在补充方法中描述。
统计分析
描述性统计以均值±标准差(SD)或中位数和四分位距(IQR)汇总。定量变量之间的比较采用t检验或Mann-Whitney U检验,分类变量的比较采用卡方检验或Fisher检验。受试者工作特征曲线下面积(AUC)用作评估诊断性能的准确性指标。AUC之间的差异采用Delong检验进行比较。计算了灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)以及阳性和阴性诊断似然比(LR+、LR−)。统计分析使用SPSS软件V.22.0(IBM Corp.)和MedCalc软件V.11.2(MedCalc Software bvba)进行。统计显著性水平设定为p < .05。
结果
患者特征
本研究共纳入466例患者,其中364例患者的1820幅二维磁敏感加权成像(2D SWE)图像通过随机化分配到训练队列,102例患者的510幅2D SWE图像分配到时间独立测试队列,以评估所开发模型的诊断性能。在466例患者中,401例为慢性乙型肝炎(CHB)感染者,65例无CHB感染并经肝切除术组织病理学证实为S0。两个队列的基线特征总结于表1。两个队列之间在基线特征或纤维化分期患者分布方面均无显著差异(所有p > .05)。
迁移学习与非迁移学习
在训练队列中,灰阶图(GM)和弹性图(EM)的迁移学习(TL)在分类S4、≥ S3和≥ S2方面表现出比非迁移学习(non-TL)更高的诊断准确性(AUC均≥ 0.99)(所有p < .01)(表2)。GM中TL的AUC在三个分层中分别达到99.19%、99.2%和99.42%,分别比non-TL高0.66%、1.38%和3.95%。EM中TL的AUC在三个分层中分别达到99.37%、99.34%和100%,分别比non-TL高0.59%、0.82%和0.94%。由于EM不仅具有纹理和亮度信息,还具有颜色信息,因此EM中的AUC略高于GM(图3)。
在测试队列中,GM中non-TL的AUC分别比TL的AUC低3.84%、4.19%和4.55%(所有p < .01)。EM中non-TL的AUC也分别比TL的AUC低5.9%、4.9%和4.0%(所有p < .01)(图3,表2)。
在单模态实验中,non-TL的AUC低于TL。这是因为ImageNet预训练权重可以在瓶颈层共享,这不仅解决了数据不足和过拟合的问题,还提取了大量优秀的共同特征。
多模态与单模态
由于TL的AUC在统计学上高于non-TL,我们在多模态实验中使用了TL。
在训练队列中,EM在三个分层中的AUC在统计学上高于GM(p < .001)(表3)。在测试队列中,GM + LSM诊断肝纤维化≥ S2、≥ S3和S4的AUC分别达到92.0%、92.7%和93.7%,显著高于单独GM和LSM的AUC(所有p < .01)。GM + EM的AUC显著高于单独GM和EM的AUC(所有p < .01)(图4)。灵敏度和特异度分析也表明,GM + LSM和GM + EM普遍优于单独GM、EM和LSM(表3)。GM + EM表现出最高的AUC,三个分层分别达到93.0%、93.2%和95.0%,分别比GM + LSM高1.0%、0.5%和1.3%(所有p < .05)。
迁移学习与肝脏硬度测量及血清学指标的比较
在训练队列中,GM和EM在识别肝硬化、纤维化≥ S3和≥ S2方面的AUC显著高于LSM、APRI和FIB-4(均p < .0001)。在测试队列中,多模态(GM + LSM和GM + EM)和单模态(单独GM和EM)在区分S4、纤维化≥ S3和≥ S2方面的诊断准确性均高于LSM和血清学指标,且AUC差异均有统计学意义(p < .01)(表3)。图5展示了灰阶和弹性成像模态下肝纤维化各阶段的表现。
讨论
肝纤维化的准确无创分类在临床实践中至关重要。近年来已有报道使用CT图像进行肝纤维化分期的深度学习系统,并显示出良好性能[29, 30]。超声是常规检查中更常用且无创的成像方式,但深度学习用于超声图像分析的报道较少。在本研究中,我们不仅分析了灰阶图像,还分析了慢性乙型肝炎(CHB)感染患者二维剪切波弹性成像(2D SWE)的弹性成像图像,采用迁移学习进行肝纤维化分类。迄今为止,尚无关于迁移学习联合GM和EM评估肝纤维化分期诊断价值的研究报道。
灰阶超声图像包含原始信息,如肝实质内细结构的反射和散射,这与胶原纤维的堆积、门静脉壁清晰度的丧失以及肝静脉边缘的不规则性相关,所有这些均提示肝纤维化过程。肝脏回声纹理粗糙和肝实质回声轻度增强在肝硬化中常见。然而,对这些表现的评估具有主观性,观察者间和观察者内一致性较差,且表现也在很大程度上取决于所使用的设备[31]。此外,这些指标主要见于肝硬化,在纤维化早期阶段较少见。因此,一种定量、客观的灰阶超声图像分析方法可能具有价值。在本研究中,我们提供了一种客观方法——迁移学习,以挖掘灰阶超声图像中有价值的信息。
在组织病理学上,肝纤维化是细胞外基质成分在肝脏中过度积累的结果。这一过程由对持续性肝损伤的伤口愈合反应引起,诱导肝星状细胞活化、α平滑肌肌动蛋白高产生以及I型和III型胶原分泌,并可进展为肝硬化[32]。肝实质的硬度随肝纤维化进展而增加,这可通过LSM和二维SWE的彩色编码弹性图反映。
在医学图像分析方面,已有数篇论文报道了迁移学习(TL)技术的应用[33–35]。Banerjee等[36]采用了一种TL方法,其中预训练的AlexNet模型在融合多模态MR扫描上进行微调,用于横纹肌肉瘤软组织肉瘤分类。在本研究中,我们使用TL客观评估灰阶和弹性图图像,其表现优于非TL。这些结果表明,通过微调,使用大量自然图像学习到的权重可以更好地应用于医学图像。
我们进行了一项创新的多模态分析,包括GM + LSM和GM + EM。在GM + LSM分析中,基于置信函数的特征和临床分析,我们构建了具有数学意义的LSM置信函数。同时,我们创造性地结合了GM和EM,通过三个全连接层实现了自动分类器学习。多模态GM + EM和GM + LSM方法表现出优于单模态方法的性能,表明多模态携带了更多诊断信息。
已有一些关于传统机器学习和深度学习方法诊断CLD的报道。Gatos等[37]报道了一项纳入126例患者二维SWE图像的多中心研究,从中提取了35个硬编码放射组学特征;所提出的机器学习方法的AUC达到0.87。Kayaaltı等[15]从CT图像中获取了一套全面的纹理特征,并使用两种方法进行分类,即支持向量机和k近邻。Kun Wang等[18]进行了一项研究,评估剪切波弹性成像深度学习放射组学(DLRE)在CHB感染患者肝纤维化分期中的价值,并报道与LSM和血清指标相比,DLRE表现出最佳的总体性能。他们的研究与我们的研究之间存在一些差异。他们的模型参考了EM而非GM的信息,并且未开发两种模态的更全面整合。此外,我们得出结论,TL方法比非TL方法收敛更快。基于已发表的文献,我们在补充材料的表S1中总结了一些已报道的传统机器学习和深度学习分析医学图像以评估肝纤维化的方法和性能。
我们的研究存在一些局限性。第一,患者在纤维化各分期之间的分布不均,尤其是S4期。这主要是因为接受部分肝切除术的患者中肝细胞癌和肝硬化患者占比较大。第二,我们研究中的患者数量有限;因此,应开展多中心验证和前瞻性研究来评估迁移学习(TL)在灰阶模态(GM)和弹性成像模态(EM)中的价值。第三,我们将研究如何从跨领域中提取更适合当前领域的更优特征,并研究一种更通用的肝纤维化分期模型。第四,灰阶和弹性成像超声图像易受重建和处理算法的影响,这可能通过迁移学习模态影响深度卷积神经网络方法的诊断性能。
总之,肝纤维化可通过迁移学习模态进行分期,其性能优于非迁移学习,并且灰阶模态与弹性成像模态的组合相比灰阶模态与肝硬度测量(LSM)的组合、单独灰阶模态、单独弹性成像模态、单独肝硬度测量以及血清肝纤维化指标是最准确的预测模型。这些结果表明,灰阶和弹性成像模态中的迁移学习是一种有前景的方法,具有应用于临床肝纤维化分期的潜力,应开展进一步的多中心和大规模研究以改进和验证该模型。
电子补充材料
ESM 1(DOCX 244 kb)
引用
- Xue LY, Jiang ZY, Fu TT, et al. Transfer learning radiomics based on multimodal ultrasound imaging for staging liver fibrosis. Eur Radiol. 2020. PMID: 31965257. doi:10.1007/s00330-019-06595-w
- 全文:PMC7160214(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7160214/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。