深度学习联合分割与分类超声图像中的肝脏病灶
该研究开发了一种卷积神经网络系统,对用户点击选择的肝脏病灶进行联合分割和分类。使用4309张超声图像(3873例患者,含肝囊肿、血管瘤、转移瘤和HCC),联合系统分割平均JI为68.5%-70.0%,四分类准确率82.2%,鉴别良恶性AUC 0.970。联合系统性能优于单独分割或单独分类系统。
要点
- 联合系统在双点击模式下分割平均JI为68.5%-70.0%,单点击模式降至37.4%。
- 鉴别良恶性敏感度95.0%、特异度86.0%、AUROC 0.970,四分类准确率82.2%。
- 联合系统性能优于单独分割或单独分类系统,可辅助经验较少的放射科医生。
核心结论
- 联合分割与分类系统在超声图像肝脏病灶分割和分类上表现良好,分割平均JI为68.5%-70.0%,四分类准确率82.2%。
- 联合系统鉴别良恶性敏感度95.0%、特异度86.0%、AUROC 0.970,四分类敏感度86.7%、特异度89.7%、AUROC 0.947。
- 联合系统性能优于单独分割系统(分割JI 68.5%)和单独分类系统(四分类准确率79.8%)。
研究设计与样本
- 回顾性单中心研究,纳入2004年1月至2018年2月4309张超声图像(3873例患者,男1993例、女1880例,平均年龄61.0岁±11.6)。
- 图像包括肝囊肿1214张(平均大小16.8±14.9 mm)、血管瘤1220张(17.4±14.5 mm)、转移瘤1001张(26.2±15.7 mm)、HCC 874张(23.3±14.7 mm)。
- 图像按病灶面积分层随机分为3909张训练集和400张测试集,同一患者图像不跨集。
- 分割参考标准由两名放射科医生(分别有24年和5年腹部超声经验)手动勾画。
- 超声设备包括Siemens Acuson Sequoia、S2000、S3000,Samsung RS 80A,GE LOGIQ E9,Philips iU22或EPIQ,使用凸阵探头常规B模式。
关键影像表现/征象
- 联合系统在双点击模式下分割平均JI为68.5%(四分类任务训练)和70.0%(二分类任务训练)。
- 单点击模式下联合系统分割平均JI降至37.4%,对边界不清、体积大、回声不均匀的病灶分割边界模糊不准。
- 联合系统四分类混淆矩阵显示囊肿准确率最高,HCC准确率最低。
- 联合系统在大多数病灶尺寸上分类性能优于单独分类系统,转移瘤准确率提升最大。
诊断标准与关键数值
- 分割性能以Jaccard指数(JI)评价,联合系统双点击模式平均JI为68.5%-70.0%,单点击模式为37.4%。
- 良恶性二分类:联合系统敏感度95.0%、特异度86.0%、AUROC 0.970(优于单独分类系统AUROC 0.944,p=0.020)。
- 四分类(囊肿、血管瘤、转移瘤、HCC):联合系统敏感度86.7%、特异度89.7%、AUROC 0.947(优于单独分类系统AUROC 0.926,p=0.040)。
- 四分类准确率联合系统82.2%,单独分类系统79.8%(p=0.01);二分类准确率联合系统90.4%,单独分类系统89.8%(p=0.48)。
临床应用与阅片要点
- 系统基于用户点击(单点击或双点击边界框)进行半自动分割和分类,双点击模式分割性能明显优于单点击模式。
- 联合系统平均执行时间73 ms/图像(GPU NVIDIA GeForce GTX 1080Ti),速度快于既往几秒的方法。
- 系统可作为辅助工具帮助经验较少的放射科医生表征肝脏病灶,但良恶性鉴别特异度(86.0%)仍低于既往报道的放射科医生性能。
- 对边界不清、体积大、回声不均匀的病灶,单点击模式分割不可靠,应优先使用双点击边界框模式。
局限性
- 数据集未涵盖临床实践中所有类型的超声设备,结果可能不适用于未纳入的超声机器。
- 转移瘤和HCC图像数量相对较少,可能影响结果。
- 单中心回顾性研究,外部泛化性需进一步验证。
全文中译10 节 · 点击展开
引言
超声(US)因其低成本、非电离特性、便携性以及实时图像采集和显示能力,是一种广泛使用的用于肝病诊断的一线影像学检查方法。许多局灶性肝脏病变是在初次评估或原发肿瘤随访期间、或在慢性肝病和肝硬化监测期间被偶然发现的;然而,利用超声成像对偶然发现的局灶性肝脏病变进行定性具有挑战性,并且由于病变与周围肝脏之间对比度低,在检测实性病变方面偶尔表现出较低的敏感性。此外,根据操作者经验水平的不同,观察到较大的观察者间变异性。肝脏局灶性病变超声特征重叠所造成的混淆也是限制判读的一个因素[1–3]。为克服这些局限性,已开发了许多用于肝脏病变分割和分类的计算机辅助系统,包括深度学习系统[4]。
由于超声成像的局限性,如斑点噪声、肿瘤与周围组织之间对比度低、以及根据扫描方向不同而变化的形态和回声特性,对超声图像中现有肿瘤进行全自动分割被认为较为困难[5]。2016年,Xu等[6]开发了一种基于深度学习的半自动分割系统,需要用户点击才能在给定图像中分割特定对象。尽管其最初的目标领域为自然图像,该系统也适用于临床图像。基于深度学习的超声图像病变分类系统也已得到深入研究[7–12]。大多数既往方法以放射科医师手动绘制的感兴趣区(ROI)作为输入;然而,手动分割繁琐且耗时,限制了其在临床实践中的可用性[4, 5]。一种可能的解决方案是将分割系统和分类系统级联,其中由分割系统自动提取的ROI被输入分类系统。尽管分割和分类任务可以分别执行,但它们可能彼此相关,因此同时执行时可能产生相互受益。具体而言,分割可为分类提供ROI,分类可为分割提供任何线索,例如基于病变类型的期望形状。因此,本研究的目的是开发一种卷积神经网络(CNN)系统,以联合分割和分类超声检查中由用户点击选择的肝脏病变。
材料与方法
本研究经我院机构审查委员会批准后实施。鉴于数据分析的回顾性性质以及使用完全匿名的超声图像,免除知情同意的要求。
数据集构建
为构建数据集,我们使用了来自3873例患者(1993例男性,1880例女性;平均年龄61.0岁±11.6;年龄范围14–94岁)的4309幅聚焦性肝脏病变超声图像。超声检查于2004年1月至2018年2月期间在同一机构进行。就图像中所含病变类型而言,本研究纳入1214幅肝囊肿图像(平均大小16.8±14.9 mm)、1220幅血管瘤图像(平均大小17.4±14.5 mm)、1001幅转移瘤图像(平均大小26.2±15.7 mm)和874幅肝细胞癌(HCC)图像(平均大小23.3±14.7 mm)。良性病变(如肝囊肿和血管瘤)的超声数据来自因筛查慢性肝病(CLD)或其他弥漫性肝病而被转诊至本机构放射科的患者。这些囊肿和血管瘤通过随访CT和MRI图像的典型表现得以诊断。恶性病变(包括转移瘤和HCC)的超声数据来自在超声检查后6个月内因聚焦性肝脏病变接受肝切除或经皮肝活检的患者。所有聚焦性肝脏病变的超声图像,无论扫描切面(如肋下或肋间扫描),均以灰度图像形式采集于图像归档与通信系统。每个聚焦性肝脏病变选取一幅按最长径测量为最大尺寸的代表性图像。肝脏病变的手动分割由两名放射科医师完成(J.Y.L.,具有24年腹部超声临床经验;H.W.R.,具有5年腹部超声临床经验)。这些图像被用作病变分割任务的参考标准。对于每种病变类型,图像按病变面积排序并分为10组,每组大小相等(附录1)。为使测试集中包含各种大小的病变,每种病变类型从每组中随机选取10幅图像,共得到400幅图像。训练集由其余3909幅图像组成(图1)。作为一项约束条件,同一患者的图像不能分处不同数据集。
超声检查
超声检查使用Siemens Acuson Sequoia、S2000和S3000(Siemens AG);Samsung RS 80A超声系统(Samsung Medison);LOGIQ E9超声系统(GE Healthcare);以及iU22或EPIQ(Philips Medical systems)进行。患者禁食至少6小时后接受超声检查。使用凸阵探头进行常规B模式超声检查。
开发联合分割与分类系统
我们改编了文献[6]中提出的一种用于肝脏病变分割的半自动分割方法。该方法以输入图像与前景和背景用户点击的两张欧几里得距离图的拼接作为输入,并输出如图2a所示的前景概率图。因此,我们需要为每张图像获取前景和背景点击以训练系统。由于从真实用户处获取这些点击较为困难,我们转而使用按照若干规则自动生成的模拟用户输入。对于前景点击,我们在病变内随机选择1–5个像素(图3a)。对于背景点击,从与病变处于一定距离范围内的背景像素中随机选择0–10个像素(图3b)。当用户未提供任何背景点击时,记录为零个像素。使用该方法,我们为每张图像的每个前景和背景生成了15个点击序列。计算表示每个像素到给定用户点击集合的最小欧几里得距离的欧几里得距离图,并将其用作网络的实际输入。如果未提供背景点击,则使用填充为255像素的图像作为背景欧几里得距离图。
我们使用了一种网络架构(图2a),该架构改编自[13]中报道的架构,而非最初在[6]中使用的全卷积网络(FCNs)[14]。该架构使用双线性插值而非反卷积层进行上采样,并且与FCN相比具有更少的可学习参数,这意味着我们的网络更不容易过拟合。我们在网络中添加了批归一化层[15]以进一步稳定网络训练。所提出的联合分割与分类系统通过为分割网络增加一个额外的分类分支来实现(图2c)。分类分支由若干全连接层组成,从共享卷积层的特征中预测由用户点击选择的病变类型。我们还实现了仅分类系统(图2b),以将其性能与联合系统进行比较,从而展示任何获益。该系统基于带有批归一化[15]的VGG-16网络[16],其结构相当于从联合系统中去除分割分支。我们在训练和测试期间使用了以病变为中心的理想局部图像块,其大小为病变的两倍。我们分别使用逐像素焦点损失和α平衡焦点损失来训练分割系统和分类系统[17]。联合系统使用两个损失之和。为了训练联合网络,我们使用了随机梯度下降优化器,动量为0.9,权重衰减为5 × 10−4。在150,000次迭代的训练过程中,前半部分和后半部分分别使用5 × 10−4和5 × 10−5的学习率。对于数据增强,我们使用了水平图像翻转、图像缩放以及随机亮度/对比度调整。训练仅分割网络时使用了相同的超参数。为了训练仅分类网络,在总共40,000次迭代的前半部分和后半部分分别使用10−3和10−4的学习率。为了更好的泛化,所有网络的早期卷积层使用另一个用乳腺超声图像训练的网络进行初始化。由于训练好的联合系统以点类型的用户输入(如点击)运行,我们可以在测试中具有多种模式。例如,用户的涂鸦可以被转换为可用于测试的一组点击。在本研究中,我们使用了两种临床有用的测试模式,分别基于一次点击和两次点击。在一次点击模式中,用户仅在病变内选择一个像素。另一方面,在两次点击模式中,用户通过放置病变包围框的左上角和右下角来绘制包围框(图3c)。为了测试两次点击模式,我们再次通过模拟为每张测试图像生成五个不同的包围框。左上角和右下角从病变的紧致框中以一定程度的位置误差进行采样。该框被稍微扩大以确保其包含病变。最后,当使用时,包围框被转换为五次点击,包括其中心的一次前景点击和四个角上的四次背景点击(图3d)。
我们使用TensorFlow [18]来实现所有网络。实验在配备Intel Core i7-7700K 4.2-GHz CPU、32-GB RAM和Nvidia GeForce GTX 1080Ti(11 GB显存)的环境中进行。
统计分析
仅分割系统和联合分割与分类系统的分割结果均以参考标准进行评价,并按每张图像使用Jaccard指数(JI)进行评估。JI计算为参考标准与分割结果之间交集面积除以并集面积[19, 20]。虽然我们以双点击模式的性能作为主要结果呈现,但也提供了使用单点击的结果以比较两种模式。仅分类系统和联合系统的分类性能使用准确率和受试者工作特征曲线下面积(AUC)进行评估。在分类方面,我们进行了两项实验,以预测良性和恶性,并对四种类型的肝脏病变(肝囊肿、血管瘤、转移瘤和HCC)进行分类。我们对每张测试图像使用五种不同的用户输入,以考虑不同的用户输入风格。
结果
分割性能
在双点击模式下,仅分割系统的平均JI达到68.5%。与此相比,联合分割与分类系统在以二分类任务训练时平均JI达到70.0%(p < 0.001),在以四分类任务训练时表现出相当的结果(68.5%)(p = 0.95)(表1)。无论肝脏病变的大小和类型如何,均观察到仅分割系统与联合系统之间相当的性能(附录2)。尽管如此,与仅分割系统相比,联合系统的分割结果显示出更好地区分病变边界的趋势(图4)。在单点击模式下,联合系统的平均JI显著下降至37.4%。尽管该系统对于边缘清晰、对比度高的病变仍能产生准确的分割,但对于边缘不清、体积大且回声不均匀的病变,则产生模糊且不准确的边界(图5)。
分类性能
仅分类系统在二分类和四分类分类任务中的分类准确率分别为89.8%和79.8%。与此相比,联合系统在各自任务中分别达到90.4%(p = 0.48)和82.2%(p = 0.01)(表2)。在大多数病灶大小上,联合系统的表现优于仅分类系统。就病灶类型而言,准确率提升最大的是转移性病灶(附录3)。在ROC分析方面,联合系统在二分类分类任务中的AUC显著高于仅分类系统(0.970,0.944,p = 0.020)。联合系统在四分类分类任务中的AUC也显著高于仅分类系统(0.947,0.926,p = 0.040)。对于二分类任务,通过计算约登指数[21]得到的联合系统ROC曲线上的最佳敏感度和特异度分别为95.0%和86.0%。对于四分类分类,该系统产生的敏感度为86.7%,特异度为89.7%(图6,表2)。使用联合系统进行四分类分类的混淆矩阵显示,在所有病灶类型中,囊肿的准确率最高,而HCC的准确率最低(表3)。
在使用NVIDIA GeForce GTX 1080Ti GPU卡的情况下,联合系统每张图像的平均执行时间为73 ms。仅分割系统和仅分类系统的各自执行时间分别为73 ms和10 ms。我们注意到,在输入分类系统之前,需要从分割结果中裁剪出图像块,这需要额外的处理时间,而联合系统则不需要。
讨论
我们提出了一种基于用户点击的超声图像肝脏病灶联合分割与分类系统。该系统在分割(平均JI,二分类训练时为70.0%,四分类训练时为68.5%)和分类(准确率,二分类为90.4%,四分类为82.2%)方面表现出令人满意的性能。我们预期,与分别解决每个任务相比,联合执行这两个任务将改善每个任务的性能。在通过合并各任务系统来缩短执行时间的同时,我们还改善了每个任务的性能。
肝脏肿瘤分割长期以来一直是一个重要课题,尤其是在深度学习背景下。Gruber等人开发了一种用于CT图像中肝脏和肿瘤分割的序列网络,据报道肿瘤分割的平均JI为79.2% [22]。Vorontsov等人报告了使用用户校正方法在CT图像中分割结直肠肝转移的病灶Dice相似系数为0.62 – 0.78。无用户校正时Dice相似系数为0.14 – 0.68 [23]。与既往使用CT图像的研究相比,我们提出的系统在超声图像中表现出合理的分割性能(平均JI为68.5 – 70.0%)。有趣的是,虽然[23]中的方法对小病灶显示分割不准确,但所提出的系统即使对小病灶也显示出合理的分割质量。这一发现可能归因于超声与CT之间的固有差异。在本研究中,我们使用了两种模拟用户输入,即一键模式和两键模式。与一键模式(平均JI为37.4%)相比,两键模式显示出更好的分割性能(平均JI为68.5%),尤其是对于边缘不清、体积大和回声不均匀的病灶。考虑到超声在筛查HCC或转移等恶性肿瘤中的作用,这些特征常常表现出来,两键模式似乎更适合临床实践。
既往大多数超声图像肝脏肿瘤分割研究基于半自动方法,这是由于超声数据的斑点、声影和缺失边界所带来的困难 [5]。Cvancarova等人使用活动轮廓模型或snakes来分割超声图像中的肝脏病灶 [24, 25]。在该模型中,分割通过变换用户给出的snake以最小化能量来进行。当能量最小时,snake的张力与刚性同对目标边界的拟合程度之间达到平衡。Egger等人提出了一种基于图的半自动方法,其中图构建在用户放置的圆形模板上 [26]。在本研究中,我们采用了[6]中针对超声图像的半自动分割方法,该方法需要少量用户点击。我们使用了反映真实用户输入不同风格的模拟用户输入。将用户输入与图像一起学习使网络能够理解用户意图。由于所提出的方法通过训练好的端到端网络执行分割,且不需要复杂的优化过程,因此比既往方法运行更快。既往研究的执行时间为数秒 [25, 26],而我们系统的平均执行时间小于0.1 s。
尽管超声(US)是筛查肝脏病变广泛使用的模态,但由于其操作者依赖性以及实性肝脏病变超声表现的重叠,其在病变诊断准确性方面存在局限性[27]。在临床实践中,超声被认为是需要进一步检查(如CT或MRI)的一线模态[28]。据报道,人类仅使用B模式超声图像区分良性和恶性局灶性肝脏病变的表现具有高敏感性(100%),但特异性低(18.9–30.2%),AUC低(0.665–0.706)[29]。因此,许多研究利用深度学习进行肝脏病变分类。Schmauch等人[30]开发的系统在表征五种肝脏病变(包括血管瘤、转移瘤、HCC、囊肿和局灶性结节性增生)方面报告了平均AUC为0.916。Hassan等人[31]开发了一个对四种局灶性肝脏病变(包括囊肿、血管瘤、HCC和正常肝实质)进行分类的系统。该系统在准确性(93.90–98.60%)、敏感性(95.70–98.30%)和特异性(92.60–98.90%)方面表现出良好结果。我们提出的系统在区分良性和恶性病变方面表现出更高的特异性(86.0%)和AUROC(0.970),但敏感性(95.0%)略低于既往研究中放射科医师的表现[29]。这些结果表明,我们提出的系统可作为放射科医师的辅助工具。我们的系统在表征局灶性肝脏病变方面达到的AUC为0.947,高于Schmauch等人[30]仅分类系统获得的AUC。与Hassan等人[31]开发的系统的性能相比,我们提出的系统表现出略低的准确性(82.2%)、敏感性(86.7%)和特异性(89.7%);然而,我们纳入了许多回声不均匀、边界不清或不规则的转移瘤病例,这些病例未纳入Hassan等人之前的研究。两项既往研究均报告实性病变的准确性相对低于囊肿[30, 31]。这一趋势与我们的结果一致。实性肝脏表征准确性降低可能与这些肿瘤超声表现的重叠和非特异性有关。在我们的研究中,联合系统在二分类和四分类任务中的分类性能均高于仅分类系统。我们推测,系统中联合进行的分割任务所提取的特征可能有助于分类任务。
本研究存在若干局限性。尽管我们的数据集包括使用多种类型超声机器获得的图像,但未包括临床实践中可用的所有不同类型机器;因此,结果可能不适用于本研究中未包括的超声机器。此外,本研究中转移瘤和HCC图像数量相对较少可能影响结果。
总之,所提出的超声图像中肝脏病变联合分割与分类系统表现出高于仅分割和仅分类系统的性能。所提出的系统可通过表征肝脏病变来协助超声成像经验最少的放射科医师。
补充信息
ESM 1(DOCX 28 kb)
引用
- Ryu H, Shin SY, Lee JY, et al. Joint segmentation and classification of hepatic lesions in ultrasound images using deep learning. Eur Radiol. 2021. PMID: 33881566. doi:10.1007/s00330-021-07850-9
- 全文:PMC8523410(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8523410/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。