卷积神经网络:影像学中的概述与应用
本文综述卷积神经网络(CNN)的基本概念及其在影像学多项任务中的应用,讨论其面临的挑战与未来方向。文章重点阐述应用CNN于影像学任务时的两大挑战——小数据集与过拟合,以及相应的缓解技术。作者认为,熟悉CNN的概念、优势与局限,对于利用其潜力提升放射科医师表现并最终改善患者照护至关重要。
要点
- CNN由卷积层、池化层和全连接层等模块堆叠而成,通过反向传播自动、自适应地学习特征的空间层级。
- 卷积层的关键特征是权重共享,使卷积核在图像各位置共享,从而高效提取平移不变的特征。
- 应用CNN于影像学任务面临小数据集与过拟合两大挑战,可通过数据增强、dropout、权重衰减、批归一化等方法缓解。
核心结论
- 熟悉CNN的概念、优势与局限,对于利用其潜力提升放射科医师表现并最终改善患者照护至关重要。
研究设计与样本
- 本文为综述文章,聚焦CNN的基本概念及其在影像学各项任务中的应用,并讨论其挑战与未来方向。
临床应用与阅片要点
- 作者指出,熟悉这一前沿方法不仅有助于将CNN应用于影像学与医学影像任务的研究者,也有助于临床放射科医师,因为深度学习可能在不远的将来影响其执业。
局限性
- 原文未报告局限性
全文中译26 节 · 点击展开
引言
近年来,人们对深度学习产生了极大的兴趣[1]。在各种深度学习模型中,最为成熟的算法是卷积神经网络(CNN),这是一类人工神经网络,自2012年在被称为ImageNet大规模视觉识别竞赛(ILSVRC)的物体识别竞赛中分享了令人惊叹的成果以来,它一直是计算机视觉任务中的主导方法[2, 3]。医学研究也不例外,因为CNN已在各个领域达到了专家级的表现。Gulshan等[4]、Esteva等[5]和Ehteshami Bejnordi等[6]分别展示了深度学习在糖尿病视网膜病变筛查、皮肤病变分类和淋巴结转移检测方面的潜力。毋庸置疑,放射学研究人员对CNN潜力的兴趣激增,并且已在病变检测[7]、分类[8]、分割[9]、图像重建[10, 11]和自然语言处理[12]等领域发表了若干研究。熟悉这一前沿方法不仅有助于将CNN应用于放射学和医学成像任务的研究人员,也有助于临床放射科医生,因为深度学习可能在不久的将来影响他们的实践。本文重点介绍CNN的基本概念及其在各种放射学任务中的应用,并讨论其挑战和未来方向。其他深度学习模型,例如用于序列模型的循环神经网络,超出了本文的范围。
术语
为避免混淆,本文通篇一致使用以下术语。本文中的“参数”代表在训练过程中自动学习的变量。“超参数”是指在训练过程开始前需要设置的变量。“核”是指在卷积运算中应用的可学习参数集。“权重”通常与“参数”互换使用;然而,我们尽量在指代卷积层之外的参数(即核,例如在全连接层中)时使用该术语。
什么是CNN:整体概览(图1)
CNN是一种用于处理具有网格模式数据(如图像)的深度学习模型,其灵感来源于动物视觉皮层的组织结构[13, 14],旨在自动且自适应地学习从低层次到高层次模式的空间特征层级。CNN是一种数学构造,通常由三种类型的层(或构建模块)组成:卷积层、池化层和全连接层。前两种,即卷积层和池化层,执行特征提取,而第三种,即全连接层,将提取的特征映射为最终输出,如分类。卷积层在CNN中起着关键作用,它由一系列数学运算组成,如卷积——一种专门的线性运算。在数字图像中,像素值存储在二维(2D)网格中,即一个数字数组(图2),一个称为核的小型参数网格——一种可优化的特征提取器——被应用于每个图像位置,这使得CNN在图像处理中极为高效,因为特征可能出现在图像中的任何位置。当一层将其输出馈入下一层时,提取的特征可以分层且逐步地变得更加复杂。优化核等参数的过程称为训练,其执行目的是通过称为反向传播和梯度下降等的优化算法来最小化输出与真实标签之间的差异。
CNN与放射组学中使用的其他方法有何不同?
大多数近期放射组学研究使用手工特征提取技术,如纹理分析,随后使用传统机器学习分类器,如随机森林和支持向量机[15, 16]。此类方法与CNN之间有几个差异值得注意。第一,CNN不需要手工特征提取。第二,CNN架构不一定需要由人类专家对肿瘤或器官进行分割。第三,CNN由于需要估计数百万个可学习参数,对数据的需求量大得多,因此计算成本更高,从而需要图形处理单元(GPU)进行模型训练。
CNN架构的构建模块
CNN 架构包括若干构建模块,如卷积层、池化层和全连接层。典型架构由若干卷积层和池化层堆叠的重复组成,随后是一个或多个全连接层。输入数据通过这些层转换为输出的步骤称为前向传播(图1)。尽管本节描述的卷积和池化操作针对二维CNN,类似操作也可用于三维(3D)CNN。
卷积层
卷积层是CNN架构的基本组成部分,执行特征提取,通常由线性和非线性操作的组合构成,即卷积操作和激活函数。
卷积
卷积是一种用于特征提取的专用线性操作,其中一个小型数字数组称为核,应用于输入,输入是一个数字数组,称为张量。在张量的每个位置计算核的每个元素与输入张量之间的逐元素乘积并求和,以获得输出张量对应位置的输出值,称为特征图(图3a–c)。重复此过程应用多个核以形成任意数量的特征图,这些特征图代表输入张量的不同特征;因此,不同的核可被视为不同的特征提取器(图3d)。定义卷积操作的两个关键超参数是核的大小和数量。前者通常为3×3,但有时为5×5或7×7。后者是任意的,决定输出特征图的深度。
上述卷积操作不允许每个核的中心与输入张量的最外层元素重叠,并且与输入张量相比减小了输出特征图的高度和宽度。填充,通常为零填充,是解决此问题的一种技术,其中在输入张量的每侧添加零的行和列,以使核的中心适应最外层元素并通过卷积操作保持相同的平面内维度(图4)。现代CNN架构通常采用零填充以保留平面内维度,以便应用更多层。 without零填充,每个连续的特征图在卷积操作后将变小。
两个连续核位置之间的距离称为步幅,它也定义了卷积操作。步幅的常见选择是1;然而,有时使用大于1的步幅以实现特征图的下采样。执行下采样的另一种技术是池化操作,如下所述。
卷积操作的关键特征是权重共享:核在所有图像位置上共享。权重共享产生卷积操作的以下特征:(1)使核提取的局部特征模式具有平移不变性,因为核遍历所有图像位置并检测学习到的局部模式,(2)通过结合池化操作进行下采样来学习特征模式的空间层次结构,从而捕获越来越大的视野,以及(3)与全连接神经网络相比,通过减少需要学习的参数数量来提高模型效率。
如后文所述,就卷积层而言,训练卷积神经网络(CNN)模型的过程是基于给定训练数据集识别出对给定任务最有效的核。核是卷积层训练过程中唯一自动学习的参数;另一方面,核的大小、核的数量、填充和步幅是需要在训练过程开始前设置的超参数(表1)。
非线性激活函数
诸如卷积之类的线性操作的输出随后通过非线性激活函数。尽管此前曾使用平滑非线性函数(如Sigmoid函数或双曲正切(tanh)函数),因为它们是生物神经元行为的数学表示,但目前最常用的非线性激活函数是修正线性单元(ReLU),其仅计算函数:f(x) = max(0, x)(图5)[1, 3, 17–19]。
池化层
池化层提供典型的降采样操作,可降低特征图的平面内维度,以引入对小偏移和形变的平移不变性,并减少后续可学习参数的数量。值得注意的是,任何池化层中均无可学习参数,而滤波器大小、步幅和填充是池化操作中的超参数,与卷积操作类似。
最大池化
池化操作最常见的形式是最大池化,它从输入特征图中提取图块,输出每个图块中的最大值,并丢弃所有其他值(图6)。实践中常用滤波器大小为2×2、步幅为2的最大池化。这将特征图的平面内维度降采样为原来的1/2。与高度和宽度不同,特征图的深度维度保持不变。
全局平均池化
另一个值得注意的池化操作是全局平均池化[20]。全局平均池化执行一种极端的下采样,其中大小为高度×宽度的特征图通过简单地对每个特征图中所有元素取平均值而被下采样为1×1数组,而特征图的深度保持不变。该操作通常仅在全连接层之前应用一次。应用全局平均池化的优点如下:(1)减少可学习参数的数量;(2)使CNN能够接受可变大小的输入。
全连接层
最终卷积或池化层的输出特征图通常被展平,即转换为数字的一维(1D)数组(或向量),并连接到一个或多个全连接层(也称为稠密层),其中每个输入通过一个可学习权重连接到每个输出。一旦由卷积层提取并由池化层下采样的特征被创建,它们就通过全连接层的一个子集被映射到网络的最终输出,例如分类任务中每个类别的概率。最终全连接层通常具有与类别数相同数量的输出节点。每个全连接层之后跟随一个非线性函数,如上文所述的ReLU。
最后一层激活函数
应用于最后一个全连接层的激活函数通常与其他层不同。需要根据每个任务选择合适的激活函数。应用于多类分类任务的激活函数是softmax函数,它将最后一个全连接层的输出实值归一化为目标类别概率,其中每个值范围在0到1之间且所有值之和为1。各种类型任务中最后一层激活函数的典型选择总结于表2。
训练网络
训练网络是一个寻找卷积层中的核和全连接层中的权重的过程,这些核和权重使输出预测与训练数据集上给定真实标签之间的差异最小化。反向传播算法是训练神经网络常用的方法,其中损失函数和梯度下降优化算法起着关键作用。特定核和权重下的模型性能通过前向传播在训练数据集上由损失函数计算,可学习参数即核和权重根据损失值通过称为反向传播和梯度下降等的优化算法进行更新(图1)。
损失函数
损失函数,也称为代价函数,衡量通过网络前向传播的输出预测与给定真实标签之间的兼容性。多类分类常用的损失函数是交叉熵,而均方误差通常应用于对连续值的回归。损失函数类型是超参数之一,需要根据给定任务确定。
梯度下降
梯度下降通常用作优化算法,迭代更新网络的可学习参数(即卷积核和权重),以最小化损失。损失函数的梯度为我们提供了函数增长速率最陡的方向,每个可学习参数沿梯度的负方向更新,步长根据称为学习率的超参数确定(图7)。从数学上讲,梯度是损失对每个可学习参数的偏导数,参数的単次更新公式如下:其中w代表每个可学习参数,α代表学习率,L代表损失函数。值得注意的是,在实践中,学习率是训练开始前需要设置的最重要的超参数之一。在实践中,出于内存限制等原因,损失函数关于参数的梯度通过使用称为小批量的训练数据子集来计算,并应用于参数更新。这种方法称为小批量梯度下降,也常被称为随机梯度下降(SGD),小批量大小也是超参数。此外,梯度下降算法的许多改进已被提出并广泛使用,如带动量的SGD、RMSprop和Adam [21–23],尽管这些算法的细节超出了本文的范围。
数据和真实标签
数据和真实标签是应用深度学习或其他机器学习方法的研究中最重要的组成部分。正如计算机科学中一句著名谚语所指出的:“垃圾进,垃圾出。”仔细收集用于训练和测试模型的数据和真实标签对于成功的深度学习项目是必需的,但获取高质量标注数据可能成本高昂且耗时。虽然可能有多个公开的医学图像数据集[24, 25],在这些情况下应特别注意真实标签的质量。
可用数据通常分为三个集合:训练集、验证集和测试集(图8),尽管也存在一些变体,例如交叉验证。训练集用于训练网络,其中通过前向传播计算损失值,并通过反向传播更新可学习参数。验证集用于在训练过程中评估模型、微调超参数并进行模型选择。测试集理想情况下仅在项目最后阶段使用一次,以评估最终模型的性能,该最终模型是在训练过程中使用训练集和验证集进行微调和选择的。
需要单独的验证集和测试集,因为训练模型总是涉及微调其超参数并进行模型选择。由于该过程是基于验证集上的性能进行的,关于该验证集的一些信息会泄漏到模型本身中,即对验证集过拟合,即使模型从未直接在其上训练可学习参数。因此,可以保证在验证集上微调超参数的模型将在同一验证集上表现良好。所以,一个完全未见过的数据集,即单独的测试集,对于适当评估模型性能是必要的,因为我们关心的是模型在从未见过的数据上的性能,即泛化能力。
值得一提的是,“验证”(validation)一词在医学领域和机器学习领域的使用方式不同[26]。如上所述,在机器学习中,“验证”一词通常指在训练过程中微调和选择模型的步骤。另一方面,在医学中,“验证”通常代表验证预测模型性能的过程,这类似于机器学习中的“测试”(test)一词。为了避免这种混淆,有时使用“开发集”(development set)一词作为“验证集”的替代。
过拟合
过拟合是指模型学习到训练集特有的统计规律性,即最终记住了不相关的噪声而非学习到信号,因此在后续新的数据集上表现较差的情况。这是机器学习中的主要挑战之一,因为过拟合的模型无法泛化到从未见过的数据。从这个意义上说,测试集在机器学习模型的正确性能评估中起着关键作用,如前一节所述。识别对训练数据过拟合的常规检查方法是监测训练集和验证集上的损失和准确率(图9)。如果模型在训练集上的表现优于验证集,那么模型很可能已经对训练数据过拟合。目前已提出了多种方法来最小化过拟合(表3)。减少过拟合的最佳解决方案是获取更多训练数据。在更大数据集上训练的模型通常泛化能力更好,尽管这在医学影像中并不总是可实现的。其他解决方案包括使用 dropout 或权重衰减的正则化、批归一化、数据增强,以及降低架构复杂度。Dropout 是一种近期引入的正则化技术,在训练过程中随机选择的激活值被设为0,使模型对网络中的特定权重变得不那么敏感[27]。权重衰减,也称为L2正则化,通过惩罚模型权重使权重仅取较小值来减少过拟合。批归一化是一种补充层,自适应地归一化下一层的输入值,降低过拟合风险,同时改善通过网络的梯度流,允许更高的学习率,并减少对初始化的依赖[28]。数据增强对减少过拟合也有效,它通过随机变换(如翻转、平移、裁剪、旋转和随机擦除)修改训练数据,使模型在训练迭代中不会看到完全相同的输入[29]。尽管做出了这些努力,仍然存在对验证集而非训练集过拟合的担忧,因为在超参数微调和模型选择过程中存在信息泄漏。因此,在独立的(未见过的)测试集上报告最终模型的性能,并在适用时最好在外部验证数据集上报告,对于验证模型的泛化能力至关重要。
在小数据集上训练
医学影像中大量标注良好的数据是可取的,但由于放射学专家的成本和必要的工作量,这类数据很少可用。有几种技术可用于在较小数据集上高效训练模型:数据增强和迁移学习。由于上一节已简要介绍数据增强,本节重点讨论迁移学习。
迁移学习是在小数据集上训练网络的一种常见且有效的策略,即网络先在极大规模数据集(如包含140万张图像、1000个类别的ImageNet)上进行预训练,然后重用并应用于感兴趣的给定任务。迁移学习的基本假设是,在足够大的数据集上学到的通用特征可以在看似不同的数据集之间共享。这种所学通用特征的可移植性是深度学习的一个独特优势,使其在各种小数据集领域任务中发挥作用。目前,许多在ImageNet挑战赛数据集上预训练的模型及其学习到的卷积核和权重已公开且易于获取,如AlexNet [3]、VGG [30]、ResNet [31]、Inception [32]和DenseNet [33]。在实践中,有两种方式利用预训练网络:固定特征提取和微调(图10)。
固定特征提取方法是指从在ImageNet上预训练的网络中移除全连接层,同时保留其余网络(由一系列卷积层和池化层组成,称为卷积基)作为固定特征提取器。在这种情况下,任何机器学习分类器(如随机森林和支持向量机)以及卷积神经网络(CNN)中常用的全连接层都可以添加到固定特征提取器之上,从而将训练限制为在给定感兴趣数据集上训练所添加的分类器。由于ImageNet与给定医学图像之间的差异性,这种方法在医学图像深度学习研究中并不常见。
微调方法更常用于放射学研究,它不仅用一组新的全连接层替换预训练模型的全连接层以在给定数据集上重新训练,而且通过反向传播对预训练卷积基中全部或部分卷积核进行微调。卷积基中的所有层都可以微调,或者 alternatively,可以固定一些较早的层,同时微调其余较深的层。其动机在于观察到早期层特征显得更为通用,包括适用于多种数据集和任务的特征(如边缘),而后期特征逐渐变得更针对特定数据集或任务 [34, 35]。
迁移学习的一个缺点是其对输入维度的限制。输入图像必须是具有与RGB相关的三个通道的二维图像,因为ImageNet数据集由具有三个通道(RGB:红、绿、蓝)的二维彩色图像组成,而医学灰度图像只有一个通道(灰度级)。另一方面,通过在卷积基和所添加的全连接层之间添加全局池化层,输入图像的高度和宽度可以是任意的,但不能太小。
利用未标注数据(即半监督学习)来克服小数据问题也日益受到关注。这类尝试的例子包括伪标签[36]以及引入生成模型,如生成对抗网络(GAN)[37]。然而,这些技术是否真能帮助改善深度学习在放射学中的性能尚不清楚,仍是一个活跃的研究领域。
放射学中的应用
本节介绍放射学中的近期应用,分为以下类别:分类、分割、检测及其他。
分类
在医学图像分析中,深度学习分类通常利用医学图像中描绘的目标病灶,并将这些病灶分为两类或多类。例如,深度学习常用于在计算机断层扫描(CT)图像上对肺结节进行良性或恶性分类(图11a)。如图所示,为了使用CNN进行有效分类,有必要准备大量具有相应标签的训练数据。对于肺结节分类,肺结节的CT图像及其标签(即良性或癌性)被用作训练数据。图11b、c展示了良性肺结节与原发性肺癌之间肺结节分类的两个训练数据示例;图11b展示了每个数据包含一幅轴位图像及其标签的训练数据,图11c展示了每个数据包含三幅图像(肺结节的轴位、冠状位和矢状位图像)及其标签的训练数据。在训练CNN之后,医学图像中的目标病灶可在部署阶段由医生或计算机辅助检测(CADe)系统指定[38]。
由于二维图像在计算机视觉中被频繁使用,为二维图像开发的深度学习网络(二维卷积神经网络(2D-CNN))不能直接应用于放射学中获得的三维图像[薄层CT或三维磁共振成像(MRI)图像]。为了将深度学习应用于三维放射学图像,使用了不同的方法,例如自定义架构。例如,Setio等人[39]使用多流卷积神经网络(CNN),在肺图像数据库联盟和图像数据库资源计划(LIDC-IDRI)[40]、ANODE09[41]和丹麦肺癌筛查试验[42]的数据库中,将胸部CT图像的结节候选者分类为结节或非结节。他们基于多平面重建从一个结节候选者中提取不同方向的二维图像 patch(每个候选者一个或九个 patch),这些 patch 被用于不同的流中,并在全连接层中合并以获得最终分类输出。一项先前的研究使用三维卷积神经网络(3D-CNN)来全面捕获肺结节的空间三维上下文信息[43]。他们的3D-CNN使用LIDC-IDRI数据库执行二分类(良性或恶性结节)和三分类(良性肺结节,以及恶性和继发性肺癌)。他们在3D-CNN中使用了多视图策略,其输入通过裁剪肺结节的三个不同大小的三维 patch,然后将它们调整为相同大小而获得。他们还在其3D-CNN中使用了三维 Inception 模型,其中网络路径被分为多个分支,具有不同的卷积和池化算子。
时间序列数据经常在放射学检查中获得,例如动态对比增强CT/MRI或动态放射性同位素(RI)/正电子发射断层扫描(PET)。一项先前的研究使用三个期相(非增强CT,以及动脉期和延迟期的增强CT)的肝脏肿块CT图像集,用2D-CNN对肝脏肿块进行分类[8]。为了利用时间序列数据,该研究将三相CT图像作为具有三个通道的二维图像用于2D-CNN,这三个通道对应于计算机视觉中的RGB颜色通道。该研究表明,使用三相CT图像的2D-CNN优于使用双相或单相CT图像的2D-CNN。
分割
器官或解剖结构的分割是医学图像分析中的一项基础图像处理技术,例如临床参数(器官体积和形状)的定量评估和计算机辅助诊断(CAD)系统。在上一节中,分类依赖于感兴趣病灶的分割。分割可由放射科医师或专职人员手动执行,这是一个耗时的过程。然而,也可以将CNN应用于此任务。图12a展示了MRI上分割带有恶性肿瘤的子宫的代表性示例[24, 44, 45]。在大多数情况下,分割系统直接接收整幅图像并输出其分割结果。分割系统的训练数据由包含感兴趣器官或结构的医学图像和分割结果组成;后者主要来自先前执行的手动分割。图12b展示了带有恶性肿瘤的子宫分割系统训练数据的代表性示例。与分类不同,由于整幅图像被输入分割系统,系统需要捕获整幅图像的全局空间上下文以实现高效分割。
执行分割的一种方式是使用CNN分类器计算器官或解剖结构的概率。在这种方法中,分割过程分为两个步骤;第一步是使用CNN和图像块构建器官或解剖结构的概率图,第二步是细化步骤,利用图像的全局上下文和概率图。一项先前的研究使用3D-CNN分类器在3D CT图像上分割肝脏[46]。3D-CNN的输入是从整个3D CT图像中采集的3D图像块,3D-CNN从图像块中计算肝脏的概率。通过计算每个图像块存在肝脏的概率,获得了肝脏的3D概率图。然后,基于肝脏的概率图,使用一种称为图割[47]的算法来细化肝脏分割。在该方法中,CT图像的局部上下文由3D-CNN评估,全局上下文由图割算法评估。
尽管基于图像块的分割在深度学习中成功实施,但Ronneberger等人的U-net[48]在ISBI[IEEE(电气和电子工程师协会)国际生物医学成像研讨会]电子显微镜图像中神经元结构分割挑战赛中优于基于图像块的方法。U-net的架构由用于捕获解剖上下文的收缩路径和实现精确定位的对称扩展路径组成。尽管使用基于图像块的方法难以同时捕获全局上下文和局部上下文,但U-net使分割过程能够纳入多尺度空间上下文。因此,U-net可以从有限的训练数据中进行端到端训练。
在放射学中使用U-net的一种潜在方法是将U-net扩展到3D放射学图像,如分类中所示。例如,V-net被提出作为U-net的扩展,用于在体积MRI图像上前列腺的分割[49]。在该研究中,V-net使用了基于分割结果与真实标签之间Dice系数的损失函数,该系数直接反映了前列腺分割的质量。另一项研究[9]使用了两种类型的3D U-net在3D CT图像上分割肝脏和肝脏肿块,被命名为级联全卷积神经网络;一种类型的U-net用于肝脏的分割,另一种类型利用肝脏分割结果用于肝脏肿块的分割。由于第二种类型的3D U-net专注于肝脏肿块的分割,肝脏肿块的分割比单一3D U-net更高效地进行。
检测
放射科医师的一项常见任务是检测医学图像中的异常。异常可能很罕见,且必须在许多正常病例中被检测出来。一项先前的研究调查了2D-CNN在胸部X线片上检测结核病的实用性[7]。该研究使用了两种不同类型的2D-CNN,AlexNet [3]和GoogLeNet [32],在胸部X线片上检测肺结核。为了开发检测系统并评估其性能,使用了1007张胸部X线片的数据集。根据结果,从健康病例中检测肺结核的受试者工作特征曲线下面积最佳值为0.99,该值由AlexNet和GoogLeNet 2D-CNN的集成获得。
美国每年进行近4000万次乳腺X线摄影检查。这些检查主要用于旨在早期发现乳腺癌的筛查项目。先前进行了一项基于CNN的CADe系统与依赖手工制作影像特征的参考CADe系统之间的比较[50]。两个系统均在约45,000张图像的大型数据集上训练。两个系统共享候选检测系统。基于CNN的CADe系统基于其感兴趣区域对候选进行归类,而参考CADe系统基于从传统分割算法结果中获得的手工制作影像特征对其进行归类。结果表明,基于CNN的CADe系统在低灵敏度下优于参考CADe系统,在高灵敏度下达到相当的性能。
其他
低剂量CT已越来越多地应用于临床情境。例如,低剂量CT已被证明对肺癌筛查有用[51]。由于低剂量CT的噪声图像妨碍了对CT图像的可靠评估,许多图像处理技术被用于低剂量CT图像的去噪。此前两项研究表明,使用深度学习可有效对低剂量和超低剂量CT图像进行去噪[52, 53]。他们的系统将噪声CT图像分割为图像块,对图像块进行去噪,然后从去噪后的图像块重建新的CT图像。他们的系统使用具有编码器-解码器架构的深度学习对图像块进行去噪。去噪系统的训练数据由图像块对组成,这些图像块对分别从标准剂量CT和低剂量CT获得。图13显示了这些系统训练数据的一个代表性示例。
此前一项研究[54]使用U-net解决成像中的逆问题,以从欠采样正弦图(投影数据)重建获得无噪声CT图像。为了训练U-net从欠采样正弦图重建无噪声CT图像,U-net的训练数据包括(i)通过滤波反投影(FBP)从欠采样正弦图获得的噪声CT图像,以及(ii)从原始正弦图获得的无噪声CT图像。该研究表明,虽然有可能训练U-net直接从正弦图重建CT图像,但先进行FBP极大地简化了训练。作为对原始U-net的改进,该研究在输入和输出之间添加了跳跃连接以进行残差学习。他们的研究表明,U-net可以有效地从欠采样正弦图生成无噪声CT图像。
尽管深度学习需要大量训练数据,但构建如此大规模的放射学图像训练数据是一个具有挑战性的问题。一个主要挑战是标注(标记)的成本;放射学图像的标注成本远高于一般图像,因为标注需要放射科医生的专业知识。为解决这一问题,此前一项研究[55]利用了放射科医生 routinely 添加到放射科报告中的标注(如圆圈、箭头和方框)。该研究从放射科医生报告的标注中获得了33,688个病灶边界框。然后进行无监督病灶分类,以推测边界框内病灶的标签。为进行无监督分类,迭代执行以下三个步骤:(i)使用预训练的VGG16模型[30]从边界框内的病灶中提取特征,(ii)对特征进行聚类,以及(iii)基于聚类结果对VGG16进行微调。该研究将从聚类结果中获得的标签命名为伪类别标签。该研究还提出,检测系统是使用Faster R-CNN方法[56]、边界框内的病灶及其对应的伪类别构建的。结果表明,通过引入伪类别标签,检测准确率可显著提高。
放射科医生通常将其报告作为解读医学图像的结果。由于他们在报告中将医学图像总结为文本数据,因此通过分析放射科医生的报告,有可能有效地收集有关疾病诊断的有用信息。先前的一项研究[12]评估了卷积神经网络(CNN)模型与传统自然语言处理模型相比,在从胸部CT中提取肺栓塞发现方面的性能。通过使用词嵌入,放射学报告中的词语可以被转换为有意义的向量[57]。例如,使用词嵌入的向量表示,以下等式成立:king – man + woman = queen。在先前的研究中,词嵌入使放射学报告能够被转换为大小为300 × 300的矩阵(或图像)。通过使用这种表示,二维CNN可用于将报告分类为肺栓塞或非肺栓塞。他们的结果表明,CNN模型的性能等同于或超越了传统模型。
挑战与未来方向
尽管深度学习的最新进展令人惊叹,但其在医学影像中的应用仍然存在挑战。
深度学习被认为是一个黑箱,因为它不留下审计轨迹来解释其决策。研究人员针对这一问题提出了几种技术,这些技术可以洞察特征图中识别了哪些特征(称为特征可视化),以及输入的哪一部分对相应预测负责(称为归因)。对于特征可视化,Zeiler和Fergus[34]描述了一种可视化特征图的方法,其中第一层识别小的局部模式,如边缘或圆形,后续层逐渐将它们组合成更有意义的结构。对于归因,Zhou等人提出了一种生成粗略定位图的方法,称为类激活图(CAMs),用于定位输入中用于预测的重要区域(图14)[58, 59]。另一方面,值得注意的是,研究人员最近注意到深度神经网络容易受到对抗样本的影响,对抗样本是精心选择的输入,能够导致网络改变输出,而人类却看不到可见的变化(图15)[60–63]。尽管对抗样本在医学领域的影响尚不清楚,但这些研究表明,人工网络的观察和预测方式与我们的方式不同。研究深度神经网络在医学影像中的脆弱性至关重要,因为与相对简单的非医学任务(如区分猫或狗)相比,深度学习在患者中的最终使用需要极高的鲁棒性。
尽管如上所述有几种方法可以促进在较小数据集上的学习,但仍然需要标注良好的大型医学数据集,因为深度学习的大多数显著成就通常基于非常大量的数据。不幸的是,在医学领域构建此类数据集成本高昂,需要专家投入巨大的工作量,并且还可能涉及伦理和隐私问题。如前所述,大型医学数据集的目标是有可能增强泛化能力并尽量减少过拟合。此外,一旦此类数据集变得可用,可能可以提出专门的医学预训练网络,这可能促进医学影像的深度学习研究,尽管与使用ImageNet预训练模型的迁移学习相比,使用此类网络的迁移学习是否能提高医学领域的性能尚不清楚,仍是一个有待进一步研究的领域。
结论
卷积神经网络(CNN)在各个领域取得了令人瞩目的成就,包括医学研究,并且在放射学领域引起了越来越多的关注。尽管深度学习已成为图像分类和目标检测等各种复杂任务中的主导方法,但它并非万能的。熟悉CNN的核心概念和优势以及深度学习的局限性,对于将其应用于放射学研究以改善放射科医师的表现并最终改善患者护理至关重要。
引用
- Yamashita R, Nishio M, Do RKG, et al. Convolutional neural networks: an overview and application in radiology. Insights Imaging. 2018. PMID: 29934920. doi:10.1007/s13244-018-0639-9
- 全文:PMC6108980(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6108980/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。