用于常规分类十六个上腹部超声横切面的神经网络分析
研究使用64例患者的16个常规上腹部超声切面数据,测试9种神经网络在800张理想化子集与26294张全视频扫查图像上的分类准确率。GoogLeNet与InceptionV3在迁移学习和大样本集下最高验证准确率为83.9%,InceptionV3的top-2准确率达95.1%;数据集大小比网络选择对准确率影响更大。
要点
- GoogLeNet与InceptionV3在迁移学习和大样本集下最高验证准确率为83.9%。
- InceptionV3的top-2准确率达95.1%。
- 数据集大小比网络选择对准确率影响更大。
核心结论
- 迁移学习使用线性、残差和Inception架构均能有效分类上腹部横切面,网络层数不如数据集大小重要。
- 数据集大小是决定准确率比网络选择更重要的因素,复杂网络随数据量增大准确率更高,简单线性网络在小数据集上表现更好。
研究设计与样本
- 研究使用64例患者共16个常规上腹部超声切面,总计1024个图像流和33093张单帧图像。
- 患者数据按50/14(约80/20)分为训练集与测试集,训练和测试集在每次训练运行时按患者水平重采样以进行交叉验证。
- 训练集1为每类切面选取单帧理想图像共800张,训练集2为完整扫查视频共26294张图像,测试集为224张图像(16个切面各14张)。
- 使用Canon TUS-AI800超声设备及凸阵探头采集,图像为8-bit灰度,存储为DICOM格式并匿名化。
- 测试9种神经网络:Alexnet、VGGNet、ResNet-18/32/50/101/152、GoogLeNet(InceptionV1)和InceptionV3,基于ImageNet预训练权重进行迁移学习。
关键影像表现/征象
- 最大误分类出现在解剖结构重叠的切面之间,如切面8、9、10(肝脏)、切面5和6(胆道系统)、切面6和12(胆管为重要标志)以及切面11和16(左右肾)。
- InceptionV3在数据集2训练下对右肾切面分类准确率为78.57%,左肾切面为89.71%。
- 迁移学习数据集2下准确率最低的切面为切面6(右肋下垂直至斜扫:肝外胆管)平均64.29%和切面12(上腹垂直扫查:肝外胆管/胰腺)平均67.46%。
诊断标准与关键数值
- GoogLeNet和InceptionV3使用迁移学习和大样本集(26294张图像)达到最高验证准确率83.9%。
- InceptionV3达到top-2准确率95.1%。
- Alexnet在800张小样本集上达到最高准确率79.5%(top-2为91.5%)。
临床应用与阅片要点
- 作者认为将神经网络应用于腹部横切面图像识别具有重要临床意义,可通过减少操作者差异提高方案依从性。
- 作者认为这类网络可通过辅助超声培训和确认感兴趣区已被完整采集来帮助经验较少的操作者。
- 作者认为这可使经验丰富的操作者在进行所需扫查时全神贯注于异常检测。
局限性
- 测试集仅14例患者共224张样本,规模小。
- 所有患者数据集均在正常范围内,超声筛查期间未发现异常病理或基础疾病。
- 所有图像均由单台机器采集,所有分类均在采样时由单一经验丰富操作者完成。
- 每个16切面类别仅取单张手动选择的理想切面图像,虽可每例取多样本,但样本量增至四倍时差异小于1%,故未纳入。
- 作者指出需进一步研究超声样本量对神经网络学习和泛化的影响。
全文中译6 节 · 点击展开
引言
对诊断性医学影像的需求已显著增长[1],一些医疗服务提供者的超声需求年均增长约5%[2]。由于应用范围广泛且超声设备可及性高,超声已在整个医疗领域得到广泛采用,尤其是在获取其他模态机会可能有限的中低收入国家[3, 4]。满足这种日益增长的超声扫描需求是一个复杂问题,不仅熟练超声技师长期短缺[5, 6],而且超声采集是一个高度手工化的过程,由超声技师直接将探头压在患者身上,因此高度依赖单个超声技师的专注度、知识和经验[7]以确保获得良好结果。这种手工操作特性导致超声工作人员的工作场所损伤风险增加,如重复性劳损[8, 9]。深度学习的使用通过自动化采集相关横断面图像、确保遵循方案、改善工作流程和患者舒适度,为缩短每次超声操作所需时间提供了潜在解决方案。要实现这一目标,必须对一个能代表临床工作流程的大型超声方案进行基准测试,以评估当前深度学习技术的响应。
图像分类是医学机器学习图像研究的基本组成部分,其中深度学习是日益受欢迎的研究主题[10, 11]。尽管超声是世界上使用最广泛的医学影像模态之一,但与X线摄影(Xray)、计算机断层扫描(CT)和核磁共振成像(MRI)相比,深度学习研究对超声的兴趣相对较少[12]。部分原因是与其他模态相比,可用的临床超声数据集非常少。超声是通过测量超声探头内小型压电阵列检测到的反射超声波产生的[13],此类图像通常为二维、低对比度,并受到衰减和声影等干扰的影响,这些干扰甚至可能妨碍经验丰富的超声技师进行分类[14, 15]。
机器学习已成功应用于医学诊断超声中的许多分类任务,如癌症诊断[16, 17]、甲状腺结节[18, 19]、肝脏异常[20, 21]、脊柱[22]和心脏横断面[23–25]。以往使用机器学习检查腹部横断面分类的研究有限。Cheng & Malhi [26]证明了使用ImageNet挑战数据集[27]进行迁移学习的有效性,成功对11个标准超声横断面进行分类,使用CaffeNet达到77.3%的准确率,VGGNet达到77.9%,二者均超过了放射科医师达到的71.7%准确率。Xu等[28]作为更广泛的地标检测研究的一部分,检查了11个超声腹部横断面的分类,单任务学习(STL)ResNet-50达到81.22%的准确率,而放射科医师为78.87%。Reddy等[29]在6个视觉上不同的腹部横断面上测试了多种神经网络,使用ResNet-50达到98.77%的准确率。
本研究依据日本腹部筛查方案[30]所定义的16个上腹部横断面进行检查。选择该方案是因为其覆盖范围与上腹部重叠,这将凸显将深度学习应用于复杂超声腹部方案时的潜在困难。虽然日本腹部筛查方案包括盆腔和膀胱扫描,但这些被排除在本研究之外,以聚焦于上腹部。
材料与方法
超声数据采集
超声数据使用Canon TUS-AI800[31]配合凸阵探头采集,16个横断面(示例见图1)中的每一个均在采集时由一名经验丰富的超声技师进行分类。虽然数据为匿名数据,但纳入标准为参与者须为成年人,且在记录时超声技师未检测到可能影响研究结果的潜在病变。超声技师严格遵循日本超声技师学会[30]所定义的标准采集方法,从该方法规定的位置开始扫描,并逐步扫查感兴趣区域,确保完整覆盖所定义的目标解剖结构。超声数据记录为长度不等(14至46秒之间)的8位灰度图像流,这些序列实质上是原始超声图像,不包含来自用户界面的任何文字或图形注释。随后这些数据以DICOM格式[32]存储,并在提供用于本工作之前进行匿名化处理。
数据集包含64例患者研究,每例记录16个解剖横断面,共计1024个图像流和33,093张单张图像。这些患者研究按50/14(约80/20比例)分为训练集和测试集,训练集和测试集在每次训练运行时均在患者层面进行重采样以用于交叉验证,尽管这显著减少了可用测试图像的池子,但这样做是为了确保不会出现可能人为夸大结果的数据泄漏。
如表1所报告,制作了两个训练集和一个测试集。第一个训练集通过从每组横断面扫查中定义单张图像帧(示例见图1)来提供一个平衡的、理想化的数据集,共计800张图像,这样做是为了简化问题空间,虽然在许多情况下超声技师必须移动探头才能完全显示感兴趣区域,但缩减为单个理想横断面为神经网络提供了做出正确预测的最大机会。第二个训练集考虑了整个超声扫查过程,因此实质上由检查期间以正确感兴趣区域为中心的多个短视频组成,共计26,294张图像,该数据包含大量重复、轻微偏差(如衰减变化、声影、自然生理变化)以及临床检查中自然发生的患者和超声技师的轻微移动。这提供了一个更真实的训练集,但也显著增加了分类的复杂性。测试集由224张图像组成,16个横断面中每一个由14张精确图像代表。与测试集对应的那些图像和视频被排除在所有训练数据集之外。
由于迁移学习神经网络是在3通道RGB图像上训练的,因此在此过程中将单通道灰度图像复制为三个通道,以将图像转换为大小为299×299的张量。本工作分析了版本1和版本3以及其他重点标记架构的结果。使用完整图像,除使用Pytorch中提供的标准方法进行轻微对比度归一化外,未进行裁剪或调整,以确保图像间的一致性。采集后未进行额外的去斑点、图像滤波或后处理,这是为了确保图像能够代表超声技师所需分类任务的实际情况。
神经网络架构
实验在一台配备时钟频率为2.4 GHz的Intel CPU和Nvidia 20系列GPU的计算机上进行,使用Pytorch框架[33]和Cuda工具包(版本11.6)。与既往文献[26, 28, 29]一致,使用在ImageNet挑战赛数据集[27]上预训练的公开可用神经网络作为迁移学习的基础。本实验选择的神经网络架构可按其设计原理分类。这些包括两个线性卷积神经网络(Alexnet [34, 35]、VGGNet [36])、五个残差网络(ResNet-18、32、50、101、152)[37],以及两个Inception网络(GoogLeNet(Inception V1)[38]和InceptionV3 [39])。本研究中神经网络使用的确切层数和参数汇总见表2。选择这些神经网络作为各自架构的典型代表,其中评估了五个残差网络以测试残差网络的深度如何影响网络对超声数据的响应。使用了三种训练流程:使用数据集1进行迁移学习、使用数据集2进行迁移学习,以及仅使用训练数据集2且初始化时不应用预训练迁移学习权重的基线。训练使用ADAM优化器[40],初始学习率为1×10⁻⁴,学习率每5步衰减一次,共训练20个轮次。每个网络训练20次,每次训练运行时对训练集和测试集进行重采样,以在减少任何单次训练运行性能变异的同时对性能进行基准测试。每个神经网络的最终层从1000调整为16,以使神经网络执行所需的分类任务,除此之外未对用于ILSVR挑战赛[27]的标准网络架构做任何额外更改。
结果
九个神经网络中最高单神经网络准确率的结果(如表3所示)表明,Inception架构在使用数据集2的迁移学习和基线条件下均在测试集上取得了最高准确率,其中GoogLeNet(InceptionV1)和InceptionV3在数据集2上达到了83.93%的最高结果,InceptionV3在基线上达到79.91%,GoogLeNet达到77.68%。线性神经网络架构在数据集1上取得了最高结果,Alexnet达到79.46%,VGG16达到77.23%。
图2中的混淆矩阵证实,最大的误分类错误为:位置相近的横断面之间,如专注于肝脏的横断面8、9和10之间;解剖结构重叠处,如专注于垂直走向胆道系统的横断面5和6之间,以及胆管为重要标志的横断面6和12之间;以及区分横断面11和16中的双肾。
Top-2准确率结果(如表4所示)延续了这一趋势,InceptionV3在基线上取得了92.86%的最高Top-2准确率,第二好的结果为GoogLeNet的90.18%。线性架构在数据集1上取得了最高的Top-2准确率,Alexnet达到91.52%,VGG16达到90.18%。InceptionV3在数据集2上也取得了最高的Top-2准确率95.09%,但ResNet 18、34和50共同取得了第二好的结果94.64%。总体准确率最高的神经网络与Top-2准确率最高的神经网络并不一致。一致的有:基线中的ResNet101、ResNet152;数据集1中的Alexnet、VGG16和GoogLeNet;以及数据集2中的VGG16、ResNet34和ResNet50。
测试算法包含了类别特异性准确率结果(如表5所示),允许更深入地检查超声平面分类的优势和劣势。在检查由数据集2训练的InceptionV3神经网络的平面特异性分类结果时,能够正确分类右肾平面的时间为78.57%,左肾平面的时间为89.71%,表明有足够的视觉信息可实现成功分类。在检查使用数据集2的迁移学习整体性能时(来自表5),准确率最低的横断面为平面6(右肋下垂直至斜向扫查:肝外胆管),平均准确率为64.29%,以及平面12(上腹部垂直扫查:肝外胆管/胰腺),平均准确率为67.46%。这些横断面在三个示例混淆矩阵中均表现出最高错误率,这可能是由于平面分类器中解剖结构相互交叉所致。
检查20次运行之间训练结果的变异(详见表6),表明在大多数情况下使用完整数据集和迁移学习(数据集2)减少了训练结果的变异,但ResNet-18例外,其变异为13%。基于Inception的神经网络取得了最低方差,GoogLeNet变异最小为6%,InceptionV7为7%。Alexnet在数据集1上取得了最高准确率,但结果存在显著变异为22%,GoogLeNet取得了最差的总体准确率,但方差也最小。
讨论
本研究考察了迁移学习在小型超声腹部横截面数据集上的有效性,为大量神经网络架构在标准腹部横截面上提供了比以往研究更多的比较准确性数据。这既有助于未来神经网络的选择,也进一步凸显了利用深度学习识别和分类上腹部横截面的潜在用途和困难。虽然测试集规模较小,但本研究为神经网络在16个上腹部横截面医学超声分类任务上的预期性能提供了基准。研究得以将使用仅26,294个不均衡非理想样本的相对较小医学超声数据集的传统学习,与使用ILSVRC数据集[27]的两个迁移学习实验进行比较,其中一个利用仅800个样本的平衡理想化样本集,另一个使用迁移学习增强整个数据集。卷积神经网络技术的优化已取得许多改进,使用InceptionV3神经网络的传统机器学习能够达到79.91%的结果,仅比迁移学习在20个epoch内达到的最高结果低4.02%。此外,通过迁移学习,仅使用800个样本即可训练网络达到79.46%的准确率,仅比更大数据集2的最佳结果低4.47%。使用迁移学习和完整数据集产生了83.93%的最佳结果,该结果由两个测试的Inception神经网络共同取得。
残差网络架构并未产生最高准确率的模型(见表3),但随着数据集规模增加,其准确率确实有所提高,数据集2的结果显示准确率通常在最高结果1%以内。如前所述,残差映射本应使每个ResNet模型达到相似的准确率结果,训练随机化会带来一些预期变化。ResNet 34和50分别在数据集1上达到73.21%、在数据集2上达到83.48%的最高准确率,但ResNet18达到了75.06%的最高基线准确率。表现最高和最低的ResNet神经网络之间的差异在基线上为3.63%,数据集1为5.80%,数据集2为1.34%,这表明残差映射在较小数据集上表现困难,这也部分解释了后续更大ResNet-101和152模型中准确率下降的原因。
尽管使用了16个包含许多重叠解剖结构的上腹部横断面,表现最好的神经网络(表5)仍达到了82.94%的平均总体准确率,最大误差出现在包含重叠标识的横断面之间。在考虑前2位准确率的情况下,所研究的神经网络达到了79.46%至95.09%之间的准确率,前10个模型的准确率差距在2.2%以内。较高的前2位准确率和混淆矩阵(图2)表明,虽然做出了阳性预测,但横断面之间的相似性在降低准确率方面发挥了主要作用,因为大多数错误对应于包含相同解剖结构的横断面,如右肝横断面8、9和10,横断面6和12均以肝外胆管为主要感兴趣区域,以及横断面11和16中左右肾的区分。
所记录的准确率变化表明,较大的神经网络从较大的数据集(数据集2)和迁移学习中获益最多,ResNet-101和ResNet-152在数据集1上的逐层面准确率结果明显较低,在基线条件下准确率有所改善,而在加入迁移学习后(数据集2)改善最为显著。虽然方差本身作为训练指标不如准确率重要,但方差较小的神经网络更有可能在较少的迭代次数内达到接近最高准确率的结果。迁移学习可以显著提高准确率,但不能替代数据。虽然数据集1太小,无法为传统机器学习提供足够的信息以产生有用的结果,但它能够产生令人惊讶的准确结果,可与较大的基线数据集相媲美,值得在未来的工作中进一步研究超声样本量对神经网络学习和泛化的影响。本研究还表明,在进行上腹部超声层面分类时,层数不如数据集大小重要,神经网络在数据集2上的准确率差异仅为2.2%。迁移学习还显著提高了较大数据集下神经网络的准确率,当将数据集2与基线进行比较时,加入迁移学习后逐层面训练方差明显减小,同时准确率显著提高。虽然数据集大小是降低方差和提高准确率的更重要因素,但当数据足以满足所用神经网络的参数数量时,迁移学习可以显著提高超声层面分类的准确率。
虽然由于既往研究使用了不同的横断面,所能进行的直接比较程度有限,但在对腹部超声数据进行分类时,仍有可能突出若干趋势。如表7所示,比较数据集2上迁移学习的准确率结果,本研究的总体结果与既往研究一致。较小的网络如Alexnet取得的准确率仅比最高准确率网络低3.13%,显示出对超声横断面进行分类的显著潜力,CaffeNet(Alexnet的一种变体)仅比Cheng和Malhi[26]所使用的明显更大的VGGNet低0.6%,而在Reddy等人[29]的研究中低3.5%。诸如此类的线性神经网络架构传统上受困于梯度消失问题,即在修正线性单元层中梯度的幅度减半,当网络通过各层参数反向传播时,梯度的大小随每一附加层而减小,实际上每增加一层就降低了反向传播的有效性。这限制了线性架构在无显著数据增强的复杂任务中可用的有效深度[41, 42]。
如本研究所示,包含重叠标志点和感兴趣区域(如肾脏)的横断面被证明是分类错误的重要原因,在Cheng & Malhi[26]和Xu等人[28]的研究中,左右肾脏的横切面和纵切面扫描均导致显著的额外分类错误,Reddy等人[29]虽未包含多个肾脏分类器,但在肝脏横断面中右肾出现在超声图像内时也经历了类似错误。在Reddy等人[29]中,较大规模的Resnet网络也可注意到准确率的轻微下降,resnet-50取得的分类准确率结果比Resnet-101高0.53%,而本研究中为1.34%。虽然这在直线型网络中是可以预期的,但残差网络创建特定残差标识符的特征图。这些残差特征图在每个训练轮次中向神经网络更高层传播,有效地在模型内创建捷径,从而减少梯度消失的影响[37]。尽管如此,结果表明标准超声数据可能没有足够的视觉信息来充分利用大于Resnet-50的网络。Inception架构采用模块化设计方法来缓解GoogLeNet(Inception V1)[38]和InceptionV3[39]中的梯度消失问题,卷积层被聚集成模块(如图3所示)而非线性激活。虽然在本研究中更为有效,但它在Reddy等人[29]中并未取得最高准确率,其中GoogLeNet的结果低2.28%,InceptionV3低0.88%。
本研究结果受限于14例患者的测试集规模,仅包含224个样本,这是确保训练期间不发生数据泄漏所必需的。所有患者集合均在正常范围内,超声筛查期间未发现异常病理或潜在疾病。所有图像均由单台机器生成,所有分类均在采样时由单一经验丰富的操作者完成。对于16个平面类别中的每一个,仅手动选取了单张理想平面图像,虽然本可从每个患者集合中采集多个样本,但差异不足以证明有必要纳入这些结果——当样本量增至四倍时,方差小于1%。
结论
本研究在现有知识基础上,通过使用16个上腹部超声横切面评估三种主要神经网络架构的分类准确率。使用线性、残差和Inception神经网络架构的迁移学习均被证明在上腹部横切面分类中有效,神经网络层数相较于数据集规模是较不显著的因素。
将神经网络应用于腹部横切面图像的识别具有重要的临床意义,这些网络可通过协助超声培训以及验证经验较少的超声医师是否已完整采集感兴趣区域,减少因操作者表现导致的扫描变异,从而提高对方案的依从性。它将使经验丰富的超声医师在进行所需扫查时能够将全部注意力集中于异常检测,而神经网络自动采集方案中规定的图像,可能减少执行扫描所需的时间。横切面的自动采集还将有助于在高危人群监测扫描和年度体检中进行更好的比较。
随着神经网络架构在图像分类技术中的进一步发展,持续测试其在超声等医学成像中的有效性十分重要,因为超声提供的可视化数据比传统图像更为受限。针对上腹部横切面分类的神经网络研究迄今有限,未来工作应考察使用更小的网络——这有可能实现移动设备上的应用——以及扩大数据集规模以实现更有效的训练和验证。这应通过具有成本效益的方法来实现 [43]。
引用
- Lawley A, Hampson R, Worrall K, et al. Analysis of neural networks for routine classification of sixteen ultrasound upper abdominal cross sections. Abdom Radiol (NY). 2024. PMID: 38214722. doi:10.1007/s00261-023-04147-x
- 全文:PMC10830611(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10830611/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。