文献速递胸部技术与安全CTMRPETDR

深度学习在肺结构与功能影像分析中的应用综述

Deep learning in structural and functional lung image analysis.
PubMed 文献 · Br J Radiol · 2021-04-20

本综述遵循PRISMA方法,检索2012年至2020年4月的文献,纳入82项研究,系统回顾深度学习在肺影像分割、配准、重建与合成中的应用。分割是最常见应用(占65.9%),全肺分割DSC常高于0.90,但仅12.9%的研究涉及功能影像,且验证策略不一致、跨中心泛化性不足等问题有待解决。

要点

  • 全肺CT分割DSC多高于0.90,但高DSC可能掩盖需人工修正的误差。
  • 仅12.9%研究使用功能影像(PET/SPECT/超极化气体MRI),多数为结构CT。
  • 验证策略不一致、跨中心泛化性差,限制临床工作流广泛采用。

核心结论

  • 深度学习在肺分割、配准、重建与合成中展现潜力,但证据多来自结构影像且验证不一致。
  • 功能肺影像的深度学习研究仅占12.1%,是未来重要研究方向。
  • 临床采用前需解决验证策略、跨中心泛化性、方法透明度和可解释性等问题。

研究设计与样本

  • 系统综述遵循PRISMA声明,检索Web of Science、Scopus和PubMed(2012年1月1日至2020年4月1日)。
  • 初检479篇非重叠论文,最终纳入82项研究(含期刊论文和会议论文)。
  • 纳入范围限于肺影像分割、配准、重建与合成应用,排除分类和传统机器学习研究。

关键影像表现/征象

  • CT全肺分割常用3D网络,间质性肺病(ILD)模式分割仅用2D网络,且多在中心2D切片上进行。
  • 超极化气体MRI和质子MRI分割分别使用2D U-Net和3D U-Net,DSC分别为0.94±0.03和0.94±0.02。
  • 质子MRI分割平均DSC为0.965,优于传统区域生长和k-means方法。
  • 全肺分割HD95约10 mm,但Dong等报告低至2.249±1.082 mm(双肺平均)。
  • 气道分割DSC约0.85,低于全肺分割。

诊断标准与关键数值

  • 全肺分割DSC多数高于0.90,部分高于0.98;气道DSC约0.85。
  • 超极化气体MRI分割DSC为0.94±0.03,质子MRI分割DSC为0.94±0.02。
  • 质子MRI分割平均DSC为0.965。
  • 全肺分割HD95约10 mm,Dong等报告2.249±1.082 mm。
  • 配准平均TRE从8.46 mm降至2.17 mm;通用配准轮廓平均距离(CMD)约5 mm。

临床应用与阅片要点

  • 全肺分割高DSC可能掩盖临床需手动修正的误差,因重叠指标对大体积误差不敏感。
  • 专家分割存在观察者间变异,且多用半自动工具,可能引入平滑边界等偏差。
  • 部分研究以图像或2D切片数而非受试者数报告数据,同一受试者切片可能同时出现在训练和测试集。
  • 交叉验证(如四折、留一法)可提高验证稳健性,但外部多中心验证才是金标准。
  • 深度学习分割观察者间变异较低(文献报道肝脏DL为0.69% vs 手动2.75%),可能促进机构间一致性。

局限性

  • 仅12.9%的研究使用功能肺影像,多数为结构影像(87.8%),其中CT占63.5%。
  • 验证策略不一致,单中心数据拆分常见,外部多中心验证少见。
  • 部分研究样本量小(测试集仅5–10例),限制泛化性。
  • 评估指标缺乏标准化,DSC等重叠指标对大体积误差不敏感,方法间直接比较困难。
  • 专家分割存在观察者间变异,且常仅由单一观察者完成,缺乏明确金标准。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2021 Apr 20;95(1132):20201107. doi: 10.1259/bjr.20201107

引言

呼吸系统疾病构成重大的全球健康挑战;五种呼吸系统疾病属于最常见的死亡原因。6500万人患有慢性阻塞性肺疾病(COPD),3.39亿人患有哮喘。1,2 全球每年新诊断肺癌病例180万例,死亡160万例,使其成为地球上最常见且最致命的癌症。3 肺部成像是呼吸系统疾病诊断、治疗计划、监测和治疗评估的关键组成部分。获取肺部图像、对其进行处理并进行临床解读对于实现全球肺部相关死亡率的降低至关重要。传统上,用于定量分析这些图像的技术源自计算建模和图像处理学科;然而,近年来,深度学习(DL)受到了肺部成像界的显著关注。

DL是机器学习的一个子领域,采用具有多个深度层或隐藏层的人工神经网络。尽管其基本理论在几十年前就已提出,4 但DL在2012年获得了国际关注,当时AlexNet——一种被称为卷积神经网络(CNN)的神经网络——赢得了ImageNet大规模视觉识别挑战赛。该论文已被引用超过47,000次,并引发了DL研究的复兴。5 随后,CNN以及更广泛的DL开始深刻影响医学成像领域。全卷积网络如V-Net和ConvNet的开发展示了深层次架构如何在解决该领域一些最关键应用(包括常见图像分析任务)中提供有价值的功能。6,7 此后,图形处理单元(GPU)成本降低带来的计算能力提升以及公开可用的标注成像数据集导致了快速的发展和应用。8

本综述评估了关于DL在肺部图像分析应用中作用的当前文献,讨论了临床采用的关键局限性,并制定了未来研究的路线图。

理论

人工神经网络

人工神经网络(ANN)受生物神经元启发,可以将其视为一系列相连的节点,节点包含权重和偏置,通过激活函数组合以产生激活;激活决定了网络内连接的强度。DL的核心是优化;ANN通过优化权重和偏置来学习可泛化的解决方案。这种优化以前向传播和反向传播的两步过程进行。具有两个隐藏层的ANN的基本示意图以及前向传播和反向传播的一般示例见图1。网络中隐藏层的使用为权重和偏置的优化提供了更大的自由度。前向传播是指在训练期间将示例输入网络的过程,其中神经网络的输出与期望输出进行比较,并使用损失函数计算损失。反向传播利用该损失在整个网络中传播权重和偏置的变化;因此,通过持续提供新示例(称为迭代),模型被优化以近似输入域和输出域之间的函数。图2提供了本综述中使用的关键技术术语的词汇表。

深度学习(DL)网络的结构被称为架构。在医学影像领域,三种关键架构尤为普遍,即卷积神经网络(CNN)、循环神经网络(RNN)和生成对抗网络(GAN)。这些结构概述于图3中。理解V-Net和GAN等特定架构需要对复杂线性代数和矩阵操作有深入理解,超出了本综述的范围;感兴趣的读者可参阅该主题的若干优秀论文。6,9,10

图1. 具有两个隐藏层的神经网络的前向传播(左)和反向传播(右)过程的简化示意图。神经网络表示为一系列节点,每个节点包含权重和偏置。权重和偏置通过激活函数组合以产生激活值,该激活值影响网络内连接的强度。一旦输入通过网络传递,将其与期望输出(例如解剖感兴趣区域的专家分割)进行比较以产生损失。该损失用于传播权重和偏置的变化,从而改变后续示例的连接强度。这一两步过程的持续重复称为网络训练。 查看原图 ↗
图2. 与深度学习和图像分析相关的关键技术术语表。ANN,人工神经网络。 查看原图 ↗
图3. 医学影像中使用的三种常见深度学习架构类型的图示:(a) CNN、(b) RNN和(c) GAN。在所提供的肺部图像分析示例中,CNN和RNN用于图像分割,而GAN用于图像合成。CNN,卷积神经网络;GAN,生成对抗网络;RNN,循环神经网络。 查看原图 ↗

预处理

在图像被输入神经网络之前,它们经常被处理,通常通过增强前景和背景体素之间的差异,以提高性能和/或减少训练时间。DL理论表明,在高维矩阵中,局部极小值非常不可能出现;相反,鞍点更为常见,因为每个维度在同一位置产生极小值的可能性极低。这些技术可以降低算法到达浅鞍点的可能性,从而避免导致优化减慢。这通过正则化技术和限制异常值强度来实现。裁剪通常用于将处理限制在患者体内的体素,11或粗略的手工绘制的边界框。12 表1总结了DL肺部图像分析文献中常用的预处理技术。在CNN中,其他技术如批归一化已被证明可以减少训练时间,作为次要正则化技术来最小化异常值并提高性能。62,63

表1. 用于肺部图像分析任务的常用预处理技术总结,包括文献中常见的数值 查看原表 ↗

验证

验证用于评估训练好的DL网络的性能,并评估其对非实验环境的泛化能力。目标是制定一种最能代表算法部署情境的验证策略。

评估指标

准确评估深度学习(DL)算法的性能至关重要。评估指标可分为重叠度、距离、误差和相似度指标,并在图4中进行了总结。

图4. 用于评估医学图像分析中深度学习方法性能的四类关键评估指标(重叠度、距离、误差和相似度)概述。每类指标包含一些常用指标的简要描述和数学公式。在这些公式中,“x”和“y”分别表示任何深度学习任务的预测值和目标值。 查看原图 ↗

验证技术

除训练集外,内部验证集通常用于调优深度学习参数以提升性能。随后使用测试集对未见数据提供无偏的性能评估。在本综述中,整个训练阶段使用的验证集被计为训练集,因为网络在测试之前已经见过这些图像。因此,数据划分是指用于训练和内部验证的数据占总数据的百分比与用于测试的数据百分比之间的比例。在文献中,保持完全独立的测试集并不常见,但这代表了理想的验证形式。22,23,64 在未用于训练的外部多中心数据集上进行验证应成为确保方法间可比性和泛化性的金标准。65 然而,这并不常见,因为经常使用的是将单中心数据集划分为训练集和测试集的方式。为使验证过程更加稳健和具有泛化性,采用了特定技术,如k折交叉验证。在四折交叉验证中,数据集被随机划分为75/25%的训练/测试比例;该过程在四个不同的25%区块上重复进行。另一种方法是留一交叉验证,即使用除一个病例外的所有数据进行训练,该病例用于测试,重复此过程直至所有病例均被评估。

方法

本文献综述的方案按照系统评价和荟萃分析优先报告条目(PRISMA)声明执行。66 文献检索于2020年4月1日使用多个数据库(Web of Science、Scopus、PubMed)进行,旨在识别2012年1月1日(即开创性AlexNet论文发表同年5)至检索日期之间发表的英文研究。检索策略定义见图5。符合选择标准的其他研究通过手工检索参考文献和作者补充来识别。

近期几篇综述主要聚焦于基于深度学习的肺部分类和检测67–69;因此,本综述的范围限于肺图像分析中的分割、配准、重建和合成应用。由于该领域的近期发展,已发表的同行评审科学论文和会议论文集均被纳入。

图5. 在Scopus、Web of Science和PubMed上使用的检索策略,用于识别纳入本综述的相关研究。符合选择标准的其他研究通过手工检索参考文献和作者补充来识别。 查看原图 ↗

结果与讨论

研究选择

共检索到479篇不重复的论文。355篇论文因不符合纳入标准而被排除。特别是,许多论文侧重于分类或使用了超出本综述范围的传统机器学习技术。在审查剩余论文后,纳入82项研究进行分析。PRISMA流程图见图6。

在2016年之前没有符合纳入标准的研究发表,大多数研究自2018年以来出现。图像分割应用占所审查研究的65.9%。其余34%分为合成、重建和配准应用。详细信息见图7。

所审查的大多数研究使用了结构成像模态(87.8%),其中大多数使用CT(63.5%)。功能性肺成像研究仅占所审查研究的12.1%,分布在PET、SPECT和超极化气体MRI中。关于患者队列中所存在的疾病、成像模态和架构的所审查研究的图形化摘要见图8。

图6. 文献综述分析中识别、筛选、资格评估和纳入的研究的PRISMA流程图。PRISMA,系统评价和荟萃分析首选报告项目。 查看原图 ↗
图7. 本综述所考虑的四种图像分析应用每年研究数量的图形化概览。2020年数值计算至2020年4月1日。 查看原图 ↗
图8. 所审查的深度学习肺图像分析研究按(a)患者队列中所存在的疾病、(b)成像模态和(c)架构分类的图形化概览。论文的绝对数量在(a、b)中提供。 查看原图 ↗

分割

图像分割是将图像划分为一个或多个包含解剖学或病理学特定感兴趣区域(ROI)的片段的过程,例如肺、肺叶或肿瘤。描述基于深度学习的肺部ROI分割应用的研究总结于表2。

表2. 所审查的关于深度学习用于肺图像分割的研究摘要。条目按肺部感兴趣区域(ROI)字母顺序排列,然后按模态排列 查看原表 ↗

CT分割

CT因其优越的空间分辨率、快速扫描时间和广泛的可及性而成为临床肺成像最常见的模态。这反映在深度学习肺分割文献中,迄今为止大多数研究集中在CT上。对于全肺分割,通常使用3D网络,而在间质性肺疾病(ILD)模式分割中,迄今为止仅应用了2D网络。应用通常决定了2D和3D网络的使用;全肺分割产生一个体积3D区域,其中可以编码整体肺形状或气管位置等特征。相比之下,ILD模式的分割通常在中心2D切片上进行;因此,2D网络可能更合适,因为在这种方法中,切片之间不保留任何特征。55,83

在所回顾的CT论文中,训练/测试数据划分的中位数和众数均为80/20%,许多研究使用了少于50例患者的k折交叉验证。即使作为独立测试集,仅使用5–10例患者进行测试也限制了泛化性。此外,一些研究引用的是图像或二维切片数量,而非受试者数量。如果同一受试者的数据同时包含在测试阶段和训练阶段中,算法很可能已经见过同一患者的相似切片,因为各个数据点在空间上相关,并不严格代表独立数据点。

Dice相似系数(DSC)重叠度量是最常用的评价指标。大多数涉及全肺分割的研究报告的DSC值高于0.90,部分达到0.98以上。对于其他肺部感兴趣区(ROI),报告的最高DSC值通常较低(例如DSC(气道)≈ 0.85)。然而,诸如DSC之类的重叠度量可能对大体量中的误差不敏感,因为与总体像素数相比,百分比误差较低。87 经常出现的情况是,尽管存在需要大量手动干预才能使分割具有临床实用性的误差,仍报告了较高的DSC值。由于气道占据的体积较小,DSC度量更为敏感。就基于Hausdorff的距离度量而言,全肺分割研究报告的HD95值≈10 mm;然而,Dong等70报告的双肺平均HD95低至2.249 ± 1.082 mm。缺乏标准化评价指标可能使不同方法之间的直接比较具有挑战性。

图像分割难以评价。目前,由专家观察者进行的手动分割被用作金标准;然而,众所周知,专家分割易受观察者间变异性的影响。88 通常,仅由一名观察者对训练数据集中的所有图像进行分割;因此,如果由另一名观察者对测试图像进行分割,算法的表现可能不如预期。如果分割中的某些偏倚被保留下来,而并不存在明确的“真实”专家分割,这会对广泛泛化造成问题;因此,深度学习(DL)分割与专家分割之间的差异可能并非仅仅是DL误差的结果。大多数专家分割是使用半自动软件和图像编辑工具进行的;提供给用户的工具可能带来对某些特征的倾向性,例如光滑的肺边界,而这些特征实际上可能并不准确。在肝脏等其他解剖部位,DL获得的DSC为0.95;DL方法的观察者间变异性为0.69%,而手动专家观察者为2.75%。89 DL分割中低程度的观察者间变异性可能是朝着不同机构之间一致分割迈出的积极一步。使用多名专家分割并对误差取平均可能减少观察者间变异性的影响;然而,由于所需时间,这不太可能被广泛采用。此外,医学影像大型挑战赛可以提供来自多个机构的多样化数据及相应的专家分割,从而限制个体研究者偏倚的程度。

MRI分割

迄今为止,关于肺部MRI分割的研究有限,这或许可归因于该模态的临床应用不够广泛以及缺乏大规模标注的肺部MRI数据集。然而,肺部MRI技术,如对比增强肺灌注MRI和高极化气体通气MRI,可以为目前其他技术无法实现的肺部病理学提供进一步见解。90 从高极化气体MRI衍生的定量生物标志物,包括通气缺陷百分比,需要对通气体积和全肺体积进行准确分割,而手动执行时可能非常耗时。图9提供了基于深度学习(DL)的高极化气体MRI分割的示例图像。

Tustison等人47使用卷积神经网络(CNN)为高极化气体和质子MRI提供快速、准确的分割。47 高极化气体MRI分割使用2D U-Net,而质子MRI分割使用3D U-Net。他们引入了一种新的基于模板的数据增强方法来扩展有限的肺部成像数据。高极化气体和质子MR图像的分割DSC值分别为0.94 ± 0.03和0.94 ± 0.02。Zha等人评估了基于DL的质子MRI分割,双肺平均DSC为0.965,优于传统区域生长和k-means技术。46

图9. 作者自身工作中使用深度学习进行高极化气体MRI分割的示例图像。129Xe MR通气图像取自测试集中的三名受试者:一名健康志愿者、一名哮喘患者和一名囊性纤维化患者。所选患者图像以显著通气缺陷为特征。这些图像与同一图像的专家分割进行比较。所有图像均显示DSC值。DSC,Dice相似系数。 查看原图 ↗

X射线分割

尽管所综述的大多数分割研究使用CT和MRI,但早期研究集中在X射线分割。77,79 这是由于大规模标注X射线数据集的公开可用性,如日本放射技术学会(JSRT)91和Montgomery92数据集,使研究人员能够对以前无法获取的大量图像进行实验。所综述的大多数X射线研究使用了这些数据集,使得方法之间的比较更具适用性。32,50,51,64,78,79

配准

图像配准是将运动图像变换到固定图像空间域的过程。配准在肺部成像领域的众多应用中被使用,包括自适应放射治疗、93功能肺指标如VDP的计算94以及从多吸气CT95或1H MRI96生成区域肺功能的替代指标。

然而,大多数图像配准算法假设运动图像和固定图像的拓扑结构相同。在肺部成像中并非总是如此,因为功能图像通常不遵循与结构图像相同的拓扑结构,尤其是在患有严重病理的个体中,功能肺图像可能显示显著异质性。97 描述基于DL的肺部配准应用的研究总结于表3。

Eppenhof和Pluim 24在Lafarge等98既往工作的基础上,利用公开可用的数据集,使用具有大量数据增强的3D U-Net从吸气相和呼气相CT对直接映射位移矢量场。由于变形场已知,合成变换被用于直接训练网络。该方法实现了快速、准确的配准,将平均TRE从8.46 mm降低至2.17 mm。研究进一步使用多名观察者提供的标志点对结果进行验证,显示了观察者间变异性水平。尽管如此,仅使用了24幅图像进行测试和训练,限制了该研究的普适性。此外,合成变换不能直接代表患者中可能发现的真实变换。

其他方法使用CNN从标志点学习具有表达力的局部二值描述符,然后应用马尔可夫随机场配准。60这与使用具有高自相似性的手工局部描述符的方法进行了比较,后者有利于更快的计算。结果表明,CNN学习描述符与手工特征的组合产生了最佳的配准结果。

在一种通用配准方法中,使用了带有可微分空间变换器的类U-Net架构,可配准X射线和MR图像。40该算法使用轮廓平均距离(CMD)进行评估。在测试数据中,CMD平均约为5 mm。虽然这比所综述的其他方法配准精度低,但其适用性更广;通用算法(在本例中在X射线和MR图像上训练)可以学习独立于模态的特征。通过固定这些权重并添加额外层,迁移学习随后可应用于特定模态;跨模态的额外数据可能带来更好的结果。104

表3. 使用深度学习进行肺部图像配准的综述研究汇总 查看原表 ↗

重建

图像重建是从扫描仪采集的原始数据生成可用图像的过程。CT和SPECT重建与MRI重建存在根本差异,因此DL在这些应用中的作用也不同。CT和SPECT重建使用解析(如滤波反投影)或迭代算法,从围绕受试者多个角度采集的投影数据生成3D图像。相比之下,MRI重建通过傅里叶变换对原始k空间数据进行变换来生成图像。图像重建方法的完整细节已在其他地方描述。105,106 描述基于DL的肺部图像重建应用的研究汇总于表4。

CT/SPECT图像可使用基于蒙特卡洛的迭代重建准确重建110;然而,该过程计算成本高且耗时。111此外,多项研究已证明滤波反投影等解析方法的成功。105在此基础上,CNN已被用于加速滤波反投影过程以缩短重建时间。109结果表明,DL可在10秒内准确重建SPECT图像。此外,作者在特定时间范围内比较了方法间的临床指标,如肺分流分数(LSF)。DL产生的LSF为4.7%,与蒙特卡洛方法的5.8%相当,表明其在临床应用中的潜力。109

多项研究已将深度学习(DL)用于MRI重建112,但仅有一项已发表的研究将其应用于肺部MRI。42 肺部MRI采集可能需要长达10秒以上,通常要求患者在相当长的时间内维持充气水平;这对患有严重肺部病变的患者尤其具有挑战性。压缩感知可用于重建随机欠采样的k空间,并结合正则化方法在超极化气体MRI中产生准确的重建113,114,并能够在不大幅降低图像质量的情况下缩短采集时间。已提出一种由粗到细的神经网络,以8倍加速因子(欠采样1/8 k空间)获得准确的超极化气体MRI扫描。42 该方法还可在同一次屏气中采集质子与超极化气体MRI时提高固有的空间配准精度115,可能减轻对大量采集后图像配准的需求。

与图像重建目标略有相关的是,在采集后阶段还可使用图像增强进一步改善图像。多项研究已表明,使用卷积神经网络(CNN)结合梯度正则化和超分辨率模块来增强带有噪声和伪影的低剂量CT图像的有效性,有可能在不降低图像质量的情况下限制辐射暴露。116,117

表4. 使用深度学习进行肺部图像重建的综述研究汇总 查看原表 ↗

综合

图像合成,也称为回归,是从给定源图像生成未知目标图像的人工图像的过程。合成已应用于一系列应用,例如从结构图像生成功能或代谢图像。例如,从常规采集的非对比结构模态估计基于对比的功能图像,可减少额外扫描、专用设备和给予对比剂的需求。即使在传统的基于模型的技术中,由于将输入映射到输出图像的复杂数学函数,准确合成已被证明具有挑战性。诸如生成对抗网络(GAN)等DL架构的发展实现了更无监督的方法,这适用于合成的复杂问题。9 描述基于DL的肺部图像合成应用的研究汇总于表5。

深度学习(DL)已被用于通过生成对抗网络(GAN)从CT图像生成合成的氟-18-脱氧葡萄糖(FDG)PET图像。118 GAN的输入被改变为包括CT图像、标签或CT及相应标签两者;多通道GAN(M-GAN)提供了最准确的合成PET图像,表明多种输入可提高合成准确性。为了进一步探索这一点,作者还将合成PET图像作为训练数据输入网络进行评估。该网络旨在通过学习训练数据中的关系来勾画肿瘤;随后数据被分为真实PET图像和合成PET图像。然后,在未见过的肿瘤检测问题上评估训练好的模型。合成PET训练的网络产生的召回准确率低2.79%。这表明,总体而言,合成PET图像在肿瘤识别方面与真实图像密切相关。该论文提出,合成PET图像可作为其他DL任务中的额外训练数据。然而,目前尚不清楚合成PET图像能否以这一准确度水平用于治疗计划和其他临床任务。118

GAN在合成问题上持续展现出前景。119 CT图像已被用于通过条件GAN(cGAN)而非卷积神经网络(CNN)生成SPECT图像。29该方法使用二维GAN,以49例患者的3054幅二维图像作为训练数据;测试数据包含5例患者。cGAN与常规GAN架构的不同之处在于同时使用观察图像和随机噪声向量,将其映射到输出图像,而非仅使用噪声向量。所使用的生成器基于具有多输入的U-Net架构。使用多尺度结构相似性指数测量(MS-SSIM)比较合成与真实SPECT图像,得到MS-SSIM = 0.87。进一步分析使用γ指数,在2%/2 mm条件下通过率为97.7±1.2%。作者定性指出,误差更频繁地出现在肺底部,可能由该区域形变增加所致。合成方法的一个关键限制是源图像与目标图像配准引入的误差。因此,有人建议排除因呼吸差异而在解剖上不匹配的图像,119这使临床采用的验证变得复杂。29,119

DL图像合成的一个主要应用是MR引导放疗。放疗中当前的范式是直接从CT扫描获取剂量计算所需的电子密度信息;MRI不直接提供这一信息。DL已被用于通过GAN生成伪CT图像,以用于MR引导的立体定向体部放疗,从而无需CT。44

Zhong等人使用CNN从4DCT扫描合成通气图像。61虽然观察到良好性能,但本研究的主要限制在于训练阶段的目标图像是基于CT的通气替代指标,这些指标通过对齐的吸气相和呼气相CT扫描经可变形配准和计算建模生成。这些图像仍处于大量验证工作中。121使用更直接的区域肺功能测量方法(如超极化气体MRI)和更大的数据集,对于结构到功能DL合成应用未来工作的成功至关重要。

表5. 使用深度学习进行肺图像合成的综述研究汇总 查看原表 ↗

未来研究方向

所综述的研究表明,深度学习(DL)在广泛的肺部图像分析应用中具有显著潜力,能够超越更传统的 method。使用DL合成更多训练样本122或将分割与配准结合在一个流程中103的新方法已被证明可提升性能。此类创新的范围仍处于起步阶段,为新技术发展提供了机会。

正如通过将传统方法与机器学习和DL相结合用于配准所观察到的性能提升所示,将DL与常规图像处理方法相结合可以实现巨大的协同效应。60

在图像合成方面,研究人员已开发出从脑部MRI扫描合成CT图像的技术123;肺部成像领域的类似进展将使患者接受更少的辐射暴露,并减少额外扫描的成本和时间。利用合成从常规获取的结构图像生成功能性肺部图像,将使临床医生能够了解肺部哪些区域存在通气或灌注,而无需获取通常需要对比剂和专用设备的专门功能扫描,从而降低成本和采集时间。此类应用需要DL在架构开发方面的进一步研究以及肺部成像专家的投入。使用DL进行CT增强以降低辐射剂量或改进MRI中的压缩感知方法,有可能缩短扫描时间、改善图像质量并提高患者依从性。

质子MRI和超极化气体MRI分割47均已显示出有前景的结果;然而,尚需进一步工作以在独立的多中心验证中证明准确的MRI分割。协作研究对于扩充训练数据并注入中心和扫描仪的异质性至关重要,这将产生更稳健和更具泛化性的模型。已发表的DL在功能性肺部成像中的研究匮乏(仅占本文综述研究的12.9%),这为该领域的创新和进一步研究提供了重要机会。

关于CT分割的文献对DL方法在提供快速、准确的自动分割方面的成功提供了积极的图景。然而,在研究环境中产生令人印象深刻的结果并不能替代临床验证。在这些新进展产生真正影响之前,需要大量患者参与的长期临床病例研究。DL方法的“黑箱”性质以及生成输出缺乏可解释性,可能削弱临床医生和患者的信任,尽管——甚至正是因为——存在前所未有的宣传热度。另一个挑战是透明度;尽管大多数用于DL的软件都有完善的文档和开源,这是持续使用的要求,但开源性质也产生了与软件编辑和漏洞相关的安全担忧。就验证和评估程序制定标准化的文献共识是确保透明度的关键。在DL能够充分发挥其潜力之前,所有这些挑战都需要被克服。

结论

我们综述了深度学习(DL)在多项肺部图像分析任务中的作用,包括分割、配准、重建与合成。基于CT的肺部分割是最常见的应用,已展现出卓越的性能。然而,其他应用和模态(包括功能性肺部成像)的研究仍处于起步阶段。需要研究界共同努力以推动该领域进一步发展。在实现广泛临床采用之前,验证策略、透明性和信任方面仍存在挑战。

引用

  1. Astley JR, Wild JM, Tahir BA, et al. Deep learning in structural and functional lung image analysis. Br J Radiol. 2021. PMID: 33877878. doi:10.1259/bjr.20201107
  2. 全文:PMC9153705(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9153705/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。