文献速递神经技术与安全MR

生成对抗网络在脑MRI中的作用:范围综述

The role of generative adversarial networks in brain MRI: a scoping review.
PubMed 文献 · Insights Imaging · 2022-06-04

本范围综述按PRISMA-ScR指南检索五个数据库,最终纳入139项研究,描述生成对抗网络(GANs)在脑MRI中的主要应用,包括合成数据增强、脑肿瘤分割、图像翻译、超分辨率和去噪,并汇总常用架构与公开数据集。

要点

  • GANs在脑MRI中最常见用途是合成图像做数据增强,其次是脑肿瘤分割和图像翻译。
  • 最常用架构为cycleGAN(12项研究)、条件GAN(8项)和Wasserstein GAN(7项)。
  • 公开数据集中最常用的是阿尔茨海默病神经影像学倡议数据集(16项)和BRaTs 2018(8项)。

核心结论

  • 纳入研究表明GANs可提升脑MRI人工智能方法的性能,但将基于GANs的方法转化为临床应用仍需更多努力。

研究设计与样本

  • 本研究为范围综述,遵循PRISMA-ScR指南,检索PubMed、Scopus、IEEE Xplore、ACM Digital Library和Google Scholar五个数据库,检索时间为2021年9月20日至22日。
  • 由两名独立评审筛选与提取数据,第三名评审验证,最终从789条检索结果中纳入139项研究(87篇期刊论文、52篇会议论文)。
  • 纳入标准为2015年1月至2021年9月发表的英文研究,使用GANs处理脑MRI数据,涵盖分割、合成、去噪和超分辨率等应用。

关键影像表现/征象

  • GANs的应用包括合成数据(43项)、脑MRI感兴趣区分割(32项)和神经系统疾病诊断(22项)。
  • 超分辨率改善图像质量见于10项研究,高质量图像重建见于13项研究。
  • 去噪、预后和图像配准分别见于5项、4项和2项研究,仅1项研究报告生成3D合成MRI数据。

诊断标准与关键数值

  • 生成图像质量评价指标包括SSIM(53项研究)、PSNR(49项研究)和FID(8项研究)。
  • 诊断、分割或分类性能评价指标包括Dice评分(31项研究)、平均绝对误差(16项研究)和均方误差(16项研究)。
  • 在38项研究中数据被分为独立训练集和测试集,17项研究分为训练集、验证集和测试集,外部专家评估仅见于7项研究。
  • 最大患者数为2175例(1项研究),2项研究使用超过100,000张图像,1项研究使用超过10,000张图像,25项研究使用1000至10,000张图像,33项研究使用100至1000张图像。

临床应用与阅片要点

  • 本综述汇总了公开可用的脑MRI数据集并附访问链接,可供人工智能研究选择数据时参考。
  • 作者指出,多数研究仅在个体测试集或k折交叉验证上测试模型,外部验证仍然有限,应在未来工作中鼓励。
  • 作者指出,未发现任何研究将这些方法转化为临床应用,也未发现任何框架在移动设备上实现。
  • 作者指出,许多研究声称其方法可用于临床任务,但缺乏针对临床目的的测试报告。

局限性

  • 本综述仅纳入五个主要数据库的研究,未被这些数据库收录的研究可能被遗漏。
  • 由于实际限制,本综述仅纳入英文发表的研究,其他语言的相关研究可能被遗漏。
  • 部分应用的分类可能存在重叠,例如超分辨率可视为合成的子类别。
  • 许多研究对架构的根本性改变较小或对改变的细节报告不足,本综述无法分析所有架构。
全文中译22 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Jun 4;13:98. doi: 10.1186/s13244-022-01237-0

要点

本文旨在对生成对抗网络(GANs)在脑MRI中的应用进行全面综述。

本教育综述的具体关注点是脑MRI。

它涵盖了大量关于GANs在脑MRI中的研究,以及最近发表的关于脑MRI的研究。

引言

磁共振成像(MRI)是一种广泛使用的医学成像技术。MRI是非侵入性的,并被认为对人体安全。MRI可以生成图像的不同模态,并能为特定疾病提供有价值的见解。MRI的常见序列是T1加权和T2加权扫描[1, 2]。MRI与其他医学成像技术的主要区别在于MRI不使用X射线摄影。放射科医生使用MRI分析脑组织并诊断脑相关疾病,如脑肿瘤(即脑细胞的异常和不受控制的生长)。这一过程需要受过训练的放射科医生,且准确性在很大程度上取决于放射科医生的专业知识和MRI数据采集的质量[1, 2]。

计算机辅助诊断(CAD)可以辅助MRI分析过程。近年来,开发用于CAD的人工智能和基于深度学习的方法的兴趣显著增加。然而,深度学习方法依赖于使用大型医学成像数据进行训练。生成对抗网络(GANs)具有生成数据新样本并表征真实数据分布的潜力。GANs是一类特殊的深度学习模型,由两个神经网络组成,即生成器和判别器。生成器生成新样本,而判别器试图将图像分类为真实或合成。对抗训练有效改善了模型的整体训练。虽然GANs方法最初在医学成像领域因生成合成数据而流行,但它们也被用于其他应用,如超分辨率、分割和诊断。

本研究进行了一项范围综述,以探究基于生成对抗网络(GAN)的方法在脑部MRI中的作用。虽然已有许多综述探讨了GAN在医学影像和MRI中的应用[1–3],但其范围过于宽泛。例如,文献[1]中的综述涵盖了广泛的MRI领域,并未仅聚焦于脑部MRI。同样,文献[2]中的综述涵盖了许多不同的深度学习技术,并未将讨论仅限于基于GAN的方法。文献[3]中的综述讨论了对所有类型医学影像数据的GAN应用。表1提供了我们的工作与既往综述的比较。关于GAN在脑部MRI中应用的研究数量不断增长,亟需一篇专门的综述。在此背景下,本综述介绍了基于GAN的方法如何被用于解决推进脑部MRI数据人工智能性能方面的诸多挑战。更具体地说,它总结了基于GAN的方法在脑部MRI中的应用,如脑部MRI合成、脑肿瘤分割和脑部MRI超分辨率。此外,它还强调了文献中用于评估GAN性能的不同评价指标,如结构相似性指数(SSIM)和峰值信噪比(PSNR)。本综述考虑了以下与基于GAN的方法在脑部MRI中作用相关的研究问题。为脑部MRI提出的GAN的典型应用有哪些?

哪些GAN架构最常用于脑部MRI?

在脑部MRI中使用GAN的目的是什么?

脑部MRI最常用的数据集有哪些?

有多少数据集是公开可获取的?

使用了哪些评价矩阵来验证模型?

本研究将对医学影像和医疗保健领域的研究人员和专业人员有所帮助,他们正在考虑使用GAN方法从MRI图像中诊断和预测脑肿瘤。该综述还列出了公开可用的脑部MRI数据集,这将有助于人工智能研究人员开发先进的研究方法。

表1 与既往综述的比较 查看原表 ↗

方法

我们在知名数据库中进行了文献检索,并按照PRISMA-ScR(系统综述和荟萃分析优先报告条目扩展版——范围综述)指南[4]进行了范围综述。附加文件1:表S1提供了对PRISMA-ScR检查表的遵循情况。以下方法用于检索和研究选择。

检索策略

检索来源

本综述检索了五个不同的数据库以获取相关文献,即PubMed、Scopus、IEEE Xplore、ACM Digital Library和Google Scholar。我们在此注意到MEDLINE包含在PubMed中。检索于2021年9月20日至22日之间进行。对于Google Scholar的检索结果,仅考虑了前100条结果,因为超过前100条条目后,检索结果迅速失去与本综述主题的匹配度和相关性。除了在五个数据库中的检索外,我们还筛选了纳入研究的参考文献列表,以查找其他相关研究。

检索词

我们从现有文献中定义检索词,并参考了该领域的专家。检索词基于干预措施(例如深度学习、生成对抗网络(GAN))、目标解剖结构(脑)和目标数据模态(例如MRI、fMRI、sMRI)进行选择。本研究使用的检索字符串见附加文件1:表S2。

检索纳入标准

我们聚焦于用于脑MRI数据的基于GAN的方法。我们考虑了2015年1月至2021年9月以英文发表的研究。纳入GANs所有应用的研究,如脑MRI的分割、合成、噪声去除和超分辨率。我们纳入使用GANs处理脑MRI数据的研究,排除使用其他深度学习方法(如卷积神经网络或循环神经网络)但未使用GANs的研究。同样,我们排除了将GANs用于非图像数据或MRI以外模态(如超声、X射线或计算机断层扫描(CT))图像数据的研究。我们还排除了将GANs用于脑以外MRI数据的研究。

我们纳入经过同行评审的文章和会议论文,排除预印本、评论、简短综述、社论和摘要。同样,我们排除了对GANs方法进行综述的研究。对发表国家、比较措施和GANs方法的结局不施加限制。

研究选择

两名评审者,即作者AJ和OT,独立审阅了检索所识别研究的标题和摘要,并初步标记纳入和排除。该标记随后由第三名评审者(HA)核实。通过标题和摘要筛选的研究被列入全文阅读阶段的候选名单,以进行研究选择。评审者(AJ和OT)之间的任何分歧均通过讨论和共识进行调查和解决。计算Cohen's kappa评分[5]以衡量两名评审者之间的一致性。

数据提取

我们编制了一份专门用于数据提取的表格。附加文件1:表S4展示了数据提取表格。该表格的条目使用十项相关研究进行了试点测试,以准确提取数据。两名评审者(MB和FA)根据数据提取表格独立进行数据提取。提取的数据涉及研究的应用、使用GAN的目的、GAN的类型、数据集的特征以及基于GANs方法的评估机制。两名评审者之间的任何分歧均通过讨论和共识解决。

数据综合

在从纳入研究中提取数据后,我们采用叙述性方法综合数据。首先,我们按应用对纳入研究进行分类,如合成(数据增强)、诊断(例如肿瘤检测)、预后和超分辨率。我们还根据使用GANs的目的对研究进行分类,如合成、噪声去除和转换。基于数据集类型,我们将数据组织为两大类:使用公开可用数据集的研究和使用私人收集MRI数据的研究。我们还基于数据集规模、评估机制和外部验证的报告对研究进行了总结。我们使用MS Excel进行和管理数据综合。

结果

检索和研究选择结果

我们检索到789项研究作为搜索结果。我们删除了185项重复记录。随后,我们对剩余研究的标题和摘要进行了筛选。根据方案中定义的标准,标题和摘要筛选后我们排除了446项研究。接着,我们对剩余的158项研究进行了全文阅读。其中,我们删除了19项不符合纳入标准的研究。最终,我们剩下139项研究纳入本次调查。研究选择过程的流程图见图1。通过前向和后向参考文献核查未发现额外研究。标题和摘要筛选的Cohen's kappa评分为86.3%,表明评价者之间具有良好的一致性。全文阅读阶段的Cohen's kappa评分为84.7%,表明评价者之间具有良好的一致性。附加文件1:表S3显示了Cohen's kappa评分计算的矩阵。

图1 纳入研究选择的PRISMA-ScR流程图 查看原图 ↗

纳入研究的人口学特征

在纳入的研究中,87项为同行评审期刊论文,52项为会议出版物。超过三分之二的研究(n = 104)发表于过去2年,即2020年和2021年。相比之下,2018年仅发表5项研究,2017年仅发表1项研究。共有27个国家参与了这些研究。约三分之一的研究(n = 53)发表在中国。仅有的另外两个发表超过十项研究的国家是美国(n = 21)和日本(n = 12)。表2总结了纳入研究的人口学特征。图2展示了纳入研究的按年份和按国家分布的可视化。

表2 纳入研究的人口学特征 查看原表 ↗
图2 纳入研究的按年份和按国家分布。终端节点上的数字显示每个国家/地区的发表数量 查看原图 ↗

生成对抗网络(GANs)在脑MRI中的应用

生成对抗网络(GANs)已被用于脑MRI数据的许多应用。纳入的研究将基于GAN的方法作为其深度学习框架的子模块用于不同应用,如表2所示。大多数纳入研究针对的应用为:合成数据的生成(n = 43)、脑MRI中感兴趣区域的分割(n = 32)以及神经系统疾病的诊断(n = 22)。研究中其他常见应用包括提高图像质量的超分辨率(10项研究报告)和高质量图像重建(可视为超分辨率的子类别,13项研究报告)。少数研究还报告了噪声去除(n = 5)、预后(n = 4)和图像配准(n = 2)等应用。仅有一项研究报告了MRI数据三维合成体积的生成(见图3)。

纳入的研究将生成对抗网络(GAN)用于许多不同的应用,即合成(生成合成数据)、分割(生成分割掩膜)、诊断以及将数据从一种模态转换到另一种模态(例如,从CT转换到MRI,反之亦然,或从正常MRI转换到感染MRI)。近三分之一的研究(n = 45)报告使用GAN进行数据合成。约六分之一的研究(n = 26)报告使用GAN进行分割。GAN的其他常见用例包括16项研究报告的诊断、15项研究报告的重建和12项研究报告的转换。重建也可被视为图像合成的一种特殊情况。只有少数研究报告了GAN用于其他应用的用例,如7项研究报告的超分辨率、5项研究报告的噪声去除、5项研究报告的预测和4项研究报告的预后。表3提供了GAN用例的摘要。

图3 使用公共数据集与私人收集数据集的研究数量的维恩图。部分研究(n = 7)报告同时使用公共和私人数据集 查看原图 ↗
表3 GAN在脑MRI中的应用 查看原表 ↗

GAN方法的类型

尽管有许多不同类型的GAN通常根据其架构命名,但存在一种倾向,即为每个GAN赋予新名称,即使架构的根本变化并不显著。本综述发现,最常用的GAN类型是cycleGAN,被12项研究使用[15, 17, 48, 51, 55–57, 65, 66, 79, 84, 110, 133],其次是条件GAN,被8项研究使用[53, 54, 71, 72, 101, 112, 118, 119],以及Wasserstein GAN,被7项研究使用[13, 14, 19, 39, 116, 131, 132]。在超过一项研究中报告的其他GAN类型包括深度卷积GAN,在三项研究中报告[20, 93, 140],统一GAN [21, 49]在两项研究中报告,以及Pix2Pix GAN,在两项研究中报告[32, 133]。

数据集类型

大多数研究(n = 97)报告使用公共数据集进行脑MRI的GAN模型训练。35项研究报告使用私人收集的数据。少数研究(n = 7)报告同时使用公共和私人收集的数据。本综述确定了纳入研究中使用的许多不同数据集。表4提供了公开可用数据集列表及访问链接。在纳入的研究中,最常用的数据集是阿尔茨海默病神经影像学倡议数据集,在16项研究中报告(另见表4)。BRaTs 2018数据集在8项研究中报告,而使用来自伦敦三家不同医院的MR图像的IXI数据集在7项研究中报告。使用各种版本BRaTs数据集的研究累计数量为20项。

表4 纳入研究中使用的公开可用数据集。根据使用数据集的研究数量进行排序 查看原表 ↗

评估程序

有些研究报告了患者数量,而其他研究报告了图像数量。数据所用于的患者最大数量为2175例[92]。两项研究报告使用了超过100,000张图像[23, 106],一项研究报告使用了超过10,000张图像。在25项研究中,使用的图像数量在1000至10,000张之间。在33项研究中,使用的图像数量在100至1000张之间。其他研究要么使用的图像少于100张,要么未包含图像数量的信息。在纳入的研究中,38项报告将数据分为独立的训练集和测试集,而17项报告将数据分为训练集、验证集和测试集。许多其他研究使用k折交叉验证方法进行评估;例如,三项研究报告了二折交叉验证,两项研究报告了七折交叉验证(见表5)。仅七项研究报告了由人类专家进行的外部评估。

使用生成对抗网络(GANs)评估生成图像质量所用的不同指标为SSIM(n = 53项研究)、PSNR(n = 49项研究)和FID(n = 8项研究)。用于评估诊断、分割或分类性能的其他指标包括31项研究中使用的Dice评分、16项研究中使用的平均绝对误差以及16项研究中使用的均方误差。表6总结了各研究中使用的不同评估指标。

表5 不同研究中使用的评估机制 查看原表 ↗
表6 不同研究中最常用的评估指标 查看原表 ↗

研究中的焦点疾病

我们还确定了纳入研究的焦点疾病。在纳入的研究中,44项研究报告了其应对脑肿瘤相关挑战的方法,如肿瘤分割、肿瘤分类或肿瘤生长预测。同样,20项研究报告了其方法用于神经退行性疾病的诊断、预后或分析,例如阿尔茨海默病、孤独症谱系障碍(ASD)、多发性硬化症和帕金森病。其余75项研究未聚焦于特定疾病。基于疾病的研究分类总结见表7。

表7 研究中的焦点疾病 查看原表 ↗

讨论

主要结果

在本研究中,我们对GANs在脑MRI数据中的应用进行了范围综述。我们发现大多数研究发表于2020年和2021年,而2016年和2017年合计发表的研究非常少(仅六项)。这并不令人意外,因为将GANs用于医学影像尤其是脑MRI的兴趣直到最近才获得发展势头。超过三分之一的研究发表在中国(n = 53)。发表数量第二多的是美国(n = 21),但不到中国发表数量的一半。相比之下,印度和德国各仅发表了七项研究。其余国家各发表的研究少于五项。

在几乎三分之一的研究中,使用生成对抗网络(GAN)的主要应用是合成/生成数据以实现数据增强。然而,许多研究也将GAN用于感兴趣组织的分割,例如脑MRI中肿瘤的分割。GAN另一个常用的用例是将图像从一种模态转换为另一种模态,或从正常图像转换为癌变图像。此外,GAN可以增强图像质量,因此被用于图像超分辨率(7项研究报告)和噪声去除(5项研究报告)。GAN在脑MRI数据上较少见的用例是预后和图像配准,分别仅有4项研究和1项研究报告。虽然GAN在数据合成方面更为流行,但解决特定临床疾病通常不是使用GAN的重点。尽管如此,一些研究通过展示使用生成数据来改善不同疾病的诊断或预后,证明了GAN的有效性。

本综述中“合成”一词在更广泛的意义上使用,涵盖脑MRI序列的合成以及从现有序列合成缺失序列。合成的数据随后被用于增强诊断,例如检测阿尔茨海默病或分割脑肿瘤。

使用两个GAN来生成合成数据的cycleGAN架构是纳入研究中最流行的架构选择。其他流行的选择是Wasserstein GAN和深度卷积GAN。对于许多研究而言,架构的根本性变化仅为微小的改动,或者对所引入变化的细节描述不充分;分析所有架构超出了本综述的范围。

虽然在大多数研究中报告了在独立测试集上测试模型或使用k折交叉验证方法,但性能的外部验证仍然有限,应在未来工作中加以鼓励。

研究与实践意义

大多数纳入研究报告了在公开可用数据集上的结果。其中,BRaTS数据集和阿尔茨海默病神经影像学倡议数据集是研究人员中最流行的数据集。由于这些数据集可以公开访问,提供纳入研究所报告结果的相关计算机代码/软件将非常有帮助。这将鼓励其他研究人员重现结果并在现有模型/方法的基础上进一步发展。然而,一些研究报告了在私人收集数据上的结果。因此,对研究中提出的主张进行外部验证或在此基础上进一步发展的机会有限。

我们在纳入研究中未发现任何在移动设备上实现的框架。GAN的计算需求和MRI数据的内存资源可能是这些模型向移动设备转化有限的原因。只能希望未来的研究能够使这些方法在移动设备上实现。

未发现将这些方法转化为临床应用的研究,这表明它们在临床使用中的接受度仍然有限。许多研究声称其方法在临床任务中具有价值;然而,它们缺乏针对临床目的的测试报告。

生成对抗网络(GANs)最初因生成与原始数据相似的合成图像数据而受到欢迎。然而,对逼真外观的感知是主观的。此外,尽管许多纳入的研究报告了一些定量指标,如峰值信噪比(PSNR)和结构相似性指数测量(SSIM),但这些指标主要借用自计算机视觉文献。因此,这些指标在多大程度上能有效量化MRI图像数据中的复杂生理信息,目前尚不明确。因此,迫切需要开发统一的方法来评估GANs在捕捉MRI图像数据中复杂特征方面的性能。

正如许多研究所使用的,MRI的公开可用数据主要来自发达经济体。然而,来自发展中经济体的医学影像数据缺乏。因此,在此类数据上训练的诊断计算机模型可能由于数据缺乏代表性而无法在不同地缘经济特征的人群中很好地泛化。纳入来自不同地点的MRI数据是必要的,这将有助于为脑MRI的诊断、预后和肿瘤检测等临床应用开发更好的AI方法。

优势与局限性

优势

虽然已经发表了许多关于GANs在医学影像中应用的综述,但据我们所知,这是第一篇关于GANs在脑MRI图像中应用的综述。本综述纳入了所有使用GANs进行脑MRI的研究;因此,这是该主题最全面的综述。本综述帮助读者了解GANs在合成脑MRI数据方面的潜力,以及在改善脑MRI中脑肿瘤诊断和分割方面的潜力。与[1–3]等涵盖多种深度学习方法的广泛范围的综述不同,本综述专门聚焦于GANs在脑MRI中的应用。

在本综述中,我们遵循了PRISMA-ScR [4]的科学综述指南。此外,我们涵盖了健康科学、工程和技术领域的主要数据库,以识别尽可能多的已发表研究。因此,本综述纳入的研究数量较多。我们设计了一种策略来避免研究选择中的偏倚,即采用两名独立评审者进行研究选择和数据提取,并由第三名评审者验证筛选和数据提取。本综述提供了脑MRI公开可访问数据集的综合列表。因此,它可以被视为读者识别有价值的脑MRI数据集的丰富资源。

局限性

在本综述中,我们纳入了来自五个主要数据库的研究。因此,如果某些研究未被纳入的数据库所覆盖,则可能被遗漏。此外,由于实际限制,本综述仅包含以英文发表的研究。因此,以其他语言发表的相关研究可能被遗漏。本综述将研究按主要应用分类,如合成、分割、诊断、超分辨率和噪声去除。某些应用的定义可能与其他应用部分重叠;例如,超分辨率可被视为合成的子类别,将超分辨率研究归类为合成研究则会增加合成类别的研究数量。然而,我们认为本综述中的分类能更好地反映应用的概念。我们未对脑肿瘤诊断相关声明或合成MRI数据的质量进行验证和评估,因为这超出了本综述的范围。

结论

在本范围综述中,我们纳入了139项报告使用生成对抗网络(GANs)处理脑MRI数据的研究。我们确定了GANs最常见的应用。我们还确定了脑MRI最常用的公开可用数据集。我们还总结了GANs最常见的架构以及在脑MRI中广泛用于评估GANs性能的评价指标。如果这些研究能够转化为临床应用,将最有价值。为实现这一目标,我们指出,鼓励这些研究的软件和代码的可用性将促进结果的可重复性。最终,更多的研究进展将成为可能。此外,普遍认为需要弥合计算机科学家与临床医生之间的差距,因为临床医生和放射科医生的输入和反馈对于研究成果转化为临床应用至关重要。同样,有必要对用于脑MRI的不同GANs架构遵循标准化的比较方案。

补充信息

附加文件1:表S1 PRISMA-ScR检查清单。表S2检索策略。表S3研究筛选步骤的评估者间一致性矩阵。表S4数据提取表。附录S5研究特征。

引用

  1. Ali H, Biswas MR, Mohsen F, et al. The role of generative adversarial networks in brain MRI: a scoping review. Insights Imaging. 2022. PMID: 35662369. doi:10.1186/s13244-022-01237-0
  2. 全文:PMC9167371(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9167371/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。