文献速递技术与安全神经MR

生成模型合成MRI用于癌症鉴别:系统综述

Enhancing cancer differentiation with synthetic MRI examinations via generative models: a systematic review.
PubMed 文献 · Insights Imaging · 2022-12-12

本系统综述基于PRISMA框架检索2017年1月至2021年6月文献,最终纳入36篇研究,评估GAN和VAE等深度生成模型通过合成MRI数据增强癌症鉴别诊断的性能。主要结论为生成模型可缓解肿瘤MRI数据稀缺与异质性问题,但合成图像的有效性需结合定量指标、专家视觉评估与下游任务性能综合验证。

要点

  • 生成模型可合成肿瘤MRI图像以扩充稀缺数据集,但需警惕合成样本的解剖真实性与多样性。
  • 评估合成图像应结合定量算法、专家视觉评估和下游任务性能三方面验证。
  • 公开数据集和开源代码库有助于提升生成模型研究的可重复性与开放科学。

核心结论

  • 深度生成模型如GAN和VAE可通过合成MRI数据增强缓解肿瘤影像数据稀缺和异质性问题。
  • 合成图像的有效性评估需综合定量算法、专家视觉评估和下游任务性能三方面。
  • 公开数据集与开源代码库的推广有助于提升该领域研究的可重复性。

研究设计与样本

  • 系统综述遵循PRISMA报告清单,检索Scopus、PubMed、Google Scholar、IEEE、Web of Science和Arxiv。
  • 检索时间范围为2017年1月1日至2021年6月30日,由两名评审独立筛选文献。
  • 最终纳入36篇论文,基于公开数据集或机构内部数据,多数内部数据患者经活检证实。
  • 采用QUADAS-2工具评估纳入研究的偏倚风险与适用性,每项评为低、高或不清楚。

关键影像表现/征象

  • 脑解剖区域研究最多,T1ce、T2w、FLAIR和T1w序列占主导;前列腺区域涉及ADC和DCE模态。
  • WGAN相较DCGAN可生成肿瘤多样性更高且序列特异性纹理更真实的合成多序列MRI图像。
  • CPGGAN可条件性生成特定位置和大小的脑转移瘤MRI图像。
  • SAG-GAN引入半监督注意力机制,在生成器和判别器中定位肿瘤区域以生成概率图。

诊断标准与关键数值

  • Red-GAN仅用合成图像训练下游模型时Dice为0.659,原始数据增强合成样本后多数稀疏类别Dice提升可达5%。
  • MSG-GAN将类不平衡数据集扩充55个样本后,平衡准确率最高提升至93%。

临床应用与阅片要点

  • 阅片时应注意合成MRI可能存在的伪影和解剖失真,专家视觉评估是验证合成图像真实性的必要环节。
  • 合成数据增强对下游分类任务的影响不一,部分研究显示合成与真实数据结合后二分类性能反而下降。
  • 引用合成数据研究时需关注其评估是否包含下游任务验证,仅凭视觉逼真不足以证明合成图像有效。

局限性

  • 纳入研究采用不同成像协议,MRI缺乏组织特异性定量值和跨厂商标准化,影响模型泛化。
  • 部分研究仅采用视觉评估或单一指标,缺乏统一、稳健的合成图像质量评价体系。
  • 肿瘤存在显著生物学变异,导致多种表型和基因亚型,合成数据难以覆盖全部变异。
全文中译19 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Dec 12;13:188. doi: 10.1186/s13244-022-01315-3

要点

肿瘤学中稀缺且有限的数据对深度学习架构来说是沉重负担,这往往导致决策系统性能不佳。

MRI图像中的异质性是泛化的根本障碍。

生成模型是一种新兴技术,可通过合成数据增强来解决这些缺陷。

定量算法、专家定性评估和下游任务等评价指标对于合成图像的有效性至关重要。

引言

深度学习(DL)架构在过去几年中获得了极大的普及,特别是当AlexNet [1]展现出卓越性能并以大幅优势赢得ImageNet竞赛[2]时——与当时最先进的机器学习模型相比;然而,深度学习的历史始于数年前。最初,灵感来源于人脑的结构。这导致了人工神经网络(ANN)的出现,其设计目的是理解大脑的功能[3],并在概念层面上启发了深度学习,但并非试图匹配低层次的神经反应本身[4]。从20世纪40年代到60年代,ANN被称为控制论[5],其中[6, 7]是发展生物学习理论的先驱。在第一个模拟模型实现近十年后,Rosenblatt等人[8]提出了感知机,它可以根据每个类别中先前见过的样本来学习分类样本的权重。在接下来的四十年里,使用这些网络的想法变得无关紧要,因为基于ANN的模型无法使用二值神经元成功执行复杂的模式识别任务。尽管如此,研究仍在继续,当计算机开始变得足够快时,使用连续神经元进行浮点乘法运算的反向传播思想出现了。因此,这导致了具有一两个隐藏层的神经网络的训练[9, 10]。在20世纪80年代至90年代期间,名称改为联结主义,直到2006年硬件进步使得堆叠更多非线性层成为可能,“深度”一词出现并流行至今。当新认知机[11]被提出时,来自神经科学特别是哺乳动物结构的灵感再次变得至关重要,这是一种创新且强大的图像处理架构,它引导[12]引入了卷积网络(ConvNets),具有反向传播和端到端图像分析等监督学习算法。

ConvNets在医学图像分析中的应用最早在20世纪90年代初由[13, 14]应用于数字乳腺摄影中微钙化的检测和胸部X线片中肺结节的检测[15],但成功有限。最近,这些模型已扩展到广泛的应用领域,如计算机断层扫描(CT)图像中结节的分割[16]、器官分割[17]、超分辨率[18]、去噪[19]和跨模态合成[20]。ConvNets是当前最先进技术中广泛使用的深度架构,利用了平稳性、局部性和组合性等特性。

与其他成像领域的一个关键区别在于,磁共振成像(MRI)在数据采集方面面临一些重大挑战,原因包括缺乏组织特异性数值、不同解剖区域、不同成像模态(图1)、不同扫描仪以及不同厂商之间缺乏成像标准化。广泛的图像采集协议也导致深度模型稳定性有限,并可能成为构建稳健且泛化的决策支持系统的障碍。

据报道,缺乏具有高质量临床数据且能对应特定临床结局的大型多样化患者队列,是在医学成像任务中使用深度学习(DL)的最重要缺陷[21]。数据增强通过合成生成新的训练样本,显著增强DL模型的收敛。这可以通过引入诸如变形、镜像、翻转、缩放、裁剪、旋转等简单图像处理技术来实现。

无监督学习技术,如生成对抗网络(GANs)[22]和变分自编码器[23](VAE),最近彻底改变了数据生成。深度生成模型可以从随机噪声输入或二值分割掩膜生成大量图像。GANs通常由两个网络组成:生成器G从噪声中创建新样本,判别器D区分有效和无效的合成样本。这些模型的收敛通过基于博弈论且带有极小极大损失的算法同时实现。VAEs通常通过将输入压缩为紧凑表示来用于特征提取,但最近通过操纵潜在空间将其用于生成特性。

在肿瘤学中为横断面成像模态生成合成数据极具挑战性,因为存在显著的潜在生物学变异性,导致癌性肿瘤具有多种表型和遗传亚型[24]。此外,在本综述中决定聚焦于MRI,是因为该模态的独特特性和局限性,例如缺乏测量信号、依赖扫描仪厂商、采集参数和图像采集协议。有人认为,泛化的生成模型可能通过增强所检查患者队列的多样性和规模,潜在地克服其中一些缺陷。已经发表了一些关于GANs用于各种医学应用(包括生成图像)的其他综述。Singh等[25]主要关注GANs的一般技术属性。Sorin等[26]报告了一般放射学应用,如重建、去噪、生成、跨模态转换和分割。Yi等[27]展示了GANs用于一般医学成像中各种成像和临床应用的研究。此外,还探讨了一篇关于GANs的预印本综述[28],该综述通过纳入生成性癌症成像中的患者隐私和病变进展监测应用,扩展了现有综述。值得注意的是,Wei等[29]报告了基于VAE在生物医学信息学中的应用,包括数据生成。

本综述从批判性视角呈现了在癌症MRI检查中应用新型深度生成数据增强技术的研究,旨在突出合成肿瘤表征的最佳技术,确定数据分析的最佳实践,推广基于广泛可用的公共数据和开放获取源代码库的开放科学方法以提高可重复性。本研究的另一个关键要素是报告对生成样本最稳健的评估技术,包括专家视觉评估、分析前的直接定量指标以及来自下游分析性能提升的间接方法。

综述其余部分的组织如下:第2节介绍检索方法,第3节分析所纳入研究使用的关键生成架构,第4节报告本综述纳入研究的详细信息,第5节讨论所采用的评估方法、局限性和未来展望,最后一节对综述进行总结。

图1 所纳入研究中使用的MRI序列。脑解剖区域纳入的研究最多,这解释了上述条形图中T1对比增强(T1ce)、T2加权(T2w)、液体衰减反转恢复(FLAIR)和T1加权(T1w)模态占主导地位的原因。表观扩散系数、扩散(ADC)和动态对比增强(DCE)模态在前列腺解剖区域中进行了研究。其余解剖区域(即胰腺、乳腺、肝脏)也包括了前四种 depicted 模态。最后,一项涉及脑区域的研究考察了酰胺质子转移加权(APTw)模态 查看原图 ↗

检索方法

检索策略

本系统综述对使用深度生成模型增强癌症区分的数据增强技术的研究进行了系统评价,以评估GANs和VAE在肿瘤学中的应用影响。本系统综述遵循系统评价和荟萃分析优先报告条目(PRISMA)报告清单进行[30]。为本研究目的,进行了全面的文献检索,以识别采用深度生成模型合成癌症MRI图像的研究论文。事先制定了方案以记录分析方法和纳入标准。我们使用了Scopus、PubMed、Google Scholar、IEEE、Web of Science和Arxiv网站。通过在Scopus和PubMed上检索2017年1月1日至2021年6月30日期间的同行评审期刊和会议/论文集出版物来选择论文。检索式包含((“generative” “adversarial” “networks”)OR(“GANs”)OR(“Variational” “auto” “encoders”)OR(“VAE”))AND((“magnetic” “resonance” “imaging”)OR(“MRI”))AND(“data” “augmentation”)OR(“oncology” AND “synthe*”)。此外,在其余网站上使用了“GANs”或“VAE”、“data” “augmentation”、“synthetic” “MRI” “examination” “generation”、“oncology”等关键词。

研究选择

两名评价者独立筛选记录的标题、摘要和结论,并剔除明显与主题无关的论文。在初筛阶段,仔细评估论文的摘要和结论。尽管这些论文大多包含所检索关键词的子集,但第二次全文筛选显示,其中许多研究提出的方法与用于数据增强的深度学习架构无关,因此被剔除。本研究共综述了36篇论文,这些论文基于广泛使用的开放数据集或自定义的内部数据。大多数自定义数据集的数据来自经活检证实的肿瘤患者,一项研究的数据来自在过去十二个月内接受过活检或随访影像检查的患者。值得注意的是,这些论文包含了不同的成像方案,如图1所示。研究选择过程总结于图2,所审查研究的发表时间线见图3。

偏倚风险评估

两名评价者采用更新的QUADAS-2(诊断准确性研究质量评估-2)[31]标准来评估纳入研究的偏倚风险和适用性。每个条目被评为“低”、“高”或“不明确”。当未提供绝对信息或信息不足以作出判断时,该条目评为“不明确”。偏倚风险和适用性的结果总结于图4。

图2 所遵循检索方法的PRISMA流程图 查看原图 ↗

生成模型

噪声到图像

构建GAN模型的客观损失函数促使研究人员创建了大量此类模型(图5、图6),它们具有不同种类的结构和多种目标。深度卷积生成对抗网络(DCGAN)(图5a)[32]与Vanilla GAN [22]类似,包含生成器和判别器,然而,它用全卷积层代替全连接层,从而生成更优的合成图像并稳定训练过程。同样,批归一化和LeakyReLU激活函数是两项重要修改。作为替代方案,Wasserstein GAN [33](WGAN)(图5b)用评论器取代判别器,不再预测合成图像为真的概率,而是提供给定图像真实性或虚假性的评分。生成器通过最小化真实样本与生成样本分布之间的距离来训练。Karras等人[34]提出的渐进增长GAN(PGGANs)(图5c)旨在提高质量、稳定性和多样性。这种近似的原理是随着训练推进,逐步增大生成器和判别器,从低分辨率开始并添加新层。变分自编码器(VAEs)(图5d)[23]是自编码器的另一种变体,该网络通过编码器网络将输入映射到潜在空间中的分布,从而能够首先从分布中采样潜在向量,然后使用解码器生成新数据。

图像到图像

pix2pix生成对抗网络(GAN)[35](图6a)是一种有监督的图像到图像模型,其中目标图像以给定输入图像为条件进行合成。循环对抗生成网络(CycleGAN)(图6b)[36]由两个生成器和两个判别器组成,使用非配对数据进行更高分辨率的图像到图像转换。多模态无监督图像到图像转换[37](MUNIT)(图6c)架构训练两个自编码器,一个编码图像的内容,另一个编码图像的风格。此外,图像表示可以分解为域不变的内容代码和捕获域特定属性的风格代码。该架构将内容代码与从目标域风格空间中采样的随机风格代码重新组合,以将图像转换到另一域。图7总结了所审查研究中提出的上述架构。“转换架构”类别主要包括pix2pix、CycleGAN和MUNIT架构,而“混合架构”则是GAN与VAE相结合的情况。

图3 该图描绘了使用合成MRI检查增强癌症鉴别的研究逐渐增加。2020年,研究数量超过了前三年总和,表明研究人员对该领域的兴趣。 查看原图 ↗
图4 本系统评价中纳入研究的QUADAS-2工具偏倚风险和适用性担忧的汇总结果 查看原图 ↗

按解剖区域划分的深度生成模型

脑

Beers等[38]是率先在视网膜眼底图像和脑肿瘤多模态MRI图像上使用PGGAN的先驱。该生成网络能够合成既真实又表型多样的高分辨率医学图像。作者将胶质瘤分割图与多模态MRI图像作为颜色通道拼接,使网络能够在合成MRI切片中合成解剖学正确的肿瘤结构。

Han等人[39]提出了一种方法,用于解决生成的医学图像中肿瘤多样性的问题,使其具有逼真的形态学特征。因此,为实现这一目标,他们比较了两种生成架构,即DCGAN和WGAN。后一种架构在多序列MRI中生成了具有更高肿瘤多样性的合成图像,并成功捕捉了序列特异性纹理和肿瘤外观(图8 a)。此外,一位专家医生通过视觉图灵测试[40]评估了所有由WGAN生成的图像,认为其更加逼真。采用不同类型的生成模型(如PGGAN)并以合成单一图像类型为目标(图8 b),Han等人[41]采用这些多阶段生成架构来扩充原始数据集并执行下游任务。在另一项工作中,Han等人[42]实现了一种噪声到图像和图像到图像的对抗架构(图8 c1)用于样本生成(图8 c2),以提高分类在准确率、敏感性和特异性方面的性能。此外,所提出的流程被分为两阶段方法以改善模型收敛性。首先,PGGAN生成高分辨率MRI图像,然后连续使用两个翻译框架MUNIT [37]和SimGAN [43]来精炼合成图像并提高其逼真度和解剖多样性。传统数据增强技术与精炼图像相结合提高了下游任务的性能并改善了肿瘤检测。条件渐进增长生成对抗网络(CPGGAN)[44]是先前架构[41]的扩展,其条件化生成具有特定位置和大小脑转移瘤的MRI图像(图8 d),因为脑转移瘤是最常见的颅内肿瘤,随着肿瘤治疗改善癌症患者的生存率而日益普遍[45]。

Shin等人[46]使用pix2pix GAN模型生成带有脑肿瘤的合成MRI图像。首先,该模型在ADNI数据集的T1加权图像上训练以分割正常脑解剖结构。同一模型再次用于BRATS数据集的不同MRI序列。结合脑解剖结构和肿瘤分割,获得带肿瘤大脑的总体分割。作者使用分割掩码和BRATS数据集在四种不同序列中生成带有病灶的合成脑MRI。此外,通过调整这些掩码(例如,改变肿瘤大小、改变肿瘤位置或将肿瘤定位在原本无肿瘤的脑标签上),他们引入了解剖区域和肿瘤特征的变异性。最后,当原始数据集用合成图像扩充后,下游任务的结果显示其性能优于仅用真实数据训练的模型。

异步判别器生成对抗网络(Asynchronized Discriminator GAN,AsynDGAN [47, 48])是一种分布式学习框架,由一个9块ResNet自编码器(生成器)和多个PatchGAN [35](多个判别器)组成,能够捕捉真实数据和合成数据的局部解剖结构(图9 a)。集中式生成器学习来自不同机构的多个数据的联合分布,其中每个机构都有一个判别器用于对本地真实数据和合成数据进行分类。因此,该框架确保生成的图像可以在多个机构之间共享而无需担心隐私问题,并促进协作研究。下游任务(如脑肿瘤分割)的性能表明,与完全在真实数据上训练的模型相比,使用ASynDGAN合成数据训练的模型达到了接近真实的性能。

医学影像数据集在规模和多样性方面经常受限,尤其是在肿瘤学中,因为该疾病的自然流行率导致数据集不平衡。Deepak等人[49]应用了多尺度梯度GAN(MSG-GAN),因其相比DCGAN和PGGAN更简单且更稳健,用于生成冠状面脑膜瘤MRI样本。渐进式增长的生成器成功地将类别不平衡数据集扩充了55个样本,将平衡准确率分数提高至93%。同样,Qasim等人[50]修改了SPADE-GAN [51]并提出了Red-GAN,通过引入一个同时以局部和全局信息为条件的对抗流水线。以7-SPADE ResNet作为生成器,从病灶掩码合成多种模态的MRI图像(图9 b),然后与真实图像一起分别作为输入提供给U-Net分割模型,以确保合成图像和真实图像在潜在表示中彼此接近。从U-Net连同病灶掩码中获取特征表示,并将相应的合成或真实切片作为输入提供给PatchGAN判别器。当下游模型仅在合成图像上训练时,Dice性能达到0.659,而当原始数据集用合成样本扩充后,大多数稀疏类别的性能提升高达5%。

VAE在训练过程中稳定,但可能生成模糊图像。另一方面,GAN可以合成逼真的图像,但在训练过程中不稳定。Kwon等人[52]提出了一种3D-GAN模型,利用α-GAN [53]架构,该架构本质上结合了上述网络的优点,在现有生成器和判别器之上增加了额外的自编码器和编码判别器。此外,引入了带梯度惩罚的Wasserstein距离以减少训练不稳定性。作者声称该模型能够生成具有不同位置脑肿瘤病灶的逼真样本,同时正确反映不同模态的特征(图9 d)。通过使用主成分分析(PCA)聚类表示,证明了适度较大的潜在噪声向量有助于模型摆脱模式崩溃。

自编码器与生成对抗网络(GAN)的结合 [54] 被提出作为一种混合GAN框架,用于改善MRI图像局部区域的多样性,并扩充所考察数据集中的可用样本。首先,将真实MRI图像划分为等大小的图像块,并作为输入送入编码器-解码器模块,在该模块中可对合成图像块进行采样。接下来,将生成的图像块连同受约束的噪声向量输入RU-NET生成器,最终将伪造图像块整合为完整尺寸的合成图像。值得注意的是,当将合成数据与真实数据结合时,二分类(即肿瘤、非肿瘤)性能下降,而当模型仅在合成数据上训练时,准确率达到最高。Pesteie等人 [55] 提出了一种配备新型自适应训练算法的条件VAE。该技术应用于超声和MRI数据,用于分割任务中的样本生成。检查、标注和潜在变量保持独立。该模型学习从由随机潜在样本和编码的分割掩码组成的联合分布中合成数据。此外,采用了两种增强技术,分别使用静态和可训练的自适应参数来变形输入分割掩码。

医学图像中的病灶分割是一项具有挑战性的任务,可通过在2D或3D检查中自动或半自动检测病灶或器官来实现。肿瘤在形状和纹理方面的高度变异性是分割任务的主要挑战。生成模型适合用新样本使有限数据集多样化。特别是,为解决脑MRI序列中感兴趣区域(ROI)与其他组织类型的像素强度重叠问题——该问题会使自动逐像素分割变得困难——Hamghalam等人 [56] 提出了增强与分割GAN(Enh-Seg-GAN),旨在生成增强图像块,且无实质性类别重叠(图9 c)。合成增强图像块来源于自适应重校准、编码器-解码器模块(即生成器),然后由马尔可夫判别器进行识别。

Qi等人[57]强调并解决了以往研究[44, 46]中生成具有肿瘤特征的大脑MRI图像的局限性。具体而言,生成的肿瘤掩膜质量较低,且肿瘤与其掩膜相比的实际位置必须手动重新定义。这可能导致图像先验发生变化,从而导致每层切片的假阳性增加。此外,仅靠对抗损失不足以从正常MRI图像合成逼真的肿瘤图像[44]。受cycleGAN成功的驱动,SAG-GAN[57]被引入以克服这些缺陷。其架构包括两个生成器,每个生成器分别实现以下映射:(a)正常图像到肿瘤图像;(b)肿瘤图像到正常图像。作者将半监督注意力机制的思想引入生成网络。具体而言,在通道模块中加入注意力使模型能够关注具有信息特征的通道并抑制不太有用的信息。此外,在生成器的架构中,注意力网络旨在选择生成肿瘤的区域并定位肿瘤所在位置,从而生成概率图。另一方面,判别器中也加入了注意力机制,以仅强调注意力图内部的区域。

Guo等人[58]提出了一个SAMR框架,用于从任意操控的病灶信息中合成具有意义的高质量解剖和分子MRI图像序列。生成器由四个部分组成:(a)一个下采样模块,其中病灶分割图(即背景、正常脑组织、水肿、手术所致空洞和肿瘤)作为输入以获得潜在特征图;(b)一个图谱编码器,其以大小为256 x 256 x 15的类似多模型图谱作为输入以获得另一个潜在特征图;(c)一组残差块,其中两个潜在图的拼接作为输入以学习更好的变换函数和表示;以及(d)伸展式上采样模块,其中进行大小为256 x 256 x 5的MRI切片合成。在对抗学习的另一部分,采用了多尺度PatchGAN判别器。一位专家神经放射学家验证了合成图像的病理信息。此外,在外部数据集(即BraTS 2018)上的定量结果表明,所提方法优于其他架构[35, 46, 59]。MRI合成是一项具有挑战性的任务,因为放射学特征各异且病理信息包含高频成分。因此,需要特别注意处理不确定性[60]。为实现这一目标,作者扩展了他们先前的工作[58]并提出了置信引导SAMR(CG-SAMR)[60],纳入了两个关键模块。特别地,生成器由两个部分组成,即带有伸展式上采样块的编码器和解码器。后一部分包括合成模块和置信图模块。其背后的原理是,不是直接从输入合成MRI图像,而是最初以半尺度大小估计中间合成结果,同时通过损失函数计算相应的置信图。这使注意力集中于不确定区域并防止错误估计的传播,从而创建最终输出的合成。判别器组件(即多尺度标签级判别器)与其主要工作中保持相同。此外,所提架构被扩展为以无监督方式训练,无需配对数据(UCG-SAMR)。定量结果报告了与先前方法[58]和其他现有架构[35, 59]相比的改进。同样,UCG-SAMR在像素准确度、SSIM和PSNR指标上表现更优;然而,该网络在其他模型[61–63]的Dice分数方面取得了第二佳的性能。

异柠檬酸脱氢酶1(IDH1)突变信息对于诊断、预后和指导临床决策至关重要,因为观察到IDH1突变型胶质瘤的总生存率优于IDH1野生型[64, 65]。然而,这是分子层面的信息,使得识别成为机器学习方法的一项挑战性任务。Ge等人[66]提出了一个由三个模块组成的工作流程,以改进胶质瘤亚型分类。成对生成对抗网络(Pairwise GAN)本质上是一个双向跨模态模型,被训练用于跨多个域增强数据。进行了两个用例来分析合成数据的使用。在第一个用例中,原始数据集通过所有四种模态的合成数据进行扩充,分类准确率和灵敏度分别提高了2.94%和12.73%。然而,特异度下降了1.74%,表明假阳性略有增加。在第二个用例中,训练数据集同时通过合成图像和来自各种模态的缺失扫描进行扩充,除特异度与基线方法保持一致外,上述指标均有改善。最值得注意的是,通过在所提出的分析中纳入病灶掩膜,下游任务的总体性能得到了显著提高。

类似数据集中的大量检查缺乏像素级标注,这使得训练监督式深度学习模型变得困难。在[67]中,作者提出了对其先前对抗架构[66]的扩展,其中首先训练一个多流二维卷积神经网络(CNN)从稀疏标注的数据集中提取特征,然后使用基于图的半监督模型为未标注的检查分配标签。因此,来自未标注集和标注集的数据被输入到该成对GAN中以丰富原始数据集。然后,在测试阶段,基于GAN的数据连同真实标注和未标注数据被多流二维CNN用于学习胶质瘤相关影像特征。最后,一个更高层次的分类模块被集成到对抗架构中,以预测肿瘤分子亚型。

Carver等人[68]提出了一种方法,用于在合成多参数MRI图像中增加肿瘤在大小、形状和位置方面的变异性,此外还研究了不同子集的生成图像如何影响分割性能。该架构以监督方式进行训练,因为生成器需要像素级标注,而这些标注又来源于真实MRI图像。最初,第一个判别器——预训练的VGG-19——被用于计算感知损失和逐像素损失,而第二个判别器(PatchGAN)则被用于在图像块层面进行惩罚。作者还进行了定性分析,以进一步检查合成图像的整体质量和跨模态质量。一位专家医生通过视觉图灵测试评估了生成的图像,并对合成图像和真实图像的配对进行了深入分析。值得注意的是,合成图像显示出高质量且结构边界清晰;然而,它们在呈现与水肿相关的细节方面有所欠缺。尽管如此,整体分割性能在平均Dice相似系数(DSC)上提高了4.8%。

Mok等人[69]提出了一种从粗到细的边界感知生成对抗网络(CB-GAN),用于合成高级别和低级别胶质瘤患者的高分辨率多模态MRI图像。具体而言,该架构由两个生成器和四个判别器组成。首先,作者没有将来自正态分布的噪声向量作为输入馈送到网络,而是将其替换为语义分割掩码作为条件变量,以向具有不同肿瘤形状的生成图像引入多样性并防止模式崩溃。因此,粗生成器被约束为生成合成图像的原始形状和纹理,而多任务生成器旨在通过将期望的不变性和鲁棒性纳入网络来保留肿瘤边界。采用了具有不同输入尺度的多个判别器来捕获全局和局部信息。所提出的流程在Dice评分方面平均比传统数据增强方法提高了3.5%,并且在增强肿瘤任务中在Dice精确度方面优于其他最先进方法[70, 71]。

Dikici等人[72]提出了约束生成对抗网络集成(cGANe),其本质上是DCGAN的聚合。选择哪个DCGAN进入cGANe框架基于FD[73]计算得分,该得分必须低于预定义阈值。cGANe的种群由脑转移检测算法[74]确定,该算法通过计算每名患者平均假检测数来评估。为消除生成类似于训练集中原始数据样本的合成数据样本(这在匿名性方面至关重要),使用了互信息度量。T-SNE聚类表示可视化显示,cGANe40生成的令人信服的合成图像与真实样本无法区分。

Kamli等人[75]在所提出的对抗流程中整合了一个匿名化模型[46],以提高多形性胶质母细胞瘤生长患者的预测性能。作者没有像[46]中那样修改肿瘤大小和形状,因为对这些参数的任何修改都可能影响肿瘤生长的准确预测。合成医学图像生成器(SMIG)被训练用于在健康脑区等不同位置生成肿瘤。作者通过实验表明,将数据集中高达80%的样本设为合成数据、20%为真实数据进行增强,改善了分割性能。为此,一个基于卷积自编码器模型[76]的全自动脑肿瘤生长预测器(TGP)模型被集成到流程中。此外,应当指出,预处理步骤对定量指标产生了积极影响。

多形性胶质母细胞瘤(GBM)在标准治疗后可能出现假性进展(PsP)和真性肿瘤进展(TTP)。二者之间的区分主要基于对病灶区域的MRI分析,这对临床医生而言是一项耗时的过程。Li等[77]将DCGAN与AlexNet融合,提出了DC-AL GAN,该模型以对抗方式在纵向扩散张量成像(DTI)数据上进行训练,以区分MRI图像中的PsP和TTP。具体而言,生成器旨在创建尺寸为512×512像素、与原始数据相似的伪造配对样本,而经过修改的AlexNet则置于判别器的角色以提取高层精细特征。所提出的判别器集成了一个多特征选择模块,将深层粗特征与浅层细特征进行拼接。最后,上述特征被展平并作为SVM分类器的输入。

患者数量、病灶类型、模态、预处理及下游任务在表1中展示。生成方法学,包括深度生成架构和超参数,在表2中详细展示。所考察研究之间的评估比较在表3中呈现。

图5 GAN和VAE变体的示意图。a DCGAN与原始GAN相比的主要思想是在生成器中于输入向量Z和输出图像之间添加转置卷积层。此外,判别器引入卷积层,以将生成的图像和真实图像分类为相应标签“真实”或“合成”。b 训练GAN并非易事。此类模型可能永远无法收敛,模型崩溃和梯度消失等问题很常见。WGAN提出了一种使用Wasserstein距离的新代价函数,其梯度更平滑。判别器被称为评论家(critic),其返回一个范围内的值而非0或1,因此作用不那么严格。c PGGAN中的训练从生成器和判别器中的单个卷积块开始,产生4×4的合成图像。真实图像也被下采样至4×4大小。经过若干次迭代后,两个网络中引入另一层卷积,直至达到所需分辨率(例如示意图中的256×256)。通过渐进式增长,网络首先学习高层结构,随后学习更高分辨率下可用的更精细尺度细节。d 与传统自编码器相比,VAE兼具概率性和生成性。编码器学习均值编码和标准差编码。因此该模型能够从高斯分布中随机采样并生成潜在变量Z。这些潜在变量随后被“解码”以重建输入。 查看原图 ↗
图6 用于图像到图像转换的生成架构。a pix2pix是条件GAN架构的扩展,可对生成的图像进行控制。U-net模型生成器将图像从一个域转换到另一个域,并通过跳跃连接共享低级特征。判别器判断图像的一个图像块是真实的还是合成的,而不是判断整个图像,而修改后的损失函数使生成的图像在目标域的内容中显得合理。b CycleGAN专门设计用于在非配对图像集上执行图像到图像转换。该架构使用两个生成器和两个判别器。两个生成器通常是自编码器的变体,它们以图像作为输入并输出图像;然而,判别器以图像作为输入并输出单一值。在CycleGAN的情况下,一个生成器从另一个生成器获得进一步反馈。该反馈确认由生成器生成的图像是否具有循环一致性,这意味着对图像 successively 应用两个生成器应产生相似的图像。c 在MUNIT架构中,图像表示通过各自的编码器分解为内容代码和风格代码。内容代码和风格代码被重新组合以将图像转换到目标域。通过采样不同的风格代码,该模型能够产生多样化和多模态的输出 查看原图 ↗
图7 所审查研究中提出的架构家族。WGANs,Wasserstein生成对抗网络;PGGANs,渐进式增长生成对抗网络;DCGANs,深度卷积生成对抗网络。几乎一半的所审查研究采用转换架构(即pix2pix、cycleGAN、MUNIT)从一种MRI序列转换到另一种,或将不同类型的病变纳入健康受试者。混合架构由GANs和VAE的组合组成,以提高训练的稳定性并生成更高质量的合成图像。采用其余架构的研究专注于从噪声向量生成MRI图像 查看原图 ↗
图8 所审查研究的关键发现和提出的流程。a 描绘每个MRI序列中的合成样本[39]。b T1对比增强合成肿瘤和正常检查在成功和失败案例中的示例[41]。c1 提出的用于肿瘤检测的噪声到图像和图像到图像组合架构[42]。c2 T1对比增强合成肿瘤和正常检查在成功和失败案例中的示例[42]。d 带有肿瘤边界框的合成T1对比增强样本[44]。作者所称的“非肿瘤”区域是指“正常检查” 查看原图 ↗
图9 所审查研究的关键生成样本。a AsynDGAN网络的输入、生成样本和相应的真实图像[47, 48]。b 以病变掩码为条件的生成图像[50]。c 带有相应分割和 groundtruth 的生成图像示例。颜色表示黄色:水肿,蓝色:非增强,绿色:增强肿瘤。肿瘤的3D表示显示在右上角[56]。d 脑肿瘤严重病例的合成样本,为更好地可视化,作者显示了颜色映射图像,其中黄色表示较高强度,蓝色表示较低强度[52] 查看原图 ↗
表1 所考察研究中使用的数据集和数据处理方法的详细信息 查看原表 ↗
表2 脑肿瘤研究中呈现的生成方法学详细信息 查看原表 ↗
表3 所考察脑肿瘤研究中呈现的生成方法的评估性能 查看原表 ↗

前列腺

DCGANs和cGANs是生成模型在其首次出现后发表的新变体[22]。Kitchen等人[78]于2017年采用DCGANs在三种模态(如T2、ADC)上合成16×16的前列腺MRI图像块。一年后,Hu等人[79]采用了cGANs,在训练过程中以Gleason评分作为条件,旨在合成大小为32×32的局灶性前列腺扩散图像。

源自扩散加权MRI的ADC值是有用的无创生物标志物,可用于准确评估可疑腺体的前列腺癌(PCa)临床显著性(CS)[80]。然而,此类数据往往稀缺,因此限制了深度学习(DL)架构的使用。Wang等人[81]提出了一种stitch AD-GAN来合成大小为64×64的ADC数据。最初,目标图像空间被划分为多个子空间,每个子空间具有较低尺度,以降低数据流形的复杂性。因此,并非直接在目标空间中合成图像(那样会影响数据质量),而是在划分的子空间中生成四张32×32的子图像。然后,采用非参数Stitch层将这些子图像交织成完整尺寸的目标图像。此外,判别模块由两个评论网络组成:(a)第一个最小化合成与真实CS PCa数据之间的Wasserstein距离;(b)第二个最大化合成CS PCa与非CS PCa之间的辅助距离JSD。通过整合StitchLayer和上述损失函数,该网络能够合成具有全局结构和精确局部信息的完整图像。

Yang等[82]提出了一种基于半监督学习的新型双参数(即ADC-T2w)图像生成网络。具体而言,所提出的框架由两个生成模块组成,按顺序依次合成两种模态的对应图像。顺序合成主要包括三个模块:(a)一个在ImageNet[2]上预训练的Inception-V3网络,用于提取真实图像和伪造图像的层次特征以衡量两种模态的复杂度;复杂度较低的模态首先被合成;(b)一个编码器,将每种模态的真实图像映射到低维潜在向量;(c)一个合成器,首先将潜在向量解码为伪造图像,然后将其转换为另一种模态。与监督式顺序GAN、无监督式顺序GAN和并行GAN相比,双模态图像的半监督顺序合成在所有评估指标和分类准确率上均取得了更优的性能。Wang等[83]结合了这些研究[81, 82],提出了一种改进的半监督架构,以从少量训练数据中合成具有足够多样性的mp-MRI数据,从而包含有意义的临床显著前列腺癌(CS PCa)。首先,解码器从128维潜在向量导出低维ADC图,然后StitchLayer将低维ADC图转换为全尺寸ADC图像,最后使用U-Net作为图像转换器将ADC图像转换为配对的T2w。复杂度测量模块被排除,因为ADC图由于空间分辨率低而被证明更容易首先合成。

Fernandez-Quilez等[84]提出了一种半自动流程,以顺序方式使用两个生成模型来生成T2加权前列腺MRI及其对应全腺体掩膜的合成配对。首先,在PROMISE 12数据集上训练DCGAN模型以合成全前列腺腺体掩膜。合成掩膜的选择标准基于视觉外观并人工完成。随后,pix2pix架构将合成的全腺体掩膜转换为T2加权模态,最终生成多达一万对合成配对数据。为进行评估,执行了一项分割任务,其中U-Net架构使用多种数据进行训练,包括真实数据、合成数据、经典增强及其组合。

考虑到DCGAN的缺点,Yu等[85]提出了CapGAN,具有两项主要改进。第一,胶囊网络取代CNN作为判别器,以更好地实现图像的等变表示,该表示对图像中物体姿态和空间关系的变化具有鲁棒性。第二,生成器和判别器均采用最小二乘损失,以解决sigmoid交叉熵损失函数的梯度消失问题,同时生成更高质量的图像。此外,为评估合成图像,引入了定性和定量指标。定性评估由两位专家通过视觉检查进行,而定量评估通过基于预训练SVM分类器计算合成图像和真实图像的概率分布,以KL散度进行。分类等下游任务通过LENet[86]和NIN[87]架构的组合来应用。整个框架同时应用于前列腺和模拟脑MRI图像。

为解决医学图像数据中的跨客户端差异问题,Yan等[88]提出了一种差异感知联邦学习(VALF)框架。采用了三种不同的GAN架构来解决隐私问题。首先,计算所有客户端的数据复杂度以定义目标图像空间。具体而言,训练带有梯度惩罚的WGAN来生成合成数据,并应用PCA与t-SNE来提取判别性成像特征。通过计算生成数据与原始数据特征之间的L2距离来定义每个客户端的复杂度评分。复杂度最低的客户端被选为目标图像空间。随后,为了将定义好的图像空间与其他客户端共享,通过隐私保护对抗网络(PPWGAN-GP)合成一组图像,并从中选取一个子集,该子集能够有效捕捉原始图像的特征而不泄露隐私。最后,通过改进的cycle-GAN,将每个客户端对应的原始图像转换为由共享合成图像定义的目标图像空间。

胰腺

Gao等[89]在最近的一项研究[32]中采用GAN来改进胰腺神经内分泌肿瘤(pNET)分化模型。生成器包含一个全连接层,后接若干卷积核为4×4像素的分数步长卷积层。从正态分布中选取由100个噪声值组成的输入向量,由生成器转换为56×56像素的合成T1ce图像块。作者强调了生成图像的价值,其有助于完成收集罕见疾病放射学检查这一困难任务。所提出的分析结合了生成模型和深度学习分类,证明了在T1对比增强MRI上区分pNET世界卫生组织(WHO)分级的能力。生成的图像块由两位放射科医师评估,以确保训练样本的质量。在另一项工作[90]中,使用DCGAN将提取的一万个感兴趣区域图像块增加至两万五千个训练样本,用于胰腺疾病分类。原始数据集包含448例接受T1加权动态对比增强MRI检查的患者,以及56例患者的外部验证集。共23种疾病被分为7类。由于七组图像块中最大的一组为癌,将其排除在生成过程之外以改善不平衡数据集。因此,在剩余组上独立地为每个类别训练了六个生成模型。这产生了跨所有七组的平衡训练集。一位放射科医师检查了生成的图像以确保过程的有效性。

乳腺

Haarburger等人[91]已实现生成模型用于合成多参数乳腺MRI图像块。采用两种定制GAN架构生成以健康组织、良性和恶性病变为条件的T2和T1-DCE图像块序列。最初,一位经验丰富的放射科医师在每层切片上手动分割所有可疑区域和非病变区域,最终得到总共401,525个图像块的数据集。训练DCGAN和WGAN合成64×64的图像块。生成的样本由专家临床医师进行定性评估以及定量评估。尽管大多数图像块在形态学上是逼真的,但也观察到合成图像包含脂肪移位伪影。在定量指标方面,DCGAN优于WGAN,但定性上观察到微小差异。

肝脏

Sun等人[92]实现了一种流形匹配生成对抗网络(MM-GAN),用于将训练集扩充最多500%。在BRATS17和LIVER100两个数据集的分割任务中,还测试了从0到500%不同水平合成数据的效果。具体而言,在未见过的测试集上,胶质瘤分割(T1ce)的DSC性能在全肿瘤方面提高了0.17,在肿瘤核心方面提高了0.16。此外,仅使用原始数据集的一小部分(29个样本)对仅在合成数据上训练的模型进行微调,而不会影响分割性能。通过观察脑结构和保留的细节(即大脑、小脑、间脑、脑干、脑沟、脑回)对合成数据进行视觉评估。合成图像的一个关键方面是脑解剖结构根据给定的分割掩膜进行了调整,同时在真实MRI图像之间仍显示出明显的外观差异。

所检查数据集的详细信息、预处理方法、深度生成模型架构以及比较分析见表4、表5和表6。

表4 所检查研究中使用的数据集和数据处理方法的详细信息 查看原表 ↗
表5 涉及前列腺、肝脏、乳腺和胰腺等解剖区域的研究中呈现的生成方法学详细信息 查看原表 ↗
表6 所检查研究中针对各种解剖区域提出的生成方法的评估性能 查看原表 ↗

讨论

医学图像分析应用的深度学习应用需要来自不同采集协议的大型数据库,以便有效捕捉病变类型的类内变异性。这在肿瘤学中尤其相关,在许多情况下,由于可用数据有限,疾病的自然患病率、解剖变异性和肿瘤异质性无法建模。深度生成模型可以通过捕捉每种病变的分布并用稳健且多样化的样本分布对患者队列进行合成扩充,从而潜在地缓解这一缺陷。

图10 评估生成过程的评价方法:下游任务(即分类、分割、检测等)的间接指标,即计算样本生成前后的性能。定性分析是由专家临床医生使用统计方法或通过视觉图灵测试来评估生成的图像。使用图像质量指标(如MSE、FID、IS等)对生成样本进行直接评估,以及无任何指标的研究 查看原图 ↗

合成数据评估

在所审查的研究中遵循了三种类型的合成数据评估及其组合:a)通过特定图像质量指标(MSE、MAE、SSIM等)进行直接评估;b)通过检查样本生成前后性能的差值进行间接评估;c)由专家临床医生或通过绘制生成样本的聚类分布进行定性评估。

十二项研究[52, 54, 56, 60, 66, 68, 72, 82–85, 91]在下游模型训练之前使用统计指标对生成任务进行了直接评估,以验证生成样本的有效性和质量。这类指标为评估生成模型提供了客观和定量的过程,允许不同方法之间的比较。

相反,如图10所示,大多数所审查的研究纳入了对生成图像的间接评估。此外,其中十七项研究[38, 46–49, 54–57, 60, 67, 69, 75, 78, 79, 81, 92]可视化了部分合成样本,十三项研究[39, 41, 42, 44, 58, 66, 68, 82, 83, 85, 89–91]由经验丰富的临床医生进行了定性评估,如图11所示。然而,由于生成的合成数据量巨大,这种定性评估容易产生错误和观察者间变异性[90]。此外,一些采用专家临床医生评估生成样本的研究报告了评分中的较大变异性[82, 83]。

相当数量(十九项)[38, 39, 44, 46, 49, 50, 52, 54, 56, 60, 72, 77–79, 81, 89–92]的论文未提供足够的统计指标(其中四项未提供任何指标)[38, 39, 78, 79]来评估合成数据对模型性能的影响。这很可能导致对所审查下游任务的泛化状态评估不足,在未见数据上性能降低。由于基于深度学习的技术已知容易出现过拟合和噪声信息记忆,这对生成模型的可信度和鲁棒性是一个显著劣势。

图11 在所审查的研究中使用了定性方法来评估生成的样本。几乎一半的所审查研究通过可视化评估合成图像,而36.1%采用专家临床医生使用统计方法或操作员辅助设备(即视觉图灵测试)来评估生成的样本,该设备从给定测试图像中产生随机序列的二元问题。11.1%使用了聚类可视化方法如PCA和t-SNE,一小部分(5.5%)未使用任何定性方法评估合成图像 查看原图 ↗

本综述的局限性

本研究存在一些局限性。识别采用生成对抗网络(GAN)或变分自编码器(VAE)进行数据增强的研究尤为困难,因为在许多论文中,这仅仅是其整体研究流程的一个组成部分,或者仅在一段文字中被简要提及而信息甚少。此外,在大多数研究中,作者未提供必要的信息(分析方案、超参数、测量方法等),使我们无法全面评估每项研究的质量并客观评价其研究结果。因此,这些实验大多无法重复。所审查的手稿中,原始源代码或自定义数据集未公开可用,仅在少数研究中有所提供,这使得提取所需超参数变得困难。

所审查论文的局限性

存在不同策略来缓解原始数据集样本量有限的问题,包括在切片层面进行降采样(从三维体数据到二维切片,二十六项研究)[38, 39, 41, 42, 44, 47–50, 54, 55, 57, 58, 60, 66–69, 75, 77, 79, 81–84, 88]以及在图像块层面进行降采样(从肿瘤到肿瘤的子区域,七项研究)[56, 72, 78, 85, 89–91]。这些降采样技术可能导致丢失肿瘤异质性的关键特征、重要的基于体素和空间的信息以及形态学特征(如球形度、形状和体积)。这很可能对生成模型和决策支持系统的泛化能力产生负面影响。

源自特定遗传特征、局部突变多样性、不同形状属性、不清晰边界、多种亚型和分期的癌症图像所固有的异质性可显著影响临床结局。由于所有这些参数的存在,在生成包含高度异质性感兴趣区域的图像时,捕获用于评估输出变量的判别性影像标志物可能变得具有挑战性。

在二十一项研究中使用了随机噪声向量作为数据生成的输入[38, 39, 41, 42, 44, 49, 52, 54, 72, 77–79, 81–85, 88–91],在十二项研究中使用了像素级病灶标注[46–48, 50, 58, 60, 66–69, 75, 92]。尽管这确保了生成不同类型的组织(包括肿瘤区域),但可能导致所检查解剖区域在形状和体积方面多样性不足。Pesteie等人[55]针对该问题提出了一个潜在解决方案,即在生成新样本之前对语义分割掩膜进行随机变形。

深度学习模型在医学影像中的可重复性是一个重大挑战,因为决策支持系统必须遵守相关法规并获得相应监管机构的许可。如表1、2和表4、5所示,许多研究提供的实验方案信息不完整,缺少关键参数和数据处理细节。此外,许多研究基于专有数据集,使得与类似方法进行比较具有挑战性。开放数据集和公开可用的源代码库可以在一定程度上解决这些问题,并相对于当前最先进方法加速进展。GitHub仓库中所审查论文的开源代码见表7。

基于患者的、关于所检查疾病的类别不平衡,可能导致生成模型和下游任务中少数类的性能下降[67, 90]。因此,这很可能损害深度模型的诊断价值。由于大多数数据集中患者数据有限,解剖多样性的缺乏是肿瘤成像中的一个关键问题,因为在所检查的感兴趣体积中,可用的肿瘤像素远少于其他类型的组织[44]。

在生成MRI检查中,信号质量与噪声之间的权衡是生成模型收敛以捕捉每个类别分布中细粒度成像模式时的关键要素。生成过程中的约束可能被实施以确保像素强度均匀且逼真[93]。关于生成样本的图像质量(低分辨率、失真、模糊等)也存在担忧[90, 94, 95]。此外,MRI检查之间空间分辨率和像素坐标的差异[60]可能在使用原始数据时损害分析的泛化性。因此,重采样以协调间距是任何(2D或3D)卷积深度模型的必要预处理步骤,但这也可能实质性影响MRI图像中潜在的隐藏肿瘤模式[90]。

在单一医疗中心训练的深度模型可能捕捉到有偏的分布。因此,外部验证集对于泛化至关重要[58, 89, 90]。此外,由专家放射科医师评估生成图像不能总被视为可行选项,因为他们可用时间有限、MRI图像的高维性以及任务的主观性,通常需要多名临床医生以最小化观察者间变异性。此外,如表6所示,专家临床医生对生成样本的定性评分差异可能很大。

表7 在GitHub存储库上具有可用开源代码的研究 查看原表 ↗

推进放射学应用的生成模型

应开发新的定量和定性方法[96],不仅提供关于生成图像有多逼真的见解,还确保感兴趣区域在解剖学上是正确的[93]并且是MRI扫描的真实表示。此外,生成3D MRI体积而非2D切片[46, 52, 92]可以显著改善下游任务的收敛,因为基于三维原始数据的成像特征可以增加鲁棒性和泛化性。此外,生成模型的关键进展包括通过去噪或其他基于体素的技术改善MRI图像的保真度[60, 77, 93, 97]和减少平滑模式[93]。

Ge等人[67]提出GANs可以扩展以捕捉对评估靶向治疗反应有显著影响的罕见遗传改变。Wang等人[81]在生成器中采用了拼接层,以解决大多数GANs在前列腺MRI高维图像合成中难以优化的问题。已引入不同技术来改善图像质量[91]并增强深度生成模型的收敛[42, 49, 57–60, 68]。

在多中心MRI数据上训练的GANs可以受益于扫描仪变异性,并进一步提高目标任务的泛化能力[60]。因此,利用原始k空间数据[98]增强MRI本身的渲染过程将推进当前的采集和重建过程,从而实现更优化的定量分析。

区域隐私立法框架正在给医学数据分析带来重大挑战。深度生成模型可以帮助提供医学数据的完全匿名化[44, 46–48, 72, 75, 88],甚至在图像层面也是如此,从而使其更容易共享,特别是其合成版本。

研究挑战与未来方向

尽管生成模型在MRI图像分析方面的研究十分活跃,但仍然存在不小的挑战。未来的研究应检查更多样化的患者队列,以捕捉肿瘤在形状、位置、解剖区域、遗传背景、组织学亚型和其他临床显著参数方面的变异性。

特别是,如图4所示,在所审查的研究中,有35%的研究要么其患者分层方案不明确,要么存在引入选择偏倚的高风险,例如仅关注高级别胶质瘤等大病灶。对于胰腺、肾脏和骨骼等解剖位置中罕见肿瘤的数据增强需要进一步研究,因为表4中仅报道了少数研究。

现有的生成模型已被开发为与受ROI大小限制的选择标准相收敛。引入能够捕捉肿瘤高度变异性的架构至关重要。特别是,应投入更多精力生成具有小病灶ROI的MRI检查,如低级别胶质瘤、肺结节和其他类似大小的肿瘤。肿瘤影像学的另一个特点是,不同站点的患者人群、扫描仪制造商和采集方法差异很大。在多样化数据集上拟合的生成模型可以实现对数据分布的改进且泛化的表示,这些表示对这些差异具有不变性。

然而,数据异质性可能在生成分布中无法得到保留,并且由于当前代价函数和架构的缺陷,可能会引入伪影。因此,未来的架构应应用于肿瘤数据集,并结合新的评估指标,这些指标更适合对生成模型进行稳健评估,不仅用于评估图像质量,还用于评估生成数据集的多样性。

开发3D生成模型的计算成本和所需时间很高。这限制了大多数研究局限于2D模型,因此,关键的体积特征无法被合成分布所捕捉。如表2、3、4和5所示,仅有两项研究[46, 92]合成了3D MRI体积。

结论

深度生成建模是一项关键技术,用于缓解使数据收集具有挑战性的重要限制因素,例如若干癌症类型的自然患病率、病变的形态多样性以及MRI协议缺乏标准化。尽管在所呈现的许多研究中存在一些可信度问题,但我们认为,当通过严格遵循相应的最佳实践和该领域最新进展来正确实施时,生成模型有潜力通过纠正数据集中疾病的类别不平衡、在解剖学上使可用感兴趣区域多样化、提供特定供应商的样本以及以更大的训练集支持下游任务,从而彻底改变医学。

引用

  1. Dimitriadis, Trivizakis, Papanikolaou, et al. Enhancing cancer differentiation with synthetic MRI examinations via generative models: a systematic review. Insights Imaging. 2022. PMID: 36503979. doi:10.1186/s13244-022-01315-3
  2. 全文:PMC9742072(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9742072/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。