文献速递技术与安全PET

人工智能用于PET图像重建

AI for PET image reconstruction.
PubMed 文献 · Br J Radiol · 2023-09-04

本文综述人工智能用于PET图像重建的三类方法:直接数据驱动的AI方法、迭代(展开)方法以及利用已知模型但无需示例训练数据的方法。文章讨论了各类方法的机遇与挑战,并指出直接AI方法的重建精度尚未完全达到临床要求。

要点

  • AI用于PET重建主要有直接数据驱动、迭代展开和利用已知模型三类方法。
  • 直接AI方法多数仅处理2D正弦图,需要数万训练对,训练慢但重建速度快。
  • 展开迭代方法利用物理模型、所需训练数据较少,但训练和运行计算量大。

核心结论

  • AI是PET图像重建研究的前沿,可在提供高质量参考示例数据库的基础上实现先进的噪声补偿和分辨率恢复。
  • 直接AI方法(如DeepPET)的重建精度尚未完全达到临床要求,但未来有望通过改进训练和数据集可用性达到。

研究设计与样本

  • 本文为综述,回顾PET图像重建从传统方法到AI方法的发展,涵盖直接AI方法、迭代(展开)AI方法及无需外部示例数据的方法。

局限性

  • 直接AI方法多数仅处理2D正弦图而非完整3D正弦图数据集。
  • 直接AI方法需要数万训练对且训练可能缓慢。
  • 展开迭代方法即使在新数据测试时也可能运行缓慢,依赖多次前向和反向投影迭代。
  • DeepPET及其改进版本的重建精度尚未完全达到临床要求。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2023 Sep 4;96(1150):20230292. doi: 10.1259/bjr.20230292

引言

正电子发射断层成像(PET)图像重建的传统实现方式包括:基于对PET成像物理和统计学的理解,编写计算机代码,即一系列称为算法的编程步骤。利用这种理解,来自PET扫描仪的测量数据(例如正弦图数据、1 直方图2 或列表模式数据3 )由算法处理以形成重建图像。“图像”一词指的是扫描仪中被试体内PET放射性示踪剂时空分布的表示。4 通常这是一个二维(2D)或三维(3D)的像素或体素阵列,其值为扫描仪视野(FOV)内每个像素或体素区域中放射性示踪剂浓度的估计值。

传统上,成像科学家假设他们知道PET测量数据中信号和噪声的良好物理模型和良好统计模型。通过求解测量数据的数学描述,他们用固定的计算机代码实现该解决方案,以基于这些建模假设重建图像。示例重建方法包括用于最大泊松似然重建的迭代期望最大化(EM)算法,5 6,7 其使用成像物理模型(系统或前向模型8 )用于信号,并使用泊松模型用于噪声。此类重建方法基于人类智能、理解和数学问题求解。与之形成鲜明对比的是,基于人工智能(AI)的图像重建,例如使用监督深度学习9 的方法(例如AUTOMAP10 或DeepPET11 ),则寻求学习从测量数据重建所需的计算机代码步骤序列。这一学习过程,即AI模型的训练,依赖于数万个示例或样本,其中每个样本由PET测量数据集与该测量数据集所期望的已知或期望图像输出配对组成。该方法通过示例学习深度网络的参数(实际上是计算机代码的编程步骤),而不是依赖于假设的PET成像过程模型。大多数针对PET图像重建的AI研究发生在这两种极端情况之间的中间地带,使得整体算法既不纯粹依赖于基于人类智能的建模假设,也不纯粹依赖于从示例数据对中学习的AI。PET重建AI研究的另一个新兴领域使用AI来学习如何仅从手头的单个测量数据集进行重建,而不参考任何其他外部示例数据,这将在本文后面描述。不过,首先回顾最先进的传统重建方法是有用的,这些方法假设所有模型都通过人类智能而被充分知晓。

传统重建:滤波反投影(FBP)

一种著名的图像重建算法是滤波反投影(FBP)。FBP首先对正弦图数据进行滤波,然后对滤波后的数据进行反投影以获得图像。12 早期版本的FBP是通过对每个投影视图进行卷积,然后对每个滤波后的投影视图进行反投影来实现的。顺便提一句,机器学习在发射断层重建中最早的应用之一就是基于学习滤波过程中的卷积核。13

FBP图像重建是一种基本但稳健的方法,由于其线性特性而具有可预测性,尽管通常会产生噪声图像。重建图像中的噪声通常通过简单的重建后平滑来处理,只需一个可调参数(平滑程度)即可为放射科医生生成易于解读的图像,其中图像的噪声和分辨率水平通常视觉上一目了然。FBP经常产生噪声图像的原因之一是其缺乏对数据中变化噪声水平的建模,而事实上计数受限的PET数据在统计质量上确实存在差异,并且可以很好地用泊松分布来建模。此外,FBP受限于正弦图数据中过于简单的信号模型——数据由Radon变换或X射线变换建模。14 因此,在使用FBP之前,正弦图数据需要首先针对散射事件、随机事件、光子衰减和探测器归一化进行预校正。15 去除散射和随机事件所产生的减法,随后衰减校正所产生的放大,对于噪声的增加可能特别成问题。结果,正弦图数据在统计质量上的变化更大,但FBP仍然将所有数据视为同等重要,导致重建图像噪声更大。接下来综述的统计图像重建方法避免了这种不恰当的数据均匀加权。

迭代重建:最大似然-期望最大化(MLEM)和OSEM

在20世纪80至90年代,用于PET图像重建的更优迭代方法开始出现,例如用于最大似然(ML)重建的期望最大化(EM)算法。MLEM,6,7及其加速版本——有序子集EM(OSEM),16使用了对数据中噪声的改进模型(即泊松计数噪声,而非高斯噪声),并且或许更重要的是,通过利用已知的成像物理原理,允许对数据中的信号进行改进建模。因此,MLEM和OSEM并非采用简单的Radon或X射线变换模型(如FBP所使用,因而需要存在问题的数据预校正),而是允许将许多物理效应(如衰减和归一化)显式建模并纳入图像重建算法的系统模型中。8通过避免对数据进行预校正,投影数据计数保持为原始且未加权的状态(因此因衰减而导致计数较低的投影 bin 不会被放大),并且此类整数(计数)数据可由泊松分布很好地建模。改进重建算法对数据中信号建模的一个例子是使用“PSF建模”,17–20其中在重建过程中对点扩散函数(PSF)进行建模。通过将PSF模型作为系统矩阵或前向模型的一部分纳入,可在由MLEM+PSF或OSEM+PSF得到的重建图像中改善空间分辨率。相比之下,在FBP中对PSF等效应进行建模通常不做(然而,在使用测得的点源数据的早期三维反投影后滤波(BPF)方法中,PSF建模是隐含的)。21,22

高级正则化迭代重建:最大后验(MAP)方法

尽管与FBP相比,MLEM和OSEM为PET提供了更好的图像质量(如图1左侧所示),但仍然经常需要减少扫描时间和/或减少放射性示踪剂的注射剂量。因此,噪声仍然是一个问题,从而需要正则化(噪声补偿)图像重建方法。这些方法不仅使用:(i) 改进的噪声模型(泊松),以及 (ii) 改进的成像物理模型,而且它们还通过先验23或惩罚项进一步包括 (iii) 我们预期看到的图像类型的模型。先验为任何给定的候选重建图像分配概率——对我们认为对于PET放射性示踪剂摄取而言不太可能的图像(例如不规则噪声图像)分配低概率,对更可能代表示踪剂摄取的图像(例如平滑变化的图像)分配较高概率。这些正则化重建方法同时考虑给定测量数据下候选图像的似然性以及任何给定图像的先验概率,因此通过寻求最大化后验概率而被称为最大后验(MAP)方法(或者,当使用EM算法时,称为MAPEM方法)。24,25 在许多情况下,我们对PET图像外观的预期模型采取惩罚函数而非概率的形式,此类方法应称为惩罚似然(PL)方法。一个例子是Q-clear,26 它假设图像中相邻像素值之间的相对差异不应过大(因为大的局部差异被假定与噪声相关,而非与临床有用的图像特征相关)。27 更近期,利用补充的结构信息(如来自MRI的信息)为正则化提供指导,28–31 允许保留图像中由合法图像边缘和特征而非噪声引起的大局部差异。图1总结了PET图像重建的进展,从20世纪80年代开始,一直贯穿随后>40年中所开发的方法。

图1. PET图像重建数十年来的进展。在左侧,非正则化重建方法从3D FBP开始,进展到使用MLEM和OSEM的泊松噪声建模,然后开始使用PSF建模改进数据模型。在右侧(显示的是不同受试者、示踪剂和扫描仪),采用正则化方法来补偿噪声,包括正则化的解剖学引导(例如通过MRI)。3D,三维;FBP,滤波反投影;MLEM,最大似然-期望最大化;OSEM,有序子集期望最大化;PSF,点扩散函数。 查看原图 ↗

通过改变空间基进行正则化:核方法

还需要提及的另一类重要的传统方法是核方法(KEM),由Wang和Qi于2015年提出。32 该方法实质上是对空间基函数的改变:不再将图像视为独立像素或体素的集合、并为每个像素或体素求取系数(幅度或数值),核方法根据像素在某些附加特征方面的相似性将像素分组。特征数据可以简单地是每个像素的3点时间-活性曲线(TAC),也可以是每个像素处配准后的MR图像值,甚至可以是作为该像素邻居的MR像素值斑块。33 无论采用何种方式,每个PET像素都有一系列与其相关联的附加数值(特征向量)。因此,可以根据这些特征向量的相似性将PET像素分组为簇。然后可以使用传统MLEM来求取这些像素簇(空间基函数)的系数,由此实现的隐式正则化效果可以非常显著:见图2,其中使用MR图像来形成核空间基函数。34

图2. 使用MR图像提供特征向量以形成空间基函数时的PET图像重建核方法。该图显示了即使仅使用原始数据的一小部分,这种空间基的改变如何能够带来显著的噪声降低。34 最初的KEM32在推导空间基函数时基于每个体素的3点时间-活性曲线的相似性。KEM,核方法;MLEM,最大似然-期望最大化;PET,正电子发射断层成像。 查看原图 ↗

AI方法:从直接到迭代

鉴于传统最先进图像重建方法的复杂性,人们可能会想是否还有进一步改进的可能。然而,传统方法受限于简化的模型和假设。虽然PET扫描仪的模型(体现在前向模型或系统矩阵中)可能具有可接受的精度,且泊松噪声模型可能是合适的,但当涉及到通过先验或惩罚项来建模我们对图像的期望时,这正是传统建模要么过于基础、要么过于强加的地方。一种简单的噪声补偿方法是使用二次惩罚项35,36,这相当于对重建图像值进行邻域平滑。这可以被视为稳健的,但噪声的降低是以空间分辨率为代价的,图像中的边缘受到损害,甚至小特征或病灶被平滑成低对比度、甚至无法辨认的区域。如果使用解剖引导信息(例如来自CT或MR图像),这可能过于强加,因为用户需要决定以多强的程度关注解剖信息。虽然解剖结构可以有益地引导正则化的平滑过程,但它可能产生误导,因为对于给定的放射性示踪剂,MR或CT中总会有与PET图像不一致的结构和特征。30 因此,即使是空间分辨率和边缘保持的引导正则化,在某些图像区域也可能给出较差的结果,36,37 通过平滑掉一些PET特征,同时又错误地增强PET数据中并不真正存在的边缘或结构。因此,显然存在改进传统重建的空间,无论是通过改进物理或噪声建模,还是——或许更为重要地——通过改进惩罚项或先验的建模(即我们对PET图像应如何呈现的概率模型)。

用于PET重建的直接人工智能方法

为了开始综述人工智能在PET重建中的应用,38 我们将首先考虑忽略几乎所有建模假设的极端情况。这类方法学习图像重建算法的全部内容(即成像物理、数据统计和重建图像的先验模型)。在此,将寻求学习从测量数据到重建图像的整个映射而不使用已知模型的方法称为直接人工智能方法。一个著名的例子是DeepPET,11 如图3所示,图中展示了示例图像,以及该方法针对长轴FOV PET成像的较新改编版本。40 深度网络从卷积编码层开始,这些层学习在给定空间分辨率水平下分析正弦图中的小尺度特征。所得特征图又由进一步的卷积层分析特征,以学习多个更高层次的特征组合,然后进行空间下采样,以帮助拓宽特征学习的空间覆盖范围,同时仍捕获来自整个输入正弦图的全部信息。这种学习到的特征层次分析类似于将现实世界物体感知为首先由原子组成,然后是由原子的更高层次分组(分子)组成,然后是众多各种分子组合形成材料,一直到形成更大尺度物体的更大材料组合。卷积编码和下采样持续进行,直到由许多空间采样非常有限的特征图组成的潜在空间,在此阶段学习针对该低空间采样水平的进一步处理层。在潜在空间处理之后,学习卷积解码器用于图像合成,空间采样逐步增加,特征图数量相应减少,最终得到单个输出高空间分辨率特征图,该特征图被训练为最终重建图像。这种架构称为卷积编码器解码器(CED)。41,42

通过与传统的基于傅里叶的重建方法类比,我们可以广义地将CED视为从数据中学习如何执行到潜在空间的编码变换(简单类比,即傅里叶变换到频域),然后从潜在空间解码以合成图像(类比而言,即对处理后的频域数据进行逆傅里叶变换)。

CED的监督训练依赖于优化器(如基于梯度的Adam算法)43 来调整编码器和解码器网络的参数,使得根据均方误差(MSE)损失函数,给定输入正弦图的输出与该正弦图相关的目标图像相匹配。监督学习中使用的目标图像可以是真实图像(如果已知,例如通过对已知测试对象成像或通过先进的蒙特卡罗模拟)44 或通过其他方法重建高计数数据获得的高质量图像。

严格来说,这个CED网络并非没有模型——该架构可生成的可能输出图像范围存在约束,因此网络仍然具有所谓的归纳先验或归纳偏置。如图3所示,DeepPET的输出结果可能显得过于平滑,缺乏细节。后续的方法,例如针对长轴FOV PET的改进实现(同样如图3所示),以及更早的DPIR-Net,39试图通过修改网络训练中使用的损失函数来改进DeepPET。这些后期方法不再仅仅关注网络输出与训练集中标签或目标之间通过MSE达成的一致性,还要求在特征图层面达成一致性(感知损失,使用预训练的VGG 45网络),并且对于DPIR-Net,还要求重建输出能够通过判别器测试。判别器46是一个被训练用于从网络生成的图像中识别真实高质量图像的网络。因此,该判别器可用于增强生成器的训练(如果网络的输出被分类为生成而非真实,这会导致优化器搜索能够生成看起来更真实的输出的网络参数——以“欺骗”判别器)。这就是众所周知的“生成对抗网络”(GAN)方法。46因此,训练后的生成器网络可以产生与真实高质量图像看起来无法区分的重建图像。

长轴FOV改进实现报告了快速重建时间(约快20倍),依赖单层重组(SSRB)47将全3D数据预处理为可管理的2D正弦图,并且非常方便地使散射和归一化校正能够完全由学习到的CED网络处理。然而,如图3所示,DeepPET及改进版本的重建精度尚未完全达到满足临床要求的水平,但没有理由认为在未来通过改进训练和数据集可用性无法实现这一目标。

表1总结了当前若干直接AI方法。这些直接AI方法的显著特点包括:(i)大多数仅在2D正弦图上操作,而非全3D正弦图数据集;(ii)需要数万对训练数据;(iii)训练可能较慢;(iv)重建速度通常较快。也许更值得注意的方法之一是FastPET,48因为它直接利用图像空间直方图。直方图的优势在于将飞行时间(TOF)PET数据压缩为3D图像空间格式。通过有效地将大型TOF数据集压缩为3D图像,可以使用相对直接的图像到图像深度学习映射(如U-Net)49进行快速3D图像重建。该方法已被成功扩展并进一步改进,50,51展现出良好潜力。

图3. 通过DeepPET 11及近期改进版本39,40的示例展示直接AI(纯数据驱动)方法的性能表现。示例正弦图输入和DeepPET重建输出由Kuangyu Shi提供,与其改进长轴FOV PET性能的工作相关,其结果在此显示为网络的输出(图中第2行图像)。40 FOV,视野;PET,正电子发射断层扫描。 查看原图 ↗
表1. 直接AI重建方法示例 查看原表 ↗

用于PET重建的迭代人工智能方法

正如传统重建算法可以大致分为直接法(非迭代的编程操作序列)和迭代法(重复可变或不定次数的编码步骤序列)一样,深度学习中也存在类似的分类。本节现在讨论迭代式或称展开式的人工智能方法。

图4展示了如何将传统的迭代最大后验期望最大化(MAPEM)算法35展开为一系列模块或块(图中从左到右,每个模块对应图像的一次更新)。每个模块对当前图像估计进行精细化处理,以改善其与数据的一致性(例如基于针对泊松分布数据推导的EM更新),同时通过解析推导的去噪器(例如由二次惩罚项推导而来,该惩罚项鼓励图像的像素值之间具有较小的局部差异)来平衡与先验的一致性。因此,这些传统迭代方法仅仅是一系列步骤、一层接一层的处理,可以被视为固定的、不可训练的深度网络。图4的第二行展示了如何将MAPEM中的去噪(正则化)步骤替换为可训练的深度网络,以从配对数据样本中学习如何将含噪图像更新与其高质量对应物相关联。该图第三行展示了如何使用参考高质量重建(例如来自更高计数正弦图数据的重建)为展开网络提供训练目标。图5展示了基于45个三维训练样本,使用学习到的正则化器训练展开迭代方法(MAPEM)所获得的结果类型。

目前已开发了一系列展开式重建方法,图6展示了其中一些关键方法。每一种方法通过在处理流程中不同位置的学习网络来执行正则化。示例包括带有学习正则化器的梯度下降法(可比于用于PET的EM-Net 54,或类似于用于MRI的变分神经网络(VNN)55)、学习正则化器的梯度(如FBSEM-Net)52、学习近端算子以及学习去噪(迭代神经网络)56。另一个示例是嵌入深度网络的展开式交替方向乘子法(如深度ADMM-Net)57。

展开方法的最后一个例子是学习原始对偶(LPD)方法,58,59 其基于原始对偶混合梯度(PDHG)方法,60 但在原始(图像)域和对偶(正弦图)域中均学习处理过程,如图7所示。表2总结了多种用于PET的展开式迭代深度学习重建方法,其中一种情况使用了Transformer架构。CNN通常在每个网络层中使用小卷积核(因此需要许多层才能将输入编码为潜在表示),而Transformer通过其注意力机制,在单层中对整个图像的特征进行长程比较。Transformer大致类似于通过非局部均值实现的最先进传统图像处理的可训练版本,其中将图像块与整个图像中的所有其他块进行比较,以实现语境化/去噪。表3总体传达了展开方法相较于直接AI方法的优势:使用物理模型、所需训练数据更少,以及对于完全3D图像重建具有实用性。尽管如此,需要注意的是,这些展开方法不仅在训练时计算密集,即使在运行时(对新数据的测试时),它们也可能运行缓慢,因为依赖于前向投影和反向投影的多次迭代。不过值得指出的是,存在不同的训练方法,其中一些更为实用且内存需求更低。63,64

本节最后,我们提及一些更先进的展开式迭代方法,这些方法试图同时重建PET和MR数据,如图8所示。这种联合PET-MR展开式迭代重建方法65 学习联合PET-MR正则化,试图从PET和MR数据中存在的共同信息中获益,同时保留PET和MR图像之间的关键差异。

图4. FBSEM-Net示例。第1行显示展开式迭代MAPEM重建,第2行显示深度网络(FBSEM-Net)的集成,第3行显示为网络生成参考目标标签的一种示例方式。在此,EM更新提高了图像与所测正弦图数据的一致性,可称为基于数据保真度的更新。在MRI重建背景下,数据保真度更新通常通过最小二乘梯度下降步骤实现。EM,期望最大化;MAPEM,最大后验期望最大化。 查看原图 ↗
图5. FBSEM-Net的示例结果。52,53 FBSEM-Net在重建仅相当于2分钟扫描时间的数据时提供了改善的图像质量,其图像质量可与来自约15倍数据量(30分钟数据)的参考重建相竞争。所示结果为“测试时”重建(即对未包含在FBSEM-Net训练中的数据进行的重建)。OSEM,有序子集期望最大化;FBSEM,前向后向分裂期望最大化。 查看原图 ↗
图6. 五个嵌入了深度网络的展开迭代图像重建方法示例。第1行对应于获取当前图像并根据数据对其进行更新(梯度下降步骤以增加与测量数据的一致性),同时根据图像应如何呈现的先验知识对其进行更新(简单地使用深度网络来提供这种增强的一致性)。第2行非常相似,但使用解析推导的方式来组合这两种更新(而非第1行中的简单相加)。第3行对应于近端梯度更新的深度学习版本。第4行的示例是序列方法,但 now 使用更新的解析形式。最后,第5行展示了ADMM方法如何嵌入网络,其等同于第4行的方法,但使用了残差图像u。 查看原图 ↗
图7. LPD 58应用于示例PET体模数据。59 图改编自Massimiliano Colarieti-Tosti提供的数据。整体处理流程实际上有两条轨道:上轨道对正弦图数据进行序列处理,下轨道对图像进行序列处理。这两个处理子流程通过前向和反向投影算子(FP和BP)互连,以在图像域和数据域之间进行映射。BP,反向投影;FP,前向投影;LPD,学习型原始-对偶;PET,正电子发射断层扫描。 查看原图 ↗
表2. 用于PET图像重建中人工智能的展开方法。 查看原表 ↗
表3. PET图像重建中使用人工智能的核心方法的广泛层面比较。 查看原表 ↗
图8. Corda-D‘Incan等人提出的展开联合PET-MR重建示例。65 展示了示例结果,比较了OSEM与MAPEM(Q,使用二次惩罚;BQ,使用Bowsher MRI引导的二次惩罚),以及仅从PET数据进行的独立深度学习展开重建(P)和带有MR引导的重建(P MR)。展示的最终结果是PET数据的联合重建——揭示了PET独有病灶(MR中不存在)的保留,同时全局保持良好的图像质量——有效地同时寻求“独立P”和“独立P MR”的最佳方面。OSEM,有序子集期望最大化;MAPEM,最大后验期望最大化;MSE,均方误差;PET,正电子发射断层扫描。 查看原图 ↗

无需训练数据的人工智能方法

到目前为止,我们已经涵盖了直接人工智能方法和迭代人工智能方法(将深度学习整合到其他标准迭代图像重建方案中)。这两类方法都依赖于训练数据进行监督学习,以训练每种方法中使用的参数化深度网络。PET图像重建中人工智能研究的第三大类是根本不需要训练数据的情况,而是使用深度学习方法要么学习图像的表示(仅针对手头的测量数据集),要么学习针对手头数据的专用重建算子以进行重建。因此,不需要外部训练数据,而是利用人工智能来解决处理问题。由于没有示例或外部训练数据,此类方法仍然需要成像物理模型和图像重建目标(例如ML或MAP)的规范。

用于图像表示的人工智能

深度图像先验66(DIP)于2017–18年提出,在没有训练数据的情况下,在图像去噪、修复和超分辨率方面取得了令人惊讶的结果。该方法利用了CNN的归纳先验,即具有非线性的一系列卷积层在适当初始化下可以生成一系列图像输出,这些输出具有正则化特性,即它们容易位于医学或自然图像所占的广泛可行流形内。通常,噪声数据被用作目标(或者,对于PET重建,在首先对生成的输出重建应用前向模型后,噪声正弦图被用作目标)。正则化收益完全取决于训练程度——如果网络训练至收敛,则噪声数据将几乎完美匹配。这仍然解决了逆问题(例如PET图像重建),67但会消除CNN图像表示所提供的任何正则化收益。

图9展示了使用DIP进行PET图像重建的简单示例。68将随机噪声或患者的MR图像输入随机初始化的CNN,例如U-Net。49然后对输出图像进行前向建模,CNN的训练损失函数是前向建模数据与实际测量数据之间的MSE。因此,随着CNN参数的优化增加,网络将产生一幅图像,该图像在前向投影时与测量数据一致(在前向算子范围内)。因此需要提前终止才能看到任何正则化结果。如果运行至收敛,CNN表示与像素或体素网格表示没有区别,重建算法相当于使用深度学习优化器(如Adam)43来寻找最小二乘(或对于泊松数据,最大泊松似然)估计。甚至在Hashimoto等人68的工作之前,Gong就提出了使用CNN图像表示的更精细优化框架。69该方法旨在避免将系统模型嵌入深度网络的需要,从而避免在训练期间通过系统模型反向传播损失函数梯度。

为了解决需要提前停止DIP训练的问题,许多人研究了贝叶斯方法。示例包括使用网络参数的先验(甚至使用后验分布来量化和利用不确定性70,71)以及使用随机梯度朗之万动力学(SGLD)通过DIP进行完全贝叶斯后验推断。72,73另一种方法是使用Stein无偏风险估计(SURE)作为训练DIP的损失函数(DIP-SURE)而非使用MSE损失,同样是为了避免过拟合问题。74

最近,Gong等人通过将DIP方法与核方法结合,然后还与直接动力学参数估计结合,进一步推进了DIP方法。75图10展示了直接估计Patlak斜率( )图像所取得的令人印象深刻的结果。

表4总结了利用DIP进行PET图像重建的方法,还包括一些KEM的AI辅助变体,这些将在后面介绍。

图9. 使用DIP进行PET重建的基本用法,来自Hashimoto等68。FBP,滤波反投影;DIP,深度图像先验;FP,前向投影;PET,正电子发射断层扫描;MLEM,最大似然-期望最大化。 查看原图 ↗
图10. 使用DIP方法结合核方法进行直接Patlak重建(“DIP重建”)的结果,来自Gong等75。DIP,深度图像先验;EM,期望最大化;KEM,核方法。 查看原图 ↗
表4. 用于PET图像重建的DIP和AI辅助KEM方法。 查看原表 ↗

用于重建算子的AI

在没有训练数据的情况下,AI的一种替代用途是定义一个深度网络,在图像重建流程的某些阶段执行处理。图11给出了深度学习FBP(DL-FBP)的示例:使用深度网络处理正弦图,使得当处理后的正弦图被反投影时,获得重建图像。该图像是一种重建,因为深度网络的训练基于最小化图像的前向投影与实际输入测量数据之间的差异(损失)。这是通过深度学习填补我们知识中潜在空白的一个例子:我们知道我们需要什么(根据某种重建目标函数与正弦图数据一致的重建图像),但我们可能不知道如何对数据进行处理以实现这一目标。AI可用于解决此类任务,利用在深度学习中非常成功的优化方法。该主题的一个重要进一步发展是将图像空间深度网络与数据空间网络相结合79,以获得DL-FBP-F。这种方法与DL-FBP一样,可以仅通过从手头数据集进行自监督学习来实现,或可选地与监督学习相结合。如果仅与监督学习一起使用,则DL-FBP-F方法变得类似于展开方法中的仅一个模块,但与展开方法中通常使用的许多模块相比,计算量大大减少,这可能降低其采用程度。

图11. 学习深度重建算子(DNN)对正弦图数据进行操作使得反投影后获得图像的示意图79。这是自监督深度学习FBP的一个示例,来自Reader79,仅以模拟CT切片为例展示,但该方法普遍适用。DNN,深度神经网络;BP,反投影;FP,前向投影。 查看原图 ↗

AI辅助KEM

最后一个重要类别与前述图10(和表4)中使用核方法与DIP的示例相关,即使用深度网络学习用于形成KEM中所用核矩阵的最佳特征,称为深度核表示。78 训练数据来自待重建的单一数据集(通过生成数据的低计数版本),该方法能够优雅地学习从输入先验图像中挑选出最合适的特征,使得当这些特征用于体素级相似性比较以形成KEM的空间基函数时,输出图像与全计数高质量参考最为匹配。这些基函数随后与标准KEM一起用于重建整个数据集。该深度核表示的示例结果如图12所示,其性能优于传统DIP(存在提前终止和过度平滑的问题)以及基于3点TAC特征向量的传统KEM。

图12. Li和Wang的深度核表示。78 U-Net对先验图像(例如3帧动态图像序列)进行操作,输出一组不同的特征图(每个像素元素对应一个特征向量)。然后利用像素间特征向量的相似性构建核矩阵,随后用于标准KEM。标准KEM估计系数向量,使得重建图像通过以下方式获得:。U-Net的关键训练基于将计数降低10倍的重建映射到所重建独特数据的全计数重建。DIP,深度图像先验;KEM,核方法;MLEM,最大似然期望最大化。 查看原图 ↗

机遇、挑战与总结

这些将AI用于PET图像重建的重大进展并非没有顾虑。一个众所周知的顾虑——例如在基于AI的MR重建中已得到证明——是图像中出现幻觉(假阳性)的可能性以及出现缺失(假阴性)的可能性。80 尽管这些效应在传统重建中一直可能存在(噪声尖峰看起来像病灶,或噪声和平滑似乎去除了病灶),但在传统重建中,观察者始终容易评估图像质量,从而对此类情况做出容许。随着AI方法带来的图像质量提升,基于图像质量的整体印象,幻觉或缺失可能完全无法察觉。一个潜在的解决方案是采用前述贝叶斯方法(也已在MR背景下开发)81 并生成反映重建图像值不确定性水平的额外图像。然而这会增加放射科医生的图像阅读负担。尽管如此,贝叶斯深度学习方法,或基于深度集成82 甚至drop-out83 的方法,都是揭示重建图像中认知不确定性的途径。与此相关的是生成式AI建模的近期进展:扩散模型(由Stable Diffusion等图像生成模型推广普及)。84 这些模型可以被训练以提供高质量图像的先验概率,因此现在正进入图像重建领域85,86 并产生最先进的结果(迄今已在MRI重建中得到证明),同时也提供不确定性估计。81 PET中的早期工作已在后处理背景下开始。87

对于PET图像重建,仍然需要广泛接受的基准数据集和测试(正如在MRI中越来越多地使用),88,89 不仅传统方法需要,AI方法也需要。高分辨率PET体模的早期发展90 将需要更进一步的开发,同时还需要汇集大型真实数据集。

另一个发展领域将是充分利用所有类型的可用数据,从而不仅能够进行监督学习,还能够进行自监督学习。79 这将允许在缺乏高质量参考的情况下使用更大的数据集。不是提供高成本的成对输入和输出示例,而是仅提供示例输入数据,但关键在于提供关于如何为输入自动创建配对目标的指令,从而为监督学习创建数据。这可以用于前置任务,或者确实直接用于图像重建的有用终点任务(如先前在图11中所示)。带有前置任务的自监督方法使得大型语言模型的预训练成为可能,包括强大的预训练基于变换器的生成架构91,如GPT-3 92 和GPT-4,93 这些现已广为人知并具有重大影响。

另一个需要注意的方面是AI如何为PET处理和重建整体开辟新的性能可能性。仅举一个例子领域,训练数据可用于提供改进的多路复用(例如双示踪剂94,95)PET图像数据分离性能。96,97

总之,AI现在在PET图像重建中发挥着关键作用。它引入了利用高质量参考数据来告知和改进目前使用的图像重建算法的可能性。或者,如果患者外部数据不可用或使用起来有顾虑,AI还可以提供许多仅使用患者自身数据的方法,可能减轻对鲁棒性的担忧。

引用

  1. Reader AJ, Pan B. AI for PET image reconstruction. Br J Radiol. 2023. PMID: 37486607. doi:10.1259/bjr.20230292
  2. 全文:PMC10546435(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10546435/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。