文献速递腹部胸部技术与安全CT

深度学习条件生成对抗网络降低CT对比剂剂量

Contrast agent dose reduction in computed tomography with deep learning using a conditional generative adversarial network.
PubMed 文献 · Eur Radiol · 2021-02-25

本研究利用双能CT动脉期影像训练条件生成对抗网络,虚拟降低碘对比剂剂量并重建增强图像,评估图像质量与病理一致性。结果显示50%剂量缩减模型在体积分析中病理一致性达100%,而80%缩减模型一致性不足。作者认为50%缩减可行且安全,但需体模和动物实验进一步验证。

要点

  • 50%碘对比剂缩减网络在体积视觉图灵测试中病理一致性中位数达100%。
  • 80%缩减网络病理一致性不足,体积分析为23%、55%、32%,切片分析为85%、80%、90%。
  • 2.5D网络在体积视觉图灵测试中比2D网络更难被放射科医生识别为人工图像。

局限性

  • 出于伦理原因无法进行真实的双次检查(有和无碘对比剂缩减),只能通过双能CT碘图虚拟缩减碘剂量。
  • 尚不能确定基于生成对抗网络的方法在真实碘对比剂缩减方案中同样有效。
  • 仅测试了50%和80%两个缩减水平。
  • 纳入患者数量有限,需外部验证、多中心大队列及不同扫描仪和采集方案验证。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Feb 25;31(8):6087–95. doi: 10.1007/s00330-021-07714-2

引言

碘对比剂(ICM)的使用对于处理各种诊断任务至关重要,例如排除肺动脉栓塞或肠系膜缺血。随着全球计算机断层扫描(CT)数量的持续增长,患者对ICM的暴露也在增加。ICM最重要的副作用包括剂量依赖性的对比剂诱导肾损伤(CIN)和甲状腺功能障碍,以及非剂量依赖性的过敏反应。由于全球预期寿命的延长以及相关的总体发病率增加和II型糖尿病患病率的上升,慢性肾脏病(CKD)的患病率持续增长[1]。尽管现已知道,过去对肾功能减退患者在接受静脉ICM后发生急性肾损伤(CI-AKI)的风险被高估了,但严重肾脏病患者发生CI-AKI的实际风险仍不清楚[2]。作为放射科医生,我们仍然越来越面临这样的挑战:一方面需要做出精确的诊断陈述,而我们常常依赖于静脉注射ICM;另一方面,我们面对的是一个CKD患病率不断增加的人群,在这些患者中静脉注射ICM可能潜在地导致肾功能的进一步恶化,并带来住院、发病率和最终死亡率方面的所有后果。

通过技术优化,如改进的重建程序和降低管电压的CT方案,近年来已经实现了静脉ICM的显著节省[3]。基于深度学习的图像后处理的进步现在为进一步节省ICM开辟了可能性。

在本研究中,我们训练了一个生成对抗网络(GAN)来选择性地增强ICM诱导的图像对比度,并通过双能CT验证了结果,其中通过比例减去计算出的碘图来模拟50%或80%减少的ICM剂量。

材料与方法

伦理声明

本研究按照埃森大学医院机构审查委员会的指南进行(批准号19-8904-BO)。由于本研究的回顾性性质,机构审查委员会豁免了书面知情同意的要求。数据在纳入研究之前已完全匿名化。

计算机断层扫描

使用SOMATOM Force CT扫描仪(Siemens Healthineers AG)进行静脉ICM的双能计算机断层扫描。使用层间距和层厚均为1.5 mm的重建。扫描参数为旋转时间0.25–0.5 s,螺距0.55–0.75,探测器准直128 × 0.6 mm。使用管电压为80 kV和150 kV的双能模式。此外,使用CareDose 4D根据患者解剖结构提供自动管电流调制以实现有效mAs(Siemens Healthineers AG)。使用在主动脉中放置ROI的团注追踪技术获取动脉期。对比剂(1.5 ml/kg)以2.5–4.5 ml/s的流速注射。

序列重建

虚拟平扫(VNC)和分离碘对比剂(ICM)序列的重建在 Syngo.via VB30(Siemens Healthineers AG)的双能量工作流中进行,采用三物质质量分数分解算法[4],该算法假设每个体素由脂肪、软组织和碘组成。因此,该算法生成一幅编码每个CT体素中碘分布的图(分离ICM序列)。在下一步中,该分布可用于创建VNC图像。分离ICM序列和VNC序列均以1.5 mm的层厚和层距导出。以0.5加权因子混合、层厚1.5 mm的混合图像作为目标图像进行重建。

研究设计

收集的数据包含85项研究,包括动脉增强期腹部、肝脏和胸部的CT记录。此外,所选数据被随机按80/20的比例分为训练集和测试集。数据中患者的平均年龄为66.8岁,标准差为11.2岁。患者年龄范围为32至83岁;56%的患者为男性,44%为女性。图1可视化了训练集和测试集中CT身体区域、患者年龄和患者性别的分布。表1说明了测试集中病理/发现的分布。

一般而言,每项研究包含两个感兴趣的CT图像序列:虚拟平扫和分离ICM。这些使我们能够组合两种图像类型,并通过将ICM剂量调整至所需水平来生成所需的输入图像,如图2所示。

用于训练的CT图像对包括输入图像和相应的目标图像,输入图像由ICM减少50%或80%的双能量CT图像组成,目标图像包含原始100% ICM剂量。将VNC图像与减少的分离ICM图像组合以生成输入图像(图2)。此外,通过将全剂量分离ICM图像与VNC图像组合来创建目标图像(图2)。除了这种生成输入图像的标准流程外,还有两种在图像输入格式方面略有不同的实验设置。第一种输入变体2D接收一幅减少ICM的CT切片作为输入图像,并预测相应的100% ICM图像。2.5D模型接收三幅减少ICM的CT切片作为输入。这三幅切片被映射到RGB彩色图像的不同通道。更准确地说,与目标对应的切片放置在中通道,前一幅切片放置在第一个通道,后一幅切片放置在最后一个通道。假设是通过纳入邻域信息,预测可以在无法转换最前面和最后面图像切片的代价下趋于稳定。输入数据通过网络架构的流程如图3所示。

本文使用的模型架构与原始Pix2PixHD模型[5]非常相似,后者是一种用于配对图像到图像转换任务的生成对抗网络。在Pix2PixHD的参考实现中,转置卷积被用作上采样方法[5]。然而,这些方法往往会产生棋盘伪影。因此,为了降低这些伪影的风险,标准上采样方法被替换为双线性上采样后接3×3卷积,这种方法往往产生更少的伪影,这一点已由Odena等人和Wojna等人展示[6, 7]。

一般而言,所有图像均以512×512的固定尺寸加载。根据所选输入类型的不同,第一层卷积层具有1至3个输入通道。相比之下,每个模型仅定义一个输出通道。在训练过程中,仅使用了适度的数据增强,形式为水平翻转。此外,生成器和判别器第一层卷积层的滤波器数量分别设置为32和64。由于相邻切片包含非常相似的信息,为减少训练时间,每个体积仅每第五个切片用于训练。每个模型训练最多200个epoch,每10个epoch保存一次权重以供进一步分析。使用Adam优化器优化模型[5],批大小为1,学习率在前100个epoch设置为恒定0.002,然后在最后100个epoch线性衰减至零,动量(beta1)为0.5。此外,特征匹配损失权重设置为10。所有其他网络超参数设置为Pix2PixHD的默认值。此外,对于每种模型配置,使用相同数据训练五个模型以减少单一模型性能的随机性。通过简单地对这五个模型的预测取平均,创建了一个GAN集成,经验上产生更好的感知图像质量。

在Pix2PixHD的参考实现中,输入数据默认期望为每通道8位[5]。这一前提条件成为在医学影像尤其是CT图像中应用的障碍。由于CT图像以亨斯菲尔德单位(HU)采集,对于12位扫描仪量化,所得理论值范围为−1024至+3071 HU。因此,Pix2PixHD中的数据加载器被扩展以支持加载16位PNG图像。在将图像输入网络之前,图像数据被归一化至−1至1的范围。应当注意,对于所使用的体积,HU范围被限制在理论可能的最大值范围内。

图1 CT身体区域分布(左)、性别组内年龄分布(中),以及训练(蓝色)和测试(红色)数据的性别组频率分布(三角形表示均值) 查看原图 ↗
表1 测试集中病变/发现的分布。每项检查中病变/发现至少出现一次即计为一次 查看原表 ↗
图2 通过VNC和隔离ICM图像组合生成所用图像对(输入、目标)的示意图 查看原图 ↗
图3 示意性网络架构(蓝色=编码器,红色=解码器)及输入数据(2D(A)和2.5D(B))通过网络的数据流,最终输出输入图像增强变体的预测 查看原图 ↗

评估方法

使用四种不同的指标和评分来评估不同模型生成的图像。这些指标包括L1损失或平均绝对误差(MAE)、结构相似性指数(SSIM)、峰值信噪比(PSNR)和Fréchet初始距离(FID)[8]。L1损失表示生成图像与目标图像之间的平均绝对像素差异。L1值越低,表示与目标图像的近似程度越高。相比之下,SSIM和PSNR都试图确保生成图像与目标图像之间进行不那么表浅的比较[9]。PSNR基于均方误差(MSE)+,其值趋近于无穷大[10]。这意味着PSNR值升高与更高的图像质量相关。

相比之下,SSIM基于源自人类视觉系统(HVS)的因素提供评分[10]。其并非采用经典的误差求和方式,而是通过相关性损失、亮度失真和对比度失真三个因素来表达每处图像差异。SSIM为0表示图像之间无相关性,而SSIM为1表示目标图像与预测图像完全相同[9, 10]。

最后,FID使用从在ImageNet上预训练的Inception网络中提取的激活向量[8]。因此,真实图像和生成图像均通过网络前向传播,但不使用最终分类层,而是使用最后一个池化层的特征图[8]。随后,对两个图像域(真实和生成)的所有提取特征图计算均值和协方差。这些统计量可用于计算Fréchet距离。FID值越低,图像质量和相似性越好[8]。在本研究中,真实CT体积被定义为目标域,预测体积被定义为源域。对于每个体积对,我们计算FID值并将该值用于进一步分析。所有上述评分和指标在评估图像相似性方面各有特定的优缺点,但综合起来,它们提供了对所得图像质量的总体印象。

除评估指标和评分外,建议从放射学角度检查生成的图像。为此,生成的图像还通过视觉图灵测试(VTT)呈现给三位分别具有9年、4年和3年经验的专业放射科医师[11, 12]。该测试分为两个子测试:体积测试和切片测试。在体积测试中,人工生成和非人工生成的CT体积并排呈现给放射科医师。放射科医师的任务是区分这两个体积并选择非人工生成的那个。这种区分通过真/假准确率来衡量,该准确率表示放射科医师将非人工CT选为真实的病例百分比。真/假准确率越低,放射科医师越难以区分真实与伪造。在切片测试中,要求放射科医师在无法滚动浏览完整图像栈的情况下选择非人工切片。其动机在于Pix2PixHD在设计上是一种二维模型架构,仅包含关于图像采集过程中所捕获整个身体区域的非常有限的信息。

对于这些测试, volumes 和 slices 在支持标准化工具(如窗宽窗位、缩放、平移和滚动)的 DICOM 查看器中显示。该测试旨在确定生成的图像是否不仅提供良好的感知结果,而且还符合放射学标准,例如图像应在诊断上等效。因此,还询问放射科医生这两个 slices 或 volumes 在病理学上是否一致。这导致了第二个评估指标,即所谓的病理一致性,它表示非人工和人工 CT slices 在病理学上等效的病例数。病理一致性旨在确保在一次检查中可见的病理在另一次检查中也可见。该评估指标用于排除病理被意外插入或移除的情况。与真实/虚假准确率相反,低病理一致性表明人工创建的 slices 或 volumes 与真实 slice/volume 相比在诊断上不等效。

结果

图 4 包含了四个集成模型、两种不同输入类型和两种不同 ICM 降低水平的评估结果。除了模型结果外,我们还为两种模型计算了所谓的基线。基线计算使用 ICM 剂量计算上降低 50% 或 80% 的 image slices,并将其与 full ICM 剂量图像进行比较。由此,不仅可以将模型取得的 results 与目标进行比较,还可以跟踪与输入 slice 相比图像相似性和质量的改善。

对于每个定量分析评分,都可以显示与基线图像相比的图像改善。一般来说,应用 50% ICM 降低的网络比应用 80% ICM 降低的网络获得了明显更好的图像质量。

−80% 模型的平均 SSIM > 98%,PSNR > 48,L1 在 7.5 到 8 之间,FID 在 1.6 到 1.7 之间。相比之下,−50% 模型的平均 SSIM > 99%,PSNR > 51,L1 在 6.0 到 6.1 之间,FID 在 0.8 到 0.95 之间。

除了这种定量图像分析外,还使用 VTT 进行了定性图像分析。VTT 的结果列于表 2 中。

一般来说,结果如预期的那样表明,如果放射科医生只看到 slices 而不是整个 volume,他们更难区分真实和人工图像。然而,VTT 的结果一方面显示 50% 和 80% ICM 降低网络之间存在显著差异,另一方面显示 2D 和 2.5D 网络之间存在显著差异。总体而言,80% 降低的网络的结果并不令人满意。一方面,由于伪影,这些容易被放射科医生识别为人工图像,另一方面,它们与 100% ICM 图像没有显示出极好的病理一致性(volume:23%,55%,32%;slice:85%,80%,90%)。相比之下,50% 降低的网络显示出令人满意的结果。这些网络在 volume 分析中作为 2D 和 2.5D 网络均达到了中位数 100% 的病理一致性。然而,总体而言,2.5D 网络在 volume 分析中明显比 2D 网络更难被放射科医生识别(95%,91%,95% vs. 73%,77%,91%)。

除所呈现的结果外,图5和图6提供了模型在选定CT切片上性能的直观概览。

图4 各模型类型的得分和指标(蓝色 = −80%,红色 = −50%)的箱线图。箱线图的计算基于每个集成模型的单体积得分。每个箱线图内的三角形表示相应输入类型在相关得分或指标上的均值。 查看原图 ↗
表2 三名放射科医师(A、B、C)在不同ICM降低水平、模型以及切片/体积评估方式下进行VTT的结果。每种模型配置基于单切片和完整体积的真实/伪造准确率及病理一致性进行评估。 查看原表 ↗
图5 50% 2.5D ICM降低网络。2.5D模型(−50%)所使用的输入、目标、预测和差异图像的比较。差异图表示目标图像与输出图像之间的HU差异。红色区域表示模型对特定区域预测了较低的ICM强度(−50 HU),而蓝色区域表示对某区域预测了较高的ICM强度(+50 HU)。 查看原图 ↗
图6 80% 2.5D ICM降低网络。2.5D模型(−80%)所使用的输入、目标、预测和差异图像的比较。差异图表示目标图像与输出图像之间的HU差异。红色区域表示模型对特定区域预测了较低的ICM强度(−50 HU),而蓝色区域表示对某区域预测了较高的ICM强度(+50 HU)。 查看原图 ↗

讨论

在本研究中,我们训练了生成对抗网络以选择性增强ICM引起的图像对比度,并利用双能CT验证了结果,其中通过比例减去计算得到的碘图来模拟50%或80%降低的ICM剂量。为评估网络的效率,我们测量了多种定量参数(L1损失、SSIM、PSNR、FID),并由三名放射科医师进行了VTT。

总体而言,我们的结果表明,ICM的虚拟增强不仅可行,而且在质量方面也达到了一定程度;生成的CT在病理上与原图像等效。总体而言,基于2.5D的网络在所有定量评估参数上表现略优。然而,在基于体积的VTT中,它们比2D网络表现好得多。这可能是因为使用解剖信息滚动浏览由2.5D网络创建的体积时,比2D网络产生更自然的连续性。此外,2D网络产生的伪影在3D数据中可能更为明显。然而,ICM剂量是一个更为相关的参数。

总而言之,在碘对比剂(ICM)剂量降低50%的条件下训练的生成对抗网络,其表现明显优于剂量降低80%的网络。这导致在我们对由插入50% ICM的网络所生成图像的测试数据中,病变的中位一致性达到100%。鉴于文献中关于非配对图像到图像转换所描述的病变插入可能性[13],这一结果尤为重要。因此,我们得出结论:使用基于生成对抗网络(GAN)的图像到图像转换,将ICM降低50%是可行且安全的。总体而言,我们的结果与近期文献高度吻合,这些文献描述了GAN在图像处理中的多种可能性,例如在脑部磁共振成像(MRI)中插入对比剂[14]。进一步的研究表明,GAN适合作为替代重建算法,用于去除低剂量CT中的伪影并降低图像噪声[15, 16]。

作为我们方法的替代方案,通过使用低电压技术可以显著减少CT所需的对比剂用量。该技术能够将ICM用量降低至与我们的方法相似的程度[17, 18]。不利的一面是,使用低电压CT时图像噪声会增加[19]。这对于肥胖患者尤为重要,因为对这类患者建议提高管电压以减少图像噪声[20]。这包括约34%的美国人群[21],预计到2030年将增至美国人群的42%–51%[22]。

相比之下,我们的方法不依赖于患者体重,并且可以通过后处理相对容易且不依赖硬件地实现。此外,我们的方法可与低电压CT协同使用,以进一步降低ICM剂量。然而,这需要我们在后续研究中加以验证。

对于医学影像领域中GAN的定性分析,VTT是一种被专业人员广泛使用的图像质量评估方法[11, 12, 23]。在本研究的设置中,采用了并排比较的方式,将真实/伪造的选择与病变一致性问题结合起来。在未来的研究中,也值得考虑进行完全盲法的测试场景。

我们研究最重要的局限性在于,出于伦理原因,我们无法在采用和不采用ICM剂量降低的情况下进行真正的双重检查。我们的变通方法是通过从双能CT检查计算碘图来虚拟降低ICM剂量。虽然以这种方式计算出的低ICM剂量研究在人类放射科医生看来非常有说服力,但此时我们无法确定我们的基于GAN的方法在真实ICM剂量降低方案中是否同样有效。因此,我们的下一步是首先在体模中、然后在动物模型中重现我们的结果。本研究的其他局限性还包括所使用的50%和80%的ICM降低水平。在进一步研究中,应测试在50%至80%的降低水平范围内是否存在其他降低水平能够重现甚至达到更好的结果。此外,还应测试最佳降低程度是否取决于所检查的身体部位。另一个局限性是入组患者的数量。尽管该问题已通过内部交叉验证和多次重复实验得到处理,但未来研究的重点应包括外部验证(涵盖不同扫描仪型号和采集方案)以及招募更大的多中心患者队列,以展示CT造影剂注射的真正潜力并为其临床使用进行验证。

总之,可以说,基于GAN的方法用于在虚拟ICM剂量降低的CT检查中进行后续选择性对比增强效果极佳。然而,未来的系统性体模和动物研究仍必须证明该流程在真实ICM剂量降低下同样有效,以及在临床常规中最终可实现何种程度的剂量降低。

引用

  1. Haubold J, Hosch R, Umutlu L, et al. Contrast agent dose reduction in computed tomography with deep learning using a conditional generative adversarial network. Eur Radiol. 2021. PMID: 33630160. doi:10.1007/s00330-021-07714-2
  2. 全文:PMC8270814(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8270814/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。