生成式AI模型加速乳腺MRI采集
本研究在9549例乳腺MRI检查上训练基于分数的扩散模型,用于重建欠采样MRI图像,欠采样因子为2、5、20。两位放射科医生在100例独立测试集上评估图像质量和诊断价值,发现加速因子2时几乎无法区分原图(评分4或5的比例分别为100%和99%),但作者指出尚未评估诊断准确性,需进一步研究。
要点
- 基于分数的扩散模型可高保真重建乳腺MRI,加速因子2时两位放射科医生评为4或5分的比例分别为100%和99%。
- 加速因子5时该比例降至88%和70%,加速因子20时降至5%和21%。
- 作者指出尚未评估重建图像的诊断准确性,需广泛研究后才能可靠用于临床。
核心结论
- 基于分数的模型能以高保真度重建MRI图像,即使在相对较高的加速因子下也是如此,但需要在更大规模的图像上进一步研究以确保诊断质量。
研究设计与样本
- 回顾性研究,使用2010年至2019年大学医院9751例乳腺MRI检查(5086名女性),训练集9549例,独立测试集100例。
- MRI在1.5-T系统(Achieva和Ingenia;Philips Medical Systems)上按标准化协议进行,使用双乳四元件表面线圈(Invivo),两个压迫板用于头尾方向固定乳腺(Noras)。
- 参考标准为临床常规采集的原始MRI图像。
- 两位分别有7年和15年乳腺MRI经验的放射科医生在1到5分评分表上评估重建图像与参考图像的匹配程度,5分表示与参考完全匹配。
关键影像表现/征象
- 基于分数的模型能从欠采样k空间数据有效重建图像,加速因子R从1(全采样)到20(二十倍欠采样)的重建图像看起来真实,但与真实图像相比存在解剖变异。
诊断标准与关键数值
- 两位放射科医生在加速因子为2时将图像评为几乎无法区分原图(5分制中评分4或5)的比例分别为100%(放射科医生1)和99%(放射科医生2)。
- 加速因子为5时该比例降至88%和70%,加速因子为20时降至5%和21%。
- 加速因子R=2、5、20的平均评分分别为4.8±0.10、4.0±0.10、2.6±0.10。
- 两位放射科医生间一致性Cohen kappa值为0.61(95%CI:0.56–0.68)。
- 在最大欠采样因子R=20时,基于分数的方法PSNR约为27.04 dB,SSIM指数为0.78。
临床应用与阅片要点
- 作者认为基于分数的模型是加速MRI重建的有前景方法,但需进一步研究。
- 作者指出,为减少变异性,放射科医生必须遵守既定的图像解读指南和协议,咨询同事或参考其他成像方式也可能必要。
- 作者指出,在临床环境中应谨慎解读PSNR和SSIM等定量指标。
局限性
- 本研究的显著局限是未评估重建图像的诊断准确性。
- 基于生成式AI模型的重建方法可能无法准确表示潜在恶性病变,虽未发现此问题的证据,但缺乏证据不能证实问题不存在,需广泛研究后才能可靠用于临床。
- 未针对不同解剖区域训练模型,也未在外部机构应用模型。
- 基于分数的模型依赖大量全采样图像进行训练,可能限制其在不同数据集或更高分辨率图像上的适应性,泛化能力需进一步探索。
- 研究范围限于二维成像,对三维成像的效果尚待未来研究。
全文中译21 节 · 点击展开
引言
乳腺磁共振成像(MRI)凭借其优越的软组织对比度以及通过对比增强技术显示血管生成的能力,在乳腺癌检测方面较超声(US)和乳腺X线摄影等其他模态具有明显优势[1]。近期,欧洲乳腺影像学会(EUSOBI)发表共识声明,倡导对致密型乳腺患者进行常规筛查[2]。然而,乳腺MRI的广泛应用受到MRI扫描仪高昂成本及所需采集时间的制约。因此,对能够缩短检查时间从而增加乳腺MRI可及性的加速图像采集方法的需求日益增长。加速MRI采集的一种常用方法是对k空间数据进行欠采样,并利用敏感度编码(SENSE)[3]或压缩感知(CS)[4]从欠采样k空间数据中重建图像数据。生成式机器学习模型[5]的出现拓展了这些可能性。生成模型能够学习典型图像的特征,随后可用于合成保留真实图像全部属性的新图像[6]。该技术在放射学领域已展现出广阔的应用前景,例如减少对对比剂的需求[7],并为加速MRI采集提供了潜在途径[8, 9]。
在这些生成模型中,基于评分的模型提供了一种颇具前景的方法[10–12]。这些模型在无监督学习框架下运行。通过整合生成模型对典型MRI图像外观的先验知识,可以解决因k空间数据缺失而产生的模糊性。这使得即使部分k空间数据缺失,重建过程仍能完成[13]。
MRI重建是医学影像中的一项重要技术。传统MRI重建技术耗时且计算成本高,限制了其在临床应用中的实际使用。然而,近期机器学习的进展使生成模型在提高MRI重建速度和准确性方面变得非常高效。现有研究已探索了生成对抗网络(GAN)的应用[14–16]。然而,GAN训练困难,而扩散模型已被证明在医学影像中具有更好的性能,在多样性和图像保真度方面优于GAN[17]。因此,我们聚焦于基于评分的模型,其与基于扩散的模型具有相同的底层结构,并允许对MRI重建过程进行数学整合[10, 13]。
在本研究中,我们利用基于评分的生成模型来加速乳腺MRI采集。我们的方法包括:使用深度神经网络对大型乳腺MRI图像数据集进行训练,以学习MRI图像的潜在概率分布,即学习这些图像的总体外观。通过将学习到的概率分布的先验知识与采集到的k空间测量值相结合,我们能够快速、准确地重建MRI图像,并比较k空间数据在不同欠采样水平下重建图像的质量。
我们本研究的假设是:(1)基于分数的模型可以作为有效的生成模型用于合成乳腺MRI图像;(2)这些模型可以在不损害图像质量的情况下加速乳腺MRI采集。
材料与方法
伦理声明
已获得当地机构审查委员会批准(EK028/19),且根据人体与动物权利声明和法规,本项针对匿名数据的回顾性研究豁免了患者知情同意。
患者入组与研究设计
在这项回顾性研究中,我们使用了某大学医院2010年至2019年间收集的乳腺MRI检查数据集。该数据集包含5086名女性的9751次乳腺MRI检查。所有患者均连续入组。纳入标准围绕接受标准乳腺MRI筛查的患者,排除原因为缺失T2加权图像。数据预处理详情见图1。乳腺动态对比增强(DCE)-MRI研究按照标准化方案在1.5-T系统(Achieva和Ingenia;Philips Medical Systems)上进行,使用双乳四元件表面线圈(Invivo),并使用两个压迫板在头尾方向上固定乳腺(Noras)[18]。T2成像方案描述见补充材料中的表S.2。
纳入标准
我们使用UKA乳腺MRI数据集进行了MRI重建实验,该数据集通过从该医院2010年至2021年间所有已采集的乳腺MRI检查中随机抽样构建。我们仅排除了缺失序列的检查,除此之外未使用排除标准,以抽样获得全面且具有代表性的乳腺MRI检查集。
MRI图像重建
基于分数的模型
基于分数的模型是一种生成模型,使用U形编码器-解码器网络架构[19](图S.7),通过分数匹配[20, 21]学习输入数据的概率分布。有关该模型的更详细概述,请参见补充材料A节。
模型训练
我们将每个T2加权3D体积分别切成三个2D切片,其z位置在检查中随机采样。对于所有图像,我们共有28,647个2D MRI切片。提取图像强度并进行z归一化。所有图像的分辨率被重采样至384 × 384。我们首先使用基于分数的生成模型训练一个先验。在掩蔽过程中我们仅使用垂直方向,算法中其他参数保持不变。为测试模型的重建能力,我们通过执行笛卡尔采样的傅里叶变换将图像转换为k空间,然后根据预先指定的比例在随机位置删除k空间线。例如,对于加速因子5,我们删除了所有k空间线的80%。关于数据集准备和训练的全面细节见补充材料C节。
图像重建
使用训练好的模型,我们采用退火朗之万动力学[2]重建欠采样图像。为了测试我们模型的重建能力,我们通过执行笛卡尔采样的傅里叶变换将图像转换为k空间,然后根据预先指定的比例随机删除k空间线。例如,对于5倍的加速因子,我们删除了所有k空间线的80%。完整的训练到重建过程如图2所示。
图像评估
使用了峰值信噪比(PSNR)[22]和结构相似性指数测量(SSIM)[23]等定量指标以及定性评估。定性指标包括由两位分别具有7年和15年乳腺MRI经验的放射科医生在区间量表上进行的评分,将重建图像与参考图像进行比较。我们建立了一个网络应用程序,供放射科医生评估不同加速因子和减少k空间测量的重建MRI图像与参考图像的比较。作为参考图像,我们选择了临床常规中采集的原始MRI图像。他们按照1到5的等级进行评分,5表示与参考完全匹配。评估侧重于与参考的偏差,而不仅仅是重建伪影。基于浏览器的评估工具的截图如补充材料中的图S.2所示。
进行了全面的统计分析,以评估图像重建方法的性能并评估评估放射科医生之间的一致性。
定量评估
使用PSNR和SSIM等指标评估重建图像与全采样图像之间的定量相似性。使用来自不同检查的100个切片的样本计算平均PSNR和SSIM值。分析了这些指标随不同欠采样因子的变化趋势,揭示了对数据压缩和由此产生的图像质量的影响。
定性评估
放射科医生的评分采用五分制,对各种加速因子的评分计算平均值和标准差。两位放射科医生之间的读者间一致性使用Cohen's kappa统计量进行评估。
统计显著性
执行非参数Mann–Whitney U检验以确定评分的显著性。结果在95%置信水平下进行解释。
阅读策略
为确保标准化和无偏见的评估,放射科医生被告知研究目标并获得参考集。他们的定性评估进一步得到基于浏览器的评估工具截图的辅助,如补充材料中的图S.2所示。
统计显著性
采用非参数Mann–Whitney U检验确定评分差异的显著性,以95%置信水平进行解释。
结果
数据集与人口统计学
应用纳入和排除标准后,我们的最终队列包括来自5086名患者的9751次检查。患者的人口统计学详细信息总结于表S.1中。这些检查的时间跨度为2010年1月至2019年12月,显示37%为筛查环境下采集,37%为随访检查,其余26%包括为解决问题和其他原因进行的检查(详情见图S.1)。
图像重建
首先,为测试训练模型的生成能力,我们能够在没有任何k空间数据的情况下采样随机乳腺MRI图像(见补充材料中的图S.3)。其次,该模型有效地从欠采样k空间数据重建图像。图3显示了基于不同采样率的两次检查的MRI切片。
定量评估
使用PSNR和SSIM测量重建图像与全采样图像之间的相似性。我们计算了来自100次不同检查的100个随机选择切片的平均PSNR和SSIM值。从补充材料中的图S.4可以明显看出,平均PSNR和SSIM值随着欠采样因子的增加而下降。在最大欠采样因子R = 20时,基于分数的方法仍显示出约27.04 dB的PSNR和0.78的SSIM指数。
定性评估
两名放射科医生使用1至5分的量表对重建图像进行评分。加速因子R = 2、R = 5和R = 20的平均评分分别为4.8 ± 0.10、4.0 ± 0.10和2.6 ± 0.10(见图4)。观察到显著的读者间一致性,Cohen's kappa值为0.61(95%置信区间:0.56–0.68)。Mann–Whitney U检验显示p值为0.26。补充材料中的图S.6提供了放射科医生之间评分差异显著的重建图像实例。
定量指标与定性评分之间的相关性
为了弥合定量图像质量指标与定性专家评估之间的差距,我们进行了一项分析,直接将PSNR和SSIM值与两位匿名放射科医生提供的主观评分进行比较。该比较如图S.5所示,旨在检验图像重建质量的客观指标与专业临床判断的一致程度。
图S.5中通过箱线图展示的分析显示了PSNR和SSIM值在放射科医生设定的各评分类别中的分布。这些图揭示了一种正相关关系,表明较高的PSNR和SSIM值通常对应较高的定性评分。这一关系验证了PSNR和SSIM作为放射学视角下图像质量指标的预测价值。具体而言,各评分间指标的集中趋势突显了一种趋势,即改善的定量指标——表明更接近全采样图像——与放射科医生更有利的评估相关联。
计算细节
基于评分的模型在28,647张图像上进行了训练,在NVIDIA RTX 3090 GPU上耗时约72小时。在实际应用中,预训练模型将用于图像重建,在同一GPU上每个MRI切片约需7分钟。
讨论
我们的研究强调了基于评分的扩散模型在简化MRI重建方面的潜力,在保持清晰度和可靠性的同时实现了MRI加速。随着加速因子的增加,我们观察到定量指标(PSNR和SSIM)和放射科医生的定性评估均显示图像质量下降。值得注意的是,该模型从欠采样k空间数据进行的重建达到了高达R = 20的加速因子,尽管在该最高加速水平下图像质量评分显著降低。
除了我们的发现之外,重要的是要认识到,虽然PSNR和SSIM为图像重建的技术质量提供了有价值的见解,但它们可能无法完全涵盖放射科医生视觉评估的复杂性。我们数据中离群值的存在表明,放射科医生的评估受到超出简单图像保真度指标的一系列因素的影响。图像的临床相关性、放射科医生的从业年限以及重要诊断特征的可感知性等因素在其判断中起着重要作用。这一观察强调了这样一个概念:定量指标虽然有帮助,但并不能完全捕捉医学专家所感知的视觉评估和临床适用性的复杂性[24]。我们的发现总体上显示,我们重建技术的定量评估与放射科医生的定性评估之间具有良好的一致性;然而,这凸显了在临床环境中对这些指标进行谨慎解读的必要性。未来的研究应考虑这些动态因素,以更好地理解如何将此类工具整合到临床实践中,而不过度依赖单独的定量指标。
目前,敏感性编码(SENSE)[3]和广义自动校准部分并行采集(GRAPPA)[25]等加速技术在临床实践中占主导地位,新兴研究则聚焦于用于MRI重建的卷积神经网络[26, 27]。然而,我们的研究强调了基于评分的模型的独特优势。首先,它规避了对多线圈的需求,而这是SENSE和GRAPPA的必要条件。我们的结果证明了这一点,即使仅使用四个线圈,也实现了20的加速因子。此外,基于评分的模型的多功能性使其能够在训练后适应各种采集方案,这与需要针对不同采集技术进行特定再训练的专用神经网络形成对比[26, 27]。
此外,我们将T1和T2加权MRI序列作为类别标签整合到评分扩散模型中。这种方法使我们能够训练一个单一模型来处理多种MRI序列,而不是为每个序列分别训练模型。在初步实验中,我们还测试了仅在T2加权图像上训练的模型是否可用于重建T1加权图像,但我们发现需要整合T1加权图像才能实现这一目标。这种整合是有益的,因为它降低了训练单独模型的计算成本,并提高了MRI重建的准确性和效率。
然而,为了尽量减少变异性,放射科医生必须遵守既定的图像解读指南和协议。与同事会诊或参考其他成像方式也可能是必要的。我们研究的一个显著局限性是,尚未评估重建图像的诊断准确性。例如,可以想象基于生成式AI模型的重建方法可能无法准确表示潜在恶性病变。虽然未发现该问题的证据,但缺乏证据并不能确认问题不存在。因此,在这些方法能够可靠地用于临床环境之前,需要进行广泛的调查。如果未来研究表明所提出的方法可以在临床实践中实施,那么这将有助于缓解患者可获得的MRI能力有限的问题。考虑到欧洲乳腺影像学会最近建议通过MRI对致密型乳腺女性进行筛查[28],这一点尤为紧迫。
使用生成模型进行乳腺MRI成像的另一种方法是减少对造影剂的需求。正如Müller-Franzes等人[7]在最近一篇论文中所展示的,生成模型可以增强造影剂剂量减少的MRI减影图像。然而,我们没有针对不同解剖区域训练模型,也没有将模型应用于外部机构。作为一项概念验证研究,我们旨在证明生成模型学习了其训练所在机构的乳腺图像的潜在分布。然而,有证据表明,在一个特定解剖结构或数据集上训练的模型也可以用于重建不相关的解剖结构:Jalal等人训练了一个基于评分的扩散模型来重建大脑的MRI图像,并将其应用于腹部和膝关节MRI图像[13]。未来的研究应调查这一点,并对这类重建图像进行临床评估。
尽管结果令人鼓舞,我们的研究并非没有局限性。首先,我们基于评分的模型依赖于大量完全采样的图像进行训练,这可能限制其在不同数据集或更高分辨率图像上的适应性。这引发了关于其泛化能力的相关问题,需要进一步探索。此外,我们的研究范围仅限于二维成像,理解其在三维成像上的有效性仍是未来研究的主题。我们的关注点也主要集中在T2加权图像上;因此,将我们的发现外推到不同的MRI对比度需要额外的研究。最后,生成模型可能“幻觉”信息的固有特性是一个关键考虑因素,尤其是在评估其在临床环境中的可行性时。此类模型在临床场景中的可靠性仍是未来研究的重要方向。
总之,我们的工作展示了基于评分的模型在加速MRI重建方面的潜力。与现有方法相比,基于评分的模型不需要多个线圈,并且可以与任意采集方案一起使用。需要进一步研究,但我们认为基于评分的模型是临床实践中加速MRI重建的一种有前景的方法。
补充信息
电子补充材料
引用
- Okolie A, Dirrichs T, Huck LC, et al. Accelerating breast MRI acquisition with generative AI models. Eur Radiol. 2024. PMID: 39088043. doi:10.1007/s00330-024-10853-x
- 全文:PMC11782449(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11782449/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。