非对比增强影像输入序列对神经网络生成虚拟增强乳腺MRI的影响
该回顾性研究纳入1064例多参数乳腺MRI扫描,训练11个独立神经网络,用不同T1w、T2w和多b值DWI组合生成虚拟增强图像。定量指标在目标病灶中随多b值DWI加入而显著改善(p<0.05),而全乳腺体积指标在含T1w组合间无显著差异(p>0.05)。定性阅片显示T1w、T2w及三b值DWI组合表现最佳,T1w和DWI是获得高对比/SNR满意度及良好强化病灶显示所必需。
要点
- T1w、T2w及三b值DWI组合在全部四项阅读特征中均进入前三,定性表现最佳。
- 含多b值DWI(含b1500)输入时,目标病灶的SSIM由50.25±22.84(T1w)和51.94±22.80(T1w, T2w)升至63.08±20.16(p=0.011)。
- 缺乏T1w或DWI输入会显著降低强化病灶/NME的显示及对比/SNR满意度。
核心结论
- 虚拟增强乳腺MRI的表现显著受输入序列影响,多b值DWI加入形态学T1w/T2w序列可显著改善定量指标和视觉质量。
研究设计与样本
- 经IRB批准的回顾性研究,纳入2017年至2020年单中心两台3-T MRI的1064例多参数乳腺MRI扫描(年龄52±12岁),最终队列973例随机分为训练集710例、验证集76例和独立测试集187例。
- 训练11个独立神经网络,使用T1w、T2w和多b值DWI(b=50-1500 s/mm2)的不同输入组合生成vCE图像,以DCE第二期减影为参考标准。
- 三名独立阅片者(两名board-certified放射科医师经验>10年,一名医学研究助理经验>2年)对vCE图像进行定性评分,定量指标包括SSIM、PSNR、NRMSE和MEDSYMAC。
关键影像表现/征象
- 不含任何DWI序列输入的vCE图像中,GBCA增强后减影图像上强化的病灶不显示强化。
- 含b1500输入的vCE版本较仅含b50和b750的vCE版本显示更明显的强化。
- 仅由DWI输入生成的vCE图像保留明显的「DWI样」纹理。
- vCE图像背景实质强化较CE图像更模糊,CE减影图像中可见轻微非诊断性伪影。
诊断标准与关键数值
- 定性评分采用11点Likert量表(0=不可接受/不足,10=优秀)评估诊断图像质量、图像锐利度、对比/视觉SNR满意度。
- 病灶/NME显示度采用9点Likert量表(0=病灶/NME不可见,8=完美显示),vCE图像使用11点量表(0=不可见,8=与GBCA减影完全一致,9=强化强于CE减影,10=强化远强于CE图像)。
- 定量指标:SSIM、PSNR、NRMSE和MEDSYMAC,在全乳腺体积和手动分割的目标病灶内计算。
- 目标病灶SSIM在加入b1500多b值DWI后由50.25±22.84(T1w)和51.94±22.80(T1w, T2w)升至63.08±20.16(p=0.011),MEDSYMAC由13.92±5.19(T1w)和14.12±6.28(T1w, T2w)降至11.01±5.07(p=0.011)。
临床应用与阅片要点
- T1w和DWI采集是vCE训练中获得高对比/SNR满意度和良好强化病灶显示所必需的。
- T1w、T2w、b50/b750/b1500组合是唯一在全部四项阅读特征中均进入前三的输入组合。
- T1w、b50/b750/b1500组合在诊断图像质量、SNR/对比满意度和病灶强化三项中进入前三,且病灶强化评分高于T1w、T2w、b50/b750/b1500组合(无显著差异,p=1)。
- 全乳腺体积指标受输入变化影响远小于针对乳腺组织内目标病灶的指标,提示视觉阅片和临床目标导向指标的重要性。
- 作者指出,未来神经网络提供vCE图像可能进一步提高乳腺MRI的可及性,但转化研究中需考虑输入数据的显著影响。
局限性
- 原文在讨论中引用了Mueller-Franzes等的研究,指出仅使用形态学序列的vCE成像在显示强化病灶方面能力有限,这与本研究数据一致。
- 原文在结论中提出,未来神经网络提供vCE图像可能进一步提高乳腺MRI的可及性,但转化研究中需考虑输入数据的显著影响。
全文中译11 节 · 点击展开
引言
乳腺MRI常规包括静脉注射钆基对比剂(GBCA)后采集对比增强(CE)图像序列[1]。GBCA有助于突出与新生血管形成改变和/或细胞外GBCA分布模式相关的组织变化,这些变化常见于重要发现中。然而,GBCA给药的必要性可能限制可及性,尤其是在筛查环境中[2–5]。GBCA给药增加了乳腺MRI的直接和间接成本,对低危和中危人群筛查中的成本效益构成挑战[2, 6, 7]。这是由于即使缩短了MRI扫描时间(例如在简化方案中)[8, 9],患者准备时间仍然增加,以及GBCA本身的成本[10–12]。此外,文献中已报道钆在人体内的沉积[13],这可能构成年度筛查的障碍。
近期多项发表的研究表明,利用深度学习从平扫采集生成虚拟对比增强(vCE)乳腺MRI扫描在技术上是可行的[14–18]。鉴于该研究领域的新颖性,文献中在用于训练vCE成像神经网络的输入数据选择方面仍观察到高度变异性。已采用多种方案,包括单独T1加权(T1w)序列[14, 15]、T1w与T2加权(T2w)图像采集的组合[16],以及纳入扩散加权成像(DWI)的更复杂方案[17]。
本研究旨在利用定量全局和区域指标,在强化和非强化发现中系统研究不同MRI输入序列对神经网络生成vCE乳腺MRI扫描能力的影响。此外,还进行了一项多读者研究,以评估图像质量以及病灶/非肿块强化(NME)的可见性。
材料与方法
患者队列和MRI方案概述
Friedrich-Alexander大学埃尔朗根-纽伦堡伦理委员会批准了这项回顾性研究,并豁免了知情同意的需要。该研究纳入了2017年1月至2020年6月在埃尔朗根大学医院采集的1064例临床指征明确的常规乳腺MRI扫描(年龄52 ± 12岁)。检查采用俯卧位,使用两台3-T MRI扫描仪(MAGNETOM Skyra-Fit、MAGNETOM Vida,Siemens Healthineers)以及分别为每台扫描仪配备的独立18通道乳腺线圈(均为Siemens Healthineers)。检查方案包括T1w、T2w脂肪饱和(以下简称T2w)、多b值DWI(b值:50、750、1500 s/mm²)以及五时间点动态对比增强(DCE)图像采集,减影序列由MRI扫描仪自动生成。进一步的序列细节见表1。
91例MRI扫描因存在乳腺植入物而被排除(图1a)。最终队列(n = 973)在患者层面随机分为训练集(n = 710)、验证集(n = 76)和独立的测试集(n = 187)。
独立测试集通过两项实验进行评估(图1b)。实验1:对完整测试数据集进行定量分析,包括(1)整个乳腺体积(n = 187)和(2)使用检查子集,其中目标发现(强化或非强化)被识别并随后手动分割(145/187例),如“定量分析”小节所述。
实验2:由三名独立读者使用完整独立测试集(n = 187)进行视觉阅读的定性分析,相应评分如“定性分析”小节所述。
所有队列检查(n = 973)此前已被纳入专注于检测或预测DCE和DWI衍生最大强度投影中伪影发生的研究[19, 20]。
用于vCE乳腺MRI的输入序列
由于我们的乳腺MRI数据集包含文献中描述的所有三种类型的原生输入采集(T1w、T2w和高级DWI),我们研究了这些输入的所有可能组合的使用。然而,由于补充材料“排除数据类型的理由”一节中所述的原因,我们决定不使用Chung等人[17]使用的扫描仪衍生ADC图和Muller-Franzes等人[16]使用的模拟低剂量图像。来自高级DWI的b值50、750和1500 s/mm²(分别进一步称为b50、b750和b1500)被分组为b50/b750和b50/b750/b1500的输入通道,从而反映临床使用的组合[21, 22]。为了研究各个输入组合的影响,我们决定研究T1w、T2w和两个DWI输入集的所有可能组合。这产生了以下非对比增强输入序列的组合:T1w
T1w、T2w
T1w、b50/b750
T1w、b50/b750/b1500
T2w
T2w、b50/b750
T2w、b50/b750/b1500
b50/b750
b50/b750/b1500
T1w、T2w、b50/b750
T1w、T2w、b50/b750/b1500
仅包含T2w、仅DWI序列或两者组合的组合此前未在其他研究中提出。我们将其纳入评估,以便在非对比增强简化协议中潜在使用[23, 24]。
神经网络架构与训练
用于生成vCE乳腺MRI扫描的两种主要架构是生成对抗网络(GANs)[14–16]和编码器-解码器卷积神经网络[17, 18]。在本研究中,我们采用了具有三个编码器和解码器阶段的2D-U-net架构,这是一种已建立的编码器-解码器网络,用于我们的分析。选择U-net架构的理由是基于其与基于GAN的解决方案相比的稳健性。通过采用更简单且更稳健的架构,我们旨在最大限度地减少由更复杂模型引入的潜在混杂因素,例如GAN中优化判别器网络的必要性。
2D-U-Net架构的实现、数据预处理和网络训练详见补充图1和补充材料“图像预处理”“神经网络架构与训练”部分。在训练过程中,各组合的增强前MRI采集数据按切片逐一输入神经网络。动态对比增强序列的第二次增强后减影被选为真实标准。
定量分析
为进行定量评估,按照补充材料“目标病灶分割”部分的详细说明,对独立测试集中目标病灶进行了手动分割。
为对图像序列进行定量评估,计算了两个相似性指标:结构相似性指数(SSIM)[25]、峰值信噪比(PSNR),以及两个误差指标:归一化均方根误差(NRMSE)和中位对称精度(MEDSYMAC)[26]。评估在完整乳腺体积内和目标病灶内部进行。
关于评分差异统计分析的详细信息见补充材料“统计分析”部分。选择所评估指标的理由详见补充材料“定量指标选择”部分。
定性分析
与Muller-Franzes等人[16]的研究类似,阅片任务以多阅片者并排比较vCE和CE图像的方式进行。在本次阅片中,将原始CE图像采集的切片与所有十一种vCE输入组合变体的对应切片呈现给阅片者。所有评估均由三名独立阅片者(委员会认证放射科医师:S.B.和D.H.,两者均有>10年经验;医学研究助理:J.E.,具有>2年乳腺MRI经验)使用多点类Likert量表完成。阅片者对用于生成每个虚拟对比的输入序列组合设盲。然而,由于其在乳腺MRI方面的专业知识,阅片者可能已推断出某些可能的输入组合,例如仅由DWI输入生成的vCE图像保留了明显的“DWI样”纹理。此外,CE图像中某些细微但可辨别的纹理特征使其能够与vCE图像区分开来,例如CE减影中通常存在的轻微非诊断性但可见的伪影,以及vCE图像中背景实质强化表现更为模糊。
为了能够更准确地反映不同vCE输入组合的变化,采用了先前建议的11点类Likert量表[27]。在阅片过程中,使用11点类Likert量表(0-不可接受/不足,10-极好)对CE和vCE图像评估以下特征:诊断图像质量、图像锐度、对图像对比度的满意度以及视觉信噪比。此外,在CE减影图像上,将潜在的显著强化病灶或NME与周围组织进行比较,并使用9点类Likert量表评估病灶/NME的显著性(0-病灶/NME不可见,8-病灶/NME显著性完美)。这样做的目的是将Likert评分与vCE图像进行比较,在vCE图像中,要求阅片者使用11点类Likert量表评估强化病灶/NME的显著性是否得到相应反映(0-病灶/NME不可见,8-与GBCA减影相比病灶/NME显著性完全一致),阅片时还可使用两个“附加评分”:9-病灶/NME强化程度高于CE减影图像,10-病灶/NME强化程度远高于CE图像。定性评分统计评估的详细信息见补充材料“统计分析”部分。
结果
人口统计学和临床发现
完整数据集及各子集的人口统计学特征见表2。在测试队列(n = 187)中,n = 67(35.8%)例为恶性病灶(中位大小 = 20.4 mm,第25-75百分位数 = 13.0-37.7 mm)。在n = 67个恶性病灶中,组织病理学描述如下:n = 11(16%)导管原位癌(DCIS),n = 7(10%)浸润性小叶癌(ILC),n = 1例黏液癌,n = 48(72%)为非特殊型浸润性乳腺癌,其中n = 10/48例非特殊型伴有相关DCIS。
根据临床报告,n = 145(77.5%)次检查具有方法学中定义的目标发现(中位大小 = 14.8 mm,第25-75百分位数 = 7.1-26.4 mm)。
实验1:定量分析
图2显示了全部十一种输入组合在整个乳腺体积和分割发现中的技术性能指标。使用Friedmann检验对乳腺体积评估和目标发现评估的所有定量评分均发现显著差异(所有p < 0.001)。定量指标的均值和标准差以及输入序列性能多重比较的详细事后Nemenyi检验结果见补充图2。
在乳腺体积相似性指标中,当在单独T1w序列基础上加入T2w序列时,指标显著升高(SSIM = 87.06 ± 2.57 对 86.91 ± 2.58,p = 0.011;PSNR = 24.33 ± 1.79 对 24.18 ± 1.82 dB,p = 0.011)。然而,虽然两项误差指标均下降(NRMSE = 8.77 ± 1.17 对 8.91 ± 1.20,p = 0.011;MEDSYMAC = 2.02 ± 0.92 对 2.08 ± 0.95 dB,p = 1.0),但仅NRMSE指标变化显著。单独T1w序列产生的相似性指标显著高于T2w(p = 0.011)或单独DWI(p = 0.011)以及仅这两类序列的联合(p = 0.011)。与仅输入T1w序列相比,将b50/b750组合或b50/b750/b1500组合加入T1w序列后,全乳腺体积相似性指标均无显著差异(SSIM = 87.00 ± 2.55,p = 1.0,PSNR = 22.82 ± 1.70 dB,p = 1.0)(T1w、b50/b750/b1500联合的SSIM = 87.00 ± 2.55,p = 1.0)。与仅使用T1w输入序列相比,将T2w及不同DWI序列组合加入T1w后,相似性指标可见显著改善(两项指标及两项比较的p = 0.11)。
当考虑乳腺内分割目标病灶的指标时,加入含超高b值b1500的多b值DWI后,SSIM显著升高,从50.25 ± 22.84(T1w)和51.94 ± 22.80(T1w、T2w)升至63.08 ± 20.16(p = 0.011),MEDSYMAC从13.92 ± 5.19(T1w)和14.12 ± 6.28(T1w、T2w)降至11.01 ± 5.07(两者p = 0.011)。在T1w、b50/b750/b1500联合中加入T2w序列在任何评估中均未显著影响定量指标(p = 1.0)。所有序列组合的进一步数值结果见补充表2。
实验2:定性分析
图3a–d展示了四个病例。约n = 93/187(49.7%)的独立测试病例被至少两名读者判定为显示肿块强化病灶(n = 61/93,65.6%)或无肿块强化(NME)(n = 32/93,34.4%)(以下统称为强化病灶/NME)。定性阅片的箱线图见图4,分别展示整个患者队列及强化病灶/NME病例。采用Friedmann检验,整个队列及强化病灶/NME病例的所有定性评分均存在显著差异(均p < 0.001)。事后Nemenyi检验结果见图5。读者间定性评分及读者一致性的箱线图见补充图3和4。
表3显示了针对每个阅片特征表现最佳的三组输入组合。各阅片特征的详细评估见补充材料“详细阅片结果”部分。基于该评估可以注意到,T1w、T2w、b50/b750/1500的组合是唯一在所有四个阅片特征中均出现在前三组合中的组合。同时,T1w、b50/b750/1500的组合在三个特征(诊断图像质量、信噪比/对比度满意度及病灶强化)中出现在前三组合中,并且与T1w、T2w、b50/b750/b1500组合相比,提供了更高的(不显著;p = 1)病灶强化评分。
对于两种输入组合,n = 93/93的强化病灶在vCE数据上均被三名读者中的至少两名判定为至少提供最低强化评分(评分1)。然而,对于输入组合T1w、b50/b750/1500,n = 6/93(6.5%)的病灶被赋予最低强化评分1。相比之下,T1w、T2w、b50/b750/1500组合显示n = 8/93(8.6%)的病灶强化评分为1。这些最低强化病灶的详细特征见补充材料“最低强化病例评估”部分。
讨论
本研究表明,虚拟对比增强(vCE)乳腺MRI神经网络的性能显著依赖于训练时所使用的输入采集序列。当多b值DWI(包括超高b值)与高分辨率形态学T1加权图像采集相结合时,在GBCA图像采集中所显示病灶/NME的可见性方面,无论定性还是定量,均观察到最高的整体性能。
我们的数据进一步证明了视觉阅片和以临床目标为中心的指标的相关性,因为基于全图像体积的指标受输入变化的影响远小于专门考虑乳腺组织内目标发现的指标。
使用非增强MRI采集生成vCE图像是乳腺MRI中一个新兴的研究领域[14–18]。已提出不同的方法,许多研究集中在神经网络训练中的形态学采集。既往研究依赖于T1w和T2w图像采集的组合来描绘解剖形态[14–16]。Mueller-Franzes等[16]开展了关于该vCE方法的最大规模研究,提示仅使用形态学序列的vCE成像在描绘强化病灶方面能力有限,这与我们的数据一致。
我们的结果表明,DWI采集对vCE成像正确描绘强化病灶/非肿块强化(NME)的能力有显著贡献。既往研究支持这一发现[17, 18]。然而,在此之前尚不清楚DWI采集(如EUSOBI推荐的采集方案[22]或包含超高b值的采集方案[21])是否会影响神经网络生成vCE图像的能力。我们的结果提示,在疑难病例中,加入超高b值可能提高病灶/NME的显著性或强化程度;但鉴于我们的样本量,这些差异无统计学意义。超高b值DWI扫描在图像质量足够的情况下,有助于在健康的纤维腺体组织中检测可疑乳腺病灶[21],而健康的纤维腺体组织在b值超过约1250 s/mm²时通常会出现信号衰减。
输入数据中包含T2w采集似乎主要影响图像质量,而不影响vCE强化病灶/NME的能力。这可以从以下方面观察到:在包含T2w采集的数据中,诊断图像质量的定性指标(图像锐利度和满意度)均有所提高,同时在整个乳腺体积上计算的定量指标也有所改善(见图4、补充表2和补充图2)。对改善病灶/NME强化能力的缺乏影响证实了Mueller-Franzes等人[16]的观察结果,他们指出仅使用T1w和T2w数据输入的神经网络在大多数情况下无法提供良好的病灶强化。
我们的研究表明,与GBCA增强减影图像相比,部分病灶的虚拟强化程度显著较低。即使在本任务被认为更优的输入组合(输入序列:T1w、b50/b750/1500)中也是如此,约16.1%的病灶强化评分<GBCA增强减影的50%,且n=6/92个病灶(6.5%)仅显示最低强化评分1——其中一例为恶性病灶。然而,分析这些病例并未发现与组织病理学特征、强化模式或病灶大小有明确关联——但观察到较小病灶的评分方差略高。需要考虑到,本研究的样本量不足以以足够的效度研究这一依赖性。有趣的是,如前所述,虽然加入T2w序列可略微改善整体图像质量,但在恶性病例中使低强化评分增至三倍,这可能提示输入中的液体加权过重影响了神经网络,导致将强化病灶误判为囊性表现。
完整图像的定量相似性(SSIM和PSNR)与误差指标(NRMSE和MEDSYMAC)与视觉读片及目标病灶聚焦分析的结果相比仅显示出微小差异。值得注意的是,即使在仅使用T1w图像训练的模型中,整个乳腺体积内也提供了总体较高的相似性和较低的误差值。然而,三位读片者均一致发现该方法在病灶/非肿块强化(NME)增强方面存在假阴性。这种情况可归因于可疑病灶/NME在图像中仅占极小比例;因此,在对整个乳腺体积的相似性和误差指标进行平均时,遗漏的强化不影响最终定量指标。我们观察到合成数据集的评估需要附加定性视觉读片,因为仅靠定量指标的效用有限,这与既往研究一致[28]。值得注意的是,我们的观察也与研究其他器官区域深度学习技术的影像学研究一致,这些研究表明定量指标无法捕捉MRI重建任务[29]、图像质量与伪影评估[30]以及图像分割[31, 32]中数据集之间的所有细微差异。
患者特征可能叠加影响结果并限制vCE图像生成模型的泛化能力。Chung等[17]仅纳入经活检证实的浸润性乳腺癌患者,平均病灶大小为24 mm。该队列与Zhang等[18]的研究相符,后者未详细披露病灶大小。相比之下,Mueller-Franzes等[16]研究了因筛查而接受乳腺MRI的女性,其中位病灶大小连续较小,约为15 mm。本研究中所有发现的中位大小为14.5 mm,恶性病灶中位大小为20.4 mm,介于上述两项研究之间。我们的研究进一步纳入了在三级医院接受乳腺MRI的多样化临床真实世界女性群体。我们未进一步选择患者亚组以避免选择偏倚影响网络,并允许纳入病灶大小、病灶特征及乳腺MRI临床指征的自然分布。
鉴于该研究领域尚处于起步阶段,许多问题和挑战必须得到解决,包括我们研究的局限性。虽然我们涵盖了两套MRI扫描仪系统,并在训练集和测试集中遇到了乳腺MRI真实世界的各类临床病例,但仍需进一步研究以确定其普适性、稳健性和临床适用性的边界。这延伸到序列设置、供应商和场强的差异。此外,我们仅研究了一种单一的编码器-解码器神经网络架构,但未来研究应评估其他神经网络架构类型,如其他编码器-解码器架构、生成对抗网络(GANs)或变换器(transformers)。其次,未评估诊断准确性;而是选择了病灶/非肿块强化(NME)显著性和图像质量的“软”标准,如先前研究[16, 17]所述,并结合定量指标。因此,根据我们的数据,无法就该方法的潜在临床适用性或潜在相关的影响临床因素得出结论,特别是关于病灶大小或类型对病灶可视化影响方面。
因此,需要具有多中心设计和盲法判读的大规模研究来确定潜在的临床应用(例如,在中风险筛查中)。此外,尽管探索了广泛的输入序列包括其子设置(不同的b值组合),但无法就潜在相关的补充对比例如化学交换饱和转移[33–35]得出结论。
总之,用于生成虚拟对比增强图像的神经网络在输入多参数非增强乳腺MRI协议时表现最佳,该协议包括高分辨率形态学信息以及具有超高b值图像采集的多b值弥散加权成像(DWI)。需要进一步研究以更全面地探索虚拟对比增强方法,然后再评估其临床适用性。
补充信息
电子补充材料
引用
- Liebert A, Schreiter H, Kapsner LA, et al. Impact of non-contrast-enhanced imaging input sequences on the generation of virtual contrast-enhanced breast MRI scans using neural network. Eur Radiol. 2024. PMID: 39455455. doi:10.1007/s00330-024-11142-3
- 全文:PMC12021982(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12021982/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。