评估深度学习重建用于更快前列腺MRI:视觉与诊断性能指标对比
回顾性多中心研究纳入1535例患者,对T2加权图像进行回顾性欠采样模拟加速方案,采用深度学习重建(DLRecon)和诊断性深度学习检测(DLDetect)评估视觉质量与诊断准确性。DLRecon在4倍和8倍欠采样下显著改善SSIM视觉质量,但诊断性能(pAUC FROC)显著低于全采样,提示DL重建可能降低诊断准确性。
要点
- DLRecon在R4和R8欠采样下SSIM视觉质量显著提高,但诊断pAUC FROC显著低于全采样R1。
- R4时DL和naive重建的pAUC均显著低于R1(1.58),DL p=0.024,naive p=0.02。
- 患者水平分析显示R4保持敏感度但特异度从R1的0.75降至0.54,阳性预测值从0.74降至0.61。
核心结论
- DL重建产生视觉上吸引人的图像但可能降低诊断准确性,将诊断AI纳入评估框架可提供临床相关指标。
研究设计与样本
- 回顾性多中心研究,纳入1535例患者,来自UMCG(2014-2020)、MHG(2013-2020)和RUMC(2016)三个中心。
- 采用双参数前列腺MRI,T2加权序列进行回顾性k空间欠采样模拟加速方案(R4和R8),开发DLRecon(3D U-Net)和DLDetect(3D U-Net)模型。
- 参考标准为经验丰富的泌尿放射科医生(4-25年经验)分配的PI-RADS评分和勾画的可能临床显著前列腺癌(PI-RADS ≥ 4)病灶。
- 测试集为306例(20%),训练验证集为1229例(80%),采用5折交叉验证。
关键影像表现/征象
- DLRecon在R4和R8欠采样下SSIM视觉质量显著改善,R4从0.68±0.03提高至0.78±0.02(p<0.001),R8从0.51±0.03提高至0.67±0.03(p<0.001)。
- DL重建可产生「幻觉效应」,表现为重建图像中出现原始数据不存在的细微不连续(如外周带强度不连续),导致DLDetect模型预测不存在的病灶(假阳性)或遗漏真实病灶(假阴性)。
诊断标准与关键数值
- 诊断准确性指标为FROC曲线部分面积(pAUC),范围0.1-2.5假阳性/患者;真阳性需与真实病灶10%重叠。
- R4时pAUC:DL重建1.33(CI 1.28-1.39) vs naive重建1.29(CI 1.23-1.35),均显著低于全采样R1的1.58(CI 1.52-1.64),DL p=0.024,naive p=0.02。
- R8时pAUC:DL重建1.12(CI 1.07-1.17) vs naive重建0.95(CI 0.89-1.01),p=0.067。
- 患者水平ROC分析:R1的AUC为0.87,R4为0.78;最优阈值0.76时,R1和R4敏感度均为0.84,特异度R4为0.54 vs R1为0.75,阳性预测值R4为0.61 vs R1为0.74,阴性预测值R4为0.81 vs R1为0.85。
临床应用与阅片要点
- DL重建虽改善视觉质量,但诊断性能可能降低,临床使用DL重建MRI扫描时需谨慎。
- DL重建可产生幻觉效应导致假阳性或假阴性,阅片时需注意与全采样图像对比。
- 诊断AI可作为评估DL重建诊断质量的量化指标,但放射科医生在验证AI解释中仍不可或缺。
局限性
- 研究依赖从DICOM进行回顾性k空间欠采样,使用图像空间数据而非多线圈k空间数据,结果需在未来使用多线圈k空间数据验证。
- 研究仅限于T2加权序列,未包括扩散加权成像等功能成像,未来工作应在DL模型中加入这些模态。
- 阅读者研究一致性为低至中等,Cohen's kappa在R4为0.2(CI -0.097至0.5),R8为0.4(CI 0.079至0.72)。
全文中译11 节 · 点击展开
引言
磁共振成像(MRI)在临床使用中经历了显著增长,1997年至2006年间检查量增长了三倍以上[1]。这一上升趋势仍在持续,尤其是随着对MRI在前列腺癌筛查中作用的不断探索[2]。这一扩展凸显了需要更快、更高效的MRI技术以应对日益增长的需求。深度学习重建(DLRecon)为加速MRI采集和提高通量提供了一条有前景的途径。然而,这些模型通常使用传统的图像质量指标(ImagQMs)进行训练和验证,例如结构相似性(SSIM)和峰值信噪比(PSNR)。遗憾的是,这些ImagQMs仅关注视觉质量,与放射科医生的视觉质量评估吻合不佳[3]。然而,必须指出的是,视觉质量——无论是通过计算评估还是由放射科医生评估——并不能解决诊断成像的主要目标:疾病的检测与表征。
基于ImagQMs优化DLRecon模型的一个担忧是引入“幻觉效应”——原始数据中不存在的虚假图像伪影或失真[4]。这些幻觉可能严重损害图像的诊断完整性,可能导致临床相关特征的错误呈现或遗漏。此外,虽然质量评估在理论上是可行的,但传统的放射科医生阅片研究因其耗时性和阅片者变异性而面临实际限制[5]。幻觉并不常见,因此要充分分析其影响需要大规模阅片研究,这使得它们在常规日常测试实践中不可行。
我们提出使用当前可用的诊断AI来评估对诊断准确性的影响。通过采用深度学习检测模型(DLDetect),我们旨在开发一种比传统ImagQMs更贴合临床相关性的诊断质量指标(DiagQM)。该DiagQM通过高效处理大型数据集和最小化阅片者变异性,解决了阅片研究的关键局限性,同时提供了幻觉效应的可量化度量。我们假设我们的DLDetect模型能够辨别由幻觉引起的诊断准确性下降。此外,如果DLRecon存在负面诊断影响——如DLDetect模型诊断性能下降所示——我们假设放射科医生将验证这些诊断不一致性。
材料与方法
数据集
本研究经机构审查委员会批准,豁免了知情同意的需要。研究涉及来自三个医疗中心的回顾性数据:格罗宁根大学医学中心(UMCG,荷兰格罗宁根)2014年至2020年间、格罗宁根Martini医院(MHG,荷兰格罗宁根)2013年至2020年间,以及Radboud大学医学中心(RUMC,荷兰奈梅亨)2016年。所有患者基于可疑直肠指检、下尿路症状或前列腺特异性抗原水平升高等标准被怀疑患有临床显著前列腺癌(csPCa)。
收集的数据包括为常规临床诊疗而获取的双参数或多参数前列腺MRI检查。双参数方案包括Turbo Spin Echo T2加权(T2W)序列(见补充材料1,表1)、高b值(≥ 1400 s/mm2)扩散加权成像以及表观扩散系数图。该研究分别纳入来自UMCG、MHG和RUMC队列的357、572和846例患者。排除不符合PI-RADSv2 [6] MRI方案要求的研究或既往接受过前列腺治疗的患者。外部RUMC数据集在数据传输前接受相同的排除标准。排除后,最终样本包括1535例患者,其中733例(约48%)为PI-RADS 4或更高,包括来自UMCG的305例、来自MHG的384例和来自RUMC的846例。
本研究出于特定原因聚焦于用于基于DLRecon的前列腺MRI的T2W序列。T2W成像是移行区病变的主要序列,并且对于形态学评估、病灶定位以及引导活检等操作至关重要。通过聚焦于T2W序列,我们旨在评估DLRecon对解剖学呈现的影响,而不纳入扩散加权成像的功能数据,PI-RADS将后者指定为外周带病变的主要序列。
具有4–25年经验的泌尿放射学专家分配PI-RADS评分并勾画所有(可能的)csPCa病变(定义为PI-RADS评分≥ 4),作为参考标准 [7–9]。
K空间中的回顾性欠采样
T2W采集数据(DICOM)进行了回顾性欠采样。使用快速傅里叶变换(FFT)将切片转换到频域,通常称为k空间。已知k空间采集耗时较长,尤其是在采集相位编码线期间。加速采集的一种方法是采集较少的相位编码线,这会导致重建图像中出现混叠伪影。在处理原始k空间数据时,通常在转换为图像之前应用零填充,以获得更高的空间分辨率和更平滑的外观。为考虑零填充,我们使用二值掩膜来捕获已采集的k空间区域。随后,以类似于通常应用于已采集k空间数据的零填充的方式,向二值掩膜添加零填充。最后,从欠采样数据进行重建时,使用FFT shift的逆变换,随后使用逆快速傅里叶变换(IFFT),将掩膜后的k空间转换回图像域。
k空间欠采样掩膜设计用于对基于行的相位编码(水平)方向进行欠采样(图1),使其与多中心数据集兼容。研究表明,完全采样k空间中心(对应低空间频率)可提高信噪比并获得良好的图像质量指标(ImagQMs)[10]。另一方面,采样k空间外周有助于保留高分辨率细节和锐利边缘,这对于表征微小解剖结构至关重要。我们采用20%中心与80%外周的k空间欠采样方案以实现最佳平衡。在实际操作中,对于4倍(R4)欠采样(即采样25%的k空间),20%的样本取自中心,其余80%取自外周。该方法旨在通过检测以高频信息为特征的小尺寸病灶,同时保持整体图像质量,从而最大化诊断效用。
重建模型
对于DLRecon模型,我们采用了3D U-Net [11]架构,该架构广泛用于基于图像的数据(见补充材料2,图1a)。数据集包含1535幅DICOM图像,每幅图像均有对应的PI-RADS分割。由于缺乏多线圈k空间数据,我们使用模拟k空间来执行基于图像空间的重建,专为病灶检测算法设计。因此,采用基于图像空间的U-Net是出于通过后续csPCa DLDetect模型的性能来计算诊断质量指标(DiagQM)的需要。
DLRecon模型输入的是经中心裁剪、欠采样且带有混叠伪影的图像。目标是恢复丢失的细节并消除k空间欠采样带来的混叠伪影。训练在4倍和8倍(R4和R8)欠采样率下进行。具体训练参数包括:以SSIM作为损失函数,批量大小为12,使用Adam优化器,学习率为4e–4。此外,采用早停法以降低过拟合风险。训练过程中,数据增强包括旋转(25%概率,−30至30度)、添加正态分布噪声(60%概率,0–0.003范围)和镜像(50%概率)。训练在32 GB Tesla V100 GPU上使用Keras软件库在48小时内完成。代码可在GitHub上获取(仓库:ProstateMRI-DLReconVsDiagMetrics)。
DLRecon模型的数据经过四个步骤预处理:k空间合成联合欠采样、重采样、中心裁剪和归一化。首先,使用二值欠采样掩膜对图像进行欠采样。接着,使用最近邻插值对图像进行重采样以达到0.5 × 0.5 mm体素间距,z方向保持不变。随后,通过中心裁剪将图像尺寸标准化为(256, 256, 16)。最后,逐实例最小/最大归一化(缩放至0到1之间)确保像素值均匀,改善模型泛化能力。
检测模型
为评估DL重建的临床实用性,我们部署了一个专门的3D U-Net [9],该模型不同于重建模型,仅专注于在T2W扫描中定位可能的csPCa(图2)(模型架构见补充材料2,图1c)。该模型具有注意力机制和挤压-激励层,以改善特征学习[9, 12]。具体而言,该模型针对T2W扫描进行了定制,排除了弥散加权成像、表观扩散系数和动态对比增强序列,以确保对T2W序列诊断质量的无偏评估。该模型生成3D热图,为每个体素分配csPCa的可能性。训练采用加权二元交叉熵损失函数。负类和正类的类别权重分别设置为0.05和0.95,以解决类别不平衡问题,并优先考虑病灶特征而非背景组织。我们对80%的数据集采用了5折交叉验证,保留20%作为测试集。每个验证折中性能最高的模型被保存。这些模型用于评估测试集中DL重建T2W MRI扫描的诊断质量。在我们的方法中,我们选择不为每个加速倍数重新训练DLDetect模型,这反映了临床实践中的现实情况,即放射科医生不会为每项新技术进行特定的重新训练。这种方法可防止模型将幻觉效应——由重建导致的假阳性或假阴性——正常化,从而掩盖真实的诊断准确性。
用于诊断性DLDetect模型的数据预处理包括重采样、中心裁剪和z标准化。在多中心数据集中,图像被重采样至一致的体素间距(0.5, 0.5, 3.0)mm,裁剪大小为(180, 180, 16)以聚焦于前列腺。重建模型使用了更大的裁剪范围,因为额外的视野可增强其性能。逐实例z分数标准化将体素值标准化为零均值和标准差1。数据增强包括10%概率的旋转(−30至30度)、30%概率的添加正态分布噪声(0–0.001乘数)以及50%概率的水平翻转。
实验
我们的研究包含两项实验,使用图像质量指标(ImagQMs)和诊断质量指标(DiagQM)评估DLRecon对视觉质量和诊断质量的影响。重建与评估流程的流程图见图2。第一项实验采用Wilcoxon检验对重建图像的视觉质量进行统计学评估,以SSIM作为图像质量指标(ImagQM)。SSIM的取值范围为−1至1,1表示与参考图像的视觉质量完全相同,较低的值表示质量下降。我们分析了在R4和R8两种欠采样因子下,使用朴素重建方法和基于U-Net的重建方法对重建质量的恢复情况。此处,朴素重建指从欠采样k空间进行反演。
第二项实验评估了诊断模型DLDetect在重建MR图像中识别可能csPCa的有效性。诊断准确性采用自由响应操作特征(FROC)分析进行测量,该方法用于评估系统的病灶检测灵敏度及假阳性率,因为一名患者可能存在多个病灶。在该框架内,所使用的诊断准确性指标为FROC曲线的部分曲线下面积(pAUC)。具体而言,本研究采用每患者0.1至2.5个假阳性范围内的pAUC值作为诊断质量指标(DiagQM)。
采用置换检验比较两种重建方法在R4和R8欠采样因子下的pAUC。真阳性要求与金标准病灶有10%的重叠[9, 13],我们旨在证明与全采样MRI(R1)相比,诊断性能(DiagQM)和视觉质量(ImagQMs)具有非劣效性。从1535次扫描中,我们分配80%(N = 1229)专门用于训练和验证,采用五折交叉验证。剩余20%(N = 306)构成一个不同的、未见过的独立留出测试集用于最终评估。该数据划分方法一致应用于DL重建模型和检测模型。除这些定量指标外,我们还定性研究了重建图像中幻觉效应的表现形式及其影响。
幻觉验证
我们进行了一项小型阅片者研究,以验证DLDetect作为评估DLRecon诊断质量的替代工具的可行性。我们根据DLDetect观察到的csPCa可能性差异,从测试集中选取了一组均衡的30例病例。其中包括15例PCa检测差异最大的病例(“不一致组”)和15例差异最小的病例(“一致组”)。
一位经验丰富的放射科医师(> 8年)审阅了R1与R4/R8图像对,将其分类为一致、显示轻微差异或不一致。采用Cohen's kappa分析比较放射科医师与DLDetect对观察到的不一致性(幻觉)的一致性判断能力。有关本研究方法和结果的详细说明,请参阅补充材料3。
结果
第一项实验(图3)表明,在测试集(N = 306)上,DLRecon与朴素(IFFT)重建相比显著改善了视觉质量。具体而言,在4倍欠采样数据中,SSIM值较IFFT数据有所提高:0.78 ± 0.02 vs. 0.68 ± 0.03(p < 0.001);在R8数据中:0.67 ± 0.03 vs. 0.51 ± 0.03(p < 0.001)。
第二个实验(图4)显示,与测试集(N = 306)中完全采样的R1数据相比,R4和R8重建的 diagnostic performance 有所下降。具体而言,R4的pAUC值在naïve方法中为1.29(CI 1.23–1.35),在U-Net中为1.33(CI 1.28–1.39),均显著低于R1数据的1.58(CI 1.52–1.64)。置换检验证实了这些差异(naïve p = 0.02,U-Net p = 0.024)。R8也观察到类似模式。
我们进一步评估了DLDetect模型在使用DLRecon和naïve重建时识别可能csPCa的诊断性能。如图4所示,两种方法在R4(pAUC 1.33 [CI 1.28–1.39] 对 1.29 [CI 1.23–1.35],p = 0.37)或R8(pAUC 1.12 [CI 1.07–1.17] 对 0.95 [CI 0.89–1.01],p = 0.067)中均未观察到显著差异。然而,与完全采样的R1数据相比,观察到灵敏度至少降低10%。
除基于病灶的分析外,我们测试集的基于患者的受试者工作特征分析显示,R1的AUC值为0.87,R4为0.78。使用0.76的最佳阈值,我们发现R1和R4的灵敏度均为0.84。与R1(0.75)相比,R4的特异度下降(0.54),导致阳性预测值从R1的0.74降至R4的0.61。阴性预测值从0.85降至0.81。这些发现突出了DL重建中的权衡,即保持灵敏度但特异度较低。
图5(顶行)提供了DLRecon诱导的幻觉效应的一个例子。在此特定实例中,幻觉导致DLDetect模型预测了一个在相应完全采样R1图像中不存在的病灶。重建图像显示外周带强度存在细微不连续性(由橙色圆圈标记),这一特征通常与移行带病灶相关。这些发现强调了“幻觉效应”影响诊断模型的风险,导致假阳性或假阴性检测,并降低模型灵敏度,同时产生视觉上吸引人的图像。
在读者研究中,Cohen's kappa值表明放射科医师的评估与DLDetect模型之间的一致性为低至中等,R4的kappa为0.2(CI:−0.097至0.5),R8为0.4(CI:0.079至0.72)。这些发现以视觉形式呈现于补充材料3图1中。
讨论
在本研究中,我们开发了一种新的评估方法,用于评估DLRecon技术在MRI中的诊断有效性,该方法可以轻松扩展到大型数据集。我们将诊断人工智能纳入评估方法,创建了一个基准(DiagQM),以评估诊断可靠性以及传统的图像质量指标(ImagQM),如SSIM和PSNR。具体而言,我们发现虽然传统ImagQM可能产生视觉上吸引人的结果,但诊断准确性似乎受到影响,尤其是在较高的欠采样率下。这一局限性由导致假阳性检测的DL幻觉所例证(图5)。
读者研究显示,在识别DLRecon引入的诊断不一致方面,放射科医师的评估与DLDetect模型之间存在中等程度的一致性。这种一致性表明检测模型可以增强DLRecon评估方法。然而,尽管前景可观,这些发现也强调了放射科医师在验证AI解释方面不可或缺的作用,特别是在需要细致判断的复杂诊断情况下。正如所假设的,与传统的ImagQM相比,使用DLDetect模型评估DLRecon可对DLRecon模型的诊断性能产生有意义的见解。ImagQM与DiagQM之间的差异强调有必要从纯粹的视觉评估指标转向对临床决策重要的指标。在此背景下,DiagQM作为一个示例,强调了评估DLRecon模型准确显示病理特征能力的重要性。
除了本研究中呈现的结果外,值得注意的是,现有的最先进DLRecon模型[14–17]严重依赖ImagQM(例如SSIM),正如我们的研究所证明的,这可能不是最合适的方法。预计不久的将来来自不同供应商的DLRecon模型将大量涌入临床实践,这凸显了认识视觉指标相关局限性的更高重要性。除了提供更有意义的见解外,DiagQM还能实现快速通量以检查大型数据集。我们提出的评估方法使用DLDetect模型,在三个加速因子(R1、R4和R8)下评估总共918个病例所需的计算时间不到30分钟。相比之下,放射科医师进行类似评估需要显著更多时间,至少长达2–3周。
我们的研究与fastMRI挑战赛的结果相呼应,该挑战赛将深度学习重建(DLRecon)模型应用于欠采样的k空间脑部数据[4]。在该挑战赛中,主要评价指标为结构相似性指数(SSIM),同时由放射科医师使用5点李克特量表对视觉质量进行二次评估。尽管SSIM评分通常与放射科医师的正面评价相关,但放射科医师观察到了幻觉效应,即DLRecon模型改变了特定的脑部异常以模仿正常结构。与依赖放射科医师偶然发现的fastMRI挑战赛不同,我们的方法引入了一种可量化的诊断准确性指标,使我们的方法非常适合大型数据集。
我们的研究存在一定局限性。首先,我们依赖于从DICOM文件中回顾性进行k空间欠采样,该方法使用的是图像空间数据而非多线圈k空间数据。因此,本研究的结果应在未来使用多线圈k空间数据的研究中加以验证。值得注意的是,由于原始k空间数据可获得性有限,使用图像空间数据是许多研究中被接受的方法[18–23]。
其次,我们的研究仅限于T2加权(T2W)序列,省略了功能成像,如弥散加权成像,而后者对于前列腺癌(PCa)的全面评估至关重要。未来工作应将这些模态纳入深度学习模型中进行重建和检测。第三,阅片者研究的一致性为中等。阅片者的并排比较在某些情况下与独立的人工智能(AI)评估不同。然而,回顾性来看,AI识别出了重建幻觉,并显示出支持诊断差异的图像退化。
据我们所知,尽管已有大量高性能且经过充分验证的深度学习检测(DLDetect)模型可用[24, 25],但尚无研究将其用于评估DLRecon模型的诊断准确性,而本研究即属此情况。这些DLDetect模型本质上设计用于将诊断任务简化为单一的可量化质量指标,使其非常适合评估DLRecon方法。未来研究可考虑采用更平衡的方法,将诊断质量指标(DiagQM)与人类专家相结合,确保两个组成部分在诊断过程中继续发挥不可或缺的作用。自动化诊断指标与人类放射科医师专业知识之间的这种协同作用,有望进一步提高医学图像重建和判读的准确性与可靠性。
结论
深度学习重建可生成视觉上令人满意的图像,但可能降低诊断准确性。将诊断性人工智能纳入评估框架提供了一种临床相关的指标,对于将重建模型应用于临床实践至关重要。
补充信息
电子补充材料
引用
- van Lohuizen Q, Roest C, Simonis FFJ, et al. Assessing deep learning reconstruction for faster prostate MRI: visual vs. diagnostic performance metrics. Eur Radiol. 2024. PMID: 38724765. doi:10.1007/s00330-024-10771-y
- 全文:PMC11519109(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11519109/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。