优化MRI序列分类性能:来自域偏移分析的见解
这项回顾性多中心研究在成人胶质母细胞瘤MRI上训练ResNet-18和MedViT模型,在儿童脑肿瘤MRI上测试域偏移影响;MedViT准确率0.893(95%CI 0.880-0.904),优于ResNet-18的0.790和基准模型的0.726(均p<0.001),专家域知识调整后MedViT准确率提升至0.905(95%CI 0.893-0.916),ResNet-18提升至0.809(95%CI 0.793-0.825)。
要点
- 儿童测试集上MedViT准确率0.893,优于ResNet-18的0.790和基准模型的0.726(均p<0.001)。
- 专家域知识调整后MedViT准确率0.905,ResNet-18为0.809(均p<0.001)。
- T2和「其他」类从专家域知识调整中获益最大,ResNet-18的「其他」类准确率提升6.4%、T2提升3.9%。
核心结论
- MedViT等先进神经网络架构与目标数据集上的专家域知识可显著提升域偏移条件下MRI序列分类模型的性能。
- 结合CNN与Transformer优势的混合架构为多样研究和临床环境中可靠的自动MRI序列分类提供了更强稳健性。
研究设计与样本
- 回顾性多中心研究,成人胶质母细胞瘤数据含8544次检查、63327个序列、2179例患者,来自249家医院、29种扫描仪类型(1–3特斯拉)。
- 儿童测试数据来自分子神经病理学2.0(MNP 2.0)研究的51个中心,667例患者术前MRI共2397个序列,视觉质量评估排除14个序列后余2383个。
- 在成人数据上训练ResNet-18和MedViT模型,在儿童数据上测试,并应用专家域知识调整;参考标准为半自动序列标注后经二次视觉确认。
- 训练集含9个MRI序列类别,测试集含6个类别,最终比较聚焦T1、T2、CT1、FLAIR四个解剖序列类别,其余归为「其他」类。
- 采用自助法(n=1000)计算95%CI,模型间准确率比较用单因素方差分析及Tukey HSD事后检验,p<0.05为显著。
关键影像表现/征象
- 未调整时儿童测试集准确率:MedViT 0.893(95%CI 0.880-0.904),ResNet-18 0.790(95%CI 0.774-0.806),基准模型0.726(95%CI 0.711-0.746)。
- 专家域知识调整后准确率:MedViT 0.905(95%CI 0.893-0.916),ResNet-18 0.809(95%CI 0.793-0.825),两者均较未调整模型提升(p<0.001)。
- ResNet-18的「其他」类准确率提升6.4%、T2提升3.9%,其他类别稳定或略降;MedViT的「其他」类提升5.2%、T2提升2.1%,CT1和FLAIR变化极小(0.1%)。
- 训练集约55%属于「其他」类,儿童测试集仅约9%为「其他」类。
诊断标准与关键数值
- 评估指标包括准确率、宏平均类别准确率、加权F1分数、宏平均F1分数、加权特异度和宏平均特异度,类别特异性评估用F1分数、特异度、精确率和召回率。
- 专家域知识调整将缺失标签的softmax输出设为「-∞」,若最高值被设为「-∞」则选次高softmax值作为预测。
- MedViT准确率0.893(95%CI 0.880-0.904)vs ResNet-18 0.790(95%CI 0.774-0.806)vs 基准模型0.726(95%CI 0.711-0.746),MedViT均优于后两者(p<0.001)。
- 调整后MedViT准确率0.905(95%CI 0.893-0.916)vs ResNet-18 0.809(95%CI 0.793-0.825),调整前后差异均p<0.001。
临床应用与阅片要点
- 在MRI方案预定义、已知所含序列类型的情况下,对预训练模型的预测施加专家域知识约束可提高序列分类准确率。
- 专家域知识调整并非总能获得,尤其在高通量数据环境中可能缺乏详细方案信息,此时MedViT的强性能体现混合模型固有的稳健性。
- 训练集与测试集类别分布不平衡可能影响结果,但同时也反映模型从外部/异质数据集应用到内部数据时的现实场景。
局限性
- 比较仅限ResNet-18模型,该模型虽成熟但可能不代表全部可用模型,未来研究应探索更广泛的模型和数据集以进一步验证。
- 用于测试的儿童数据集可能无法完全代表所有可能变异,限制了发现的普适性,扩大测试范围至更多样数据集和成像条件可提供更全面评估。
- 训练集和测试集中MRI序列类型分布不平衡可能影响结果,同时模拟了现实场景。
全文中译17 节 · 点击展开
引言
由于成像方案的变异性,MRI序列分类在多中心研究中面临重大挑战。序列分类在大队列研究中尤为重要,尤其是在成像方案可能差异显著的多中心环境中。遗憾的是,由于不同机构、设备和医务人员之间缺乏标准化,依赖DICOM头文件中存储的元数据对医学图像进行标注往往不可靠或不切实际[1]。这些不一致性,加上匿名化导致的信息丢失,常常造成序列信息缺失,从而需要耗费大量人力进行手动标注。
深度学习模型,尤其是基于卷积神经网络(CNN)的模型,已在MRI序列自动分类中展现出潜力[2–7]。然而,这些模型在应用于偏离训练集的数据时常常遇到困难,这一现象被称为域偏移[8–10]。本项目针对MRI序列分类中的域偏移问题,特别关注从成人数据到儿童数据的偏移。
本研究的主要目标是评估预训练ResNet[11]模型在由场强、所用序列和患者人口学特征差异引起的域偏移下的性能。我们旨在通过探索先进的基于Transformer的神经网络架构并利用专家领域知识,来识别增强模型在新领域中性能的新策略(图1)。
我们预期,由于域偏移,模型应用于儿童数据集时性能将会下降。这一预期下降为探索性能增强策略以减轻域偏移的影响提供了依据。
为解决这一问题,我们探索了两个关键假设:利用现代模型来减轻域偏移:视觉Transformer(ViT)在计算机视觉中已展现出显著前景[12],在处理分布偏移方面常常优于CNN。通过针对Transformer架构的特定修改,这一性能可以进一步提升[13]。相反,先前研究强调,作为Transformer模型核心的自注意力机制在适应分布偏移中发挥关键作用,并且经过适当调优,CNN可以表现出类似的鲁棒性[14, 15]。我们研究了MedViT[16],一种现代CNN-Transformer混合模型,基于以下假设:先进的混合模型架构可能在管理域偏移方面更为有效。混合MedViT模型在原始成人数据上训练,并在儿童数据集上评估,以确定涉及Transformer层的高级神经网络架构是否本质上更适合适应域变异。
融入专家领域知识:预训练模型常常难以应对领域偏移,尤其是当样本分布和目标类别发生变化时。当测试集中包含训练期间未见过的类别,或某些标签缺失,或它们的分布与训练集相比发生变化时,这一挑战会进一步加剧。本项目旨在解决新数据集中样本分布不均衡以及目标类别在质量和数量上发生变化所带来的固有困难。我们假设专家领域知识能够提升模型性能。在我们的案例中,儿科数据集的类别少于用于初始训练的成人数据集。因此,我们调整了模型的决策过程,以忽略儿科测试集中不存在的标签。这一调整旨在使模型的分类任务更贴近新数据的特征,而这反过来需要预先知道哪些标签已包含在成像方案中。
总体而言,本研究作为概念验证,有助于增强预训练神经网络在医学成像中的鲁棒性和可靠性。尽管近年来将深度学习技术从研究转化为医疗保健的进展缓慢[17],但通过将领域偏移的影响作为一个重大挑战加以解决,我们旨在提高自动化MRI序列分类在不同患者群体中的准确性和可靠性。
材料和方法
数据集
回顾性多中心脑部MRI数据,包括来自249家医院使用29种不同扫描仪类型的2179例胶质母细胞瘤患者的8544次检查和63327个序列。本回顾性研究纳入四个胶质母细胞瘤队列,即(1)机构队列(经当地伦理委员会批准,编号S-784 2018),以及(2)CENTRIC [18]、(3)CORE [19]和(4)EORTC-26101 [20, 21]队列的评估通过外部研究项目(编号ERP-263和ERP-362)获得欧洲癌症研究与治疗组织(EORTC)的批准。该汇总数据集最近被用于开发基于ResNet-18架构的网络,以区分九种不同的MRI序列类型[22],其中包括以下MRI序列类型:T1加权、增强后T1加权(CT1)、T2加权、液体衰减反转恢复(FLAIR)、磁敏感加权成像(SWI)、表观扩散系数(ADC)、低b值扩散加权成像(Low-B-DWI)序列和高b值扩散加权成像(High-B-DWI)序列。此外,还包括一个“T2*/DSC相关”类别,涵盖梯度回波T2*加权成像(T2*)和动态磁敏感对比(DSC)相关序列类型。
为了引入显著的域偏移,使用了一个MRI数据集,包含儿童中枢神经系统肿瘤,该数据集是在分子神经病理学2.0(MNP 2.0)研究[23, 24]的背景下从51个中心收集的。667例有术前MRI检查的患者MRI数据可用,共产生2397个MRI序列。对所有可用序列进行了视觉质量评估,结果排除了14个序列。排除标准为(1)异物固定装置导致金属伪影(n = 3),(2)非解剖序列中标签不清晰(n = 10),以及(3)运动伪影(n = 1)。排除不合适的序列类型后,剩余2383个MRI序列,包括T2*(n = 56)、T1(n = 574)、T2(n = 592)、增强T1(n = 490)、FLAIR(n = 502)和SWI(n = 169)。
MRI序列标注
训练数据集预处理已在Mahmutoglu等[22]中概述。对于测试集,序列标注由G.B.半自动完成,首先使用元数据从DICOM元数据中提取序列名称,随后进行视觉确认。之后由M.A.M.对每个体积的中间层面进行第二次视觉检查。
深度学习模型开发
基准模型
选择Vieira de Mello等[2]的ResNet-18模型作为基准模型有以下几个原因:(1)由于在单个MRI层面上训练,可与本研究提出的ResNet-18模型直接比较;(2)在成人脑部MRI上训练;(3)在其对公开数据集的初步实验中取得了令人鼓舞的结果;(4)目标是识别解剖序列类型,这些类型在儿童MRI方案中大多可用;(5)如果MRI序列无法归类为解剖序列之一,则将扫描指定为“其他”类别。
ResNet-18模型
训练数据(10,771次检查,43,601幅MRI)使用“scikit-learn”库的分层拆分方法按机构划分为平衡组(训练折约64%,验证折约16%),类似于Mahmutoglu等人[22]的方法。网络训练使用Pytorch(版本1.12.1)进行。训练数据增强使用Monai包(https://monai.io,版本0.8.0)进行,方法为将图像调整为200×200×1像素、施加高斯噪声(均值=0,标准差=0.1)并归一化强度。根据类别不平衡情况分配类别权重,优化使用Adam算法[25],批大小为32,以交叉熵作为损失函数。学习率设置为0.01。ResNet-18模型训练200个epoch。
MedViT模型
与ResNet-18模型训练类似,训练MedViT模型时进行了相同的预处理和数据增强步骤。MedViT[16]是一种新型混合CNN-transformer架构,用于医学图像分类,在标准大规模2D生物医学数据集集合上达到了最先进的准确性和鲁棒性。由于MedViT期望3通道RGB输入,而MRI图像不提供该输入,因此将同一中层slice MRI图像复制到所有3个通道。
模型训练与测试
ResNet-18和MedViT模型的训练涉及九个MRI序列类别(T1、T2、CT1、FLAIR、ADC、SWI、低B值DWI、高B值DWI、T2*/DSC相关)。测试数据集包括六个类别(T1、T2、CT1、FLAIR、SWI、T2*),Benchmark模型[2]被训练用于区分四个解剖MRI类别(T1、T2、CT1、FLAIR),并将其余预测定义为“其他”。为实现模型比较的一致性并简化所有统计步骤中的分类结果,我们聚焦于四种解剖MRI序列类型(T1、T2、CT1、FLAIR),因其为儿童MRI协议中最相关且最常出现的类型。为此,其余序列类型(T2*和SWI)被归为“其他”类别。相应地,如果ResNet-18和MedViT模型预测出不同于解剖序列类型的输出,这些也被标记为“其他”类别。
专家领域知识调整
预训练模型的性能分析最初涵盖了测试数据集中的所有可用图像。为便于比较,我们采用了“专家领域知识调整”。该调整假设MRI协议已由专家预先定义,即数据中存在的序列类型已知。尽管模型是在广泛的MRI序列类型上预训练的,但在测试期间可以在不更新模型权重的情况下微调预测以与新数据集对齐。鉴于神经网络模型已被训练识别比机构数据集(本案例中为六种)更广泛的MRI序列类型(本案例中为九种),在预测阶段可以排除或删失属于模型训练部分但与机构数据无关的MRI序列。该调整应用于预训练的ResNet-18和MedViT模型,以评估其在检测分布外数据和管理部分标签偏移方面的性能。我们将此方法称为“专家领域知识调整”,涉及将缺失标签的softmax输出设置为“-∞”。例如,如果模型生成九个标签的softmax输出,而根据专家领域知识只有六个相关,则将不相关的三个标签的输出设置为“-∞”,确保它们不被预测。相反,如果具有最高值的选择被设置为“-∞”,则选择第二高的softmax值作为预测。该调整旨在预测阶段纳入“专家领域知识”以优化模型性能。
基准模型不需要调整,因为它是在比目标数据集更少的MRI类别上训练的。
统计分析
使用多种性能指标评估模型:准确率、宏平均类别准确率(宏准确率)、加权F1分数、宏平均F1分数、加权特异度和宏平均特异度。使用F1分数、特异度、精确率和召回率进行类别特异性评估。采用n = 1000的自助法计算95%置信区间(CI)。为比较模型间的准确率,对自助法结果应用单因素方差分析,并使用Tukey's HSD校正进行事后分析。所有分析中p值 < 0.05被认为具有显著性。为所有模型及每个MRI序列类别可视化混淆矩阵。
结果
数据预处理及纳入/排除标准已在Mahmutoglu等[22]中描述。图1展示了用于评估脑MRI数据中域偏移效应及不同神经网络架构适应性的简化实验设置。将每个模型的预测与真实标签进行比较,并使用单因素方差分析和事后Tukey's HSD比较自助法结果(n = 1000)。模型在儿科测试数据集上的性能分析显示,MedViT模型的性能优于ResNet-18和基准模型(各自p < 0.001)。模型比较结果如表1所示。
各模型的混淆矩阵如图2所示,以突出每个MRI类别的预测差异。
在儿科测试数据集上对模型进行的性能分析显示,MedViT模型在准确率方面优于ResNet-18模型和基准模型(各自p < 0.001)。MedViT模型在测试数据集上的准确率为0.893(95% CI 0.880–0.904),而ResNet-18模型为0.790(95% CI 0.774–0.806),基准模型为0.726(95% CI 0.711–0.746),如表2和图3所示(称为“未调整”)。"专家领域知识调整"显示,与原始模型相比,MedViT和ResNet-18模型在儿科测试数据集上的性能略有提升(各自p < 0.001)。调整后的MedViT模型在儿科数据集上的准确率为0.905(95% CI 0.893–0.916),而ResNet-18模型为0.809(95% CI 0.793–0.825),如表2和图3所示(称为“调整后”)。
讨论
本研究结果表明,域偏移在MRI序列分类中构成重大挑战,尤其是在从成人数据向儿科数据过渡时。我们的研究发现,深度学习模型虽然前景广阔,但在医学影像中需要仔细适应新领域,这体现为预训练模型未经调整应用于儿科数据集时观察到的性能下降。通过基于Transformer的模型架构和专家领域知识来应对域偏移,我们在分类性能方面取得了改善。
本研究利用了多样化的患者群体,使用异质性成人队列进行训练、儿科队列进行测试,以提高泛化能力。此外,在训练过程中应用了图像增强技术,以尽量减少对特定扫描仪属性或患者人口学特征的过拟合。
域偏移及其影响
当训练数据不能准确代表测试数据的分布时,就会发生域偏移,导致模型在新的、未见过的数据上准确率下降。这一问题在医学影像中尤为突出,因为不同机构间方案的差异会显著影响模型性能。标准的深度学习模型通常在训练和测试数据分布相同的假设下设计,难以应对此类偏移。
正如预期,ResNet-18和MedViT模型在应用于儿科数据集时均出现了性能下降,该数据集与训练时使用的成人数据存在显著差异。这一结果与既往研究一致,既往研究强调了卷积神经网络(CNN)对域偏移的敏感性,尤其是在医学影像领域,患者人口学特征、成像方案和场强在不同机构之间可能存在差异。儿科数据集提供的MRI序列类别较少,且解剖和生理差异影响了图像采集特征,从而导致了这种域偏移。值得注意的是,ResNet-18和基准模型的性能下降更为明显,这些模型应对此类变化的能力较弱。
除域偏移外,类别不平衡也可能影响了模型性能。例如,训练集约55%属于所谓的“其他”类别,而儿科测试集中仅约9%为“其他”类别。虽然类别不平衡可能使模型性能产生偏倚,但它也反映了真实现状,因为在外部/异质性数据集上训练的模型应用于内部数据时,往往会遇到不同的类别分布,正如本研究中的情况。鉴于微调模型在真实世界情境中往往表现出较低的准确率,模型能够将其决策适应于不平衡的目标数据集可能是一种优势。
Transformer模型和混合模型的优势
近期研究表明,由于其自注意力机制允许更灵活的特征表示,Transformer模型相比传统CNN能更好地适应新数据。例如,DA-DETR [26]、ConvFormerSR [27]和CTFSL [28]等混合模型通过结合CNN和Transformer的优势,在各种跨域任务中展现出改进的性能。
MedViT模型在专家领域知识调整前后均优于ResNet-18和基准模型,这支持了我们的假设,即现代混合架构更适合处理域偏移。具体而言,MedViT引入了以全局注意力机制著称的Transformer层,似乎增强了模型对分布变化的鲁棒性[29]。Transformer捕获长程依赖关系的能力可能有助于其更好地适应儿科数据,该数据呈现出训练集中未曾出现的序列特征变化。
有趣的是,即使未经领域知识调整,MedViT模型也始终优于ResNet-18模型。这表明混合CNN-Transformer模型在域偏移条件下对MRI序列分类相比传统CNN具有固有优势。这些发现与既往研究一致,既往研究提示Transformer以及延伸而来的混合架构可能更适合处理分布外数据[13, 15]。
专家领域知识的融入
引入专家领域知识显著提高了 MedViT 和 ResNet-18 的模型性能。通过将模型的预测限制在儿科数据集中的相关序列类别内,我们有效缩小了搜索空间,并使模型预测与临床预期保持一致。这一调整使两个模型的准确率均显著提高,其中 MedViT 的准确率达到 0.905,而 ResNet-18 为 0.809。
我们的结果表明,无论采用哪种模型,T2 类和“其他”类从“专家领域知识调整”中获益最大(见表2)。在 ResNet-18 模型中,“其他”类的准确率提高了 6.4%,T2 提高了 3.9%,而其他类别保持稳定或略有下降。同样,MedViT 模型中“其他”类的准确率提高了 5.2%,T2 提高了 2.1%,CT1 和 FLAIR 的变化极小(0.1%)。这一改善可归因于所引入的“专家领域知识调整”促使模型在预测步骤中更精准地聚焦于可用的 MRI 序列。此外,由于归入“其他”类的许多 MRI 序列源自 T2 加权成像(如 DWI、SWI、T2*、灌注参数),这一针对性调整可能增强了模型的性能,尤其是对 T2 加权图像。这一发现凸显了将预训练模型应用于新数据集时领域特定知识的重要性。在临床环境中,通常可以事先定义 MRI 协议或序列类型,从而能够策略性地利用专家知识来优化模型输出。当处理多样化或不完整的数据集时,即标签偏移和未见类别带来挑战的情况下,这种方法可能尤为有用。
在 MRI 协议预先定义的情况下,了解当前存在的序列类型可以显著提高分类准确率,正如我们的研究所证实的那样。然而,对预训练模型进行此类专家领域知识调整的可用性并不总是有保证的,尤其是在可能缺乏详细协议信息的高通量数据环境中。因此,MedViT 模型的强劲性能凸显了混合模型固有的稳健性,即使在缺乏人工洞察的情况下也是如此。
局限性
本研究存在若干局限性。比较仅限于 ResNet-18 模型,该模型虽已成熟,但可能无法代表现有模型的全部范围。未来研究应探索更广泛的模型和数据集,以进一步验证这些发现。MedViT 最初是与 ResNet 架构进行比较的 [16],本研究中使用的基准模型 [2] 也依赖于 ResNet 主干网络。这一一致性导致我们在本分析中将 ResNet-18 作为主要网络架构进行比较。此外,用于测试的儿科数据集可能无法完全代表所有可能的变化,限制了研究结果的普适性。将测试范围扩展到包含更多样化的数据集和成像条件,将对模型的性能和适应性提供更全面的评估。最后,训练集和测试集中 MRI 序列类型的分布不均衡可能在模拟日常临床和研究环境中的真实场景时影响了结果。
结论
我们的研究强调了域偏移对MRI序列分类的显著影响,并展示了现代混合模型(如MedViT)在应对这一挑战方面的潜在优势。通过结合CNN和transformer的优势,混合架构在处理域偏移时提供了增强的鲁棒性。此外,纳入专家领域知识可以进一步优化模型性能,尽管其可行性可能因详细协议信息的可获得性而异。未来研究应继续探索和验证先进的模型架构和策略,以提高自动化医学成像系统在不同临床场景中的准确性和可靠性。
补充信息
电子补充材料
引用
- Mahmutoglu MA, Rastogi A, Brugnara G, et al. Optimizing MRI sequence classification performance: insights from domain shift analysis. Eur Radiol. 2025. PMID: 40418319. doi:10.1007/s00330-025-11671-5
- 全文:PMC12559157(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12559157/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。