文献速递神经技术与安全MR

T1加权MRI扫描(半)自动质量控制算法的系统综述

A systematic review of (semi-)automatic quality control of T1-weighted MRI scans.
PubMed 文献 · Neuroradiology · 2023-12-04

本系统综述检索了截至2023年1月5日的PubMed、EMBASE和Web of Science数据库,纳入18篇文献,识别出18种用于原始结构性T1加权脑MRI(半)自动质量控制的算法。算法分为基于规则、经典机器学习和深度学习三类,因数据集特定优化和基准差异大,难以得出广泛比较性结论,作者强调需要标准化和比较研究。

要点

  • 18种算法在特征、数据集和基准上差异显著,直接比较困难。
  • 多数算法至少使用一种评估图像熵的特征。
  • 仅信噪比和对比噪声比在三个及以上算法中使用。

核心结论

  • 由于数据集特定优化,难以得出关于比较性能的广泛结论。
  • 所用数据集和基准存在巨大差异,进一步阻碍直接算法比较。
  • 研究结果强调需要标准化和比较研究以推进MR成像质控。
  • 努力应聚焦于识别数据集无关的度量以及算法无关的评估不同方法相对性能的方法。

研究设计与样本

  • 系统综述,遵循PRISMA 2020指南,在PROSPERO注册(CRD42023391301)。
  • 检索PubMed、EMBASE和Web of Science,时间从建库至2023年1月5日,无日期或语言限制。
  • 最终纳入18篇文章,使用PROBAST进行偏倚风险评估。
  • 纳入标准:涉及(半)自动质量控制、评估原始T1加权人脑MRI扫描、以英文原创研究发表于同行评审期刊或会议论文集。
  • 排除标准:质控预处理流程输出、仅应用现有质控算法、会议摘要和海报。

关键影像表现/征象

  • T1w序列多为3D采集,采用反转恢复破坏梯度类协议。
  • 算法分为基于规则(10篇)、经典机器学习(3篇)和深度学习(5篇)。
  • 基于规则的算法中,8篇将MRI扫描分为通过和失败组,1篇评估模糊是否存在,1篇评估SNR和鬼影但无总体评分。
  • 基于背景的规则质控认为伪影信号强度会传播到背景,背景通常占结构MRI总体积的40%。
  • Osadebey等开发三种算法:一种计算噪声、亮度、对比度、锐度和纹理细节的加权总质量分;一种提取三个地理空间局部熵特征;一种使用锐度和对比度质量特征的平均值。

诊断标准与关键数值

  • 基于自然场景统计的质量特征在区分人工失真与未失真MRI扫描中最有效(N=143)。
  • 基于背景提取噪声和鬼影伪影特征与白质SNR及视觉评估振铃伪影比较,发现非常高的敏感度和特异度(N=250,评分者人数未披露)。
  • LONI QC系统基于七个特征:SNR、信号方差与噪声方差比(SVNR)、对比噪声比(CNR)、方差对比噪声比(CVNR)、脑组织对比与组织强度变异(TCTV)、半高全宽(FWHM)和质心(CoM)。
  • QEMDIM算法将图像分为16个块,提取20个质量特征并平均,通过测试图像与未失真基准图像的绝对差值确定质量,阈值基于与视觉评分的一致性。
  • White等计算从头部辐射向外的体素强度积分作为向量(N=6662,1或2名评分者),利用头部边缘线扩散函数特性的特征表现最佳。

临床应用与阅片要点

  • 基于规则的质控算法可提供通过/失败分类或特定伪影检测。
  • 基于背景的质控特征假设伪影信号传播至背景,背景约占结构MRI总体积40%。
  • 基于前景的质控特征认为仅依赖背景可能无法可靠评估整体图像质量。
  • MRIQC算法提取64个基于背景的图像质量特征并拟合二分类器,采用留一站点交叉验证。
  • 深度学习算法中,基于块的检测运动伪影准确率随块尺寸减小而下降。

局限性

  • 16篇文章的结果测量显示高偏倚风险,因基准主要基于视觉质控,可能导致评估失真或有缺陷。
  • 视觉质控中不同评分者可能以不同方式解读协议,导致评分部分反映评分者特征。
  • 偏倚风险因素包括协议不清晰、评分者人数未披露或仅基于一名评分者的质控。
  • 算法偏倚可能源于不具代表性或不完整的训练数据,或依赖有缺陷的信息。
  • 参与者数量少可能导致训练数据不具代表性或不完整。
全文中译22 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Neuroradiology. 2023 Dec 4;66(1):31–42. doi: 10.1007/s00234-023-03256-0

引言

过去几十年,医学图像分析领域取得了重大进展[1]。源自先进成像技术(如磁共振成像(MRI)数据)的影像生物标志物被用于表征正常发育[2]、疾病[3]以及疾病修饰治疗的效果[4]。例如,T1加权(T1w)MRI扫描描绘了灰质、白质和脑脊液的解剖排列,为大脑的结构组成或病理提供了有价值的见解。然而,在任何图像分析工作流程能够使用之前,必须确保MRI扫描的质量。扫描质量可能因伪影而降低,伪影是与解剖或生理异常无关的意外或人为图像不规则,但可能在成像过程中出现,如模糊、鬼影和混叠。这些伪影可能导致统计效力降低或错误的结论。

目前,MRI数据的质量通常通过手动质量控制(QC)来确保,传统上这需要由专家评分者对数据集中每个单独扫描进行视觉检查,从中排除那些显示数据质量不足的扫描。这种手动QC耗时且容易产生变异性。不希望的变异性可能来自评分者间和评分者内的差异,如培训、经验和疲劳[5]。其他担忧包括,由于采集参数选择不当而产生的细微伪影可能过于细微而无法被人眼检测到[6],或者扫描仪供应商的差异可能引入变异性[7]。手动QC的这些缺点给定义客观排除标准带来了很大困难。

此外,临床试验所需跨多个扫描站点获取超大型数据集[8–10]引入了额外的担忧。如此大的数据集使得对每个图像资源的单独检查变得资源密集,并增加了站点内/评分者变异性的可能性。因此,人们对自动化QC工具的开发产生了极大兴趣。随着时间的推移,已经创建了几种这样的(半)自动化QC算法。全自动QC算法在没有人工参与的情况下对MRI扫描进行分类,而半自动QC算法在过程中需要一定程度的人工决策,如手动更改阈值。这些(半)自动化QC算法不仅利用阈值,还可以采用基于经典机器学习或深度学习方法的分类器来对MRI扫描进行分类。一些算法专注于原始的、未处理的MRI扫描[11, 12],而另一些则专注于其衍生物,形式为处理后的扫描(如分割)或统计量(如区域体积测量)[13, 14]。然而,尽管它们具有QC的共同目标,这些算法在结果参数和应用方面存在差异。

鉴于可用工具众多,确定最合适的选择可能具有挑战性。因此,本综述概述了专门用于审查原始结构T1w MRI扫描的自动化QC算法和软件包。我们聚焦于全脑、标准分辨率的T1加权MRI扫描,这类扫描在临床试验和临床实践中被普遍采用。我们的主要目标是确定这些QC算法在关注特征、性能、结果指标以及用作基准的数据类型方面的差异。

方法

本综述的文献筛选按照系统综述和荟萃分析优先报告条目(PRISMA)2020指南[15–17]进行,并在系统综述前瞻性注册(PROSPERO)数据库中以编号CRD42023391301注册。

数据来源与检索

进行了系统检索以识别用于结构MRI扫描(半)自动质量控制的算法。按照PRISMA指南[15–17],采用了文献检索、筛选、质量评价和综合的规范方法。系统检索在以下数据库中进行:PubMed、EMBASE.com和Clarivate Analytics/Web of Science核心合集。数据库内的时间范围为从建库至2023年1月5日,初始检索由GLB和JH执行。检索包括“人工智能”或“机器学习”(及其同义词)与“质量控制”(及其同义词)与“磁共振成像”(及其同义词)与“神经科学”(及其同义词)组合的关键词和自由文本词。各数据库检索词的完整概览见补充信息(补充表1—3)。检索未对日期或语言施加限制。此外,对纳入文章的参考文献列表进行了人工筛选以识别其他文章。

文章纳入与排除标准

符合以下纳入标准的文章被纳入本综述:(1)涉及(半)自动质量控制的实施,(2)评估原始T1加权人脑MRI扫描,(3)以英文作为原创研究发表于同行评审期刊或会议论文集(会议摘要和壁报除外)。涉及预处理流程输出QC的文章,以及仅应用现有QC算法的文章,被排除。

数据综合与分析

为评估所选文章的合格性,两位独立评审者(JH和AS)审阅了数据库检索的所有摘要,并获取全文文章进行进一步审阅。任何分歧均通过共识解决。最后,一位评审者(JH)阅读所获取的文章以进行最终文章选择和质量评估。对所获取全文文章的参考文献列表进行了人工检索以查找其他出版物。在质量评估方面,选择了PROBAST(预测模型偏倚风险评估工具)[18]方法,该方法常用于评估预测模型研究的偏倚风险和适用性。在该工具中,偏倚风险被定义为当研究设计、实施或分析中的缺陷导致模型性能估计出现系统性失真时发生。当人群、预测因子或结局与综述问题中指定的内容不同时,可能产生对文章适用于综述问题的担忧。

数据提取

所有符合纳入标准的全文文章根据所描述算法中使用的分类方法被分配到以下三个类别之一:“基于规则”、“经典机器学习”和“深度学习”。基于规则的算法为预定义的质量特征建立阈值,而经典机器学习算法利用分类器基于从预定义质量特征中经验建立的阈值来区分两组。深度学习算法与这两组不同,因为它们不依赖于预定义的质量特征,并使用分类器来确定分组。所有文章由一位评估者评估,提取了算法的技术信息和特征,包括使用的数据集、纳入参与者的年龄范围、伪影存在情况、基准、质量控制(QC)结果和性能指标。在可能的情况下,缺失的性能指标根据文章中可用的数据手动计算。

结果

检索结果

电子检索在PubMed获得268条记录,在EMBASE获得496条记录,在Web of Science获得252条记录,共计1016条记录(图1)。去除重复后,识别出605篇独特文章。经标题和摘要审查后,排除576篇文章,对29篇进行获取全文,其中1篇无法获取。在28篇接受全文审查的文章中,12篇被排除在进一步质量评估之外,原因是(1)评估已处理(而非原始)扫描的质量(N = 5),(2)仅依赖视觉QC(N = 3),(3)评估先前发表的算法(N = 2),(4)评估文件结构的质量(N = 1),以及(5)评估其他MR序列的质量(N = 1)。对纳入文章进行交叉参考文献检索后,又识别出8篇文章,其中6篇接受全文审查,其中4篇被排除在进一步质量评估之外,原因是(1)评估其他MR序列的质量(N = 2),(2)评估文件结构的质量(N = 1),以及(3)评估体模图像的质量(N = 1)。最终,共纳入18篇文章[8, 11, 12, 19–33]。关于数据集、基准和性能指标的相关信息总结于表1。纳入研究中使用了多种T1w序列,大多为采用反转恢复类 spoiled gradient 协议的3D采集(见补充表4)。

图1 PRISMA 2020流程图(改编自:Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021;372:n71. 10.1136/bmj.n71 查看原图 ↗
表1 数据提取 查看原表 ↗

偏倚风险评估

所有纳入文章在算法适用性方面均显示为低关注度(表2)。对于16篇文章,其结局指标显示高偏倚风险,因为基准大多基于视觉QC(表1),这可能导致基准评估失真或有缺陷。在视觉QC过程中,不同评分者可能以不同方式解读方案。此外,他们可能对特定扫描产生独特反应,导致所得评分在某种程度上除单纯评估目标扫描质量外,还反映评分者的特征。引入视觉QC方法偏倚风险的因素示例包括方案不明确[11, 22, 26]、评分者人数未披露[11, 20, 26],或QC仅基于一名评分者的评估[8, 24, 30]。算法中的偏倚可能源于不具代表性或不完整的训练数据,或对有缺陷信息的依赖。因此,对多种算法的分析易受偏倚影响,尤其是当参与者数量较少[8, 21, 22, 25]时,可能导致训练数据不具代表性或不完整。此外,缺乏验证[20–22, 26–29, 33]进一步增加了偏倚风险,因为缺乏保障措施来检测和纠正训练数据中对有缺陷信息的潜在依赖。

表2 偏倚风险评估 查看原表 ↗

基于规则的QC

共找到十篇文章,采用基于一个或多个质量特征的规则化方法评估结构性MRI扫描的质量[20–22, 24, 26–29, 32, 33]。八篇文章将MRI扫描分为通过组和未通过组[21, 22, 24, 26–28, 32, 33],一篇评估是否存在模糊[29],一篇评估SNR和鬼影伪影但无总体评分[20]。五篇文章[20, 24, 26, 32, 33]基于图像背景评估质量特征,认为大多数伪影信号强度会传播至整个图像并进入背景,而背景通常对应结构性MRI扫描总体积的40%。其他文章[21, 22, 27–29]使用基于前景的质量特征,认为仅依赖背景可能无法提供整体图像质量的可靠度量。

基于背景的规则化质量控制(QC)

一篇文章使用了源自既往研究的质量特征,旨在评估图像压缩所致扫描失真[33]。为了评估这些质量特征中哪些最适合MRI扫描的QC,他们将一大组质量特征(分为七个特征族)应用于人工失真的MRI扫描(N = 143)。他们发现,基于自然场景统计的质量特征在区分人工失真与未失真MRI扫描方面最为有效。

后续研究调查了从背景中提取的MR伪影特异性特征,如扫描中的噪声和鬼影伪影(N = 250)[20]。当将这些特征与白质SNR及视觉评估的振铃伪影(评估者人数未披露)进行比较时,发现了极高的敏感性和特异性。他们基于特征与人工评估之间的最高一致性确定了QC阈值。对于评估鬼影的特征,进行了验证测试,其结果与训练集具有相似的特定性和敏感性。

后续工作[26]提出,SNR指标未必对受试者相关伪影敏感。相反,他们认为这些伪影会导致噪声分布受损,可使用两个特定质量特征进行评估。第一个特征评估背景中聚集性伪影的影响,第二个特征评估背景中聚集性和细微伪影效应(N = 749;评估者人数未披露)。White等[32]延续了这项工作,通过计算从头部向外辐射的体素强度向量的积分(N = 6662;1或2名评估者)。该特征与另外两个新特征进行了比较,这两个新特征分别捕捉从头部边缘向外扩散的噪声的频率特征,以及利用沿头部边缘的线扩散函数特性。在这两项研究中,视觉质量评估均产生二分类的通过或未通过评分,该评分要么用于确定质量特征的截断值[26],要么通过确定曲线下面积(AUC)评估性能[32]。据报道,利用沿头部边缘线扩散函数的特征表现最佳[32]。

最后,LONI QC System [24] 是一种公开可用的结构T1w扫描QC算法,基于七个特征,即信噪比(SNR)、信号方差与噪声方差比(SVNR)、对比度噪声比(CNR)、方差与噪声比对比度(CVNR)、脑组织对比度与组织强度变化比(TCTV)、半高全宽(FWHM)和质心(CoM)。在该算法中,图像背景用于代表噪声。为评估每个QC特征的人工二分类(一名评分者)准确性,将每个特征的值转换为z分数,并基于与视觉QC的一致性确定阈值。

使用前景的基于规则的QC

Jang等人[22]认为,并非所有MRI扫描都能捕获背景噪声,例如当背景区域不足以进行稳健分析时。他们引入了使用多方向滤波器进行MRI质量评估(QEMDIM)算法,该算法使用多方向滤波器捕获质量特征。每幅图像被分为16个图像块,具有20个质量特征,这些特征在各图像块上取平均值。通过计算测试图像的平均质量特征与未失真图像基准的平均质量特征之间的绝对差异来确定图像质量,并使用与视觉评分的一致性作为阈值。其他人[21]后来修改了QEMDIM,使其不仅提供绝对质量差异,还提供所评估扫描的质量高于还是低于基准。此外,通过省略图像块划分和特征平均提高了计算效率。然后,他们用视觉质量评分重新验证了修改后的QEMDIM评分。

Osadebey等人[27–29]开发了三种使用前景特征评估MRI扫描质量的算法。一种算法[27]将总质量评分计算为噪声、亮度、对比度、锐度和纹理细节的加权和。在第二种算法[28]中,从MRI扫描的所有切片中提取三个地理空间局部熵特征。在这两种算法中,均已表明未失真图像的质量评分高于人工退化图像。在最近的一项研究[29]中,作者使用了锐度和对比度质量特征的平均值;与视觉评定量表相比,该指标也表现良好。

经典机器学习

三项研究应用了经典机器学习方法[11, 12, 30],这些方法均通过与视觉QC结果进行训练,将MRI扫描分类为通过或未通过。使用了基于图像背景和前景的质量特征。

Pizarro 等人 [30] 研究了多维非线性分类,以克服单变量方法的局限性,包括需要多个质量特征来表征来自不同来源的伪影,因为单一质量特征在小局部区域捕捉伪影细节的能力有限,无法捕捉关于伪影类型和位置的足够信息。提取了六种不同的特征:三种体积特征(与对比度、强度和組織类别相关)和三种伪影特异性特征(与眼动、振铃和混叠相关)。MRI 扫描(N = 1457)也由五到九名评分者进行视觉评估并分类为通过或失败。这些特征和视觉评估被输入到基于支持向量机(SVM)的监督分类算法中,该算法使用十折交叉验证进行训练。

英国生物银行开发了一种质量控制(QC)算法,仅用于评估其自身数据集的质量 [11]。提出了一种经典机器学习方法,基于 190 个图像衍生特征自动识别有问题的扫描。这些特征既来源于原始图像,也来源于预处理后的衍生图像。使用了 Weka 机器学习工具箱,将三个独立分类器的输出融合在一起,并使用结合三个分类器后验概率的投票系统进行融合。为了训练该 QC 算法,对第一版生物银行 MRI 扫描(N = 5816)的质量进行了手动评估(评分者数量未知)。训练时使用了分层十折交叉验证。为了测试该算法,使用了生物银行的第二版数据,该数据未经过手动标注,因此无法得出性能指标。

Esteban 等人 [12] 开发了 MRIQC,一种公开可用的算法,可提取 64 个图像质量特征并拟合二分类器。这些特征仅基于原始 MRI 扫描的背景评估。使用了监督分类框架,由随机森林分类器(RFC)组成,采用留一站交叉验证,即在每个交叉验证折中将整个站点留出作为测试集。所有 MR 体积(N = 1102)的质量首先由两名评分者手动评估,并给予“排除”、“可疑”或“接受”的标签。对于二分类器,通过由标记为“接受”和“可疑”的扫描组成,而未通过由所有手动“排除”的 MRI 扫描组成。

深度学习

五项研究使用了深度学习方法 [8, 19, 23, 25, 31],其中三项将 MRI 扫描分类为通过或失败 [19, 23, 31],其余两项 [8, 25] 评估所评估扫描中是否存在运动。

Küstner及其同事[25]发表了第一篇文章,探讨利用卷积神经网络(CNN)在MRI扫描中自动检测和评估运动伪影的可行性。CNN的输入为分块图像;研究还探究了哪种分块尺寸最佳。训练和验证使用了16名健康志愿者的MRI扫描。每名志愿者扫描两次,第一次采集时指示志愿者保持头部静止。第二次采集时指示志愿者故意左右倾斜头部。训练和评估采用留一交叉验证方法。该CNN能够定位和检测运动伪影。此外,研究还表明,基于分块的运动伪影检测准确率随分块尺寸减小而下降。

Fantini等人[8]在Küstner等人[25]工作的基础上继续研究,纳入了具有更复杂运动变形的扫描(N = 203)。此外,他们还研究了四种不同网络的性能,即Xception、InceptionV3、ResNet50和Inception-Resnet,并通过在Imagenet数据集上预训练网络来应用迁移学习。针对每个标准MR方向(轴位、冠状位和矢状轴)在分块上各训练一个模型,并使用人工神经网络将不同网络的输出合并为一个输出值。此外,还进行了深度搜索,将二分类器附加在不同的块输出上,并从报告最佳准确率的块层中选择最佳架构深度。所有架构的训练均采用三折交叉验证方法。

Sujit等人[31]旨在开发一种算法,利用来自大型多中心数据库(N = 1064)的数据评估3D T1w MRI扫描的图像质量,这些数据由两名评估者进行分类。他们的深度学习网络受VGG16网络启发,针对每个标准MR方向(轴位、冠状位和矢状轴)各训练一个模型,输出层提供逐层质量评分。第二个网络由全连接层和输出层组成,用于将所有层面评分合并为一个“容积”质量评分。研究表明,该模型在分类脑MRI扫描质量方面提供了良好的准确率。

Bottani及其同事[19]开发了一种算法,用于在大型临床数据仓库(N = 3770)中对MRI扫描进行自动质量控制(QC),这些扫描由两名评估者评分。他们旨在剔除不是规范T1w脑MRI的扫描、识别含钆扫描,以及识别质量差、中等和良好的扫描。就本文而言,我们将聚焦于后两个目标。MRI扫描被分为三个等级,即质量良好、质量中等和质量差。对于质量差与中等/良好的分类以及中等与良好的分类,分别训练了两个独立的网络。训练使用交叉熵损失,该损失根据每个任务中各类别扫描的比例进行加权。

Keshavan等[23]采用了另一种方法,其中公民科学家被用于对MRI扫描进行视觉质控,以获得大型标记数据集(N = 200),该数据集反过来可用于训练深度学习网络进行自动质控。一个VGG16网络在Imagenet数据库上进行了预训练,并使用专家和公民科学家的评分进行了进一步的训练和测试。通过比较该网络和扩增训练数据集的结果与MRIQC [12]的结果来报告性能。

讨论

在本系统综述中,我们识别了18种用于结构性T1w扫描质量控制的独特算法,其中十种使用基于规则的方法,三种使用经典机器学习方法,五种使用深度学习方法。我们的系统综述结果揭示了三个关键发现。首先,我们识别了这些算法中包含的广泛特征,尽管各算法在特征方面几乎没有一致性,但大多数算法至少利用一个评估图像熵的特征。其次,缺乏一致的指标和评估标准阻碍了直接比较,并强调了在该领域建立标准化性能指标的重要性。最后,我们观察到不同方法在质控算法开发过程中所采用基准的选择存在显著差异。

特征

在设计上,基于规则和机器学习的算法都使用旨在捕捉图像特性的预定义特征。已经提出了大量特征,但只有信噪比(SNR)和对比噪声比(CNR)在三种或更多算法中被使用。这些特征大致可分为三类:熵特征、图像对比度特征和规范性特征。最初,研究集中于捕捉图像随机性的熵度量[20, 33],因此大多数特征属于这一类别,因为其他研究建立在这些研究之上。更近期研究中的特征最好归类为规范性度量,其捕捉图像相对于均值的偏差。从图像背景中提取的特征可归类为图像对比度或熵类别。这些类别通常用于评估噪声或模糊的研究中,这些噪声或模糊倾向于均匀分布在整个图像中,因此包括背景。从前景中提取的特征通常属于规范性类别,目的是识别与通常模式的偏差。与其他两个类别相比,与规范性特征相关的特征捕捉更广泛的伪影。所有算法都结合不同类别的特征来检测广泛的伪影,除了使用QEMDIM算法[21, 22]的那些。在那种情况下,作者认为反映与基准距离的单一特征捕捉了足够的信息来捕获图像退化的多个来源。

需要注意的是,通常采用最少的处理工作流程来提取不同的特征,这些特征通常基于无明显伪影的健康个体的MRI扫描开发。因此,伪影和临床偏差的存在可能会影响工作流程的性能,从而影响提取的特征。当扫描未能通过处理工作流程时,可能归因于伪影或临床偏差的存在,例如肿瘤的存在。这在特征提取中造成了一种循环性,即特征被用来量化伪影的存在,而特征的提取又受到异常存在的影响。

深度学习算法不使用预定义的特征,并且从设计上来说,这些网络用于分类的 contributing 因素并不总是显而易见的,这限制了可解释性。在纳入的文章中,使用了不同架构的卷积神经网络(CNN)。传统的顺序网络[23, 31]和网络中的网络架构均被用于质量控制(QC)[8]。Fantini等人[8]表明不同架构会导致不同结果,但仅将网络中的网络架构相互进行了比较。不同架构在相同数据集上进行训练,因此可以对其性能进行公平比较。最终,深度学习算法只能基于最终性能指标相互比较,或与其他类型的算法进行比较。

性能

一个一致的发现是,使用数据集特定优化会形成一个循环过程,从而虚增性能指标。在机器学习和深度学习算法的训练过程中,或为基于规则的算法设置阈值时,所有研究均采用了迭代方法,反复回溯数据集进行微调。这表明算法在该特定数据集上的性能被人为夸大了。因此,比较两个或多个算法的性能变得具有挑战性,因为性能指标仅反映特定数据集上的性能。当进行独立验证时,数据集特定优化的局限性变得明显,导致准确率下降约11%。值得注意的是,除[20]中的鬼影阈值外,基于规则算法的阈值未进行独立验证。独立验证在一个经典机器学习算法[12]和三个深度学习算法[8, 19, 31]中进行了。如表1所示,使用了多种性能指标。通常选择准确率来评估模型,因为它与开发QC算法的总体目标高度一致,即准确预测未见MRI扫描的类别。然而,在所有情况下它可能不是最佳性能指标,因为仅当所有类别(通过或失败)在数据中具有相似患病率时,它才能很好地反映性能。然而,情况并非如此,因为大多数利用视觉QC的研究中,所使用的数据集中被归类为失败的比例不到40%。因此,需要灵敏度、特异度、阳性预测值(PPV)和阴性预测值(NPV)等额外指标来提供更全面的性能概览。

数据集

各个数据集的特定特征会引入显著差异,并在比较算法时带来挑战。大多数算法是在包含患病参与者的数据集上训练的,尤其是阿尔茨海默病(ADNI)和孤独症谱系障碍(ABIDE),而有些数据集仅包含健康个体。选择纳入可能存在病变的扫描,似乎是因为这类数据集相对较大且可公开获取。包含自有数据集的研究通常仅纳入健康个体,且规模明显较小。在健康数据集上训练的算法存在将病变误分类为伪影的风险[34],尽管它们可能对小伪影表现出更高的敏感性。数据集的可变性还体现在纳入参与者的年龄分布上。有两种算法的年龄分布未报告[20, 28],但在大多数所使用的数据集中,纳入的是成年人(年龄范围18–65岁)。然而,有四个数据集仅包含儿童(年龄<18岁),四个包含成人和老年人(年龄18岁以上),两个数据集为儿童与成人的组合(年龄<65岁)。研究表明,儿童与成人之间皮质灰质随年龄存在差异[35],并且皮质厚度在发育过程中表现出区域和时间特异性[36]。成人与老年人之间也存在差异,如萎缩或脑室系统扩大[37]。因此,使用仅包含儿童或仅包含成人的数据集开发的算法可能限制其在不同年龄范围间的泛化能力,因为这种变异性可能被视为图像退化[38]。算法的泛化能力还可能受训练中所用T1w序列选择的影响。在2D扫描上训练的算法可能不适用于3D扫描,所使用的具体序列也可能产生影响,可能导致伪影的变化。

基准

为评估算法性能,为所有算法建立了一个基准。为此目的,使用了视觉质量控制(QC)或人工降解图像。对于视觉QC,使用预定义方案以减轻主观性[39],因为在确定可接受的图像质量水平时存在固有差异[5]。在人工降解图像的情况下,应用滤波器以模拟各种类型的伪影。出于可重复性的目的,应明确说明所用滤波器的细节及所采用的相应参数。然而,一些研究缺乏关于其方案的信息,如评估者数量和共识方法。在使用人工降解图像的研究中,均未提供滤波器选择或参数缩放的理由。

为评估视觉质量控制(QC)输出,大多数研究[8, 11, 23, 26, 30–32]使用二分类的通过或失败分类,而两项研究[12, 24]引入了“可疑”类别,随后将其与通过类别合并。这一决定基于在自动QC与视觉QC之间实现更高的一致性。然而,将“可疑”类别与失败类别而非通过类别合并可能更为有利,在半自动QC的情况下,这可以使用户仅将视觉QC集中于失败的扫描[11, 24, 39]。另一方面,合成退化图像则在连续尺度上进行测量,通常通过滤波器参数的百分比或缩放来实现。然而,这种缩放与实际伪影之间的关系仍不清楚,这引发了关于这些合成测量的可迁移性和实际解释的疑问。

两种方法均存在局限性,即基准缺乏一致性,因此阻碍了算法的直接比较和推广。在视觉QC方面,已有尝试开发统一且稳健的视觉QC评级系统,以提高研究间的可重复性和可比性[39]。在合成退化图像方面,存在对研究结果推广至真实临床环境的担忧,因为真实临床环境中伪影的类型和严重程度可能与人工诱导的伪影存在显著差异。基准缺乏一致性也归因于扫描的预期用途。

质量控制水平

基准是基于预期数据用途而建立的。QC的范围可能因数据是用于临床诊断还是研究而有所不同。在临床诊断中,T1w MRI扫描主要用于个体患者评估,因此QC过程倾向于侧重于确保可检测到粗大异常和容易注意到的异常。因此,临床诊断的QC要求对于扫描中的轻微瑕疵可能较为灵活,只要这些瑕疵不妨碍识别明显的临床问题即可。在涉及大规模组间比较或详细量化的研究中,目标往往超出了单纯检测粗大异常的范围,因此QC过程可能要求更高水平的数据质量。此情况下,QC程序旨在确保定量数据的可靠性,并且可能对数据质量的变化容忍度较低。

未来方向

为了以无偏的方式评估和比较算法,应在同一数据集上训练这些算法。这样可确保算法之间的比较聚焦于算法本身的固有能力和局限性,而不是受个别数据集特定特征的影响。通过涵盖广泛的年龄、病理和伪影出现率,可能提高在不同场景下的泛化性和性能。此外,应达成共识[8],为此制定视觉质量控制(QC)或合成退化图像的标准化方案可能有益。同时,使用由经过视觉检查的真实世界扫描和合成退化图像共同组成的基准可能也有用,因为这会减少主观性,同时提高研究结果对真实临床环境的泛化性。为适应所需QC水平的变化,可以采用多个阈值,或使用一组训练好的分类器。这种方法能够定制QC流程,以契合数据的具体需求和预期用途。

此外,研究人员继续探索新特征以改进算法,目标是获得更稳健、更具判别力的度量。然而,研究已在使用的各个特征对特定伪影的判别能力同样重要。此外,可解释深度学习可用于深入了解基于深度学习的算法的决策过程,从而了解此类算法所关注的图像特征。理解哪个特征或哪组特征在捕捉特定伪影方面最有效,可为算法或算法的进一步完善提供有价值的见解。

此外,生成模型近年来在质量控制或异常检测中备受关注,这是因为其具有独特能力:在缺乏代表异常行为的数据时生成新数据,以及应用表征学习[40]的能力。这可能对T1w MRI扫描的QC也有用。

最后,自动QC对日常临床实践的影响可能很显著。它可以简化审查和验证扫描质量的过程,从而为医疗专业人员节省时间,因为它可以减少人工、耗时的评估需求。同时,它确保了标准化和一致的评估方法。此外,如果自动QC能在患者位于扫描仪中时实时执行,就允许及时重新扫描或调整,避免患者需要返回进行额外成像 sessions,并额外降低医院成本。

结论

据作者所知,这是首篇关于T1w MRI扫描(半)自动QC算法的综述。所检测到的算法采用了多样化的方法和特征,重点在于熵度量。然而,由于针对数据集的优化、结果虚高以及阻碍跨数据集比较,比较算法性能具有挑战性。此外,还发现基准中存在变异性和信息缺失,包括方案不明确以及关于滤波器选择和参数缩放的信息有限。尽管存在这些局限性,本综述为结构性T1w扫描的QC算法格局提供了有价值的见解。这些发现的意义在于呼吁未来开展研究和合作,以建立指南和最佳实践,最终提高该领域QC算法的可靠性和有效性。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 22.3 KB)

引用

  1. Hendriks J, Mutsaerts HJ, Joules R, et al. A systematic review of (semi-)automatic quality control of T1-weighted MRI scans. Neuroradiology. 2023. PMID: 38047983. doi:10.1007/s00234-023-03256-0
  2. 全文:PMC10761394(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10761394/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。