文献速递神经MR

自动化定量MRI体积测量报告支持痴呆诊断解读:一项多阅片者临床准确性研究

Automated quantitative MRI volumetry reports support diagnostic interpretation in dementia: a multi-rater, clinical accuracy study.
PubMed 文献 · Eur Radiol · 2021-01-15

本研究使用16例阿尔茨海默病、14例额颞叶痴呆和15例健康对照的MRI,由9名不同经验放射科医生在有/无定量报告时评估。定量报告提高了检出体积丢失和AD的敏感度,仅顾问组准确性和一致性显著提高。

要点

  • 定量报告提高所有阅片者检出体积丢失的敏感度(p=0.015)和AD的敏感度(p=0.002)。
  • 仅顾问组使用定量报告后准确性从71%升至80%(p=0.02),kappa从0.41升至0.55(p=0.04)。
  • 定量报告未显著改变FTD诊断表现,且可能增加错误判读时的信心。

核心结论

  • 定量报告将单受试者结果参照常模数据并与视觉评估结合,提高了检出体积丢失的敏感度、准确性和阅片者间一致性。
  • 定量报告在顾问组效果最大,提示需要经验才能充分利用定量分析提供的额外信息。

研究设计与样本

  • 强制选择多阅片者临床准确性研究,使用16例AD、14例FTD和15例健康对照的MRI,年龄范围52-81岁。
  • 定量报告显示区域灰质体积相对于常模人群(n=461)的百分位数,常模来自ADNI(n=382,年龄56-90岁)和Track-HD(n=79,年龄30-65岁)。
  • 9名阅片者(顾问、专科注册医师、非临床图像分析师各3名)每例评估两次(有/无定量报告),盲于临床和人口学信息。
  • 参考标准为临床评估和脑脊液标志物诊断(AD:β-淀粉样蛋白1-42 < 550 pg/mL且tau:amyloid比值 > 1)。

诊断标准与关键数值

  • 所有阅片者合并,定量报告提高检出体积丢失的敏感度(p=0.015)和AD的敏感度(p=0.002)。
  • 顾问组使用定量报告后准确性从71%升至80%(p=0.02),kappa从0.41升至0.55(p=0.04)。
  • 图像分析师使用定量报告后AD敏感度提高(p=0.01)。
  • 所有阅片者合并,Cronbach's alpha从0.886升至0.925,对应从「良好」到「优秀」。

临床应用与阅片要点

  • 定量报告可作为支持工具,不能替代神经放射学经验,阅片者应警惕过度依赖。
  • 定量报告在顾问组效果最大,提示经验有助于充分利用定量信息。
  • 定量报告可能增加错误判读时的信心(假信心),需适当培训以避免过度依赖。

局限性

  • 研究统计效力有限,可能由于受试者样本量或阅片者数量。
  • 图像分析师组表现异质性出乎意料,可能由于经验水平差异。
  • 对照组样本量为患者组的一半,可能导致特异度非显著下降。
  • 对照受试者来自临床人群,均有主观神经科主诉,可能存在其他病理影响阅片者表现。
  • 研究的 incidence ratio(对照:AD:FTD)、强制选择性质和缺乏进一步临床数据不能反映常规神经放射学评估。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Jan 15;31(7):5312–23. doi: 10.1007/s00330-020-07455-8

引言

脑磁共振成像(MRI)常规用于痴呆的诊断,因为它可以显示神经退行性变引起的结构改变[1, 2]。特别是,MRI对于界定健康与病理性脑体积丢失之间的细微差异以及痴呆亚型之间的差异至关重要[3]。这些改变在研究和临床环境中都难以识别,评估者间差异中等即可证明[4]。

已开发了多种视觉评定量表,以实现体积丢失的可重复半定量评估[5–10]。这些量表已被证明可将评估者间差异降低到一定程度,因而被用于临床试验[11–13]。然而,这些量表具有主观因素,其应用在很大程度上依赖于使用者的放射科医生既往经验。此外,它们对细微或前驱期改变的敏感性较差,并存在天花板效应和/或地板效应[4]。这些不足可通过使用总体和区域体积定量来解决,后者已被用作研究和临床试验中的结局指标[11, 14, 15]。有研究提示,定量还可通过提供单个受试者与年龄匹配正常人群之间的区域特异性体积差异,提高诊断准确性、可靠性、信心和效率[16–21]。然而,体积定量的临床引入取决于技术和临床验证,以及对强制性管理法规的依从性[22–24]。

我们开发了一套流程,可自动生成一种新型且临床可用的定量报告(QReport——图1)。我们使用的分割算法为测地信息流(GIF),它是内部软件NiftySeg的一部分(http://niftyweb.cs.ucl.ac.uk/program.php?p=GIF)[25]。我们的流程整合并显示患者的人口学信息、MRI质量控制指标、GIF的海马分割,以及对照正常人群进行背景化的体积学结果。QReport生成“玫瑰图”表示,以视觉上简单且易于解释的二维格式显示复杂的三维数据[26]。大多数商业报告的评价仅限于CE和FDA批准;本研究旨在通过评价QReport如何影响临床准确性,完成定量神经放射学倡议(QNI)六步框架中的第4步[24]。

在本研究中,我们评估了我们的QReport在两个诊断步骤和三个神经放射学经验水平上的效果。我们假设:(1)使用我们的QReport将降低评估者间差异,同时提高诊断特异性、敏感性、准确性和信心,(a)用于判断是否存在体积丢失,(b)用于判断AD或FTD的鉴别诊断;(2)QReport的效果将在三个经验水平上均可识别。

图1 一名AD患者的定量报告(QReport),显示人口统计学资料、海马体积百分位数以及单个受试者脑实质分数(红点)与无痴呆规范人群的对比。质量控制指标以及按脑叶和相关亚区分组的灰质体积百分位数的“玫瑰图”表示。玫瑰图采用对数尺度,并使用交通灯颜色编码系统(绿色至红色表示百分位数由高至低),以在健康人群背景下显示个体的体积百分位数。缩写:BPF,脑实质分数;SNR,信噪比;CNR,对比噪声比;GM,灰质;WM,白质;CAU,尾状核 查看原图 ↗

方法

患者数据集

我们建立了一个由当地扫描的45名受试者MRI扫描组成的测试集,使用三种不同的3-T MRI系统(采集参数见补充材料)。15名“对照受试者”因记忆问题被转诊至我们的专科门诊,但经神经系统、脑脊液(CSF)和影像学评估后被判定处于正常范围。MMSE评分已作为认知表现的标志物纳入(见表1)。

30名患者根据临床评估和CSF标志物被诊断为AD(n = 16,β-淀粉样蛋白1–42 < 550 pg/mL且tau:淀粉样蛋白比值 > 1)或FTD(n = 14)。MMSE评分和疾病持续时间见表1。所有数据均在Queen Square伦理委员会伦理批准下获取:13 LO 0005和12 LO 1504。

参考数据集

规范性健康对照数据来源于阿尔茨海默病神经影像学倡议(ADNI)数据库(n = 382;年龄范围56–90岁)(adni.loni.usc.edu),并由Track-HD研究队列[27]扩充以纳入较年轻的对照者(n = 79;年龄范围 = 30–65岁),从而覆盖临床适宜年龄范围。规范性总人群为n = 461(51.4%为女性),平均年龄为70.09岁,SD = 12.05。“参考数据集”中的受试者数据是在ADNI和TRACK-HD研究现行伦理协议下获取的。

灰质体积的定量与显示

使用测地线信息流(GIF)对所有参与者的全脑、灰质和相关区域体积进行估计。GIF可对T1加权扫描提供全自动多图谱分割以及全局和区域特异性体积测量。它已在痴呆和其他神经退行性疾病的手动分割研究中得到验证[25, 28–30]。这对于本研究中检查的形态学不同受试者之间的比较尤其相关[25, 31]。我们开发了一条自动化流程,以临床可用的报告格式呈现数据(图1),显示非身份识别的人口统计学资料、海马体积百分位数以及脑实质分数与规范人群数据的对比。在回归去除年龄、性别和总颅内体积后,区域脑体积以相对于健康对照灰质体积的高斯分布近似的百分位数估计值表示。我们使用广义逻辑函数的一种变体,将观察性规范数据库的值作为连续变量进行预测。这使我们能够计算测量值相对于规范人群的累积分布函数。数据以视觉上简单直观的“玫瑰图”格式显示。

研究设计

三组评分者参与了本研究:神经放射学顾问医师;神经放射学专科注册医师;以及非临床图像分析人员。评分者从多个中心邀请,以确保培训和经验的广泛代表性。评分者对除年龄和性别外的所有临床和人口学信息设盲。我们设计了一个网站平台(图2)以促进远程参与。该网站包含详细说明(见补充材料),随后展示45次扫描,每次扫描分别在可获得QReport和不可获得QReport的情况下各显示一次。为减轻系统性学习或锚定效应,扫描通过我们的评分网站自动随机化,并以每位评分者独有的顺序发送给评分者。该任务总共包含90个评估“环节”。

在每个“环节”中,评分者被提示给出其评估,说明(1.a)就年龄相关体积丢失而言,扫描是“正常”还是“异常”;(1.b)置信度,采用1(非常不确定)至5(非常确定)的量表;(2.a)如果扫描被评定为异常,选择AD或FTD;(2.b)其对该鉴别诊断的置信水平(1–5量表)。评分者在2个月期间完成该练习;评分通过该网络平台收集并随后进行分析。

图2 定量神经放射学倡议(QNI)研究网站(http://qni.cs.ucl.ac.uk)的截图,显示可获得QReport的病例的图像查看器。QReports完全可交互,并可通过网站缩放 查看原图 ↗

统计分析

我们探讨了QReport的可获得性对以下方面准确性的影响:(1)识别体积丢失(正常 versus 异常)和(2)AD versus FTD的鉴别诊断。使用以下评分计算关键信号检测指标:(a)正确判定为“异常”(AD/FTD的“真阳性”)和“正常”(健康对照的“真阴性”)以及(b)错误判定为“异常”(健康对照的“假阳性”)和“正常”(患者的“假阴性”)。使用这些指标,计算诊断灵敏度、特异度和准确度,并以百分比表示如下:

随后,使用McNemar检验分析可获得和不可获得QReport时正确和错误诊断扫描的计数。使用配对t检验评估两种条件下(有QReport versus 无QReport)的平均诊断准确度、特异度和灵敏度。计算Cohen's kappa以评估评分者评估与确诊诊断之间的一致性,同时校正“机会”一致性。为进一步评估QReport的可获得性对评分者之间一致性和可靠性的影响,计算Cronbach's alpha和组内相关系数。

置信度评分(有QReport versus 无QReport)按每位评分者以及每种“真实”疾病类型(正常、AD、FTD)计算总均值,并使用配对t检验进行评估。在探索性分析中,即正常 versus 异常的评分,我们假设QReport对置信度和诊断评分的影响可能因所评扫描为正常还是异常、评分者是否正确分类扫描以及评分者的经验水平而异。四因素混合ANOVA,包括所有因素(QReport × 正常性 × 正确性 × 经验水平),使我们能够评估这些因素如何交互。

所有统计分析均使用SPSS版本24进行。

结果

评估准确性

体积损失:正常与异常

对于所有评估者合并分析,QReport的可用性显著提高了诊断灵敏度(p = 0.015*),而未改变特异度或准确性。然而,对于准确性,观察到有益的中等效应量(0.53)。在3个评估组中,仅顾问组的准确性显著提高,从71%提高到80%(p = 0.02*)(表2)。

表1 测试对象数据集的特性。受试者间平均年龄匹配,与对照组相比,AD受试者的平均Abeta 1–42降低、平均Tau升高。与“对照组”相比,AD(p < 0.001)和FTD(p = 0.03)的平均MMSE显著更低。还显示了以年计的平均疾病持续时间(从首次报告症状到MRI的时间) 查看原表 ↗

AD与FTD

QReport的存在显著提高了图像分析师的AD灵敏度(p = 0.01*)以及所有评估者合并的AD灵敏度(p = 0.002*)(表3)。诊断FTD方面无显著变化(表4)。就绝对值而言,AD和FTD的正确诊断数量随报告分别增加了6.9%和5.6%,AD具有中等效应量,但这些变化不显著。

表2 所有经验水平下正常与异常评定的灵敏度、特异度和准确性,分别在有和无定量报告时 查看原表 ↗
表3 所有经验水平下AD与正常评定的灵敏度、特异度和准确性,以及AD正确评估的百分比,分别在有和无定量报告时 查看原表 ↗

评估信心

对于正常与异常评定,使用四因素混合方差分析(QReport × 正常性 × 正确性 × 经验水平),我们发现正常性 × 正确性 × QReport交互作用,表明在使用QReport时错误评定异常扫描(即假阳性判断)的信心显著增加。这些发现代表统计学显著差异(p = 0.02,F(1,8) = 7.918),效应量较小(η2p = 0.497),且不随经验水平组变化。评估者的信心也显著更高:使用QReport时高于不使用时,无论正确性如何[F(1,8) = 6.64,p = 0.03,η2p = 0.453]

正确评定时,无论是否使用QReport [F(1,8) = 112.43,p = < 0.01,η2p = 0.934]

评定异常而非正常扫描时,无论是否使用QReport [F(1,8) = 21.68,p = < 0.01,η2p = 0.73]

使用QReport时对信心无其他显著影响。

评估者与金标准之间的一致性——Kappa评分

每位评估者在检测体积损失(异常)时的Cohen kappa评分详见表5,在区分AD或FTD时详见表6。对于两项评估,仅顾问组在使用QReport时kappa评分显著增加(分别为p = 0.038*和p = 0.04*)。

表4 所有经验水平下FTD与正常评定的灵敏度、特异度和准确性,以及FTD正确评估的百分比,分别在有和无定量报告时 查看原表 ↗
表5 所有经验水平下正常/异常评定的Kappa评分,分别在有和无定量报告时 查看原表 ↗

评估者间的一致性和可靠性

对于正常与异常的评分,当提供QReport时,所有评分者之间一致性的Cronbach's alpha显示总体评分信度从0.886提高到0.925,对应于从“良好”提升至“优秀”。使用混合双向ANOVA跨评分者评估的组内相关系数,单次测量为0.454,平均测量为0.882;使用QReport后,这些值分别增至0.563和0.921。

功效计算

基于我们观察到的所有评分者诊断准确度的效应量(表2),我们计算了以下样本量估计,以帮助为未来研究提供参考。要达到80%、90%和95%观察到阳性效应的概率,分别需要30、40和45名评分者。

讨论

我们对我们定量体积报告(QReport——图1)进行了一项临床准确性研究。使用已建立的分割算法——测地信息流(GIF)[25],我们开发了一条流程,将患者人口学信息、海马分割、脑实质分数以及全局和区域特异性脑体积测量与规范人群进行情境化整合(图1)。我们的“玫瑰图”显示的优势在于以视觉上简单且易于解释的二维格式呈现复杂的三维数据。我们的主要目的是评估我们新型定量体积报告在三个神经放射学经验水平上对敏感性、特异性和准确性的影响。提供我们的QReport提高了所有评分者检测体积损失的敏感性,并改善了顾问组的准确性和一致性。它还提高了图像分析人员诊断AD的敏感性以及所有评分者合并后的敏感性,但对FTD的鉴别没有影响。此外,QReport减少了检测体积损失的准确性、敏感性和kappa评分的变异性。以绝对值计算,分类准确性总体提高了超过5%。鉴于近年来记录的痴呆患病率增加及其未来预测[32],如果在更大的研究人群中得到证实,这一数字可能具有临床重要性。

存在用于痴呆评估的专有定量工具,例如CorTechs.AI的“Neuroquant”(https://www.cortechs.ai/products/neuroquant/tbi/)和Icometrix的“icobrain-dm”(https://icometrix.com/products/icobrain-dm)。其分割算法的技术验证已与其他分割程序进行对比,结果令人鼓舞[33, 34]。然而,尽管这两种工具均获得FDA和CE批准,但两者均尚未发表由神经放射学家对其临床准确性进行的系统评估,而本研究正是针对这一问题。我们的“玫瑰图”提供的信息比子区域体积的数值表格以及仅对脑叶和海马体积的有限可视化更为直观。文献中严重缺乏对体积神经放射学工具的临床验证研究。与我们的研究一致,最近一项研究显示,在两名评分者中的一名中,患者与健康对照的识别得到改善,而两名评分者在“痴呆性神经退行性疾病”的鉴别诊断中均有改善[21]。

在一项使用非商业算法的研究中显示,将脑叶和海马体积加入视觉检查可提高两名经验丰富的神经放射科医师的诊断准确性[19],从而与我们的发现相一致。这一改善表明,经验丰富的神经放射科医师有能力吸收并利用QReport所提供的信息。此外,我们的顾问组表现出最大的统计学获益,因为他们在两项任务之间的评估表现差异最小,这与非临床组相比尤其符合预期(表2)。相反,经验较少的神经放射科医师和非临床图像分析人员可能过度依赖QReport来判断异常,正如特异度总体下降所提示的那样,尽管并不显著(表2和表3)。

在根据MR图像诊断神经退行性疾病时,神经放射科医师首先评估体积丢失的存在及其分布。第二步,他们解读该模式以提示某种特定疾病类型,如AD或FTD。在此背景下,值得注意的是,提供QReport提高了第一步的灵敏度(所有评估者对体积丢失的检测),并改善了顾问组内的准确性和一致性。对于鉴别诊断,QReport提高了图像分析人员对AD的灵敏度以及所有评估者合并后的灵敏度,但对FTD没有影响。从诊断角度来看,提供一种可重复评估体积丢失且评估者间变异性降低的客观指标至关重要,并可在多种神经退行性疾病的临床实践中使用。对FTD鉴别诊断影响有限,可能是由于患者平均年龄较低(AD为61.7岁,FTD为59.9岁)且疾病持续时间相对较短(AD为2.7年,FTD为3.5年)(表1)。这会影响所存在的萎缩程度,并可能使这些病例更难评估。然而,在较年轻患者中于萎缩仍然轻微时识别萎缩也很重要,正是在这些病例中,QReport可能有助于减少主观视觉分歧。

有趣的是,检测体积丢失以及区分AD和FTD的信心并未受到QReport的显著影响。出乎意料的是,在错误诊断体积丢失时(即虚假信心),信心显著增加,且与经验水平无关。一种可能的解释是,评估者仅基于视觉检查作出错误诊断,并利用QReport来强化其诊断。无论原因如何,需要开展更多工作来理解和减轻这一发现。这凸显了在临床采用前进行严格验证的必要性,以及适当培训以避免过度依赖诊断辅助工具、完成测试病例集、并仔细规划和监测诸如QReport之类工具引入的重要性。定量报告不应被视为金标准,而应被视为不能替代神经放射学经验的支持工具,评估者应警惕过度依赖。

表6 在所有经验水平中,有和无定量报告时,评定诊断与临床/CSF确诊的AD和FTD诊断之间一致性的Kappa评分 查看原表 ↗

局限性

我们的研究在统计效能上存在一定局限,可能源于受试者样本量或所用评分者数量。然而,我们45名受试者的样本量与其他使用36至52名受试者的类似研究[17, 19, 20]相一致。在三个经验水平内使用九名评分者,使我们能够识别引入QReports时经验的影响。类似工作总共使用了2名评分者[19, 20]或最多3名评分者[17]。我们的图像分析员组的表现出乎意料地异质,可能由于经验水平的差异。图像分析员和住院医师组内结果的变异性也可能反映对报告的过度依赖,而非将其作为MRI的补充使用。‘对照’组规模为患者组的一半,这可能导致了特异性的意外下降,尽管不显著(表2和表3)。因此,我们的研究强调了在开发和验证此类定量诊断辅助工具时考虑样本量和评分者组的重要性。未来工作将需要招募更多评分者,以更好地评估报告对诊断性能的影响,以及这种影响的调节因素(见“结果”部分的“效能计算”)。

‘对照’受试者招募自临床人群,均表现为主观神经系统主诉。放射学正常的‘对照’可能存在其他病变,这可能影响了我们评分者的表现。然而,这是有意识的选择,以反映记忆门诊的临床环境。最后,本研究中的发生率比(对照:AD:FTD)、强制选择性质以及缺乏进一步临床数据,并不反映常规神经放射学评估,后者需要考虑更多诊断选项。

结论

这项临床准确性研究的结果表明,提供以常模数据为参照的单受试者结果的定量体积报告,可以提高检测体积丢失和AD的敏感性、准确性和观察者间一致性。这是在报告痴呆患者体积变化时的关键一步。QReport的最大有益效应出现在顾问组,表明他们最适合吸收和利用QReport提供的信息。所有三个经验水平之间的不同效应强调了需要研究阐明这些报告的潜在益处和局限性,以及临床采用前严格验证的重要性。我们的样本量较小,但准确性和敏感性的效应量为中到大,支持有益的报告效应。重要的是,还注意到敏感性、准确性和kappa评分的变异性降低。我们相信我们的研究将有助于为该领域的未来研究提供效能计算和研究设计的信息。

软件可用性

该软件为非商业性,可通过此网络链接上传T1加权扫描免费生成QReport——http://niftyweb.cs.ucl.ac.uk/program.php?p=QNID。

补充信息

ESM 1(DOCX 33 kb)

引用

  1. Pemberton HG, Goodkin O, Prados F, et al. Automated quantitative MRI volumetry reports support diagnostic interpretation in dementia: a multi-rater, clinical accuracy study. Eur Radiol. 2021. PMID: 33452627. doi:10.1007/s00330-020-07455-8
  2. 全文:PMC8213665(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8213665/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。