比较两种人工智能软件包在记忆门诊影像中的规范性脑容量测量
本研究回顾性纳入60例患者(20例阿尔茨海默病、20例额颞叶痴呆、20例轻度认知障碍)和20名对照,用两种商用AI软件包对同一MRI生成定量报告,由两名神经放射科医生仅基于报告做强制选择诊断。两种软件包在区分正常与异常容积及具体诊断上的一致性为中等(K=0.41-0.43、K=0.36-0.38),诊断准确率、敏感度和特异度无显著差异,但全脑%ICV输出相差10.73%,作者建议采用前在具体机构内评估软件包。
要点
- 两种软件包区分正常与异常容积的组间一致性仅为中等(K=0.41-0.43),不能假定可互换。
- 同一软件包下两位阅片者区分正常与异常的一致性为良好至很好(K=0.73-0.82)。
- 具体诊断的组间一致性为一般(K=0.36-0.38),额颞叶痴呆组内一致性最高(95%、85%)。
核心结论
- 不同AI软件包对脑MRI的定量规范性评估可在临床解读层面产生不同影响,诊所不应假定不同软件包可互换,作者强烈建议采用前在具体诊所内进行评估。
研究设计与样本
- 回顾性纳入2010至2019年记忆门诊患者,共60例患者(20例阿尔茨海默病、20例额颞叶痴呆、20例轻度认知障碍)和20名对照,共80例。
- 所有受试者采集3D FSPGR T1加权MRI,场强3.0T(n=67)或1.5T(n=13),各向同性1mm³(n=60)或近各向同性体素(约1×1×1.6mm³,零填充至1×1×0.8mm³,n=20)。
- 两种软件包为Quantib® ND 1.5(软件1)和QUIBIM Precision® Brain Atrophy Screening V1.0.0(软件2),每例MRI由两种软件各生成一份定量报告。
- 两名神经放射科医生(一名资深、一名fellow)在不知临床信息和MRI视觉阅片的情况下,仅基于定量报告以强制选择方式独立诊断。
- 参考标准为多学科专家共识临床诊断,依据轻度认知障碍、阿尔茨海默病和额颞叶痴呆的标准诊断标准。
诊断标准与关键数值
- 区分正常与异常容积的软件间一致性:阅片者1 K=0.41(95%CI 0.23-0.60,p<0.001),阅片者2 K=0.43(95%CI 0.22-0.63,p<0.001)。
- 软件1的阅片者间一致性K=0.73(95%CI 0.55-0.92,p<0.001),软件2为K=0.82(95%CI 0.69-0.94,p<0.001)。
- 具体诊断的软件间一致性:阅片者1 K=0.38(95%CI 0.24-0.52,p<0.001),阅片者2 K=0.36(95%CI 0.22-0.50,p<0.001)。
- 具体诊断的阅片者间一致性:软件1 K=0.54(95%CI 0.40-0.68,p<0.001),软件2 K=0.59(95%CI 0.45-0.72,p<0.001)。
- 全脑%ICV输出:软件1均值77.28(SD=3.54),软件2均值66.55(SD=6.64),相差10.73%(95%CI 9.72-11.75,p<0.001)。
临床应用与阅片要点
- 仅凭定量报告区分正常与异常容积时,两种软件包的诊断准确率、敏感度和特异度无显著差异(McNemar检验)。
- 具体诊断的阅片者间一致性仅为中等,可能反映缺乏解读指南,软件引入临床时存在学习曲线。
- 额颞叶痴呆的软件间和阅片者间简单一致性高于阿尔茨海默病和对照,敏感度也更高,提示定量评估可能更清晰地反映额颞叶痴呆的萎缩模式。
- 有经验的阅片者偏好软件2报告展示详细亚结构,而fellow偏好软件1的脑叶报告(更接近标准视觉评估如全局皮质萎缩量表),选择软件包时应考虑临床医生经验水平。
- 作者强烈建议在采用特定软件包前,在希望实施该软件的特定诊所内进行评估。
局限性
- 使用定量报告而未结合MRI视觉评估,不符合常规临床实践,但使作者能够证明不同软件包的输出被不同解读。
- 报告的不同图形展示使放射科医生无法对软件类型设盲。
- 结果特定于本研究背景,受所用软件包和神经放射科医生经验影响,可能不能推广到其他诊所或软件包。
- 阿尔茨海默病组同时包含早发和晚发患者,其脑MRI影像模式不同,本可视为独立组。
- 轻度认知障碍患者被排除在准确率分析之外,使样本量受限。
全文中译17 节 · 点击展开
引言
痴呆是一项具有挑战性的临床诊断,需基于多学科标准。磁共振成像(MRI)可辅助痴呆及其亚型的诊断[1],因为区域性脑萎缩模式可能提示特定的潜在病理。然而,对这些标志物的视觉评估(例如使用MTA量表[2])可能对主观评价敏感,并且在早期阶段尤其具有挑战性,此时视觉特征难以与健康老化区分[3, 4]。脑MRI的自动化常模定量评估通过算法量化患者的区域性脑体积,并将其与健康参考人群的数据进行比较,可能提供比视觉评估更客观、更可重复的方法。此外,使用常模定量信息可能改善萎缩的早期识别[5, 6]以及影像学阿尔茨海默病(AD)诊断的敏感性和准确性[3, 7, 8]。
各种将该定量方法应用于临床的专有人工智能(AI)软件包正在不断涌现。然而,对其临床实施的理解仍然有限[3, 4]。最重要的是,尚不清楚这些软件包在影像学诊断方面是否具有同等且一致的优势。证明不同软件包之间具有一致的诊断贡献,既支持各个软件包的有效性,也支持定量评估用于痴呆诊断的有效性。相反,软件包之间发现的任何差异及其可能如何影响临床流程,对临床医生而言是重要的须知事项。
本研究在临床环境中考察了两个市售AI软件包,分别由Quantib B.V.和QUIBIM S.L.制造。具体而言,这些软件包在神经放射科医生基于影像的痴呆及其亚型诊断背景下进行比较,以深入了解不同软件包是否以不同方式影响临床影像学诊断。我们通过评估以下方面来探索软件之间诊断贡献的潜在差异:(1)神经放射科医生基于定量体积输出所作诊断之间的一致性;(2)与多学科临床诊断相比的诊断准确性、敏感性和特异性;以及(3)神经放射科医生的诊断信心。为补充这些评估,我们探索了两个软件包所生成的实际定量输出之间的潜在差异。
方法
参与者
2010年至2019年间就诊于我院记忆门诊、作为临床检查一部分接受了MR成像、并在MRI后六个月内获得临床诊断的患者符合本研究条件。诊断基于多学科专家共识,纳入所有可用的临床、实验室和影像学数据,使用轻度认知障碍(MCI)、AD和额颞叶痴呆(FTD)的标准诊断标准[9–12]。虽然MCI是一种综合征性诊断,因而无法基于影像学进行诊断,但纳入该亚组是为了代表记忆门诊中所见的全部患者谱系。
参与者在进行MRI时必须≥45岁,原因是该软件规范参考数据的年龄下限如此,并且没有合并神经系统病变的记录。按照排除标准,最终保留20例MCI患者,包括13例稳定病例(诊断后至少6个月内未进展为痴呆)和7例转化者(诊断后6个月或更晚进展为痴呆)。为使各诊断组之间的比例相匹配,从FTD组(13例行为变异型和7例语言变异型)和AD组中随机选取了20例患者。
从既往病例对照研究[13, 14]中可用的31名受试者中随机选取了20名健康对照。健康对照的纳入条件为无神经系统主诉史,随后通过完整的神经心理学评估和脑MRI予以核实。样本人口学资料见表1。
所有参与者均提供了书面知情同意书。机构审查委员会为本研究提供了伦理批准。
图像采集
对所有80名受试者在3.0 T(n = 67)或1.5 T(n = 13)下采集3D FSPGR T1加权MRI(GE Healthcare,美国),采用各向同性(1mm3,n = 60)或接近各向同性的体素采集尺寸(约1 × 1 × 1.6mm3,处理时零填充至1 × 1 × 0.8mm3,n = 20)。
软件包
本研究考察的两个软件包分别是用于脑MRI分析的Quantib® ND 1.5软件(Quantib,鹿特丹,荷兰)分割算法,以及由QUIBIM S.L.(医学定量成像生物标志物,瓦伦西亚,西班牙)开发的QUIBIM Precision® Brain Atrophy Screening V1.0.0模块。Quantib® ND的分割算法包括使用T1加权扫描对脑组织、脑脊液(CSF)和脑结构(脑叶、小脑、海马)进行自动分割和定量,以及使用T2加权FLAIR扫描对白质高信号进行自动分割和定量。本研究仅使用了T1加权扫描的分割和定量。QUIBIM Precision® Brain Atrophy Screening分析模块自动分割脑组织(灰质、白质和CSF),并将灰质分割为额叶、颞叶、顶叶和枕叶的75个不同区域和亚区,以及15个额外的皮层下结构。在本文余下部分,Quantib和QUIBIM的软件包将分别称为软件1和软件2。
这两个软件包均使用内部开发的分割算法,生成绝对和相对的区域性脑体积,并形成可由神经放射科医师解读并与PACS整合的报告。这两个软件包均实现了参考人群,以提供规范性定量数据,将个体患者的体积数据与健康人群的数据进行比较。这两个软件包均生成所有脑叶的偏侧化体积占颅内体积百分比(%ICV)。软件1在报告中呈现这些偏侧化脑叶数值,而软件2则包含各种偏侧化亚结构的%ICV。为本研究的比较目的,软件2在报告中增加了偏侧化全脑叶(除已有的亚结构外)。详见Table 2和Supplementary Materials,以及Pemberton等[4]的近期综述,其中总结了这些及其他软件包的技术细节和特征。
操作流程
每名受试者的单次脑MRI均使用两个软件包进行处理,以分别生成一份定量报告,包括年龄、性别、区域体积测量及其与参考人群的对照图示等信息。所有图像均检查了运动伪影和其他图像失真。在处理之前,两个软件包均对所需采集参数执行自动质量检查。处理后,检查定量报告是否存在虚假结果,以识别潜在的分割错误。
这些报告提供给两名神经放射科评分者,他们对临床信息和MRI的视觉判读均设盲:一名经验丰富的资深神经放射科医师(评分者1)和一名神经放射学专科培训医师(评分者2)。他们各自通过强制选择设计独立地为每份报告指定诊断,而不对实际图像进行视觉评估。请注意,该流程并不符合任一软件包的预期用途,即向受过培训的医疗专业人员提供补充信息,用于评估和评价MR脑图像。我们仅研究了定量评估,因为我们的目的是比较软件包及其输出报告的解读,而不是比较其性能或软件辅助诊断。
首先,评分者指出体积特征为“正常”还是“异常”,然后,如果异常,指出最可能的诊断为“AD”、“FTD”或“异常不可分类”。MCI未作为选项纳入,因为其无法基于影像数据作出诊断。对于这两个步骤中的每一步,神经放射科医师还以1至5分的量表评定其对诊断的信心。评分者不知道样本中各诊断组的比例,但知道样本包括无痴呆诊断的受试者、FTD患者和AD患者。评分者首先在一批中评分软件1的报告,然后在一批中评分软件2的报告。在每一批内,报告除年龄和性别外对任何患者信息均设盲,并以不同的随机顺序呈现。
统计分析
所有诊断分析首先用于识别痴呆,即体积特征为“正常”还是“异常”,然后用于特定诊断(正常、AD、FTD或异常不可分类)。统计分析使用IBM SPSS Statistics 25进行,显著性水平为p ≤ 0.05。
诊断一致性
我们使用Cohen's Kappa(K)评估:(1)每位评估者使用每个软件包对每位受试者诊断的“软件间一致性”,以及(2)两位评估者使用每个软件包所评估诊断之间的观察者间一致性。
在每个诊断组(AD、FTD和对照组)内,软件间一致性和观察者间一致性通过简单一致性(相同诊断标签的比例,以百分比表示)来确定,因为样本量太小,无法进行Cohen's K分析。所有一致性分析均不考虑诊断的准确性。
诊断准确性、敏感性和特异性
我们以多学科临床诊断作为参考标准,测量了准确性、敏感性和特异性[15],并使用McNemar检验比较各软件包之间的这些指标。由于MCI是一种综合征诊断,影像学无法特异性地指示MCI,这意味着在MCI中异常评级在技术上属于假阳性,正常评级属于假阴性,因为这些患者在临床上也不等同于健康对照。由于这些假阳性/假阴性影响准确性、敏感性和特异性,这些指标在不包括MCI患者的情况下进行评估。
诊断置信度
对每位神经放射科医师,对称分布的置信度数据使用Wilcoxon符号秩检验进行分析,否则使用符号检验。这些分析均不考虑诊断的准确性。
软件定量输出
每位受试者的全脑实质占颅内体积百分比(%ICV)值在各软件包之间使用配对样本双尾t检验进行比较。软件1明确提供该全脑%ICV值,软件2提供脑实质分数(等于全脑实质%ICV)。我们还对软件1和软件2的区域规范性数据进行了Spearman相关分析(见补充材料)。
结果
诊断一致性
痴呆(正常与异常体积轮廓)
两位评估者基于软件1的标签与基于软件2的正常和异常标签之间的软件间一致性均为中等(K = 0.41,95% CI [0.23;0.60],p < 0.001;K = 0.43,95% CI [0.22;0.63],p < 0.001)。
软件1表现出良好的观察者间一致性(K = 0.73,95% CI [0.55;0.92],p < 0.001),软件2表现出非常好的观察者间一致性(K = 0.82,95% CI [0.69;0.94],p < 0.001)。
具体诊断(正常、AD、FTD或不可分类的异常)
两位评估者基于软件1和基于软件2的具体诊断之间的诊断一致性均为一般(分别为K = 0.38,95% CI [0.24;0.52],p < 0.001;K = 0.36,95% CI [0.22;0.50],p < 0.001)。对于两位评估者,最高的软件间一致性均出现在FTD组(评估者1为95%,评估者2为85%)。较低的软件间一致性出现在AD组(评估者1为40%,评估者2为45%)和对照组(评估者1为55%,评估者2为50%)。
各受试者具体诊断的观察者间一致性为中等,软件1的K = 0.54,95% CI [0.40;0.68](p < 0.001),软件2的K = 0.59,95% CI [0.45;0.72](p < 0.001)。使用软件1时,观察者间一致性在实际临床诊断为FTD的患者中最高(简单一致率90%),其次为对照组(75%),然后为AD组(55%)。使用软件2时,FTD患者内的观察者间一致性也较高(80%),但在对照组内最高(90%)。与软件1相同,AD组内的观察者间一致性较低(45%)。
诊断准确性、敏感性和特异性
痴呆诊断(受试者被标记为“正常”或“异常”的准确程度)以及AD和FTD具体诊断的诊断准确性、敏感性和特异性见表3。痴呆和FTD诊断的敏感性似乎较高,而AD较低,但McNemar检验未显示各软件包在准确性、敏感性和特异性方面存在显著差异。
诊断信心
Wilcoxon符号秩检验显示,神经放射科医师在区分正常与异常图像时,各软件包之间的诊断信心无差异(评估者1(Mdn [IQR] = 5.0 [1.0],软件1和软件2均如此);评估者2(使用软件1为4.0 [2.0],使用软件2为5.0 [1.0])。我们还用符号检验比较了神经放射科医师对具体诊断的信心评分,显示评估者1使用软件2时的中位信心(4.0 [1.0])显著高于软件1(3.5 [2.0])(p < 0.001)。对于评估者2,软件1和软件2之间的中位信心无差异(两者均为4.0 [2.0])。
软件定量输出
软件1和软件2输出的全脑%ICV值显示出10.73%的显著差异,95% CI(9.72; 11.75)(软件1 [M = 77.28, SD = 3.54],软件2 [M = 66.55, SD = 6.64];p < 0.001)。区域常模数据显示,除右侧枕叶外,所有区域的软件包之间均呈显著正相关(rs值0.27–0.80)(见图1和补充材料)。
讨论
我们比较了两个市售的常模容积定量AI软件包,以研究它们在临床实践中对痴呆诊断可能存在的差异性影响。我们发现,当单独使用定量报告区分正常与异常图像或作出具体诊断时,软件包之间的一致性至多为中等。未发现各软件包在准确性、敏感性和特异性方面存在显著差异,但观察到诊断特异性的模式存在差异,且全脑体积输出之间存在显著差异。
当区分正常与异常轮廓时,各软件包在评估者间的一致性均较高。此外,对于每个软件包,两名评估者在区分正常与异常轮廓时均表现出较高的准确度和敏感度。这表明,规范性定量数据本身有潜力作为体积异常的客观指标。对于鉴别诊断而言,这一结论则不太成立,因为特定诊断的观察者间一致性仅为中等。这可能反映了指南的缺乏,因为可用于临床实践的软件应用正在迅速增加,而这些软件在引入时始终没有关于如何解读其结果的明确说明,并且其使用很可能需要经历一个学习曲线。目前,解读指南的缺乏可能导致临床医生假定不同软件包的表现相似且可以互换。迄今为止,这一假设尚未得到像本研究这样程度的评估。此处观察到的差异支持需要开展更多此类研究,以制定最佳整合到实践中所所需的临床指南。
虽然特定诊断的总体观察者间一致性为中等,但额颞叶痴呆(FTD)的软件间和观察者间简单一致性水平高于阿尔茨海默病(AD)和对照组,敏感度亦然。这可能表明,FTD的萎缩模式通过定量评估比AD反映得更为清晰。Vernooij等发现,与单纯视觉评估相比,在视觉评估基础上增加定量评估并未提高FTD的影像学诊断准确度,而对AD则有所提高[3]。综合既往和当前结果,FTD可能仅凭定量信息或仅凭视觉评估即可被敏感地检出,而对于AD诊断,仅凭定量数据提供的信息尚不够充分,但通过在视觉评估基础上增加定量信息,仍可增强诊断。
本研究对定量评估工具临床应用的关注是其最显著的优势。早期研究比较了用于脑容量测定的商业算法[16, 17]以及乳腺癌[18],但据我们所知,这是首个专注于比较放射科医生在记忆门诊环境中解读商业容量测定报告的研究。此外,关于将这些工具整合到临床实践[3]及其临床价值的研究极为有限——即使获得FDA/CE许可也并不实际证明诊断效能[19, 20]。尽管本研究聚焦于这些软件包在临床环境中的使用,但也比较了一些软件输出,以深入了解诊断差异的可能来源。所发现的各软件包全脑占颅内体积百分比(%ICV)输出的差异表明存在分割差异,但这不太可能解释诊断差异,因为评估者使用常模数据进行诊断。然而,参考人群的差异以及各软件包常模数据之间的适度相关性可能有所贡献(见补充材料)。此外,各软件包之间常模数据的不同视觉呈现可能影响了诊断差异,包括诊断信心。在随访访谈中,更有经验的评估者报告偏好软件2报告中详细子结构的展示,而研究员则偏好软件1的脑叶报告,后者更能反映标准视觉评估(即全局皮质萎缩量表)。因此,在选择软件包时应考虑临床医生的经验水平。
本研究也存在局限性,其中之一是使用定量报告而未对MRI进行视觉评估,这不反映常规临床实践,但确实使我们能够证明不同软件包的输出被不同地解读,即使在强制选择设计中也是如此。单独使用定量报告实现了我们比较软件包以评估不同软件包输出之间诊断解读一致性的目标,而非评估其性能或其对手软件辅助诊断的相对贡献,后者属于不同的研究领域。此外,报告的不同图形显示使得无法对放射科医生屏蔽软件类型。
另一个局限性是,结果特定于本研究的情境,并受到所用软件包和神经放射科医生经验的影响。因此,结果可能无法推广到其他诊所或软件包。尽管如此,在诊断一致性和特异性方面发现的差异表明,诊所不能假设可用的多个软件包在临床上对其具有同等的有效性。扩大比较范围并纳入更多软件包将特别具有参考价值,软件公司也日益认识到这一需求。在最近发表的一篇关于用于痴呆诊断的商业自动化容积MRI工具的技术和临床验证的综述中,该综述纳入的大多数公司表示,他们愿意参与一个比较其报告和结果及其产生的临床解读和影响的项目[4]。此类未来研究将为不同软件包在临床实践中对痴呆诊断的影响提供更全面的见解。
最后一个局限性是诊断亚组的构成和规模。首先,AD组既包括早发性也包括晚发性AD患者,这些患者在脑MRI上具有不同的影像模式,因此可被视为单独的组别。尽管如此,我们认为纳入早发性和晚发性AD患者更能代表整个记忆门诊人群。此外,影像表型的变异性可能并未使评分复杂化,因为评分者可通过定量报告获得年龄信息,这有助于他们将报告中的影像异常特征与晚发性或早发性AD的诊断相结合。其次,虽然纳入MCI患者和健康对照有助于反映临床实践中见到的真实患者多样性,但样本量因将MCI患者排除在准确性分析之外而受到限制。第三,我们纳入了规模相等的诊断亚组。尽管我们认为这对于软件包初步评估的目的是适当的,但这种均匀分布并不能代表记忆门诊的实际患者人群,可能会影响诊断评估的参数。
总之,本研究提供了初步证据,表明提供脑MR图像定量规范化评估的不同AI软件包实际上可在临床解读层面产生不同的效果。虽然个别定量评估软件包可能有助于痴呆的客观识别,但我们不能假设不同软件包可以互换使用。未来研究应探索这些差异是否也存在于其他软件包之间以及其他临床环境中,并致力于为临床实践中定量规范化容积测量的解读提供指南。记忆门诊应意识到软件包的选择可能影响诊断解读,同时也受到诊所自身特征的影响。因此,在采用特定软件包之前,强烈建议在希望实施该软件包的特定诊所内进行评估。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 113 KB)
引用
- Zaki LAM, Vernooij MW, Smits M, et al. Comparing two artificial intelligence software packages for normative brain volumetry in memory clinic imaging. Neuroradiology. 2022. PMID: 35032183. doi:10.1007/s00234-022-02898-w
- 全文:PMC9177657(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9177657/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。