商业自动容量MRI工具用于痴呆诊断的技术与临床验证:系统综述
该综述系统评估了17款经监管批准的痴呆MRI定量报告工具(QReports),发现11家公司发表了技术验证,但仅4家发表了痴呆人群的临床验证;依据QNI框架,文献在临床验证、工作流整合和使用中评估方面存在显著证据缺口。
要点
- 仅4/17款QReports发表了痴呆人群临床验证,多数工具缺乏临床验证证据。
- 所有工具均提供脑叶和海马体积测量,但参考人群规模和扫描仪协调策略差异大。
- 日常阅片可参考QReports辅助评估萎缩,但需注意其临床验证不足的局限性。
核心结论
- 监管批准的痴呆MRI定量报告工具在临床验证、工作流整合和使用中评估方面存在显著文献证据缺口。
研究设计与样本
- 系统综述遵循PRISMA指南并在PROSPERO注册(CRD42021233510),检索PubMed、Scopus和Ovid Medline至2021年3月15日。
- 纳入标准为FDA或CE批准、靶向痴呆、使用自动脑分割和常模参考数据、基于MRI、以结构化报告呈现容量测量结果的产品。
- 共识别17款符合纳入标准的商业QReports,并系统检索其技术验证、临床验证和工作流评估文献。
诊断标准与关键数值
- 技术验证包括重测信度、独立ROC或与手动分割及FreeSurfer/FSL-FIRST等软件的比较。
- 临床验证(痴呆)包括评估对临床管理的影响、诊断准确性(ROC)、评分者间信度、与视觉评定量表(如MTA/Scheltens)的相关性及药物试验中的结局测量。
- 工作流整合与使用中评估包括患者获益、报告时间影响、临床感知和社会经济效应。
临床应用与阅片要点
- QReports可自动量化区域脑体积并与年龄特异性健康参考人群比较,辅助判读萎缩严重程度和分布。
- 选择工具时应关注其是否有同行评议的临床验证证据,而非仅技术验证。
- 注意参考人群的规模(约100至约8000)和扫描仪协调策略的差异可能影响结果解读。
局限性
- 无法独立验证所有厂商提供的技术细节,仅能通过样本报告确认部分信息。
- CE标记产品无公开可检索数据库,搜索依赖会议参展商网站和直接联系厂商。
- 仅4款工具有痴呆人群临床验证,多数工具的临床有效性证据不足。
全文中译54 节 · 点击展开
引言
在痴呆的临床诊断中,结构性MRI在排除其他病理改变以及揭示脑萎缩模式方面发挥关键作用[1, 2]。这些模式可作为影像生物标志物,辅助疾病分类学诊断及痴呆亚型之间的鉴别[3]。在临床神经放射学中,脑萎缩模式的视觉评估通常借助视觉评定量表来支持,如全脑皮质萎缩(GCA)或内侧颞叶萎缩(MTA)量表[4]。这些半定量指标在区分痴呆与正常衰老方面显示出良好的诊断准确性,并有助于调节视觉评估的主观性[5]。然而,它们对临床医生的经验和视角较为敏感,且可能受限于其相对粗糙的萎缩测量方式以及地板效应和/或天花板效应[6, 7]。这些特性使得此类量表难以用于识别年轻患者中细微的体积异常。此外,对前驱期痴呆患者异常的敏感性仍然有限[7]。随着对痴呆预防性和疾病修饰治疗开发的关注,在早期阶段区分健康衰老与痴呆的稳健方法的需求日益重要[8]。
这些需求有可能通过在临床中实施自动化定量图像分析来满足。体积测量法在研究环境中被广泛使用,并已在分阶段和随机对照试验中有效用于索引多种临床干预所引起的形态学变化[9–17]。定量体积报告工具(QReports)可自动量化个体患者的区域脑体积并将其与健康的年龄特异性参考人群进行比较,有可能帮助神经放射科医生解读脑萎缩的严重程度和分布,并通过参照健康人群的规范性脑体积将其发现置于背景中理解[18–23]。常规视觉评估的局限性揭示了此类工具可整合的临床需求领域。MRI的定量评估可提供更客观的影像生物标志物,有助于更早期识别萎缩[24–26],并可能提高阿尔茨海默病(AD)及其他痴呆亚型放射学诊断的准确性[18–23]。然而,视觉评定量表的使用与QReports在临床中的可及性之间仍存在很大差距。在一项关于欧洲痴呆影像实践的研究中,193个被调查中心中有81.3%报告常规使用MTA量表,而仅5.7%定期实施QReports[27]。受访者将可及性有限以及对时间和解读困难的担忧确定为使用这些工具的障碍。重要的是,该调查还认识到实施中的额外障碍,包括专有工具缺乏标准化或临床验证,以及将规范性组水平定量数据转化为个体患者数据解读的困难。
随着用于痴呆门诊的商业定量报告(QReports)激增,普通放射科医师和神经放射科医师必须决定是否开始在其临床实践中实施这些方法。然而,关于QReports临床应用的证据十分匮乏,尤其是关于其对临床管理影响的证据。明确其技术和临床有效性,以及负责任地将这些工具整合到现有临床工作流程中的最佳实践非常重要。为此,定量神经放射学倡议(QNI)被制定为一个框架,用于将自动化图像定量软件嵌入临床神经放射学工作流程所需的技术和临床验证。QNI框架包括以下步骤:(1)确定临床需求领域,并识别针对所讨论疾病的适当且经过验证的成像生物标志物;(2)通过设计算法和汇编参考数据,开发这些生物标志物的自动化分析方法;(3)通过直观且可访问的定量报告传达结果;(4)在使用前对所提出的工具进行技术和临床验证;(5)将开发的分析流程整合到临床报告工作流程中,以及(6)进行使用中评估[2]。
本综述的目的是通过根据这六个步骤评估围绕QReports使用的证据来提高透明度。步骤1的证据已在上文概述;我们所涉及的临床需求领域是痴呆及其相关体积生物标志物的分析。以QNI框架的步骤2–6为指导,我们提出了一种系统检索方法,用于查找(i)获得欧盟CE标志或美国食品药品监督管理局(FDA)认证的痴呆和MRI专用QReports供应商,以及(ii)涵盖其技术/临床评估和工作流程/使用中评估的已发表证据。此外,我们对应用于记忆门诊的体积测量工具验证方面的现有证据进行了无偏倚的叙述性综合。通过这样做,我们旨在帮助神经放射科医师在其门诊中 regarding 这些工具做出知情决策。
方法
用于查找相关公司和QReports的方法概述如下。随后,所识别出的供应商和产品名称被用作检索词,以广泛检索文献中的技术/临床验证和工作流程/使用中评估研究。我们遵循了系统评价和荟萃分析优先报告条目(PRISMA)指南[28–30],我们的方法已在系统评价前瞻性注册库(PROSPERO)中注册:编号CRD42021233510。
供应商和产品检索
纳入和排除标准
对专有QReports使用以下纳入标准:(i)FDA或CE许可,即工具符合临床使用的监管标准;(ii)目标疾病为痴呆/神经退行性疾病,并由公司指定用于痴呆MRI评估;(iii)使用自动化脑分割软件(QNI框架步骤2);(iv)使用规范参考数据进行单受试者比较;(v)基于MRI的输入,以及(vi)以结构化报告格式可视化呈现体积测量和萎缩特异性结果(QNI框架步骤3)。
我们对专有产品的排除标准为:(i)目前未通过CE或FDA批准用于临床的研究工具;(ii)非基于MRI的工具,例如仅用于PET、EEG或CT的工具;(iii)生成的QReport侧重于容积测量/萎缩以外的结果,例如白质病变、血管系统、电生理、纤维束成像、脑肿瘤分析或PET/波谱;(iv)缺乏用于单受试者比较的规范参考数据。
检索方法:FDA许可产品的识别
关键词筛选
我们使用FDA数据库检索功能下载每个获批申请的基本信息(https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfPMN/pmn.cfm)。从https://www.fda.gov/medical-devices/510k-clearances/downloadable-510k-files下载了1996年至今共82,003条上市前510(k) FDA通知许可的文本文件。通过使用下述关键词在该列表中检索,确定了828个“医疗器械”以供进一步审查。请注意带*的单词为“通配符”,涵盖每个词根的相关后缀,例如“Radiolog*”涵盖“Radiology”、“Radiologist”和“Radiological”:Neuro*
Brain
Quant*
MRI
Hippocamp*
Radiolog*
Atroph*
Cortical
Cortex
Dementia
Volume
Alzheimer*
Memory
Lobar
Lobe
Structur*
Segment*
Automat*
资格筛选
在人工核查公司名称、批准日期、产品名称和描述后,86个工具被认为与进一步审查相关。在此阶段,如果某些工具的描述提及其他身体部位(例如“腕部阵列线圈”)或被视为硬件,则被排除。在调查其在FDA申请和公司网站上的预期用途后,28个工具需要进一步核查。在去除同一软件的较旧版本后,16个相关工具按照我们的纳入标准进行评估,之后剩余9家公司/QReport(见Fig. 1的PRISMA流程图)。
检索方法:CE标记产品的识别
遗憾的是,目前尚无免费可用且可检索的CE标记医疗器械数据库,尽管计划于今年部署一个(EUDAMED)[31]。因此,无法应用FDA所使用的相同综合方法。作为替代,我们对在最近相关医学影像会议(ISMRM、ESMRMB、RSNA、ECR、ESR AIX、ASNR、SIIM和ESNR)参展公司的网站进行了详细审查,以寻找CE标记的定量工具。网站https://grand-challenge.org/aiforradiology/也用于交叉核对结果。共识别出109家公司供进一步调查;在根据我们的纳入标准核查其网站信息并在必要时通过直接电子邮件联系跟进后,纳入8家。
公司及产品特征
鉴于公司数量众多且特征范围广泛,本综述的一个目的是提供一个无偏倚的技术特征和特性资源库,以帮助临床医生和研究人员为其各自的研究选择最合适的QReports。在确定了符合纳入标准的公司名单后,我们联系了所有供应商以提供其网站上未提供的相关信息。以下特征被认为与临床医生和研究人员最为相关,事先确定后通过网站研究和直接联系供应商获取:CE/FDA批准状态
批准日期
目标疾病
分割/体积测量方法
脑叶及亚脑叶分区/体积测量
仅横断面分析或同时提供纵向分析
报告处理时间
规范参考人群的详细信息
提供分割叠加图/萎缩热图
应对扫描仪间变异性的策略
图像质量控制方法
报告部署/PACS集成流程
所有信息收集完毕后,我们在发表前再次联系供应商以最终确认其各自的详细信息。
对已识别产品的技术和临床验证进行文献检索
本系统综述的结果旨在帮助QReports的潜在用户(假定主要为临床医生)获取信息。鉴于结果的健康相关意义及出于可重复性的考虑,本方法学已在PROSPERO注册——注册号:CRD42021233510。按照PRISMA指南[28–30],使用已确定的公司名称及相关QReport名称作为检索词进行了详细检索。同时检索两个名称以覆盖文献中技术和临床验证论文的全部范围,并涵盖品牌化或产品命名之前进行的研究。访问了PubMed、Scopus和Ovid Medline“所有字段”(最新检索日期为2021年3月15日),使用以下检索词;括号用于表示由多个词组成的术语作为单一检索词使用:(ADM diagnostics)OR(Corinsights MRI)
Brainminer OR diadem
Brainreader OR neuroreader
Combinostics OR cNeuro
CorTechs OR NeuroQuant
Corticometrics OR THINQ
Icometrix OR(Icobrain dm)
(JLK Inc.)OR JAD-02 K OR Atroscan
(Jung diagnostics)OR biometrica
mediaire OR mdbrain
Pixyl OR Neuro.BV
Quantib OR(Quantib ND)
Quibim OR(Quibim Precision)
Qynapse OR QYscore
(Siemens Healthineers)OR(AI-Rad Companion)
SyntheticMR OR(syMRI neuro)
Vuno OR(Vuno Med)
同时,通过PubMed的“相关文章”功能检索了进一步的相关论文,并交叉核对了初步 identified 研究的参考文献和公司网站。最后,为了捕获品牌化之前发表的研究,我们联系了所有供应商以提供涵盖其QReports的进一步技术和临床验证出版物。
研究纳入标准
遵循QNI六步框架的第2至6步,使用上述检索词查找同行评审研究,涵盖每个QReport的技术与临床验证、工作流程整合及使用中评估。对论文进行相关性和纳入本分析的评价,依据为:(i) 涉及自动脑分割和体积测量结果;(ii) 作为原创研究发表于同行评审学术期刊或会议论文集(会议海报除外);(iii) 符合以下四类之一:
技术验证
呈现脑分割技术及其后续体积测量结果技术性能验证的论文,例如重测研究、独立受试者工作特征分析,或将结果(空间和/或体积上)与人工分割和/或其他最先进分割软件(如Freesurfer [32]或FSL-FIRST [33])进行比较的研究,不限疾病领域。
临床验证(痴呆)
测试临床医生(包括但不限于放射科医生、神经科医生、精神科医生、神经心理学家)在痴呆/记忆门诊人群中在一个或多个以下场景下使用QReport(符合“供应商和产品检索”部分纳入标准的工具):(i) 旨在评估QReport对临床管理的影响和效果(即可用性和预后价值);(ii) 确定诊断准确性、置信度、鉴别诊断与“金标准”临床医生评定诊断的比较,即使用受试者工作特征分析;(iii) 百分比一致性或评分者间信度指标;(iv) 确定自动体积测量与临床医生评定量表视觉评分(如MTA/Scheltens量表)之间的相关性;(v) 使用QReport结果作为痴呆试验结局指标的临床药物试验。
临床验证(其他神经系统疾病)
同上,但测试临床医生在痴呆以外的神经系统疾病中使用定量诊断报告,或使用QReport结果作为其他神经系统疾病试验结局指标的临床药物试验。
虽然本综述的重点是痴呆,但记录已识别供应商的体积分析方法被临床医生终端用户测试的其他实例同样具有相关性,因为这最终是验证中最关键的阶段。因此,我们将文献中发现的若干此类示例纳入了分析。了解各种QReport如何与技术和临床验证一起用于研究目的也很有意义。然而,这些未纳入我们文献检索的最终结果,因为本综述的重点是验证——这应与其临床使用最为相关——而非考察其当前在研究中的适用范围。
工作流程整合与使用中评估
分析以下任一方面的论文:(i) 对患者的获益;(ii) 对放射科医生报告时间的影响;(iii) 临床和人群感知;或(iv) 在临床中使用QReport的总体社会经济效应。
数据提取
所有符合纳入标准的全文文章被分为“技术验证”、“临床验证—痴呆”、“临床验证—其他”和“工作流程整合与使用中评估”,并由两名评估者进行盲法评估。检索和分类由一名独立研究人员重复并核实,未发现关键问题。所有相关研究均按标题、作者、发表年份、期刊、相关工具和网站等一般信息进行分类。工具的技术信息和特征也基于数据记录,并记录于表1中。
结果
公司和产品检索
按照上述方法,共识别出17家符合纳入标准的公司。每家公司均有一个符合纳入标准的QReport,相关产品检索流程的研究流程图见图1。
排除的工具
根据PRISMA指南,排除标准在系统检索之前已确定,并列于“方法”部分。在资格筛选阶段被排除的各类脑相关软件工具总结如下。
目前未获临床使用认证的工具包括Imagilys(https://www.imagilys.com/),该工具此前获得CE认证,但其许可证最近已过期。VEObrain可生成视觉神经放射学体积测量报告,但尚未获得FDA/CE批准(https://www.veobrain.com/)。Veganbagel(https://github.com/BrainImAccs/veganbagel)和volBrain(https://www.volbrain.upv.es/)是用于估算区域脑体积变化的开源软件,已在视觉评定量表[18, 21, 81]中同步测试;veganbagel还具有PACS和工作流程整合的用户界面。Freesurfer [32]、FSL [33]、VBM [66, 67]和SIENAX [82]均为成熟且广泛使用的脑研究软件,但未获得临床认证。
需要非MRI输入的工具包括eVox,其使用EEG提供脑功能图谱(https://evoxbrainmap.com/evox-brain-map/);Syntermed(https://www.syntermed.com/neuroq)和DOSISOFT(https://www.dosisoft.com/products/planet-neuro/)使用FDG-PET提供淀粉样蛋白沉积图谱。
产生非体积测量报告或专注于其他神经系统疾病的工具包括Advantis(https://advantis.io/),其提供DTI/纤维束成像、DSC灌注和fMRI的2D/3D可视化和后处理工作流程。
缺乏规范参考数据的工具包括QMENTA(https://www.qmenta.com/),这是一个基于云的应用程序,可接受多种MRI模态并进行各种统计分析。然而,它不提供结构化报告或用于单受试者与规范参考人群比较的程序。
纳入的工具
通过方法部分详述并在图1中示意的检索策略所确定的公司和QReports,连同技术细节和特征总结于表1中。
公司和产品特征
相关信息被汇编入表1,这是一个包含每份报告中各种信息和特征的结构化数据库。为补充表1,以下概述了一般性总结以及对所记录特征范围的一些见解。
CE/FDA批准状态
本综述纳入的所有公司均已获得CE I/II类标记或FDA 510(k)许可,作为“医疗器械软件”。
批准日期
第一家公司(CorTechs.ai)于2006年获得FDA许可,最近一家于2020年12月获得认证(ADM diagnostics)。不出所料,较老的公司通常发表了更多同行评审的验证研究。应当指出,所有供应商都进行了内部技术验证流程,包括CE和/或FDA许可的必要步骤。所有被联系的公司,尤其是较年轻的公司,均声称计划进行进一步的同行评审验证研究。
报告处理时间
各供应商报告的QReport处理时间差异很大,从几秒到几小时不等,这高度依赖于本地部署还是基于云的部署。应当指出,在无法访问每个软件包的情况下,我们无法验证所报告的时间。
分割/体积测量方法
绝大多数公司使用“内部”开发的专有方法,其中五家声称使用深度学习。几家公司在先前报道的研究方法基础上使用了修改版本,如测地信息流(GIF)[34, 83]、Freesurfer [32]和VBM [66]。
亚区域体积测量
所有供应商至少提供脑叶和海马体积测量。在这些区域之外,各公司的范围从仅添加脑室信息到作为其结构化报告的一部分提供超过100个亚脑叶区域不等。一些公司报告因可重复性问题而排除各种亚脑叶区域,另一些公司则声称对此类区域的广泛报告对其用户不感兴趣。
横断面和纵向分析
十家公司同时提供横断面和纵向分析。纵向比较广泛采用间接方法,即两次访视之间每个结构的体积/百分位数差异,而非直接方法如边界移位积分[84–86]或SIENA [82]。
规范性参考人群的详细信息
各公司之间一些最显著的差异体现在规范性参考人群所使用的受试者/数据的数量、年龄范围和广度上。绝大多数供应商报告了通过使用私人和公共数据集实现的性别、扫描仪类型和场强的混合。然而,数据集的大小差异很大,从约100到约8000不等。年龄范围较为一致,广泛覆盖20–90岁范围。
目标疾病
所有公司均报告痴呆为目标疾病。据称有十一种工具针对多种疾病,除痴呆外还包括癫痫、创伤性脑损伤和多发性硬化(MS)。
提供皮层叠加/萎缩热图
所有公司都向用户提供某种形式的皮层叠加。这些要么是用于确认准确性的分割示例,要么是基于萎缩的热图,或两者兼有。
图像质量控制(QC)方法
报告处理前图像质量控制的技术差异很大,从特定的采集协议要求到自动伪影检查以及自动标记以供人工质控不等。
考虑扫描仪间变异性的策略
所有公司都告知我们已经采取了协调措施,尽管一些公司拒绝提供专有细节。策略类型差异很大,包括在参考数据集中均衡混合场强、扫描仪供应商和采集参数;供应商特定的采集参数和站点资格认证程序;以及采用经过验证的变异不可知分割算法。
PACS集成/报告部署流程
所有公司都声称其工具可提供PACS集成,一些公司提供基于网络、基于云或独立硬件的解决方案。
文献检索
文献检索、筛选、最终选择和分类按照PRISMA指南进行[28–30];结果在PRISMA工作流程图中概述(Fig. 2),并在下文进一步记录。从所评估的17家公司/产品中的11家中,共识别出62项原始研究,涵盖技术验证(39项)或临床验证(23项,痴呆=15项,其他神经系统疾病=8项)。对于6个产品,未识别出符合我们纳入标准的出版物。只有4家供应商发表了其报告在痴呆人群中的临床验证。
所识别研究的分布见Fig. 3。正如预期,各供应商在所做验证研究的数量和类型方面存在相当大的差异。然而,所有公司都声称计划开展进一步的同行评审验证研究。
所识别的验证研究
在所评估的17家公司中,有11家已发表了某种形式的分割方法技术验证;只有4家发表了其QReport在痴呆人群中的临床验证,3家发表了在other神经退行性疾病中使用同一报告的验证,共计62项研究。应当指出,所有已识别的QReport均满足FDA许可和/或CE标志的验证要求。然而,这些标志并不保证诊断价值;应开展进一步的严格独立验证研究并在同行评审期刊上发表,以帮助潜在使用者在可用工具之间做出决策。为保持无偏倚,下文按字母顺序提供了对每家公司所检索到的各类研究的叙述性综述并附参考文献。总体而言,使用专有QReport的公司和研究团队发表的技术验证多于临床验证。技术验证研究广泛报告了自动分割与手动评估者分割或最先进研究工具(如Freesurfer)之间的强相关性。针对痴呆患者的定量报告的临床验证研究虽然稀少,但传达了诊断准确性提高[38, 58]、预后价值[39, 57]、鉴别诊断[19]以及临床医生信心[42]或与临床医生诊断相比的信心改善,并与视觉评定量表的诊断潜力呈强相关性[43, 59, 87]。
Brainminer:
DIADEM使用测地信息流(GIF)方法进行脑分割和容积测量,该方法已针对MAPER分割技术[88]进行测试[34]。GIF此前也已针对手动分割进行测试[35, 36]。
Brainreader:
Neuroreader报告的容积测量结果已与手动分割进行比较[37]。临床:在预测从轻度认知障碍(MCI)向AD转化方面,自动海马体积已与NeuroQuant进行比较[39]。放射科医生已测试Neuroreader在癫痫患者中检测内侧颞叶硬化[89]以及在记忆门诊队列中诊断痴呆[38]的有效性。
Combinostics:
Combinostics的分割方法已与手动分割进行比较[40],并针对独立疾病分类进行测试[90]。临床:其自动生成的内侧颞叶萎缩(MTA)和全面皮质萎缩(GCA)评定量表的性能已与放射科医生的评估进行比较[43]。用于预后评估的PredictND工具已由一名临床医生测试[42]。
CorTechs.ai:
自动分割既经过手动检查,也与手动分割[44, 45, 47, 52, 55]、FreeSurfer[46, 50–52, 56, 57]、FSL-FIRST[47, 53]、SIENAX[48]以及其他FDA/CE标志工具MSmetrix[48]进行比较。一项研究还评估了版本更新后结果的差异[49]。此外,一款新的MR容积测量软件(Inbrain—https://www.inbrain.co.kr/)最近将其结果与NeuroQuant进行比较[54]。临床:NeuroQuant已被放射科医生用于创伤性脑损伤[25, 91]、颞叶癫痫[92–94]和AD[58, 59, 87]的相关情境。NeuroQuant的预后价值已在MCI患者中评估[39, 57]。NeuroQuant的容积测量结果已在多项痴呆相关临床试验中用作结局指标,涵盖免疫球蛋白[12]、Ab免疫治疗CAD106[13]、白藜芦醇[14]、8-OH喹啉[15]和脂肪来源基质血管组分[16]。
Corticometrics:
THINQ报告使用分割和体积测量方法samseg,该方法已在一项研究中与多图谱似然融合(PICSL-MALF)[95]、Brainfuse [96]、多数投票[97]和Freesurfer一起进行了测试[60]。
Icometrix:
来自icobrain dm的体积测量结果最近与Freesurfer进行了比较[62]。纵向比较工具icobrain long也已在真实世界多发性硬化(MS)数据中与SIENAX进行了测试[98]。其针对MS的专用报告MSmetriX使用相同的体积测量技术,已在洲际间进行了测试[65],并在MS [63]和阿尔茨海默病(AD)患者[64]中针对SIENA进行了验证。
jung diagnostics:
Biometrica平台使用经过广泛验证的SPM进行体积测量[70],并已与SIENA和FSL工具进行了比较[71, 72]。海马分割此前已由放射科医师验证[69]。临床方面:Biometrica报告对痴呆诊断的影响也已由神经放射科医师进行了测试[19]。
Quantib:
Quantib的分割方法此前已与手动分割进行了比较[73, 99]。
Qynapse:
Qynapse的分割方法已针对手动分割进行了测试[75, 76]。
SyntheticMR:
SyMRI的体积测量结果已在可重复性研究和手动分割研究中进行了评估[100]。自动脑实质分数生成器已在MS患者[79]和健康对照[78]中与手动技术、VBM8和SPM12进行了比较。临床方面:SyMRI报告结果曾被用于一项利妥昔单抗治疗MS患者的临床试验[17]。
Vuno:
Vuno的深度学习分割方法已针对独立疾病分类进行了测试[80]。
讨论
在本系统综述中,我们识别了众多提供获CE认证或FDA许可的QReports用于痴呆人群的公司。有关这些工具技术和临床验证的现有出版物被分类以提高证据的透明度。然而,由于每位购买者和使用者的需求各不相同,我们避免了对产品进行排名或推荐。除监管机构批准外,市场上的QReports在用于临床实践的技术和临床验证方式上差异很大。在评估的17家公司中,11家已发表了某种形式的分割方法技术验证;仅4家发表了其QReports在痴呆人群中的临床验证,3家发表了在 other 神经退行性疾病中使用同一报告的研究。对于6个产品,未找到符合我们纳入标准的出版物。我们未发现任何经监管批准的QReports在工作流程整合或使用中评估方面有已发表的证据,而这正是QNI框架第5步和第6步所推荐的。然而,所有供应商均告知我们,他们正在计划(进一步)开展验证研究。值得注意的是,欧洲医疗器械法规最近在“上市后监督”和“临床评价报告”之外,新增了“上市后临床跟踪”(https://ec.europa.eu/health/md_sector/overview_en)。这将要求供应商在其产品整个生命周期内收集、记录和分析其临床性能和安全性数据,以获得认证或再认证。希望这将促进供应商发表外部同行评审的验证研究。
此前发表的涵盖定量放射学工具的综述,要么纯粹聚焦于面向更广泛放射学的AI驱动图像分析软件[101–103],要么仅涵盖市场上有限的、聚焦于神经精神病的工具[104, 105]。近年来,同时提供基于AI和非AI的自动化定量分析方法的公司数量显著增加:本研究中识别的17家公司中有12家成立不足3年。这一增长最近促使FDA针对作为医疗器械的AI/机器学习软件制定了“行动计划”——https://www.fda.gov/media/145022/download。在该文件中,他们概述了更新当前监管框架、加强“良好机器学习实践”的协调开发、支持以患者为中心的方法,以及与本文最相关的,支持开发和改进机器学习算法的评估方法并推动真实世界性能研究,换言之,即技术和临床验证。ECLAIR指南也于近期发布,旨在为在购买前评估放射学商业AI解决方案时提供指导和知情决策[106]。
使用结构化和经过验证的QReports可在神经放射学服务中显著改善诊断准确性、可靠性、置信度和效率,但这取决于技术和临床验证[2, 8, 21, 107, 108]。既往研究表明,通过提供单一个体与年龄匹配的常模人群之间的区域特异性体积差异,可实现这些诊断改进[18–23, 91, 109–111]。为此目的的工作已进行了一段时间,但目前尚无经过严格验证的、广泛用于放射学报告的自动化定量和体积数据显示平台。体积分析的临床实施存在若干障碍,例如研究数据与临床数据的质量差异、需要自动检测图像伪影、扫描仪间变异性以及全自动化的要求。事实上,在最近一项欧洲调查所评估的193个中心中,仅23%进行了体积分析,仅5.7%报告定期使用[27]。在使用体积分析的23%中,仅约一半使用常模参考数据进行单一个体比较。大多数中心报告使用FreeSurfer(43.5%)进行体积处理,其次是CorTechs.ai的NeuroQuant(17.4%)、AppMRI海马体积分析器(15.2%)和Icometrix(4.3%)。值得注意的是,报告使用临床专有工具比例最高(17.4%)的是NeuroQuant,它也是迄今为止被最广泛验证的工具。由此可见,对本综述所述工具进行广泛的技术和临床验证可能会增强用户信心,并促进定量方法在临床中的应用。
QReports 所提供的功能差异很大,见表 1。对于每位临床医生、科室或患者群体的复杂需求,不存在“一刀切”的方法。同行评审文献中的验证程度和类型同样如此:与某一群体相关的研究对另一群体可能相关性较低。为保持无偏倚,本文提供了 QReport 功能及文献中验证研究的概述,但鉴于每位购买者和使用者需求各异,避免给出详细研究结果和产品推荐。事实上,QReports 的选择取决于多个因素,如临床团队现有的资源、经验和专业知识、产品监管、技术和临床验证、对门诊患者群体的普适性、软件与临床工作流程的整合、客户支持、数据安全要求以及成本/投资回报/报销资格。本综述无法收集采购成本,但近期一项关于神经认知障碍体积定量的概述报告称,每位患者的平均成本为 82.68 美元 [105]。然而,在诊所中实施这些工具的实际成本可能因国家而异,医疗保健系统、报销法规和医疗成本均发挥作用。
一种理想的 QReport 在走向临床整合的过程中应展示哪些证据?
QNI 此前已提出临床报告工具转化的六步框架 [2]。在此我们讨论痴呆特异性 QReport 开发中一些最重要的里程碑。本综述的主要方面和重点在于技术和临床验证的透明度,因为这对最终用户至关重要,且对确保患者获益极为关键。
技术验证与行业标准
任何拟用作神经退行性疾病诊断辅助的 QReports 都应通过视觉直观且具有临床相关性的报告,传达患者和规范性体积结果。理想情况下,我们建议这应包括自动化质量控制指标、供最终用户进行合理性检查的分割皮层叠加图,以及以图表和/或基于萎缩的热图形式直观呈现定量数据以便于参考。自动化分割方法应在可重复性研究中以及与行业标准(如专家手动分割、Freesurfer、FSL 或 VBM)的对比中经过严格的技术验证,且结果应发表于同行评审期刊。本综述评估的所有供应商均产出了辅助体积 MRI 分析的定量报告。然而,较年轻的公司通常尚未发表其报告的技术验证,尽管所有公司均声称正在计划中。
最终用户的临床验证
有几篇论文评估了在研究环境中用于痴呆亚型之间自动化组水平鉴别诊断的工具的预测能力[59, 80, 90, 112–115]。然而,本综述的目的是帮助临床医生在日常临床实践中为其个体化检查选择最合适的工具。没有终用户干预和测试的自动化组水平诊断研究与临床的相关性要小得多。QReports应由终用户(通常是临床医生)在多中心临床数据上进行测试,这些数据来自预期从更准确、更快速诊断中获益最大的患者群体。例如,对主观记忆担忧的筛查以及年轻起病痴呆患者的诊断。这些患者群体可能具有更细微的萎缩模式,QReports可能通过标记需要更定期随访的患者并减少评分者间变异性,为评分者提供最大的获益。诊断准确性研究的结果最好发表在同行评审期刊上[19–21, 116–118]。有几家公司在自己的网站上提供出版物列表。尽管这既是积极的也是有益的,但对QReports技术和临床验证的直接参考文献却很少。为了使这些工具产生最大的影响并获得最广泛的采用,同行评审的验证研究应被明确突出强调并由供应商大力支持。虽然17家供应商中有11家涵盖了技术验证,但只有4家发表了其工具在痴呆或记忆门诊人群中的临床验证。我们在文献中发现,体积神经放射学工具在临床验证研究方面存在重大缺乏。
已证实的普适性
分析方法最好应对采集参数、扫描仪/供应商差异和场强的变化具有稳健性,尽管这在现实中是一个难以达到的标准。单受试者结果应结合一个大型且具有普适性的参考人群进行背景化解读,该人群应混合不同场强、扫描仪供应商以及年龄和性别匹配的对照,最好可迁移至各门诊将会见到的患者人口学特征。例如,一个使用完全来自亚洲医院数据组成参考人群的工具,可能无法很好地转化用于欧洲或美洲的门诊。迄今有限的证据表明,规范性队列中的平均皮质下体积已被证明在参考人群之间具有相当的可互换性[111],不过这还需要来自多族裔人群并覆盖更多脑区的研究进一步支持。总体而言,供应商已编制了足够大且多样化的规范性参考人群,并应继续对这些队列的来源和构成保持透明。然而,如结果部分所记录,各公司采用的普适性程序存在很大差异。没有单一普遍接受或正确的方法,但公司应就其用于考虑输入数据变异性的措施保持完全透明。
完全自动化与工作流程整合
这涵盖了QNI框架中的第5步。供应商应能够提供PACS和工作流程集成的明确方法,理想情况下还应实现发送扫描进行处理和接收结果的完全自动化。此外,将QReport结果整合到放射科医生报告中的系统将节省时间并减少复制错误。还必须建立客户支持运营以处理发送和处理中的错误。虽然本文回顾的许多工具确实包含适应工作流程集成的方法,但我们没有发现关于将QReport整合到临床报告工作流程中的研究证据。
使用中评估
这涵盖了QNI框架中的第6步,但与第5步一样,文献综述未发现本文所纳入QReport的使用中评估的任何证据。然而,已有研究展示了自动化软件在放射学中总体相关性的规划[119–121]。虽然患者获益应是使用自动容积测量辅助诊断的关键因素,但社会经济影响虽然与患者获益密切相关,也应予以评估。应在定期使用报告足够时间的诊所中开展评估临床和人群认知以及定量报告使用成本效益的多中心研究。
局限性
本综述的一些局限性需要考虑。为了找到尽可能多提供QReport的公司,进行了广泛的FDA/CE批准检索。然而,在没有可完全检索的CE标记产品数据库的情况下,这种方法可能并不完全详尽,一些供应商可能被遗漏。此外,一些产品可能在本稿件发表过程中获得了监管批准,或已获准用于其他市场。尽管如此,我们的总体结论保持不变,即需要对此类工具进行更多临床验证以促进最佳临床采用。特别是因为我们发现较年轻的供应商在技术和临床验证以及使用中评估方面最为欠缺。最后,关于每家公司特征的许多信息(见表1)是由供应商自己提供的。因此,这些细节无法全部由作者或审稿人独立核实。
未来发展
虽然我们主要关注QReport技术和临床验证的证据,但我们也观察到不同工具之间的能力以及所呈现的信息存在很大差异。按照QNI框架第六步的建议进行使用中评估,将有助于根据QReport如何促进临床疗效来优化其功能、特性和设计。从这一结论出发的另一个自然进展是,使用来自同一数据集(如ADNI或反映日常临床实践的真实世界数据集)的受试者测试集,对每份报告及其结果进行并列比较,包括放射科医生的解释及其临床影响。本研究中涵盖的17家公司中有11家告诉我们,他们愿意参与这样的项目。
结论
在这篇综述中,我们揭示了QReports用于痴呆诊断和记忆门诊环境临床验证方面的显著证据缺口。在所评估的17家公司中,迄今只有4家发表了某种形式的临床验证,而且尚无工作流程整合或在用评估的任何证据。据此,我们得出结论并建议,可以进行更多研究以在临床环境中验证这些QReports,从而更稳健地理解每种工具如何促进记忆门诊的诊断工作流程。这不仅将支持定量工具的最佳临床整合,还将帮助神经放射科医生就其诊所中定量评估的使用做出知情决策。对于有兴趣将定量报告软件纳入其诊断工作流程的临床医生,请注意,尽管有4家公司已发表临床验证研究,但由于可用的定量报告功能差异很大,且缺乏对标准化影像队列数据的比较验证,就这些工具作为诊所诊断工具的效用而言,几乎没有在它们之间进行推荐的空间。我们希望这篇综述能鼓励这些定量工具的开发方开展此类验证研究,并建议临床医生在审视这些工具临床性能的宣称时保持谨慎。
引用
- Pemberton HG, Zaki LAM, Goodkin O, et al. Technical and clinical validation of commercial automated volumetric MRI tools for dementia diagnosis-a systematic review. Neuroradiology. 2021. PMID: 34476511. doi:10.1007/s00234-021-02746-3
- 全文:PMC8528755(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8528755/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。