文献速递神经MR

多发性硬化商业体积MRI报告工具的系统综述

Commercial volumetric MRI reporting tools in multiple sclerosis: a systematic review of the evidence.
PubMed 文献 · Neuroradiology · 2022-11-04

本文系统综述了10家商业定量体积报告工具(QReports)在多发性硬化中的应用证据,发现仅6家提供技术验证、4家进行临床验证(与EDSS等临床变量相关)、仅1家测试了临床终端用户,缺乏临床验证和使用中评估。

要点

  • 商业MS定量报告工具大多有技术验证,但临床验证和使用中评估证据有限。
  • 仅1个工具进行了临床医生终端用户测试,影响日常报告采纳。
  • 所有工具提供病灶和脑体积的横断面与纵向分析,多数需T1和T2-FLAIR序列。

关键影像表现/征象

  • 9/10工具按McDonald标准提供病灶空间分布(脑室旁、近皮质、深部白质、幕下)。
  • 8/10工具使用自动病灶填充或深度学习方法计算脑体积。
  • 所有工具提供病灶和脑分割的视觉叠加,以及横断面和纵向分析。

诊断标准与关键数值

  • 6家公司提供了技术验证证据,主要与手动分割或SIENA(X)、FreeSurfer、SPM等工具比较。
  • 4家公司进行了临床验证,将工具结果与EDSS、SDMT等临床变量相关。
  • 仅1家公司进行了临床医生终端用户测试,1家进行了模拟使用中社会经济评估。

临床应用与阅片要点

  • 选择商业MS QReport时应关注其是否有同行评议的临床验证和终端用户测试证据。
  • 工具输入通常需3D T1和2D或3D T2-FLAIR序列,部分可选增强T1检测强化病灶。
  • 所有工具提供图像质量控制,但方法各异,需了解其自动质控和手动标记策略。

局限性

  • 仅纳入英文同行评议文献,排除会议摘要和海报。
  • 未独立测量报告处理时间,因无法获取软件包。
  • 部分公司未发表符合纳入标准的研究,可能存在发表偏倚。
全文中译43 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Neuroradiology. 2022 Nov 4;65(1):5–24. doi: 10.1007/s00234-022-03074-w

引言

多发性硬化(MS)是一种中枢神经系统的慢性炎症性和神经退行性疾病,以脱髓鞘病灶和萎缩为特征[1, 2]。与健康人群相比,MS患者的脑萎缩加速[3]。病灶演变和脑体积随时间的丢失均与临床残疾相关[3, 4]。

结构MRI常规用于MS的诊断检查以及评估和监测脱髓鞘病灶[5]。基于MRI的脑萎缩测量正日益被认为是重要的临床预后工具[3, 6, 7]。使用图像分割测量的脑和病灶体积已成为研究研究和临床试验中确定治疗疗效的既定生物标志物[8–11]。既往研究表明,脑萎缩[12]和病灶体积[13]可显著预测所有MS表型的长期残疾,尤其是联合使用时[4, 9]。脑和病灶的手动分割耗时且可能容易出现不精确和错误[14–16]。近年来,自动和半自动脑和病灶分割方法(如定量体积报告工具(QReports)中的方法)的开发和使用有所增加[11, 17]。这些工具旨在通过提高MRI分析的敏感性[18, 19]、结果的准确性[20–25]和可重复性[22, 26],并可能减少报告时间[18],来提高图像解读的客观性。QReports可通过用户友好的图形显示促进横断面诊断[20, 26–30]、纵向评估[20, 22, 23, 31]和治疗反应监测[32]。QReports还可提供将个体患者的体积结果与相关参考人群进行自动背景化对比[33],这可能有助于临床医生进行疾病病程预后判断和决定治疗策略。多种用于MS的QReports已被开发用于临床环境,其中许多工具已获得监管批准并已商业化。

目前,QReports在临床中的应用有限[11, 12]。临床机构可能没有足够的资源来评估工具是如何被测试和验证的,尽管其已商业化用于医疗用途。为鼓励循证使用并帮助临床医生决定如何以及是否采用这些工具,应确立结果的有效性及其对临床管理的影响。定量报告工具的技术和临床验证与评估目前尚未遵循标准化方法。定量神经放射学倡议(QNI)针对这一问题提供了定量报告工具的六步转化路径[34]。QNI模型区分三种类型的测试:工具性能的技术验证,例如与手动分割或其他分割技术进行比较;由临床医生进行的临床验证或结合临床医生评定的变量对结果进行解读;最后是使用中评估,如卫生经济学评估[34]。

我们此前的工作表明,商业QReports在痴呆症领域缺乏技术验证,尤其是临床验证[35]。在本文中,我们复现了该方法学,并对文献进行了系统综述,旨在验证或评价商业QReports在多发性硬化(MS)中的应用。我们(1)呈现了工具的范围,包括其技术特征和特性的详细信息;(2)对已发表的关于其验证的证据进行了描述性综合。我们依据QNI框架评估文献,将研究分为技术验证和临床验证以及使用中评价。目的是提高透明度,帮助临床医生就是否将商业QReports纳入临床常规以评估MS患者做出知情决策,并概述每种市售工具的特征。

方法

本综述按照系统综述和荟萃分析优先报告条目(PRISMA)指南[36–38]进行,并在系统综述前瞻性注册库(PROSPERO)数据库中注册,编号为CRD42021286139。

厂商和产品检索

产品纳入和排除标准

QReports的纳入标准如下:(1)获得FDA或CE许可;(2)目标疾病为MS或疑似MS人群(在公司网站或文献中明确说明);(3)使用基于结构MRI的输入(4)生成脑和病灶体积结果;(5)纳入常模参考数据用于单受试者比较;(6)以结构化报告格式呈现结果。

检索方法:FDA许可产品识别

关键词筛选

使用FDA医疗器械数据库(最后访问日期:2022年1月28日)查找FDA许可的MS自动化定量MRI报告工具(https://www.fda.gov/medical-devices/device-advice-comprehensive-regulatory-assistance/medical-device-databases)。从https://www.fda.gov/medical- devices/510k-clearances/downloadable-510k-files下载了共计83,556项自1996年至今的上市前510(k) FDA通知许可,保存为文本文件。使用下列关键词检索该文本文件,识别出821个“医疗器械”供进一步审查。带*的术语使用“通配符”,涵盖各词干的相关后缀,例如,“Radiolog*”涵盖“Radiology”、“Radiologist”和“Radiological”:

合格性筛选

进行人工核查以验证FDA数据库上的公司名称、产品名称、批准日期和描述。在此阶段排除被视为硬件的工具。检索所有剩余公司的网站,以进一步调查其产品的预期用途。7家未将MS明确为目标疾病的公司被排除在进一步审查之外。在此阶段还排除了两种依赖采集参数的定量报告工具。经过人工核查和检索公司网站后,确定4家公司符合我们的纳入标准(公司检索的PRISMA流程图见图1)。

图1 PRISMA流程图,概述对CE和FDA批准的QReports的系统检索。检索了FDA医疗器械数据库以及在相关医学影像会议(ISMRM、ESMRMB、RSNA、ECR、ESR AIX、ASNR、SIIM和ESNR)上参展的所有公司名单,并使用网站https://grand-challenge.org/aiforradiology/对结果进行交叉核对 查看原图 ↗

检索方法:CE标记产品的识别

由于没有可免费获取、可检索的CE标记产品数据库,我们检索了相关医学影像会议(ISMRM、ESMRMB、RSNA、ECR、ESR AIX、ASNR、SIIM和ESNR)的网站,以识别在2019–2021年展出其产品的公司。对已识别公司的网站进行了详细检索,以查找CE标记的定量报告工具。在筛选公司及产品名称和预期用途后,排除了63个工具。结果使用以下网站进行交叉核对:https://grand-challenge.org/aiforradiology/。两家未将MS指定为目标疾病的公司被排除在进一步审查之外。最终,识别出6家拥有符合我们纳入标准的CE标记工具的公司。

我们直接联系了每家公司,以核实产品名称、批准日期、产品描述和预期用途。我们告知各公司其已被纳入本综述,并为其提供机会补充和更正从公司网站及文献中收集的信息。被排除的公司总结于“结果”部分。

公司和产品特征

本综述纳入的10个工具的以下技术细节提取自公司网站、文献检索中识别的出版物以及通过直接联系供应商获得:FDA/CE批准

批准日期

目标疾病

输入序列

脑和病灶分割及体积测量方法

病灶填充

脑萎缩数据

可用的横断面或纵向分析

规范参考人群的详细信息

提供分割叠加图

考虑扫描仪间变异性的策略

图像质量控制方法

报告部署流程

关于已识别产品技术和临床验证的文献检索

两位作者根据PRISMA指南[36–38]独立进行了文献检索。结果由第三位作者检查和核实;任何纳入或排除的分歧均通过共识解决。使用10个公司名称及其相关产品名称作为检索词。同时使用公司名称和产品名称,以确保识别出产品品牌命名之前发表的研究。同时在PubMed、Ovid Medline“All fields”和Scopus中进行检索(最近一次检索:2022年3月29日)。由多个词组成的公司名称和产品名称加括号以表示单一检索词。我们直接联系了公司以核实公司名称和产品名称。检索词如下:AIRAmed OR (AIRAscore)

Combinostics OR (cNeuro cMRI)

(CorTechs Labs) OR (NeuroQuant MS) OR LesionQuant

Icometrix OR MSmetrix OR (icobrain ms)

(Jung diagnostics) OR Biometrica

mediaire OR mdbrain

Pixyl OR Pixyl.Neuro.MS OR Pixyl.Neuro.BV

Quibim OR (Quibim Precision)

Qubiotech OR (Neurocloud VOL)

Qynapse OR QyScore

还检索了已识别出版物中的参考文献、PubMed中“相似文章”下列出的论文以及公司网站上列出的所有出版物,以识别其他相关的验证研究。各公司有机会提供进一步的相关研究。

研究纳入标准

本综述采用的研究纳入标准基于QNI框架,该框架用于将定量报告工具转化为临床应用。研究符合以下纳入标准方被纳入本综述:(1)以英文作为原创研究发表于学术同行评审期刊或会议论文集(会议摘要和海报除外),(2)涉及基于结构MR图像计算的自动化病灶分割或脑与病灶分割及体积测量,(3)在MS人群和/或健康对照中开展,且(4)符合以下任一类别:

技术验证

验证病灶分割或脑与病灶分割方法技术性能的论文。例如,重测研究或与手动分割和/或其他最先进的脑体积测量工具(如FreeSurfer [39]、SPM(www.fil.ion.ucl.ac.uk/spm)、SIENA(X) [40])以及病灶分割工具(如LST [41, 42]、nicMSlesions [43]和samseg [44])的比较,以及对不同输入数据的稳健性测试。仅关注脑分割的论文不予纳入,除非在MS人群中开展。

临床验证

由临床医生在MS人群中对该工具进行测试,重点关注以下一项或多项:(a)确定诊断准确性、置信度以及与“金标准”临床医生评定诊断相比的鉴别诊断,即使用受试者工作特征曲线;(b)评估该工具对临床管理的影响(可用性、预后价值);(c)评定者间信度指标或一致百分比。

在MS中开展、以该工具结果作为结局测量的临床试验。

将结果与临床医生评定的变量(如扩展残疾状况量表(EDSS)和符号数字模态测验(SDMT),分别作为MS中躯体和认知残疾的测量指标)一同解读。

使用中评估

评估以下任一方面的研究:(1)对患者的获益,(2)在常规临床工作背景下对报告时间的影响,(3)临床和人群的认知感受,或(4)在临床中使用QReports的社会经济影响。

数据提取

两名评定者独立将所有符合我们纳入标准的研究归类为技术验证、临床验证或使用中评估。第三名研究者核查结果,并就任何分歧达成共识。

结果

公司和产品检索

按照上述系统检索,共识别出10家生产符合我们纳入标准工具的公司;相关产品检索流程摘要见图1。

排除的工具

根据PRISMA指南,纳入标准系事先确定(见“方法”部分)。资格筛选结果如下所示。

如果多发性硬化(MS)脑与病灶分割及体积测量工具未获得FDA或CE批准,则被排除,例如Neurophet公司的SegPlus(https://www.neurophet.com),该工具已进行技术验证[45];以及TensorMedical(https://www.tensormedical.ai),该公司开发并使用nicMSlesions软件,并有在MS中进行技术验证的证据[43]。未获得FDA或CE批准的研究工具被排除,例如FreeSurfer[39]、SPM(www.fil.ion.ucl.ac.uk/spm)或SIENA(X)[40]和LST[41, 42]、samseg[44]或BaMoS[46]。

根据文献和公司网站,未进行脑与MS病灶分割的QReports被排除,包括Icometrix公司的Childmetrix(一种与儿科非MS相关的QReport)(http://icometrix.com)、Quantib公司的Quantib ND(https://www.quantib.com)、Brainreader公司的neuroreader(https://brainreader.net)、Corticometrics公司的THINQ(https://www.corticometrics.com)、JLK公司的工具(https://www.jlkgroup.com),以及ADM diagnostics公司的Corinsights MRI(https://admdx.com)、Vuno公司的VUNO Med-DeepBrain(https://www.vuno.co)、Siemens Health公司的AI-Rad Companion Brain(https://www.siemens-healthineers.com)、Neurophet公司的AQUA(https://www.neurophet.com)和Brainminer公司的DIADEM(https://www.brainminer.co.uk)。本研究组已针对其他适应证对其中若干工具进行了系统评价[35]。

依赖采集的定量神经影像工具也被排除,包括SyntheticMR公司的SyMRI Neuro(https://syntheticmr.com/)和SpinTechMRI公司的STAGE(https://spintechmri.com),这些工具包含可用于MS场景的专用基于定量MRI的报告工具。SyMRI Neuro是一种获得FDA和CE批准的工具,提供脑和髓鞘分割,并已在MS人群中进行了技术和临床验证[47–50]。STAGE(策略性采集梯度回波)是一种获得FDA批准的基于定量MRI的报告工具,利用磁敏感加权图像提供萎缩和MS病灶特征描述。STAGE已在健康受试者和若干MS病例中得到验证[51, 52]。

纳入的工具

使用“方法”部分所述并在图1中展示的检索策略所确定的10家公司及其QReports,连同关键技术细节列于表1。

表1 QReports数据库及其关键技术细节,按供应商名称字母顺序排列 查看原表 ↗

公司和产品特征

表1是QReports技术特征和特性的结构化数据库。公司和产品特征总结如下。未纳入报告处理时间,因为测量和比较应由作者使用相同病例和资源独立进行,而在无法访问软件包的情况下这是不可能的。

CE/FDA批准状态

所有10家公司均已获得CE I/II类或FDA 510(k)许可,作为“作为医疗器械的软件”。

批准日期

CorTechs.ai是首家于2006年获得FDA许可的公司。10家公司中最近获得CE或FDA监管批准的是AIRAmed,于2020年。

目标疾病

所有公司均生成了用于评估MS病灶和脑萎缩的报告。对于某些工具,MS QReport是先前建立的脑体积定量工具的扩展。

输入序列

大多数公司要求使用3D T1和2D或3D T2-FLAIR输入序列进行脑和病灶分割。有两种工具还提供了使用2D或3D钆增强T1加权序列检测对比增强T1病灶的选项。

脑/病灶分割/容积测量方法

所有公司均使用“内部”开发的专有方法,其中四家声称使用深度学习。两家公司报告使用了研究方法的修改版本,包括SIENA(X)[40]和SPM(www.fil.ion.ucl.ac.uk/spm)。脑和病灶分割软件以单一软件包或两种不同工具的形式商业化(有两家公司属于后者,见表1)。

病灶数据

所有工具均报告纵向病灶体积。十种工具中有九种报告纵向病灶计数。十份QReport中有九份根据McDonald标准[53]提供病灶的空间分布,分为脑室周围、近皮质、深部白质和幕下。尚未纳入病灶计数和病灶空间分布的公司声称正在努力在即将更新的工具版本和发布中提供此信息。

病灶填充

病灶填充通常用于在MS中准确计算脑体积[54]。十家公司中有八家使用自动病灶填充或不需要病灶填充的深度学习方法。用于病灶填充的方法概述于表1。

脑萎缩数据

脑萎缩以毫升、占总颅内体积(TIV)的百分比、标准百分位数或z评分的形式报告。

横断面和纵向脑容积测量分析

所有10家公司均提供病灶和全脑萎缩的横断面和纵向分析。四份QReport的纵向分析方法为间接法,即两次访视之间每个结构的体积/百分位数差值;六份QReport为直接法,如使用SIENA[40]。

规范性参考人群的详细信息

所有工具的规范性参考人群均涵盖较大的年龄范围,通常为20至90岁,性别均衡,且由公共和/或私人数据集汇编而成。十家公司中有九家使用的数据集包含多种扫描仪类型和场强。数据集的大小在620至约8000名受试者之间不等。

分割/萎缩可视化叠加图

所有QReport均提供病灶和脑分割的可视化叠加图。

图像质量控制方法

所有工具均使用图像质量控制(QC)流程。所用方法各不相同,主要为自动方法,包括检查伪影和采集参数、计算图像质量的标准指标(如信噪比(SNR),即比较目标信号水平与背景噪声),以及自动标记需要人工QC的情况。

考虑扫描仪间变异性的策略

所有公司均声称使用策略来考虑多样化的输入数据,包括规范性参考人群中扫描仪类型和场强的混合、算法训练、使用独立验证数据集、考虑供应商特定的采集参数、实施基于AI的增强以预判图像间的变异性,以及使用中心资格认证程序。

PACS集成/报告部署流程

所有公司均声称提供PACS集成,采用基于云的解决方案和/或本地虚拟化和/或本地硬件。

同行评审的技术和临床验证

所有公司都进行了内部验证流程,包括CE和/或FDA认证所需的必要步骤。此外,所有公司均声称正在开展进一步的同行评审验证研究。值得注意的是,有几家公司在其他疾病领域开展了验证其工具的研究[55–64]。这些论文仅在以下情况下被纳入:研究涉及多发性硬化(MS)中的病灶或脑及病灶定量技术,且该工具已在公司网站或出版物中被商业化用于MS。

文献检索中识别的研究数量和类别见图2,并在下文“文献检索”部分进行描述。

图2 PRISMA流程图,概述了本综述纳入出版物的检索和筛选过程 查看原图 ↗

文献检索

文献检索结果见Fig. 2中的PRISMA工作流程图,并在下文进一步记录。共识别出38篇同行评审出版物,涵盖技术验证(n = 30)、临床验证(n = 7)或使用中评估(n = 1)。总计有6家公司进行了技术验证,4家发表了临床验证,1家进行了使用中评估,3家未发表符合我们纳入标准的研究。所识别研究的分布见图3。

图3 每家已识别公司纳入本综述的出版物分布。供应商按其首次获得FDA/CE批准的时间顺序排列 查看原图 ↗

已识别的验证研究

为保持无偏性,以下按字母顺序提供每家公司所识别研究的叙述性综合并附参考文献。所有出版物均在MS和/或健康对照人群中开展。总之,技术验证主要包括与手动病灶计数、手动分割或最先进的自动化脑体积测量和病灶分割工具进行比较,包括SIENA(X) [40]、Freesurfer [39]、SPM(www.fil.ion.ucl.ac.uk/spm)、FIRST [65]、Cascade [66]、LST [41, 42]、Lesion-TOADS [67]、lesionbrain [68]、BIANCA [69]和nicMSlesions [43]。技术验证还通过重复性研究和测试不同采集方案来进行。临床验证主要包括将工具结果与临床变量(如EDSS评分)进行相关性分析。仅有一项临床验证研究包含了临床医生终端用户测试[18]。各公司开展的验证研究总结如下。

Combinostics

临床:cNeuro cMRI结果与EDSS评分具有相关性[70]。

CorTechs Labs

技术:NeuroQuant MS已针对纵向一致性进行测试[20],并与视觉放射学评估[20]、icobrain ms [28]以及已建立的脑和病灶分割方法(FIRST [71]、LST [71]、SIENA(X) [28]、FreeSurfer [20]和Cascade [20])进行比较。

临床:NeuroQuant MS结果与临床变量相关,包括EDSS以及定时25英尺步行测试(T25FT)和9孔钉测试(9HPT)评分作为MS相关身体残疾的测量指标[20]。

Icometrix

技术方面:icobrain ms 已针对不同输入数据 [26, 31, 33, 72–74]、可重现性 [26, 31, 72, 74]、可重复性 [73, 74] 以及随时间推移的一致性 [19, 73] 进行了稳健性测试。该工具已与手动分割 [19, 21, 26, 31, 74, 75]、LesionQuant [28] 以及已建立的自动化脑和病灶分割及萎缩量化方法进行了比较,如 SIENA(X) [28, 72–74, 76, 77]、LST [26, 31]、Lesion-TOADS [26]、FreeSurfer [77] 和 SPM [74, 77],并已被纳入一项纵向多发性硬化(MS)病灶分割挑战赛 [21]。该工具的早期或其他版本已与当前版本进行了比较 [31, 75]。一种用于减少扫描仪间变异性对结果影响的自动化方法已被测试 [78, 79]。

临床方面:该工具已由临床医生作为最终用户进行测试,研究了其对评估者内和评估者间变异性的影响、报告时间(在其正常临床常规之外)以及与视觉放射学评估相比对疾病活动的检测 [18]。该工具区分 MS 临床表型的能力已被研究 [18]。该工具的结果与扩展残疾状况量表(EDSS)[18, 76, 80, 81] 和符号数字模式测试(SDMT)评分 [81] 以及复发次数 [80] 进行了相关性分析。

使用中评估:Icometrix 在一项微观模拟研究中调查了 icobrain ms 的健康经济影响,该研究使用决策分析模型,基于一个假设的 MS 患者队列,测试使用该工具与临床和视觉放射学评估相比在疾病检测、治疗决策、患者生活质量和成本方面的影响 [32]。

Jung diagnostics

技术方面:Jung diagnostics 已将当前方法与该工具的早期版本(包括 LST)[22, 27, 82, 83] 以及手动分割 [22, 27, 82] 进行了比较。该工具已针对可重复性 [27, 84, 85]、可重现性 [22, 27] 以及对不同输入数据的稳健性 [22, 27, 86] 进行了测试。Jung diagnostics 比较了两种针对头围大小和年龄进行脑萎缩数据校正的方法 [86]。

临床方面:Biometrica 的结果与临床变量进行了相关性分析,包括 EDSS 和 SDMT 评分、疾病病程和 MS 表型 [87]。

Mediaire

技术方面:该工具已针对不同输入数据的稳健性进行了测试 [88],并在一项纵向 MS 病灶分割挑战赛中与手动分割及其他病灶分割工具进行了比较 [23]。

Pixyl

Pixyl.Neuro.MS 是一种 MS 病灶分割工具,Pixyl.Neuro.BV 可用于脑容量测定。技术方面:该病灶分割方法已与手动分割 [24, 29, 89] 以及较早的已建立自动化方法 [24, 29, 89] 进行了比较,包括在一项 MS 病灶分割挑战赛中 [24]。该工具的较新改进版本已与先前版本 [90] 和手动分割 [90] 进行了比较。

Qynapse

技术方面:Qynapse 已将当前病灶分割方法与先前方法、最先进的病灶分割方法(包括 LST、Lesion-TOADS、lesionBrain、BIANCA 和 nicMSlesions)以及手动分割进行了比较 [25, 30]。QyScore 已针对不同输入数据的稳健性进行了测试 [30]。

讨论

本系统综述识别出目前有10家公司提供获FDA和CE许可的用于多发性硬化(MS)的定量报告(QReports)。本综述中识别出的大多数工具在过去5年内获得了监管批准。通过回顾MS及此前痴呆领域[35]的商业化QReports,我们旨在提供临床医生所需的信息,以应对快速发展的定量报告工具市场。本综述中识别出的研究已按照QNI模型框架进行分类,以鼓励采用具有严谨和结构化测试的共同转化路径。我们识别出38项相关验证与评价研究:30项技术验证研究、7项临床验证研究和1项使用中评价。总体而言,6个QReports具有技术验证证据,4家公司开展了临床验证,1家开展了使用中评价。工具的批准日期并不总是与所识别出的验证研究数量相关。例如,CorTechs.ai于2006年获得FDA批准,其在痴呆等其他疾病中完成验证后,才开始开发和验证其用于MS的工具。对于较早获得监管批准的公司,临床验证研究更为普遍。所有公司均声称正在开展(进一步的)验证研究。

既往关于MS QReports的综述比较了研究中使用的方法学和市售工具,但未指明供应商——主要是由于其发表时间早于这些工具的品牌命名[11, 17, 91–95]。在本文中,我们回顾了所有识别出的提供病灶与脑分割及体积测量组合的商业化MS QReports。我们旨在通过综合和归类文献来保持无偏倚,避免直接比较和评价。目前几乎没有依据和证据推荐某一商业化MS QReport优于另一种,因为购买者的需求可能各不相同,而且这些工具主要未在相同条件下使用相同数据库进行测试(本综述中识别出的一项直接比较两种商业化MS QReports性能的研究除外)[28]。

我们的综述强调了多发性硬化(MS)定量报告(QReports)缺乏临床验证,尤其是缺乏由临床医生对工具进行的测试。十家供应商中仅有四家在多发性硬化人群中进行了临床验证,其中三家公司将定量报告结果与临床变量进行相关性分析,但未让临床医生直接参与工具的使用。与临床变量(如扩展残疾状况量表(EDSS))的相关性分析仅是初步的临床探索,即使未能证明临床实用性也可能取得成功。仅有一家公司由临床医生作为最终用户对工具进行了测试,考察了报告时间(在正常临床常规之外)、诊断准确性以及观察者内和观察者间变异性[18]。我们已证明,在临床环境中由临床医生进行测试的情况极为罕见。2021年,Pemberton等人也证明了痴呆症定量报告缺乏临床验证[35]。临床验证是定量神经影像(QNI)模型框架第4步的一部分,该框架鼓励研究定量报告对评定者内和评定者间信度、诊断信心和准确性以及临床管理(如在正常临床常规背景下的报告时间)的影响,以提升用户信心和循证诊疗[34]。临床医生与供应商的合作对于完善这些工具、提高其临床采用率以及促进未来发展至关重要。

本综述已证明缺乏使用中评估,该评估被列为QNI框架的第6步[34]。仅识别出一项使用中评估研究,即一项在假设的多发性硬化患者队列中调查定量报告健康经济影响的微观模拟研究[32]。社会经济验证可能促进临床转化,因为需要证明其对保险机构等利益相关方的附加价值,以推动广泛临床使用的报销。一项模拟使用中评估研究探讨了多发性硬化定量报告对治疗选择和治疗升级的影响;然而,这应在真实临床环境中进一步探索[32]。同一家公司已调查了患者对其数字化多发性硬化诊疗路径的看法[18]。患者报告结局指标(PROMs)可纳入使用中评估,尤其是当患者能够获取结果时。多家公司声称可以以简化的患者导向报告形式提供患者访问权限,icometrix公司已开发了icompanion患者应用程序,可提供其磁共振成像(MRI)扫描的访问权限。值得注意的是,十家公司中有七家在過去5年内获得了监管批准,而商业定量报告的临床使用仍然有限;因此,使用中评估可能随时间推移变得更加普遍。如本综述所示呈现证据对于临床环境中的知情实施非常重要,这反过来可能促进使用中评估机会的增加。

开展临床验证和使用中评估可以帮助公司优化其工具,以适应使用多样输入数据的不同临床环境。QNI框架的第5步侧重于工作流程整合,包括克服通用性障碍[34]。所有公司都提供了某种形式的PACS集成和DICOM标准数据格式。QReports应针对不同扫描仪和场强的稳健性进行测试,并且为结果情境化提供的规范性参考数据应具有通用性,因为输入数据可能各不相同。供应商大多汇编了规范性参考值的大型数据集;然而,只有一家公司在洲际范围内比较了其对照人群数据集[33]。所识别的工具通常依赖于3D MRI输入序列,这些序列正变得越来越可用(如影像指南所推荐[96, 97]),但在许多临床环境中可能尚未使用。此外,标准临床常规中使用的MRI序列与用于MS的商业QReports中使用的MRI序列之间存在差异,因为大多数已识别的QReports依赖于T1加权和T2-FLAIR序列;然而,非增强T1加权图像并未常规纳入MS的影像指南[5]。公司应继续对其工具的通用性保持透明,并应研究临床可用性以解决转化障碍。表1,技术特征和特点数据库,展示了通用性措施的差异,可以帮助临床医生为特定临床环境选择最合适的工具。

结构化验证和评估程序可以促进工具之间的比较及其改进。QNI框架可以为未来研究提供结构和指南,特别是通过强调临床医生测试工具的必要性[34]。2021年1月,FDA发布了人工智能/机器学习作为医疗器械的监管框架行动计划[98],2021年10月,FDA、加拿大卫生部和英国药品和健康产品管理局(MHRA)定义了良好机器学习实践(GMLP)的10项指南[99],其中引用了临床环境中的测试以及稳健性和通用性的验证。欧盟最近引入了对监管批准医疗器械的新临床评估要求[100, 101],2021年4月,欧盟委员会发布了《人工智能法案》,以促进AI的发展并确保其可信性,重点关注投资和政策[102]。此外,2022年3月,Icometrix获得了NICE首个MS领域的Medtech创新简报,该简报提供了使用建议和证据摘要(https://www.nice.org.uk/advice/mib291/chapter/summary)。通过解决QReports的测试问题并提供使用指导,监管机构可以支持透明度并鼓励结构化验证和评估程序。

局限性

识别获FDA和CE批准的工具有不同的检索策略。由于没有可对CE标记工具进行完整检索的数据库,有可能遗漏某些工具。在本综述发表过程中,可能有工具获得了FDA或CE监管批准,或有公司发表了相关研究。以下结论不变:MS QReports缺乏临床验证和使用中评估。部分工具的技术信息由公司提供,作者在无法访问软件包的情况下无法独立核实。

结论

本综述识别了10个市售MS QReports。我们总结了验证和评估研究,并提供了工具技术细节数据库,以提高透明度并帮助临床循证决策。我们使用QNI框架对验证和评估研究进行分类,以促进临床转化的共同结构化路径。我们揭示了QReports用于MS的临床验证和使用中评估方面的证据缺口,尤其是在测试临床医生使用该工具的研究方面。

总共识别了10家生产商用MS QReports的公司,其中4家进行了临床验证(仅一项研究涉及临床医生终端用户测试),1家进行了使用中评估。通过本综述,我们旨在鼓励对QReports进行严格、结构化的测试,以阐明这些工具如何整合到MS评估的临床工作流程中。

引用

  1. Mendelsohn, Pemberton, Gray, et al. Commercial volumetric MRI reporting tools in multiple sclerosis: a systematic review of the evidence. Neuroradiology. 2022. PMID: 36331588. doi:10.1007/s00234-022-03074-w
  2. 全文:PMC9816195(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9816195/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。