文献速递神经MR

人工智能用于MRI卒中检测:系统综述与荟萃分析

Artificial intelligence for MRI stroke detection: a systematic review and meta-analysis.
PubMed 文献 · Insights Imaging · 2024-06-24

该系统综述与荟萃分析纳入33项研究,评估人工智能在MRI中检测卒中的性能,其中15项低偏倚风险研究用于荟萃分析。低偏倚风险研究显示缺血性卒中检测敏感度和特异度均为93%,阳性似然比12.6,阴性似然比0.079;出血性卒中证据有限,AI的临床可用性尚待研究。

要点

  • AI在DWI序列上检测缺血性卒中的汇总敏感度和特异度均为93%,阳性似然比12.6,阴性似然比0.079。
  • 仅1项研究报告了CE认证的AI算法,无研究报告FDA批准,商业AI方案在临床实践中的性能无法外推。
  • 出血性卒中检测证据有限,仅少量研究涉及,无法进行荟萃分析。

核心结论

  • 当前AI技术可在MRI中检测缺血性卒中,但出血性卒中检测需进一步验证,AI卒中检测的临床可用性尚待研究。

研究设计与样本

  • 系统综述与荟萃分析,遵循PRISMA指南,方案前瞻性注册于PROSPERO(CRD42021289748)。
  • 检索MEDLINE、Embase、Cochrane Central和IEEE Xplore,最终纳入33项研究,其中15项低偏倚风险。
  • 采用改良QUADAS-2工具评估偏倚风险,采用MI-CLAIM清单评估报告充分性。
  • 荟萃分析仅纳入低偏倚风险研究,排除未使用DWI序列检测急性缺血性卒中病灶的研究及报告不充分的研究。

诊断标准与关键数值

  • 低偏倚风险研究荟萃分析显示缺血性卒中检测敏感度93%(CI 86–96%),特异度93%(CI 84–96%)。
  • HSROC分析汇总点敏感度和特异度与森林图一致,阳性似然比12.6(CI 5.7–27.7),阴性似然比0.079(CI 0.039–0.159)。
  • 所有研究报告的性能范围为:敏感度51%–100%,特异度57%–100%,准确度68%–99%,AUROC 0.83–0.98。
  • Liu等研究3小时扫描检出率96%,24小时扫描检出率99%。

临床应用与阅片要点

  • 当前卒中AI解决方案用于决策支持而非替代医务人员,需额外任务处理AI假阳性扫描。
  • AI在MRI上可准确检测DWI阳性的缺血性卒中患者,但临床可用性尚待临床试验揭示。
  • 仅有1项AI算法获CE认证,无FDA批准,商业方案在临床实践中的性能无法外推。
  • 作者指出,未来AI验证研究宜纳入外部收集的、临床可代表的数据集,此步骤对任何AI临床使用前至关重要。

局限性

  • 大部分纳入研究采用病例对照设计,无随机对照试验。
  • 仅5项研究使用外部数据集进行测试,引入选择偏倚。
  • 评估卒中发病至扫描时间对AI检测性能影响的数据有限,仅有一项研究数据提示发病3小时内扫描可能负面影响AI检测性能。
  • 本系统综述可能受选择性结局报告偏倚和发表偏倚影响。
  • QUADAS-AI工具尚在开发中,使用改良QUADAS-2可能降低其有效性。
全文中译21 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Jun 24;15:160. doi: 10.1186/s13244-024-01723-7

引言

卒中是由于中枢神经系统血管源性病因导致的局灶性神经系统症状的急性发作。它是一种临床诊断,需要脑影像学检查来区分缺血性和出血性病因。多年来,计算机断层扫描(CT)因其可及性和速度而成为事实上的标准影像学检查方式,现行指南推荐对已知发病时间在4.5小时内的缺血性卒中实施静脉溶栓治疗[1, 2]。目前,许多先进医疗机构即使在卒中的急性诊断中也正在转向磁共振成像(MRI)。MRI具有更高的敏感性,能够识别发病时间未知且通过血运重建可能可逆的急性缺血,例如通过显示弥散加权成像(DWI)与液体衰减反转恢复(FLAIR)阴性序列之间的不匹配[1–4]。MRI在卒中诊断不确定的病例中也高度有用。此外,MRI的优化已使患者治疗流程在门-针时间等方面与脑CT所能达到的流程相似[5]。医疗保健系统中医学影像(包括MRI)的使用不断增加[6, 7],预计这一趋势在未来将持续[8]。放射科日益增加的负担预计不会得到放射科医师同等增加的支撑,因此MRI使用的增加极有可能导致响应时间延长或错误率增加[9, 10]。为在卒中诊断中对此进行平衡,人工智能(AI)已被提出作为一种增强放射学工作流程的技术[11–13]。

AI的检测特性可用于多种工作流程,包括分诊、检测辅助、MRI方案选择和对比剂使用决策。多项研究已对卒中影像中的AI进行了综述,但这些研究或应用于CT、或缺乏系统性、或范围过于宽泛而无法恰当阐明MRI中的卒中检测[11–20]。

本系统综述旨在评估AI在脑MRI中自动检测卒中的性能。本综述的目标是:(1) 估计临床代表性研究的当前检测性能,(2) 描述这些研究的特征、各自使用的AI算法,以及它们是否获得了欧洲合格认证标志(CE)或美国食品药品监督管理局(FDA)的批准,以及(3) 利用临床人工智能建模最低信息(MI-CLAIM)清单来描述报告趋势[21]。在本研究中,仅检查影像中可确认且与卒中病灶相符的病变,并将根据其影像学表现分别称为缺血性卒中类型或出血性卒中类型。

材料与方法

本综述按照系统综述和荟萃分析优先报告条目(PRISMA)声明执行[22]。研究方案于2021年11月16日在国际系统综述前瞻性注册平台(PROSPERO)进行了前瞻性注册(CRD42021289748)[23]。纳入的合格标准采用参与者-干预-对照-结局-研究设计(PICOS)构建[24]。

合格标准

纳入采用MRI和AI进行卒中评估的研究,包括回顾性研究、前瞻性研究和诊断试验研究。参与者招募策略按照Cochrane手册[25, 26]所述进行分类。

若参与者年龄为18岁或以上、目标疾病为卒中或其任何亚型、并以非卒中患者作为对照,则纳入研究。至少须报告以下一项:(1)灵敏度和特异度,(2)准确率,或(3)ROC曲线下面积(AUROC)。

检索策略和信息来源

在MEDLINE(Ovid)、Embase(Ovid)、Cochrane Central和IEEE Xplore中进行了系统检索。检索策略是与当地机构研究图书馆的信息专家密切合作制定的。未对发表日期或语言设限。使用了与MRI、卒中和AI类别相关的主题词和自由文本词。通过Cochrane Library中的综述确定了MRI[27]和卒中[28]的检索模块。Cochrane Library的综述也进行了转换,以覆盖除IEEE Xplore以外的所有数据库。由于IEEE Xplore检索机的限制,检索式仅转换为覆盖该数据库的自由文本词。所有数据库的完整检索式见在线补充表S1。检索中识别的会议海报和摘要 also 符合纳入条件。初次筛选未被排除的会议和海报摘要,通过电子邮件向通讯作者索取完整记录进行随访。若未获得回复,则在第一封邮件后一周发送提醒邮件。若再经过一周仍未获得回复,则仅根据会议海报或摘要中包含的信息进行评估,若据此认为符合条件则纳入。系统检索于2023年11月1日更新。

选择和提取

所有研究均上传至EndNote 20(Clarivate,Philadelphia,PA,USA),并使用Covidence系统综述软件(Veritas Health Innovation,Melbourne,Australia)进行管理。导入Covidence后自动去除重复记录。合格性依据表1所示的PICOS模型。两名独立评审员(J.A.B.和M.T.E.)完成了标题-摘要筛选和全文筛选,并进行了偏倚评估和数据提取。任何分歧均通过讨论以及第三名评审员(B.S.B.R.)的仲裁解决。全文排除按PRISMA流程图(图1)所示的分类顺序注明原因。描述性数据、偏倚风险和研究结果由两名主要评审员协商提取和处理。偏倚风险评估在结果评估之前进行,以减少综述中的偏倚。收集的结果包括灵敏度、特异度、准确率和AUROC。收集的描述性数据包括研究ID、研究设计、参与者数量、索引试验、神经网络的使用以及FDA批准和CE认证。FDA批准和CE认证状态还使用Radiology Health AI Register列表[29]进行了交叉核对。两名评审员(J.A.B.和M.T.E.)独立提取了所有数据。

表1 AI用于MRI卒中检测的系统综述的PICOS组成要素 查看原表 ↗
图1 AI用于MRI卒中检测的系统综述的PRISMA流程图 查看原图 ↗

偏倚风险分析

对于偏倚风险分析,使用了诊断准确性研究质量评价2(QUADAS-2)工具的改良版本[30]。改良针对索引检验领域进行,以更好地适应人工智能。改良版QUADAS-2工具及所做的更改见在线补充表S2。

数据分析

对所有纳入报告进行描述性分析。仅对总体偏倚风险低的报告进行检测结果的综合。人工智能性能数据从纳入研究中提取,若未报告,则根据现有信息计算相应数据。对真阳性(灵敏度)和真阴性(特异度)进行比例荟萃分析。采用限制性最大似然估计的双变量随机效应模型以考虑相对异质性。为估计人工智能检测的总体状况,使用STATA metandi模块构建分层汇总ROC(HSROC)模型[31]。对每项研究的MI-CLAIM清单[21]进行定量综合,以识别报告不足的趋势。趋势进行总体分析及按各部分分析,即研究设计、数据与优化、模型性能、模型检验和可重复性。分析使用STATA 18(StataCorp,College Station,TX,USA)完成。

结果

去除重复后,按标题和摘要筛选了1738条记录,其中152条符合全文阅读条件。纳入报告总数为33篇[32–64]。包括排除原因的完整记录流程见PRISMA流程图(图1)。被排除的全文报告及排除原因列于表S3。

研究特征

26篇报告发表于2020年或之后。5篇报告收集了多个数据集进行分析。18篇报告采用病例对照设计,12篇采用队列设计,1篇收集了两个数据集,其中一个为队列,另一个为病例对照[39],2篇报告未描述其设计。无报告采用随机对照试验设计。26项研究回顾性收集数据,1项研究前瞻性收集,5项未报告数据收集方法。1项研究收集了两个数据集;一个为回顾性,另一个未提供信息[37]。关于卒中类型,24篇报告研究缺血性卒中,1篇研究出血性卒中[63],2篇有缺血性和出血性卒中的数据集[40, 49],1篇研究脑静脉窦血栓形成[63],5篇报告未详述卒中类型。4项研究进行了多中心数据收集[36, 37, 39, 40],但均未设置外部多中心测试集。每项研究的描述性研究特征见表2。

表2 人工智能用于MRI卒中检测系统评价的研究特征 查看原表 ↗

设置特征

十项研究设定了卒中发病24小时或“急性”的时间范围,但无进一步说明。Liu等[39]拥有纵向扫描数据,患者在症状发作3小时内及症状发作后24小时再次接受扫描。其他研究均未采用4.5小时内、“超急性期”或“FLAIR阴性”的时间范围,这些范围对应于当前溶栓治疗的时间或组织学标准。十四项研究未报告从发病到扫描的任何时间范围定义或说明。最常用的MRI序列为FLAIR、T2、T1和DWI。两项研究使用功能MRI(fMRI)序列进行评估[42, 51],一项使用飞行时间序列[34]。各研究中使用的对照方式异质性较大。总体而言,八项研究与已知正常扫描进行对比,三项与已知其他病变进行对比。其余研究则与混合的患者MRI扫描进行对比,包括无病变、退行性疾病和炎性疾病。85%的纳入研究使用了神经网络人工智能,具有一系列不同的网络架构主干。十项研究的数据来源可在在线数据库中获取。在所有研究中,仅一种AI算法获得了CE认证,无一获得FDA批准。研究设置特征见在线补充表S4。

偏倚评估

偏倚风险评估结果显示,在33篇纳入报告中,15篇报告的总体偏倚风险为低。患者选择领域和指数检验领域是偏倚引入最多的来源。七篇报告未描述其参考标准。尽管存在异质性,所有报告了参考标准的研究均被认为是可靠的参考标准。表3呈现了偏倚风险评估,表S5进一步详述了每项研究的各类别偏倚情况。

表3 AI用于MRI卒中检测的系统综述偏倚风险评估 查看原表 ↗

MI-CLAIM评估

所有纳入研究均未报告遵循MI-CLAIM清单,尽管有17项研究发表于2020年MI-CLAIM论文[21]发布之后的年份。仅两项研究[32, 34]声称遵循报告标准,即诊断准确性研究报告标准(STARD)指南[65],其中一项研究[32]还额外遵循了医学影像人工智能清单(CLAIM)[66]。报告条目的总百分比为72%。低偏倚风险研究的该比例更高(84% vs 63%)。低风险和高风险类别在研究设计部分及数据和优化部分存在显著差异,总体完成率分别为100% vs 72%(卡方值13.75;p = 0.008)和93% vs 78%(卡方值7.61;p = 0.02)。仅五项研究报告了所有条目(代码共享部分除外)[39, 40, 42–44]。模型性能和模型检查部分的报告条目率普遍较低,总体分别为64%和66%。五项研究(其中四项为低偏倚风险)报告共享其代码以实现可重复性,而其余研究未提供任何复现其结果的方式。MI-CLAIM评估结果见在线补充表S6。

检测结果

最常报告的测量指标是灵敏度和特异度。33项研究中有9项报告了AUROC,其中4项为低偏倚风险。大多数研究的缺失值(如准确率)可根据其他报告值计算。性能范围为:灵敏度51%至100%,特异度57%至100%,准确率68%至99%,AUROC 0.83至0.98。Liu等[39]在3小时扫描中的检出率较低,为96%,而24小时扫描为99%。Dørum等[42]利用功能磁共振成像(fMRI)达到了随机机会水平的检测性能。Nael等[40]中唯一检查出血性卒中的AI表现总体上劣于检查缺血性卒中的AI。所有研究的结果报告于表4。结果的进一步说明和澄清见在线补充表S7。

表4 AI用于MRI卒中检测的系统评价性能结果 查看原表 ↗

Meta分析

为减少低偏倚风险研究间的异质性,Yang等[34]、Dørum等[42]和Uchiyama等[46]被排除在Meta分析之外,因为这些研究未使用弥散加权成像(DWI)序列检测急性缺血性卒中病灶。Wu等[35]因报告不充分被排除。研究的森林图Meta分析(图2)显示缺血性卒中检测灵敏度为93%(CI 86–96%),特异度为93%(CI 84–96%)。在HSROC Meta分析(图3)中,汇总点的灵敏度和特异度值与森林图中相应指标完全相同。阳性和阴性似然比分别为12.6(CI 5.7–27.7)和0.079(CI 0.039–0.159)。两项分析的STATA数据输出呈现在表S8中。文献不够充分,不足以支持对出血性卒中开展Meta分析。

图2 AI用于MRI缺血性卒中检测的灵敏度和特异度森林图 查看原图 ↗
图3 AI用于MRI缺血性卒中检测的HSROC曲线 查看原图 ↗

讨论

本系统评价共发现33项评估AI用于MRI卒中检测的研究。研究发现这些研究在数据收集和研究设计方面存在异质性。大多数研究检查缺血性卒中,仅有少数研究检查AI在出血性卒中的应用价值。纳入研究中仅有一种AI算法获得了CE认证。MI-CLAIM评估揭示了当前报告实践的不足。基于Meta分析纳入的9项研究,检测DWI阳性卒中的缺血性灵敏度和特异度均为93%,似然比强。

两项研究[33, 41]的检测灵敏度显著低于Meta分析中的其余研究。其中一项[41]仅检查皮质下梗死,此类梗死基于小血管,因此病灶体积也较小,这可能是原因;而另一项[33]将其卒中扫描分割为单张图像,这可能导致某些图像层面仅包含少量实际卒中体素。

一项研究[43]在荟萃分析中获得的检测特异度显著低于其余研究。在该研究中,最佳特异度是通过生成合成图像用于训练而获得的,而其未使用合成图像训练的算法特异度较低,为48%。这可能表明他们可用的数据量不足,无法训练算法以获得最佳检测性能。另一项研究[39]中较低的检测特异度很可能归因于设定的阈值,因为他们同时呈现出显著更高的检测敏感度。

一项研究[37]在敏感度和特异度方面均取得了显著更高的结果。最可能的原因是其采用了多个AI算法进行组合迭代多数投票。这种做法在原始性能方面可能更优,但在计算能力方面代价高昂,需要更长的处理时间和大型昂贵的计算机配置,而这在临床环境中可能难以获得。

AI研究的报告

敏感度、特异度和准确率是报告最多的结局指标。大多数研究无法获得AUROC测量值。尽管确实存在FDA批准和/或CE认证的解决方案[29],但本系统综述仅发现了一篇关于此类解决方案的报告。因此,这些商业AI解决方案在临床实践中的性能无法外推。MI-CLAIM清单被用于收集比较AI能力和重现结果所需的最低信息。然而,还存在其他若干相关报告指南,例如CLAIM指南(一个更全面的清单)以及正在制定中的STARD指南的专用AI版本[65–67]。鉴于33篇报告中仅有5篇能够提供所有MI-CLAIM领域的信息,未来研究应遵循相关清单以确保研究中良好的报告规范。

临床相关性

当前的卒中AI解决方案旨在用于决策支持,而非替代医务人员[29, 68]。还需要完成排除AI假阳性扫描的另一项任务,这可能被证明是耗时的。此外,AI对放射科医生决策力的影响已在其他医学影像领域进行了研究。Mehrizi等[69]开展了一项关于AI辅助乳腺X线摄影的初步研究,显示当AI给出错误建议时,放射科医生的评估更容易出现错误。

为协助在临床环境中实施AI解决方案之前的评估,最近开发的医学影像AI评估模型(MAS-AI)可能有用[70]。MAS-AI采用整体方法将不同的AI算法与预期使用场景相匹配,以帮助支持决策。AI如何影响患者预后和卒中患者的诊断检查流程不在本综述的范围之内,但在实施前需要进行考察这些方面的临床试验。

临床卒中 vs 放射学确诊卒中

卒中是临床诊断,有时相关病变在MRI上不可见[71]。此外,患者可能患有短暂性脑缺血发作,其缺血性病灶通常不可见。结合本综述中的发现,所有纳入研究均采用一名或多名医生进行的图像评估或放射学报告作为参考标准。评估AI是否具备检测出报告放射科医生在MRI上不明显的卒中的能力将具有重要意义。

局限性

纳入研究中很大一部分采用了病例对照设计,且无一为随机对照试验。此外,仅一小部分研究在外部数据上进行了分析,这引入了选择偏倚。我们仅识别出五项使用外部数据集进行测试的研究[32, 36, 37, 39, 40]。其他放射学领域AI的系统综述已表明,在外部收集的数据上测试时AI性能会下降[72, 73]。因此,未来的AI验证研究最好纳入外部收集的、具有临床代表性的数据集,这一步对于任何AI在临床使用前都至关重要。

可用于评估卒中发病至扫描时间对AI检测性能影响的数据有限。然而,现有的一项研究数据提示,对于发病时间低于3小时的扫描必须谨慎对待,因为这可能对AI检测性能产生负面影响。

本系统综述可能受到选择性结局报告的报告偏倚和发表偏倚的影响。理想情况下,QUADAS-AI工具在此情境下会更为适用,但其仍处于开发中[74]。因此,我们使用了目前可用的QUADAS-2,并对其进行了修改,以努力解决该工具在评估AI情境下已确立的缺陷[74, 75]。然而,我们的修改可能降低了QUADAS-2的效度。最后,本系统综述的主题正处于快速发展之中,纳入研究中很大一部分发表于过去三年内即为明证。可以预见该领域在不久的将来会有重大进展,这将需要对本meta分析进行更新。

结论

目前AI在MRI上检测缺血性卒中的性能可作为诊断试验使用。需要进一步研究以阐明AI对出血性卒中的检测。大多数AI技术基于神经网络。存在报告缺口,主要在AI模型性能和检查的报告方面,未来的AI研究应使用报告指南以提高效度。临床可用性尚待研究。

补充信息

电子补充材料

引用

  1. Bojsen JA, Elhakim MT, Graumann O, et al. Artificial intelligence for MRI stroke detection: a systematic review and meta-analysis. Insights Imaging. 2024. PMID: 38913106. doi:10.1186/s13244-024-01723-7
  2. 全文:PMC11196541(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11196541/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。