文献速递神经介入DSA

DEEP MOVEMENT:深度学习分析DSA视频用于血管内取栓管理

DEEP MOVEMENT: Deep learning of movie files for management of endovascular thrombectomy.
PubMed 文献 · Eur Radiol · 2023-02-27

本研究开发了深度学习模型,以脑DSA视频为输入,识别大血管闭塞(LVO)及其位置(ICA、M1、M2),并评估取栓后灌注效果(mTICI分级)。共纳入287例患者1024段视频,内部测试集LVO识别敏感度100%、特异度91.67%,外部验证敏感度91.30%、特异度81.82%;取栓后视频可分类mTICI<3,AUC为0.71。

要点

  • DSA视频可直接用于LVO检测,内部测试敏感度100%、特异度91.67%。
  • 闭塞位置分类ICA准确率71%、M1 84%、M2 78%,外部验证73%、35%、50%。
  • 模型可评估取栓后灌注,分类mTICI<3的AUC为0.71。

关键影像表现/征象

  • Grad-cam注意力图显示模型关注区域随闭塞位置不同而变化,ICA闭塞注意力更偏下。
  • 取栓后视频可被模型重新分类,从闭塞类别转为正常类别视为成功再通。

诊断标准与关键数值

  • LVO识别内部测试集敏感度100%(CI 90.75-100.00%)、特异度91.67%(CI 61.52-99.79%);外部验证敏感度91.30%(CI 71.96-98.93%)、特异度81.82%(CI 48.22-97.72%)。
  • 闭塞位置分类准确率内部测试ICA 71%、M1 84%、M2 78%;外部验证ICA 73%、M1 35%、M2 50%,93%病例定位在±1类内。
  • 取栓后再通识别准确率内部ICA 100%、M1 88%、M2 35%;外部ICA 89%、M1 88%、M2 60%。
  • 取栓后视频分类mTICI<3的AUC为0.71。

局限性

  • 样本量有限,且患者仅来自一个国家,外部验证集较小(44例)。
  • 三例视频因文件损坏被排除,视频转换过程存在技术障碍。
  • 数据集存在类别偏倚(75%为病理病例),但报告采用敏感度、特异度或AUC以减轻影响。
  • 3D模型从头训练表现较差,可能因过拟合和样本量有限。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2023 Feb 27;33(8):5728–39. doi: 10.1007/s00330-023-09478-3

引言

缺血性卒中是一种时间依赖性疾疾,仍然是发病和死亡的重要原因 [1]。由于其时间敏感性,卒中成为放射学人工智能(AI)的一个极具吸引力的应用场景。机械取栓术用于取出致病性动脉内血栓,已经彻底改变了治疗方式并改善了预后 [2]。事实上,患者每延迟一分钟未接受治疗,大约损失190万个神经元 [3]。因此,能够提高诊断和治疗过程速度和疗效的措施有可能改善患者预后。

计算机处理能力的提升促进了深度学习计算机视觉任务的应用 [4]。这些方法在若干医学影像任务上已达到专家级性能 [5, 6]。然而,尽管许多论文报告了在放射学中使用深度学习达到专家级结果,大多数仅将窄范围的技术应用于窄范围的用例 [7]。这引发了人们对能够整合先前图像的模型的呼吁 [8]。事实上,此类模型的开发被称为该领域“提供有意义改进的关键” [8]。近年来,用于视频分析的计算机视觉引起了研究兴趣 [9, 10]。例如,目标跟踪技术在无人驾驶汽车和其他增长型行业中具有有用的应用。然而,视频分析的医学应用发展较慢,尽管在超声心动图中已显示出前景 [11, 12],并在诊断放射学中展现出新兴的潜在应用 [13]。

在临床实践中,介入放射科医生以视频形式实时解读医学影像,例如以数字减影血管造影(DSA)的“运行”(按时间排序的图像序列)形式。在介入手术室中,对这些“运行”的快速辅助解读可以通过帮助检测和确定是否需要再次干预来缩短介入时间,特别是在具有挑战性或临界病例中。

我们的目标是开发一个模型,以脑DSA视频作为输入,识别大血管闭塞(LVO)的存在或缺失,定位闭塞水平,并评估取栓术的成功与否。所提出的任务包含两个增加时间复杂性的要素:DSA运行逐帧变化的动态特性,以及比较干预前后运行的变化检测要素。

我们的主要假设是,我们的模型可以实时识别闭塞,这将通过为快速解读(取栓术前)提供决策支持而具有显著的潜在临床效用。我们的次要假设是,我们的模型可应用于取栓术后,作为结果的自动化客观分级。

方法

本手稿根据CLAIM清单 [14] 编写。我们的代码可在GitHub上获取(https://github.com/edhlee/DeepMovement)。

患者选择

本回顾性研究符合HIPAA要求,经斯坦福医学院IRB和印第安纳大学IRB批准,并获两家机构间批准的数据共享协议。我们纳入了2012年至2019年在单一三级大学附属中心因急性缺血性卒中接受DSA的所有患者。这些患者CT血管造影异常并被转诊至神经介入放射科。连续纳入因其他指征接受DSA且检查正常(自2019年起)的患者作为对照。还回顾性收集了来自另一所大学附属三级转诊中心的独立验证队列。排除标准为缺乏Willis环标准后前位(PA)和侧位投影的患者。

真值判定

所有脑血管造影均由各中心委员会认证的神经介入放射科医师评估,所有医师均获委员会认证并接受过亚专科培训。明确闭塞位置,并使用结构化报告评估取栓后结果。LVO定义为终末段颈内动脉(ICA)以及大脑中动脉(MCA)M1(水平)段或M2(垂直)段的阻塞。记录改良脑缺血治疗(mTICI)评分。评分由另一名放射科医师为本研究进行核实。当无可用评分时,回顾结构化报告文本和图像以回顾性判定mTICI评分。分歧由第三名认证放射科医师决定。

视频准备

DSA的DICOM文件在OsirixMD(版本11)中整理并转换为mp4格式。对于行取栓术的病例,每名患者创建四个视频(PA位和侧位,取栓前和取栓后),而正常对照记录两个视频(PA位和侧位)。从外部机构收到的DICOM文件加载至OsirixMD并以相同方式处理。

设计

模型被训练用于分类是否存在LVO。每个病例被分类为正常、ICA、M1或M2。接下来,将取栓后视频作为输入并重新分类。类别间的移动(从近端闭塞转为远端闭塞或转为正常)被视为成功取栓的识别。最后,使用模型将取栓后视频分类为mTICI 3(完全顺行再灌注)或< 3(不完全顺行再灌注)。

深度学习模型

我们使用不同架构研究了多个深度学习模型的性能。首先,我们采用了仅使用单帧的2D卷积神经网络(CNN)模型(Xception)、使用多帧的堆叠2D CNN(stacked-Xception)(2.5D)、2D视觉Transformer(ViT),以及捕捉完整空间和时间分辨率的3D CNN(Inception 3D)。

在所有深度学习方法中,除堆叠-Xception + ViT集成模型外,我们使用Adam优化器[15]训练20个轮次,每个轮次学习率衰减0.9。ViT组件需要显著更长的训练时间才能达到收敛。例如,以20个轮次和每个轮次0.9学习率衰减进行训练,训练集F1分数约为0.6,而其他模型>0.75。数据增强包括帧的水平翻转(用于2D方法)、裁剪和随机亮度畸变。Xception骨干网络在ImageNet上预训练,inception-3D在Kinetics上预训练,ViT(2D)骨干网络在Cifar-100上预训练。总结见图1。所有模型架构详见补充GitHub链接(https://github.com/edhlee/DeepMovement)。

数据增强包括帧的水平翻转(用于2D方法)、裁剪和随机亮度畸变。生成Grad-cam(动态显著性图)以辅助可解释性。

图1 DEEP MOVEMENT概述。我们的模型在任务1(a)中对血栓切除术前患者的DSA进行训练和评估。以堆叠-Xception模型为例展示。随后在任务2(b)中评估血栓切除术前模型以预测血栓切除术后治疗结果,从而评估再灌注质量。 查看原图 ↗

分析

我们的模型在内部独立测试集和外部验证集上均进行了训练和评估。大血管闭塞(LVO)的识别使用F1分数、敏感性和特异性进行衡量。位置分类使用准确率进行评估。血栓切除术后结果的分级使用ROC曲线下面积进行评估。随后在外部验证数据上使用相同的堆叠-Xception模型,不进行微调或额外迁移学习。

结果

样本量

总共纳入1024个视频,涉及287名患者进行分析,其中225例有闭塞,62例正常,237例用于训练,50例用于测试。在50例测试中,正常、ICA、M1和M2闭塞分别为7例、11例、21例和11例。5例因未获得所需视图而被排除。3例因文件损坏而被排除。中位年龄为76岁,纳入患者中47%为女性。44名患者被纳入外部验证,无病例被排除。患者人口统计学信息总结于表1。

表1 患者人口统计学信息 查看原表 ↗

堆叠-Xception在血栓切除术前视频上的结果

使用堆叠-Xception,闭塞识别的敏感性为100%(CI 90.75至100.00%),特异性为91.67%(CI 61.52至99.79%)(表2和图2a)。位置分类的准确率对于ICA为71%,对于M1为84%,对于M2闭塞为78%。

表2 堆叠-Xception结果总结 查看原表 ↗
图2(a–d 从左上顺时针方向)混淆矩阵显示各种模型在Stanford测试集上的结果:(a)堆叠-Xception,(b)3D模型(inception-3D),(c)堆叠-Xception + 3D,(d)堆叠-Xception + ViT 查看原图 ↗

替代模型在血栓切除术前视频上的结果

我们将堆叠式Xception与使用Inception-3D的完全3D卷积方法进行比较。两种架构均首先在大规模数据集(ImageNet和Kinetics-600)上进行了预训练。斯坦福留出集上的混淆矩阵(图2b)表明3D方法在正确识别M2亚型方面存在不足。然而,3D方法在预测ICAs方面表现更好。如图3a所示,堆叠式Xception的总体F1分数仅更高(0.83对0.8)。在图3a中,我们联合训练并评估了一个集成模型,该模型结合了堆叠式Xception和3D的特征。所得模型的F1分数(0.85)略高于堆叠式或3D模型单独使用时的分数。最后一种方法是堆叠式Xception与视觉变换器(在单帧上使用2D)的集成。就绝对值而言,ICA识别优于堆叠式Xception,M2识别优于Inception-3D。然而,F1分数(0.8)略低于堆叠式Xception + 3D。

图3 a 不同架构在斯坦福测试集上的F1分数。b 比较仅2D与堆叠式2D的F1分数 查看原图 ↗

血栓切除术后视频

分析堆叠式Xception在血栓切除术后视频(n = 194)上的表现,该模型识别成功再灌注的准确率在ICA闭塞中为100%,M1为88%,M2闭塞为35%(表2和图4)。该模型还可对干预后视频(ICA、M1和M2)进行二分类,判断其mTICI为3(完全顺行再灌注)或< 3,AUC为0.71。

图4 堆叠式Xception模型预测ICA、M1和M2干预后视频的混淆矩阵 查看原图 ↗

比较血栓切除术前和术后视频的Grad-cam视频

图5a和b显示了在血栓切除术前DSA上训练的模型对DSA视频的梯度注意力图。阴影区域代表模型为做出预测而学习关注的区域。通过将治疗后grad-cam与血栓切除术前视频进行比较,可以解释对血栓切除成功或失败最重要的区域。视频可在补充材料中查看。最后,将治疗前模型的grad-cam应用于治疗后模型,提供了可解释的证据,表明我们的模型学习到了血栓切除有意义的相关特征。

图5 a 堆叠式Xception模型在测试集上的Grad-cam注意力图。b 3例M1闭塞患者治疗前后的Grad-cam可视化 查看原图 ↗

外部验证结果

闭塞识别的灵敏度为91.30%(71.96至98.93%),特异度为81.82%(48.22至97.72%)。位置分类的准确率在ICA、M1和M2分别为73%、35%和50%。位置分类在44例中有41例(93%)正确到±一个类别。该模型识别成功再灌注的准确率在ICA闭塞中为89%,M1闭塞为88%,M2闭塞为60%,与内部数据相比具有优势。结果总结于表2。

讨论

在此,我们提出一个模型,输入脑DSA视频以(1)识别急性卒中中是否存在大血管闭塞;(2)定位闭塞水平(终末ICA、M1或M2);(3)评估血栓切除的有效性。

人工智能在放射学领域已达到专家级水平,但仅限于特定的狭窄领域[16, 17]。最近,增强智能的概念在放射学文献中逐渐受到关注[18]。尽管人工智能应用在医疗保健领域具有巨大前景,但学术研究与模型的临床应用之间存在鸿沟[19]。急性卒中救治最近因大血管闭塞机械取栓术的出现而发生了变革,这对临床实践产生了巨大影响[20, 21]。诸如我们这类模型的未来潜在临床用途将包括通过快速判读(取栓术前)提供决策支持,以帮助检测更细微或更远端血栓,以及取栓术后对取栓结果进行自动化客观分级。“时间就是大脑”,如果能够更快地识别残余血栓,或者如果能够告知术者在60分钟内未获得>50%的前向再灌注[22],那么这种自动化检测模型就有可能改善患者预后。

我们的研究问题还有两个额外要素增加了时间层面的复杂性。视频文件具有时间要素,因为它们追踪造影剂注射及血管随时间推移的显影过程。时间要素对于正确分类是必要的,因为由于血流动力学循环,血管的某些部分可能在某些帧中显影而在其他帧中未显影。然而,考虑多帧画面必然引入大量冗余信息,因为造影剂到达感兴趣区域之前的帧不包含诊断信息。这降低了输入的的信噪比,虽然这是必要的,但也使任务更具挑战性。此外,还存在间期变化方面,即我们评估干预前后的视频。此类模型的开发被认为“对于在临床工作流程中提供有意义的改进至关重要”[8]。

我们探索了多种用于卒中视频的深度学习架构,如表3所示。在ImageNet上预训练的2D模型(仅使用二维卷积的模型)在放射学中取得了较高的分类准确率[5, 23]。虽然它们对静态成像有效,但缺乏纳入时间信息的能力。传统上使用光流等方法[24–26]。尽管如此,2D模型在感兴趣区域在单帧中独特(或集中)的场景中是有效的,甚至可能优于3D方法。在DSA视频中,可能存在与闭塞本身相关信息的极少甚至无信息的帧;视频中的噪声或失真帧甚至可能损害AI性能。通过使用3D CNN,我们可以捕获完整的空间和时间信息,并且当帧数较多时使用3D CNN是有用的。3D模型的大小(以及可训练参数的数量)通常大于2D对应模型,因为卷积核具有额外的维度。尽管如此,对于我们的3D模型,我们选择了与2D模型大致相同大小的模型(表3)。高模型方差可以通过在大规模视频数据集上进行预训练来缓解。在我们的工作中,我们使用了在Kinetics-600上预训练和非预训练的3D模型[27]。我们考虑的第三种方法是堆叠CNN。该方法将每一帧传入2D CNN,拼接特征,并在时间维度上进行特征级混合。堆叠方法与完全3D方法的根本区别在于,堆叠CNN缺乏通过3D卷积的联合空间和时间表示。这既有优点也有缺点,因为虽然3D核可以捕获血管闭塞逐帧的时间依赖性连续性,但这些核具有更大的感受野(与2D相比),可能对最终预测产生不利影响。例如,一个DSA患者视频可能仅包含少数有闭塞的帧和许多无闭塞的冗余帧。这些冗余帧可能扰动最终预测信号。图3b中随额外帧增加而出现的性能平台期证明了这一点。最后,我们应用视觉Transformer(ViT)[28],其在图像块上应用多头自注意力和多层感知机(MLP)层。与最先进的CNN相比,ViT最近在图像失真(如遮挡、排列)方面表现出很强的鲁棒性,并且比CNN对颜色和纹理偏差更不敏感[28]。越来越多的证据表明CNN[29]主要依赖纹理(和颜色)信息而非形状。

我们研究了多种深度学习方法,发现堆叠-Xception和堆叠-Xception + inception-3D在任务1和任务2中均产生了较高的分类准确率,且模型复杂度合理较低。两个模型均从大规模图像和视频数据集进行预训练。我们已经表明,DSA视频中更多帧是必要的,但在8个输入帧之后F1分数的改善有限。通过使用超过20帧,所有方法将需要更高的计算和内存开销复杂度。

我们对我们主要模型进行了稳健的外部验证,以检验其泛化潜力。与本地数据相比,外部站点的DSA视频是使用不同的透视设备获取的,并存储在不同的成像平台上。此外,如图6a和b所示,获取图像的技术也有所不同。本地图像的居中位置更高,因此感兴趣区域在本地和外部图像中的位置不同,这使得泛化更具挑战性。虽然整体位置准确性降低,但95%的病例中闭塞定位在±一个类别以内,这意味着绝大多数误分类都是近失误。

图5a和b中的梯度加权类激活映射(Grad-cam)突出了训练模型所关注的每一帧的区域。它们表明,不同类别视频的注意力模式不同。例如,在一个M2闭塞病例中,患者的治疗(图5b)似乎是成功的,因为模型以71.2%的置信度将这段取栓后视频分类为正常。这在实时决策支持中具有潜在的临床效用,可用于评估某次取栓操作的有效性,也可回顾性地帮助标准化TICI分级。此外,我们可以看到,由于闭塞的解剖位置,ICA闭塞示例中的注意力比正常或M2研究病例更集中于下方。这一直观观察使我们相信模型的行为符合预期。补充视频逐帧展示了注意力图的变化。取栓前与取栓后的Grad-cam是通过取一个训练用于分类取栓前DSA的模型并对取栓后DSA进行评估来计算的。这不仅是为了评估治疗质量(从模型的角度),也是为了提供可解释的证据,证明我们的模型学到了有意义的特征。例如,模型不会关注眼睛或颅骨,因为非血管物体的形状和纹理可能会使预测产生偏差。

我们的结果令人鼓舞,但也存在局限性。可能是由于样本量有限和过拟合,从头训练的3D模型的表现明显差于利用ImageNet或Kinetics-600预训练的2D、堆叠或3D模型。尽管在外部验证集上表现一致,但需要注意的是,所纳入的是一个国家内有限选择的患者。然而,急性卒中的成像相当统一,在未见数据上的表现证明了我们的模型具有一定程度的稳健性,这对未来的泛化性是个好兆头。我们连续纳入患者并对研究进行了外部验证,目的是减少本研究中的选择偏倚。三名患者的视频文件损坏,我们无法将其纳入研究。这是由于视频转换过程所致,希望如果这项技术变得更加普及,这些技术障碍将被克服。我们的数据集可以被解释为存在偏倚类别,75%的病例有病理。为减轻这一点,我们在报告偏倚类别的结果时使用了敏感性、特异性或AUC。重要的是,正常、ICA、M1和M2类别之间相对均匀的分布与接受取栓治疗的人群相符[30]。

表3 用于DSA视频的深度学习架构的定性探索和可训练参数数量 查看原表 ↗
图6 a、b 示例,比较内部验证与外部验证之间视频的差异(a左:Stanford M1/Pre,b右:IU M1/Pre) 查看原图 ↗

结论

我们的模型能够成功地从ICA、M1和M2闭塞的DSA研究中识别出正常的DSA研究,并可通过mTICI分级对机械取栓的结果进行分类。这有可能通过增强神经介入放射科医师的表现来提高卒中护理的速度、准确性和有效性。它还可用于对取栓结果进行客观评估。此外,我们通过最先进方法的独特应用,解决了一个涉及两个时间要素(动态视频和干预前后)的问题。

补充信息

以下是电子补充材料的链接。Grad Cam视频展示了动态变化的注意力图。我们可以看到模型所关注的感兴趣区域逐帧移动。标签0为正常病例,标签1为ICA闭塞,标签2为M1闭塞,标签3为M2闭塞。

补充文件1(MP4 1856 KB)

引用

  1. Kelly, Martinez, Do, et al. DEEP MOVEMENT: Deep learning of movie files for management of endovascular thrombectomy. Eur Radiol. 2023. PMID: 36847835. doi:10.1007/s00330-023-09478-3
  2. 全文:PMC10326097(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10326097/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。