DSA深度学习血栓分类器在大规模数据集的验证

引言

数字减影血管造影（DSA）是一种基于导管的实时成像技术，常规用于急性缺血性卒中的血管内治疗过程中 [1, 2]。血管内再通已被证明相比单纯药物治疗可显著改善临床结局 [3]。因此，在DSA上准确、及时地识别颅内血管闭塞对于手术指导和治疗决策至关重要。然而，在介入过程中通过视觉检测血管闭塞可能具有挑战性，尤其是在时间紧迫和血管解剖结构复杂的情况下。成像平面内血管重叠、严重的血管迂曲或多发闭塞可能进一步妨碍可靠的视觉评估 [4–7]。DSA判读的观察者间变异性已知较高 [4, 8–10]。因此，STAIR（卒中治疗学术产业圆桌会议）XII委员会最近建议对急性缺血性卒中的DSA图像评估进行自动化，以减少主观性并提高标准化 [11]。

迄今为止，自动TICI（脑梗死溶栓）评分模型的开发主要是为了提高临床试验之间治疗成功率的可比性 [4, 6, 12, 13]。已有基于深度学习（DL）的方法被提出用于在DSA上识别血管闭塞，以辅助神经介入医师 [7, 14–17]。尽管目前关于介入放射学中人工智能的文献仍处于早期阶段 [5]，但近年来已取得了实质性进展。DL模型在定位颅内血管闭塞方面已显示出更高的性能 [7, 15]。此外，计算流程优化的进展使得血管内治疗期间近实时决策支持成为可能，处理时间小于5秒 [14, 18, 19]。

尽管取得了这些进展，DL模型向临床常规的转化仍然具有挑战性 [20]。大多数DL模型是在研究环境中使用统一数据集进行开发和评估的，这可能限制了其对真实世界患者群体的普适性 [7, 14, 15]。因此，当应用于异质性临床环境时，模型性能可能会发生变化。因此，在未经选择的、先前未见过的数据上进行大规模验证被认为对于可靠评估鲁棒性和临床适用性至关重要 [5, 20, 21]。

本研究旨在在一个大规模真实世界临床DSA数据集上评估一个开源DL血栓有无分类器的诊断性能。该分类器被设计为一种临床决策支持工具，用于在机械再通过程中辅助神经放射学评估 [14]。该工具此前已在大脑中动脉近端血管闭塞（M1和M2段）上进行了训练，并由我们团队开源发布 [14, 19, 22]。主要目的是评估该模型在未见过的数据集上能否证实其对近端血管闭塞血栓检测的敏感性，并确定其对更远端、先前未训练的闭塞以及前循环其他部位闭塞的分类性能。结果旨在被视为假设生成性的，并在将该系统转化至常规临床实践之前提供指导。

材料与方法

研究设计与患者选择

回顾性从机构数据库中识别出两年期间所有因卒中背景下的急性颅内血管闭塞而接受血管内治疗的患者。当前验证队列与训练队列严格独立，由于数据采集时间区间完全分离，不存在重叠病例。然而，两个数据集均来自同一机构、同一扫描设备和同一临床工作流程，这可能导致分布上的相似性。训练数据集此前仅包括M1/M2段闭塞，现已扩展至前循环闭塞。

对每个病例分析两个全脑DSA序列：一个在再通前采集，一个在手术完成后采集。使用配对的雙平面采集（后前位和侧位）作为预训练模型的输入，以进行血栓分类。视野较小的术中采集未被纳入，因为模型未在此类数据上训练过，将其纳入会引入显著的混杂因素。

纳入标准包括大脑中动脉近端（M1、M2）和远端（M3、M4）段的急性闭塞，以及大脑前动脉闭塞。闭塞位置由一名具有5年以上经验的经委员会认证的神经放射科医师评估。在多发血管闭塞的情况下，以最近端闭塞作为分类依据。

排除标准包括颈动脉近端与颅内血管的串联闭塞，以及后循环闭塞，包括基底动脉和大脑后动脉。如果后前位和侧位DSA序列不全，则排除该数据集。该分类器旨在辅助介入操作者。因此，其主要关注点并非颈动脉T型闭塞，后者通常易于识别，不需要分类器的额外支持。在机构单平面血管造影系统上采集的手术被排除。仅纳入在双平面Artis Icono系统（Siemens Healthineers）上进行的检查。首次DSA序列中无血管闭塞的血管造影证据的自行再通病例也被排除。然而，再通程度（如TICI 0–3）不影响研究纳入。所有手术均在全身麻醉下进行，所分析的DSA序列中不存在运动伪影。由于为回顾性研究设计，免除了书面知情同意的要求。本研究经德国乌尔姆大学伦理委员会批准（编号306/20），并遵循1964年《赫尔辛基宣言》及其后续修正案进行。

深度学习分类器

该DL分类器为内部开发，此前已作为开源发布[14, 19, 22]。该系统旨在基于闭塞相关的灌注异常，自动将DSA序列分类为无血栓或非无血栓。DSA图像序列被视为可变长度的时间序列，并使用卷积与循环神经网络相结合的结构进行分析，如下所述。

系统[14]的图像预处理包括强度归一化和重采样至统一的空间分辨率。空间特征提取使用在ImageNet上预训练的卷积神经网络骨干进行。反映对比剂传播的时间信息使用循环神经网络建模。为实现该架构，测试了不同的基于ResNet18和EfficientNet的骨干与门控循环单元（GRU）和长短期记忆（LSTM）[23]网络[14]的组合。针对后前位和侧位血管造影投影分别训练单独的模型，以考虑不同投照体位特有的灌注特征。在模型推理时，对配对的双平面采集进行联合分析，所有网络的预测结果以等权重方式综合生成最终分类输出[24, 25]。根据不同网络变体的结果[14]，在一项后续研究[22]中，EfficentNetV2与GRU组合被确定为最终架构。该架构用于训练一个已开源发布的模型，包括一个分类应用程序[22]，并已在临床环境中进行了实时分类测试[19]。模型训练使用了来自260例患者的1,068个DSA序列，对应于534对配对的后面位和侧位采集[14, 22]。基于输入的后前位和侧位DSA序列，网络计算一个概率性二分类输出，指示是否存在血栓相关的灌注异常（图1）。分类采用默认阈值0.57对网络在0到1之间的投票结果进行判定。该默认阈值是在既往研究[14]中通过优化假阳性率和真阳性率确定的。

统计分析

对DL分类器在整个研究队列中的诊断性能进行了评估。性能指标包括灵敏度、特异度和假阳性率，并报告相应的置信区间。置信区间使用标准二项法计算。此外，根据血管闭塞部位（M1、M2、M3、M4、ACA）在预定义亚组中评估诊断准确性。

结果

研究人群

本验证研究分析了一个大规模数字减影血管造影（DSA）数据集，包含1,236个DSA序列。这些数据来自309例前循环血管闭塞患者，形成618个配对的诊断分类决策。其中，452例为血栓阳性，166例为血栓阴性。该队列包括165例M1段闭塞和174例M2段闭塞，以及累及M3（n = 20）和M4（n = 71）分支的更远端闭塞。此外，22例闭塞位于大脑前动脉内，包括A1段（n = 2）和更远端节段（n = 20）（表1B）。

DL分类器的诊断性能

a) 总体性能

在整个大规模数据集中，深度学习分类器的总体敏感度为71.7%（95% CI，67.3%–75.8%），正确识别了452个血栓阳性DSA序列中的324个。因此，128个血栓阳性病例被错误分类为血栓阴性，对应的假阴性率为28.3%。对于血栓阴性DSA序列，分类器的特异度为89.8%（95% CI，84.1%–93.9%），166个无血栓病例中有149个被正确分类。这导致17例假阳性分类，对应的假阳性率为10.2%（表1A）。在假阳性病例中未发现一致的模式；值得注意的是，该模型还将完全再灌注的病例分类为血栓阳性。

总体而言，这些结果表明排除血栓的准确性高于检测血栓的准确性。然而，这些整体性能指标掩盖了与解剖位置相关的相关差异，下文将更详细地探讨这些差异。

b）特定定位的性能

分类器性能因闭塞位置的不同而有显著差异（表1B）。近端大脑中动脉闭塞的敏感度最高，M1段为97.0%（95% CI，92.9%–99.2%），M2段为78.7%（95% CI，71.9%–84.4%）。合并后，近端MCA闭塞（M1/M2）的总体敏感度为87.6%（95% CI，83.6%–90.9%）。

相比之下，对于更远端的血管闭塞，诊断性能明显下降。M3段闭塞的敏感度为30.0%（95% CI，11.9%–54.3%），M4段闭塞为21.1%（95% CI，12.6%–32.6%），因此远端MCA闭塞（M3/M4）的合并敏感度为23.1%（95% CI，14.9%–33.1%）。与近端MCA节段相比，这相当于敏感度降低了64.5个百分点。

大脑前动脉闭塞不常见，且检测性能同样有限，A1段及更远端节段的合并敏感度为27.3%（95% CI，10.7%–50.2%）。

为评估阳性和阴性病例结构化配对可能引入的偏倚，仅基于再通前序列计算了各血管闭塞位置的敏感度，结果保持在可比范围内（M1：97.5%；M2：83.1%；M3：50.0%；M4：不适用；A1：50.0%；A2：33.3%）。

讨论

在这项大规模验证研究中，深度学习分类器对近端前循环血管闭塞显示出稳健的诊断性能。近端大脑中动脉闭塞（M1/M2，87.6%）的敏感度较高，但远端（M3/M4，23.1%）和大脑前动脉闭塞（27.3%）的敏感度明显下降。正如预期，对于网络训练所用的近端目标显示出稳健的性能，但对于远端或解剖上未纳入训练的血栓则不然。

目前的结果与模型开发期间在内部测试数据集上对同一深度学习分类器进行的先前评估一致[14]。Mittmann等人此前报告M1/M2段闭塞的敏感性为86.1%，特异性为86.7%[14]，与当前观察到的近端血管闭塞87.6%的敏感性和89.8%的特异性非常接近。该压力测试的这一组成部分作为内部验证，使用了一个此前未见的大规模DSA数据集，并证实了模型在原始训练队列之外的稳健性。然而，这种方法并不代表真正的外部验证，因此主要反映的是在数据分布相似环境中的性能。过拟合仍然是放射学领域人工智能系统的一个相关问题[26]。具体而言，无法完全评估图像噪声特征、整体图像外观、重建算法以及血管造影特定特征在训练过程中被隐式学习的程度，这可能将模型性能限制在该机构双平面血管造影系统采集的数据上。值得注意的是，欠规范化作为可推广性的第二大障碍[26]，在急性卒中背景下通常被认为不那么关键，因为大血管闭塞构成一个定义明确的病理生理学实体，血栓形成与血管闭塞之间存在直接的因果关系。

与先前发表的仅DSA研究相比，本深度学习分类器在近端血管闭塞检测方面的诊断性能处于可比范围内[7, 15, 16]。Warman等人开发了一种深度学习方法，在188例M1和近端M2段闭塞患者的DSA队列上训练，达到了76%的敏感性和95%的特异性[15]。相比之下，Khankari等人报告了其自动化深度学习检测系统更高的诊断性能，敏感性为93%，特异性为91%，这最可能归因于其研究人群中颈内动脉和M1段闭塞占主导地位[7]。

远端血管闭塞（M3/M4段，23.1%）和大脑前动脉闭塞（27.3%）的检测性能明显较低。最合理的解释是深度学习分类器未在这些闭塞位置上进行训练。因此，不能假定本深度学习分类器可推广到前循环的所有闭塞。值得注意的是，即使是先前关于自动化TICI评分系统的研究也未评估远端血管闭塞。Nielsen等人将其分析限制在近端闭塞[6]。Van der Sluijs等人在大血管闭塞（最多至M2段）患者中评估了自动化eTICI评分[4]。作者报告，与更近端的闭塞位置相比，M2闭塞的自动化TICI（autoTICI）与专家判定的eTICI评分之间的关联显著较弱[4]。

当前的验证过程揭示了DL分类器若干可进一步改进的方面。特别是，大规模数据集可支持对远端血管闭塞的训练，而由于血管管径更小、对比剂充盈减少及血管重叠，远端闭塞在DSA上更难评估[20]。因此，针对远端闭塞优化的系统可提供显著的临床价值。我们的初步优化实验表明，加强侧位投照的权重可能提高检出率，因为远端闭塞在正位投照上通常难以发现；但这尚需进一步验证。此外，虽然与控制室内血管造影系统专用接口相连的实时分析已经实现，结果可在五秒内获得[19]，但目前仍缺乏将DL图形用户界面整合到介入操作台显示屏上的功能，这是实现完整临床工作流程整合的重要一步。据制造商表示，这在技术上是可行的，而伦理方面的问题仍在讨论中。另外，自动血栓定位也是所期望的功能。然而，血栓位置标注的观察者间变异性较高，目前限制了客观的性能评估[14]。既往研究同样强调了血栓检测任务中关于标注变异性和合适评价指标方面尚未解决的挑战[7, 15]。

本研究存在若干局限性。首先，尽管该数据集是迄今为止研究DSA上DL血栓分类的最大队列，但按DL标准衡量仍相对较小。尽管如此，本研究的主要目标，即评估先前开发的DL模型在应用于真实世界临床数据集时的性能，已能得到充分解决。第二，验证仅限于内部数据集。因此，无法就模型在外部人群、不同种族群体、其他厂商的血管造影系统或不同神经介入医师操作技术之间的表现得出结论。缺少第二位神经放射科医师，无法评估评定者间一致性。在先前发表的关于该DL分类器的论文中[14]，DSA序列由两位经验丰富的神经放射科医师进行标注。由于M1/M2检测方面的结果可在当前数据集中得到证实，预计不存在与阅片者间变异性相关的重大问题。此外，高级别狭窄或非闭塞性病变等血管病理尽管在血管内操作中具有临床意义，但未被评估。该DL分类器在这些情况下的表现仍属未知。另外，该模型区分血栓性闭塞与其他管腔内或限流性异常的能力也因此有待未来研究加以探讨。

结论

在这项大规模验证研究中，一个深度学习分类器对大脑中动脉近端闭塞（M1/M2 段）显示出稳健的诊断性能，灵敏度为 87.6%，而对大脑前动脉远端闭塞的性能则大幅下降，灵敏度低于 30%。近端闭塞的诊断准确性与既往内部测试结果一致。这些发现凸显了当前基于 DSA 的 AI 系统对解剖部位的依赖性。未来的开发应侧重于将模型训练扩展至远端血管闭塞，并在常规临床应用前使用来自其他诊所的外部数据对模型进行验证。