基于CT血管造影的自动化侧支循环评分算法的诊断性能
本研究回顾性分析MR CLEAN登记中1024例前循环大血管闭塞急性缺血性卒中患者的基线CTA,以8位专家放射科医生的视觉侧支评分(0-3分)为参考标准,评估商业化AI算法自动定量侧支循环(0-100%)的性能。结果显示自动化与视觉评分分类为良好与不良侧支的AUC为0.87(95%CI 0.85-0.90),预测功能独立的AUC为0.66(95%CI 0.62-0.69),与视觉评分0.64(95%CI 0.61-0.68)相似,且CTA采集时机不影响判别性能。
要点
- 自动化侧支评分与专家视觉评分在区分良好与不良侧支时AUC达0.87(95%CI 0.85-0.90)。
- 预测90天功能独立(mRS 0-2)的AUC自动化评分为0.66(95%CI 0.62-0.69),视觉评分为0.64(95%CI 0.61-0.68)。
- CTA采集时机(早期动脉期、晚期静脉期等)未影响自动化评分的判别性能。
核心结论
- 自动化侧支评分算法在判断良好与不良侧支及预测功能独立方面与专家放射科医生表现相似。
研究设计与样本
- 回顾性分析MR CLEAN登记中2014年3月16日至2016年6月15日接受血管内治疗的前循环大血管闭塞患者,基线CTA层厚≤3 mm,最终纳入1024例进行分析。
- 参考标准为8位经验5-20年的专家放射科医生在核心实验室进行的视觉侧支评分(0-3分),评估者对自动化评分及临床信息设盲(仅知症状性大脑半球)。
- 自动化评分采用基于深度学习卷积神经网络的商业化Web算法StrokeViewer(v2.1.22),输出定量侧支评分(0-100%),并自动检测闭塞侧别和CTA扫描时相。
- CTA扫描来自28种不同扫描仪类型、所有主要厂商、>50家医院;平均处理时间为5分钟(标准差±72秒)。
关键影像表现/征象
- 视觉侧支评分0-3分对应的定量侧支评分分布以箱线图展示,中位数随视觉评分等级升高而增加。
- 自动化与视觉侧支评分分类一致率为59%,评分相差1分的不一致率为37%,相差2分为3%,相差3分为1%。
- 二分类(良好:2-3分 vs 不良:0-1分)后一致率为81%。
- 视觉侧支评分与分类后自动化评分的ICC为0.60(95%CI 0.55-0.62),二分类后为0.61(95%CI 0.57-0.65)。
- 对评分差异>1分的37例复核显示,22例差异为0、9例差异为1、6例为StrokeViewer血管分割错误。
诊断标准与关键数值
- 视觉侧支评分标准:0分(无侧支,闭塞区域充盈0%)、1分(不良,>0%且≤50%)、2分(中等,>50%且<100%)、3分(良好,100%)。
- 自动化定量侧支评分分类标准:0分(0%)、1分(>0%且≤50%)、2分(>50%且<100%)、3分(100%)。
- 区分良好与不良视觉侧支评分的AUC为0.87(95%CI 0.85-0.90);ICA闭塞AUC为0.89(95%CI 0.85-0.93),M1闭塞AUC为0.88(95%CI 0.85-0.91),M2闭塞AUC为0.77(95%CI 0.68-0.86)。
- 预测90天功能独立(mRS 0-2)的AUC:自动化定量评分为0.66(95%CI 0.62-0.69),视觉评分为0.64(95%CI 0.61-0.68),自动化评分分类为4组后为0.63(95%CI 0.60-0.67)。
- 两位专家放射科医生在200例随机样本中的观察者间一致率为65%,ICC为0.66(95%CI 0.55-0.75)。
临床应用与阅片要点
- 自动化侧支评分可作为视觉侧支评分的可靠替代,尤其在缺乏神经影像专家或值班时段。
- 评估侧支状态时需注意CTA扫描时相,晚期静脉期或早期动脉期可能因延迟充盈导致侧支评分被高估。
- M2闭塞的自动化评分性能低于ICA和M1闭塞,可能因血栓检测算法对M2闭塞的误分类。
- 作者指出,临床预后预测最终应采用包含临床和影像参数的多变量模型。
局限性
- 由于样本量大,每例扫描的视觉侧支评分仅由一位观察者完成。
- 26%的前循环大血管闭塞患者因缺乏可用CTA影像被排除,主要因头部覆盖不全(234/385)。
- 5%的前循环大血管闭塞患者因未检测到闭塞侧(45/69)或错误指定患侧半球(24/69)被排除。
- 自动化算法平均处理时间为5分钟,作者认为需改进才能超越神经放射科医生提供侧支评分。
- 研究未能证明定量侧支评分在预测结局方面优于视觉评分。
全文中译10 节 · 点击展开
引言
血管内治疗(EVT)是大颅内血管闭塞所致缺血性卒中患者的首选方案[1]。EVT后的临床结局受患者特征、工作流程参数及影像学衍生参数的影响[2]。预测结局的一项重要影像学参数是侧支循环向缺血区域提供血供的范围[3]。该参数可用于筛选可能从血管内治疗中获益的患者[4]。传统侧支评分系统采用分类量表,其基于评估患侧与健侧大脑中动脉(MCA)供血区血管充盈的视觉差异[5]。然而,由放射科医师或卒中医师评估的视觉侧支评分(vCS)存在显著的观察者间和观察者内变异[6]。
快速、可靠且一致的侧支自动化评分不仅可减少开始治疗前的时间延迟,还可减少人为判断误差,从而可能改善治疗结局。此外,由于qCS是一种定量指标,其可能比视觉分类侧支评分提供更多关于侧支循环程度的信息。目前已开发出多种用于评估急性缺血性卒中患者侧支状态的自动化图像算法[7–11]。本研究旨在评估一种市售算法在急性缺血性卒中患者基线CTA图像中评估侧支评分的性能。
方法
研究人群
我们使用了荷兰急性缺血性卒中血管内治疗多中心随机临床试验登记(MR CLEAN Registry)的数据,该登记连续收集所有开展血管内治疗(EVT)的卒中干预中心的患者数据[12]。侧支评分或早期缺血改变的严重程度及范围未被用作EVT的排除标准。MR CLEAN Registry的详细入选标准已于既往发表[12]。
研究方案经Erasmus医学中心伦理委员会(荷兰鹿特丹)评估,该委员会批准以登记研究形式开展本研究(MEC-2014-235)。我们选取了2014年3月16日至2016年6月15日期间所有接受EVT的前循环大血管闭塞MR CLEAN Registry患者(n= 1627)。所有具有可用基线原始CTA数据的患者均符合纳入条件。StrokeViewer处理CTA扫描所需满足的成像参数包括:层厚≤ 3 mm的轴位序列;层间隔等于或小于层厚;最小矩阵尺寸为512 × 512;全脑覆盖;算法可检测到患侧大脑半球。其他纳入和排除标准见图1。本研究按照STARD诊断准确性报告指南进行[13]。
影像核心实验室评估
所有基线CTA扫描均由一个由八名经验丰富的放射科医生(5-20年经验)组成的核心实验室进行4分侧支循环评分评估。侧支循环评分表示闭塞血管供血区与对侧相比的侧支供血百分比(0:无,1:> 0%且≤ 50%,2:> 50%且< 100%,3:100%),如图2所示[5]。同时还评估了闭塞位置,并细分为ICA、M1和M2段。专家阅片者对自动化侧支循环评分及除症状性大脑半球外的所有临床信息设盲。
自动化侧支循环评分工作流程
StrokeViewer(v2.1.22,Nicolab B.V.)使用基于深度学习卷积神经网络的网络化人工智能算法,自动识别大血管闭塞位置,并结合自动血管分割生成自动化侧支循环评分。StrokeViewer托管于谷歌云平台(Google LLC)。先前发表的侧支循环评分定量方法已被用作当前算法开发的基础[14]。首先,检查DICOM要求(例如,图像模态、层厚、图像尺寸)。其次,移除所有不含脑组织的CTA扫描层面。然后,应用脑分割算法创建脑掩膜。所得图像对齐至参考脑图谱。
为计算侧支循环评分,首先识别缺血性卒中半球。StrokeViewer包含前循环LVO的闭塞检测算法。闭塞位置在处理后的CTA扫描上以立方体标示。闭塞检测算法的性能另有描述[15]。一旦检测到闭塞位置,即针对受闭塞影响的具体区域(定义为检测到的血管位于所发现闭塞远端的区域)和整个MCA区域计算侧支循环评分(定量量表,0-100%)。评分为0%对应于评估区域无血管充盈,而100%反映评估区域血管充盈未受损。StrokeViewer还自动检测CTA扫描期相(早期动脉期、动脉峰值期、平衡期、早期静脉期、晚期静脉期),以确定侧支循环评分的可靠性[16]。
生成闭塞位置和MCA血管树分割的视觉呈现,并以DICOM格式存储,临床医生可访问。此外,生成PDF报告,其中包含显示闭塞位置和MCA血管树分割、侧支循环评分及其他发现的CTA最大强度投影(MIP)快照。StrokeViewer生成结果,但当扫描质量被认为不足时(早期动脉期、晚期静脉期或未知扫描期相,层厚> 2.0 mm)显示警告。所有信息均可在StrokeViewer中访问。结果生成后,临床医生会通过电子邮件收到通知。由于我们未开发StrokeViewer,无法获得更多算法细节。
自动化侧支循环评分评估
CTA扫描处理时间定义为完成的CTA序列上传至收到结果生成通知之间的时间。使用StrokeViewer获取生成的PDF报告,其中包含每位患者的算法结果。结果随后存储在数据库中供进一步分析。
统计分析
所有具有视觉和自动侧支循环评分的扫描均被分析。除非另有说明,分析使用受影响区域的定量自动侧支循环评分(qCS)进行。在纳入分析的所有扫描中,随机抽取200例CTA扫描由两位专家放射科医师进行评分,以百分比和组内相关系数(ICC)形式提供观察者间一致性,使用双向随机效应、绝对一致性、单评分者/测量模型(ICC [2,1])。我们展示了每个vCS(0–3)对应的qCS分布。为评估软件与专家阅片者之间的侧支循环评分(CS)一致性,将qCS分为4组(0:0%,1:> 0–≤ 50%,2:> 50–≤ 100,3:100%)。计算了所有CS类别(0–3)以及二分类vCS类别(差:0–1,好:2–3)下算法qCS与专家阅片者vCS之间的一致性。结果以误差矩阵展示。vCS与分类qCS之间差异> 1的扫描由第一作者和最后作者独立复审并重新评分(L.W.,A.L.),并报告结果。一致性还使用单向随机效应、绝对一致性、单评分者/测量模型的ICC进行评估(ICC [1,1])。使用最严格的ICC模型是因为侧支循环评分由多名专家阅片者小组中的部分阅片者评估[17]。对于ICC,值小于0.5表示可靠性差,0.5至0.75之间表示中等可靠性,0.75至0.9之间表示良好可靠性,大于0.90表示极好可靠性。
使用二分类vCS计算受影响区域qCS和整个MCA区域qCS在所有闭塞位置合并及不同闭塞位置(ICA、M1和M2段)的受试者工作特征曲线下面积(AUC)。随后,分别计算充分质量扫描和不足质量扫描类别(根据StrokeViewer)的qCS性能。
最后,计算AUC以预测功能独立(90天改良Rankin量表0–2),使用vCS(0–3)、分类qCS(0–3)、受影响区域qCS(连续)和整个MCA区域qCS(连续)。AUC差异使用DeLong方法评估[18]。适当时报告95%置信区间(CI)。统计分析使用SPSS软件包(版本25.0.0.1)和R统计软件(版本4.0.4)及R包pROC进行。
结果
1024例患者的数据可用于分析(图1)。CTA扫描使用来自所有主要厂商(Philips、Siemens、Toshiba、Canon Medical、GE Healthcare)的28种不同扫描仪类型在> 50家医院获取。从完成上传到获得qCS结果的平均处理时间为5分钟(SD ± 72秒)。基线特征见补充材料表1。
对于vCS,我们在200例随机抽取的分析CTA扫描中发现,两位专家放射科医师之间的观察者间一致性为65%,ICC为0.66(95% CI:0.55–0.75)。对vCS与分类qCS之间差异>1的不一致病例(n = 37)进行复核显示,与qCS的差异为0(n = 22)或1(n = 9),或StrokeViewer血管分割不正确(n = 6)。每个vCS(0–3)对应的qCS分布以箱线图显示(图3)。将qCS分类为侧支评分0–3并与视觉CS比较后,我们发现59%一致,37%不一致且评分差异为1,3%不一致且评分差异为2,1%不一致且评分差异为3(表1)。CS二分类化(差:0–1,好:2–3)导致81%的一致性(表1)。将分类qCS(0–4)与视觉CS比较,得到中等ICC为0.60(95% CI:0.55–0.62),CS二分类化后增至0.61(95% CI:0.57–0.65)。
将vCS二分类为差和好侧支后,自动侧支评分判别的总体AUC为0.87(95% CI:0.85–0.90)(表2)。当使用整个MCA区域作为目标下游区域时,与使用所发现闭塞影响的区域相比,性能显著更低(p < 0.01)。对于ICA闭塞患者(AUC:0.89;95% CI 0.85–0.93)和M1闭塞患者(AUC:0.88;95% CI 0.85–0.91),性能优于M2闭塞患者(AUC:0.77;95% CI 0.68–0.86)(表2)。
在分析的患者中,40%(n=1024)的CTA扫描根据StrokeViewer质量不足。与质量充足的CTA扫描相比,所有质量不足的CTA扫描的qCS性能相似:早期动脉期扫描(n = 246,p = 0.62)、晚期静脉期扫描(n = 72,p = 0.09)以及层厚>2.0 mm的扫描(n = 111,p = 0.96)。由于qCS性能不受指定扫描质量的影响,我们纳入并分析了所有患者(n = 1024)(表3)。
使用vCS预测功能独立(90天改良Rankin量表0–2)的AUC为0.64(95% CI:0.61–0.68),使用qCS时增至0.66(95% CI 0.62–0.69)(表4)。当使用整个MCA区域而非闭塞MCA区域计算qCS时,AUC保持不变(表4)。将qCS分类为4组(0:0%,1:> 0– ≤ 50%,2:> 50–< 100%,3:100%)后,AUC降至0.63(95% CI 0.60–0.67),但与vCS相比,该差异无统计学意义(p = 0.29)(表4)。
讨论
在本研究中,我们分析了自动侧支评分在1024例MCA区域大血管闭塞的急性缺血性卒中患者基线CTA扫描上的性能。
本研究表明,分类自动侧支评分与视觉侧支评分之间的一致性为59%,在将患者分为侧支良好(CS:2–3)或不良(CS:0–1)后,一致性提高至81%。这与本研究及既往研究[4, 6, 8]中的评分者间一致性相当。qCS对M2闭塞的性能低于M1和ICA,这可能归因于血栓检测算法对M2闭塞的误分类[15]。静脉注射造影剂后CTA采集时机未影响定量CS性能。自动侧支评分与视觉侧支评分在预测功能独立(90天mRS 0–2)方面的准确性相似。
已有多项关于CS自动化的研究发表,与视觉评分相比性能相当。一项既往研究对442例患者报告了同一侧支评分算法的结果,并将其与视觉评分进行比较,Spearman ρ为0.75 [9]。另一项由Grunwald等人对89例患者进行的研究评估了一种自动CTA侧支评分算法(Brainomix Ltd.)的性能,该算法结合经典图像处理技术和机器学习分类器生成0–3的分类CS [8]。作者报告与基于3名神经放射学家共识的视觉侧支评分的一致性为90%,ICC为0.93。然而,神经放射学家被告知了自动CTA侧支评分结果[8]。最近,一项对269例患者的研究报告了一种使用深度学习卷积神经网络生成分类CS(0–3)和qCS的算法的性能[7]。参考标准由两名放射学家制定,意见不一致时由第三名放射学家裁定,三者均独立在基线CTA影像上评分视觉CS。对于分类CS与视觉CS的比较,报告的一致性为80%,二分类CS(0–1,2–3)的一致性提高至90% [7]。最后,一项对86例患者的研究发表了ColorViz的结果,该工具用于评估卒中期间的侧支循环[10]。两名神经放射学家使用6分量表[19]在多期CTA(mCTA)上评估侧支状态,并将其与3分视觉量表进行比较,后者使用mCTA扫描对显示颅内血管的自动彩色编码汇总图进行评分。使用该工具时,神经放射学专业知识仍然是必需的,因为ColorViz不生成自动评分。
尽管侧支循环状态在临床实践中并非常用于治疗决策,但它是一个已确立的疗效修饰因素[4]。此外,侧支循环状态可预测结局[20]。因此,快速、可靠且一致的侧支循环评分至关重要。CS的预测价值较低,AUC为0.64(vCS)和0.66(qCS)。然而,这是一个仅包含单一参数的预测模型。近期发表的一个用于预测功能独立性的多变量模型在4个队列中显示出0.73–0.80的AUC,但需要11项基线临床和影像学参数才能达到这一效果[1]。在这些参数中,侧支循环评分是结局的最强影像学预测因素,甚至超过了闭塞部位的预测性能[2]。这使得侧支循环评分成为自动化的理想候选对象,以便为用户提供所有相关优势(一致性、随时可用、颅内血管可视化)。本研究表明,qCS为视觉侧支循环评分提供了可靠的替代方案。在急性卒中中,尤其是在轮班时段或较小的医院,并非总能获得用于可靠侧支循环评分的神经影像学专业知识。因为时间就是大脑——缺血性卒中每延误一分钟治疗,数百万脑细胞就会死亡——具有加速卒中治疗潜力的自动化工具可能有助于改善结局。在平扫CT之后,CTA是疑似卒中患者最常申请的影像学检查,这使得基于CTA的qCS易于实施。然而,本研究未能证明QCS相比视觉评分能更好地预测结局。这与先前一项报告vCS与qCS性能相似的研究一致[9]。临床实践中的预测和预后判断最终应使用同时包含临床和影像学参数的模型来进行[21]。
我们的研究存在一些局限性。由于样本量较大,vCS由每份扫描仅一名观察者进行评分。我们通过由第一作者和最后作者独立于扫描对vCS离群值(与qCS相比)进行盲法复核来解决这一问题。在前循环LVO患者中,26%的患者因缺乏可用的CTA影像而被排除。这主要是由于头部覆盖不完整(234/385),未来研究可通过强调在疑似缺血性卒中患者中显示完整大脑的重要性来解决这一问题。这不仅使算法能够处理更大比例的扫描,还有助于医生最大限度地降低因头部未显示部分而遗漏诊断的风险。在所有前循环LVO患者中,共有5%被排除,原因是未检测到闭塞侧(45/69,补充材料,表2)或错误地将一侧指定为受影响半球(24/69,补充材料,表3)。如果未检测到闭塞侧,则不评估qCS,但错误检测的受影响半球仍会产生侧支评分,该评分主要高于参考视觉评分,因为qCS是通过比较受影响半球与未受影响半球来计算的。在自动化侧支评分算法的未来版本中,可通过使用更多病例进行再训练并重点关注闭塞侧来解决这一问题,尤其是在CS较高的病例中。更实用的方法是将症状侧作为输入提供给算法。这使算法能够聚焦于相应半球,从而减少错误。
尽管算法性能与扫描时相无关,但次优的扫描时相可能对个体的侧支评分产生错误解读。如果在晚静脉期采集CTA扫描,由于血管充盈延迟,健康半球中可见的对比剂量可能低于受影响半球[22]。这可能导致表面上的高vCS,即使在CT灌注成像上可见明显缺损,但晚静脉期的充盈延迟与基线时侧支状态不良相关[22]。早期动脉扫描时相也可能因充盈延迟而产生类似问题。这强调了在评估侧支状态时了解扫描时相的重要性。
生成qCS的平均处理时间为5分钟。这一时间应进一步缩短,以便在提供侧支评分方面超越神经放射科医生。尽管如此,计算机算法的全天候可用性、一致的qCS评分以及颅内血管的可视化,对于治疗疑似卒中患者的医生而言是有价值的特性。
结论
这种基于深度学习的自动化侧支评分算法在将患者分为侧支评分良好与不良方面,以及在预测大血管闭塞急性缺血性卒中患者的功能独立方面,表现与专家放射科医生相似。
补充信息
ESM 1(DOCX 36 kb)
引用
- Wolff L, Uniken Venema SM, Luijten SPR, et al. Diagnostic performance of an algorithm for automated collateral scoring on computed tomography angiography. Eur Radiol. 2022. PMID: 35244761. doi:10.1007/s00330-022-08627-4
- 全文:PMC9279191(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9279191/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。