自动Alberta卒中项目早期CT评分(ASPECTS)软件检测非增强脑CT早期缺血改变的验证
基于MR CLEAN试验459例基线非增强CT,评估Frontier ASPECTS软件与专家共识参考标准的一致性。测试集中软件检测缺血区域的敏感度41–57%、特异度89%、AUC 0.750–0.795,ICC 0.526,与个体阅片者相当。作者认为该软件性能与专家阅片者相当,可辅助阅片者检测早期缺血改变。
要点
- 软件在测试集检测缺血ASPECTS区域的AUC为0.750–0.795,与专家个体阅片者水平相当。
- 中央区阈值5.6%时敏感度57%、特异度89%;皮层区阈值4.7%时敏感度41%、特异度89%。
- 软件自动判断患侧半球与临床患侧一致率86%,不一致时可手动校正。
核心结论
- Frontier ASPECTS软件性能与专家阅片者相当,能以标准化方式辅助阅片者检测早期缺血改变。
- 作者建议在临床实践中将该软件视为医师的辅助工具,而非替代医师。
研究设计与样本
- 研究为基于前瞻性MR CLEAN试验(荷兰16家卒中中心,NTR1804)影像数据的验证研究,共分析459例基线非增强脑CT(5 mm层厚)。
- 参考标准为两名专家阅片者共识(分歧时由第三名阅片者裁定),另由独立阅片者池中两名阅片者提供个体ASPECTS。
- 采用分层随机抽样按0.2/0.8分为训练集104例与测试集355例,因分层限制实际为23%/77%。
- 使用syngo.via Frontier ASPECTS原型软件2.0.1版,基于概率图谱计算患侧与对侧ASPECTS区域平均HU的相对差异百分比。
- 训练集以特异度≥90%确定软件阈值,测试集计算敏感度、特异度、AUC及ICC(ICC[1,1]模型)。
关键影像表现/征象
- 软件通过排除低于10 HU或高于55 HU的体素(脑脊液、陈旧梗死、骨与钙化)计算各ASPECTS区域平均HU。
- 以患侧与对侧区域平均HU相对差异百分比作为判定缺血区域的指标,并按预设阈值将区域分类为受累或未受累。
- 软件自动选择的患侧半球与临床患侧一致率为86%,其余65例扫描经手动调整。
诊断标准与关键数值
- 训练集(n=104)在特异度≥90%的软件阈值下,检测受累ASPECTS区域的敏感度为33–49%,AUC为0.741–0.785。
- 测试集(n=355)中央区(尾状核、岛叶、内囊、豆状核)阈值5.6%时,特异度89%、敏感度57%。
- 测试集皮层区(M1–M6)阈值4.7%时,特异度89%、敏感度41%。
- 测试集软件与参考标准ICC为0.526(95%CI 0.447–0.597),采用全部10个区域单一优化阈值时ICC为0.537(95%CI 0.459–0.607)。
- 观察者1与观察者2相对参考标准的ICC分别为0.464(95%CI 0.378–0.542)和0.383(95%CI 0.291–0.468)。
临床应用与阅片要点
- 软件总体区域准确率为78%,三分法ASPECTS(0–4、5–7、8–10)准确率为60%。
- 软件与参考标准的ASPECTS差值Bland-Altman分析平均差异为0.59(95%CI −3.20–4.39)。
- 区域层面软件与参考标准一致率(78%和79%)与观察者一致率(84%和77%)相近。
- 作者建议将软件作为医师的辅助工具,不应视为替代医师。
- 作者认为需进一步研究将该软件与其他厂商软件的性能进行比较,并评估其相较于阅片者ASPECTS在预测结局方面的附加价值。
局限性
- 作者指出使用厂商特定软件可能是一种局限,因该软件对Siemens设备采集的CT扫描可能表现更好,但不同厂商CT扫描间AUC无显著差异。
- 作者指出使用固定特异度≥90%是实际应用中的局限,ROC曲线形态提示较低特异度时区分能力更好,用户可依场景选择其他阈值。
- 作者指出需进一步研究将该软件与其他厂商软件进行比较。
- 作者指出该软件在临床实践中的作用需通过评估其相较于阅片者ASPECTS在预测结局方面的附加价值来确定。
全文中译12 节 · 点击展开
引言
在急性缺血性卒中的治疗中,缺血性卒中病灶的严重程度和范围可作为筛选适合血管内治疗患者的参数之一[1]。[1] 脑部平扫CT(NCCT)是评估卒中患者缺血性损伤早期局灶性征象最广泛使用的检查方法。为了量化NCCT上的缺血范围,引入了阿尔伯塔卒中项目早期CT评分(ASPECTS)。在ASPECTS中,根据早期缺血性卒中征象的有无对10个脑区进行二分类评分,总分为0至10分,CT扫描上每个定义区域内任何早期缺血性改变的证据扣1分[2]。ASPECTS评分需要高水平的专业知识才能在脑缺血早期阶段检测到NCCT上的细微变化[3]。并非每个接诊卒中患者的中心都具备这种专业知识。因此,评分者间存在相当大的变异性[4–7]。为应对这些挑战,已开发了自动化工具[3, 8–11]。
西门子开发了一种全自动后处理工具用于在NCCT上进行ASPECTS评分[12, 13]。在该软件用于临床实践辅助医师之前,应测试自动化软件与医师相比的性能。在本研究中,我们评估了Frontier ASPECTS软件在多种不同CT扫描仪采集的NCCT扫描上检测早期缺血性脑变化的表现。
材料与方法
研究设计
我们使用了荷兰急性缺血性卒中血管内治疗多中心随机临床试验(MR CLEAN,MR CLEAN荷兰试验注册号NTR1804。Current Controlled Trials注册号ISRCTN10888758)的图像数据,该研究是一项前瞻性、连续性研究,在荷兰16个卒中中心进行[14]。详细的研究方法和纳入标准此前已发表[15]。
颅内颈内动脉、大脑中动脉M1/M2段或大脑前动脉A1/A2段闭塞的患者被纳入MR CLEAN试验(n = 500)。ASPECTS或早期缺血改变的严重程度和范围未被用作排除标准。
MR CLEAN研究方案经Erasmus MC中央医学伦理委员会及各参与中心的研究委员会批准。所有患者或其法定代表人在随机化前提供了书面知情同意。
影像数据与评估
由于MR CLEAN是一项多中心试验,使用了多种CT扫描仪型号获取脑部NCCT,导致数据集具有异质性,扫描图像来自所有主要CT扫描仪制造商(GE Healthcare,芝加哥,美国;Philips Healthcare,阿姆斯特丹,荷兰;Siemens Healthineers,埃尔朗根,德国;Toshiba,东京,日本)。所有具有5 mm层厚NCCT图像的患者被纳入本研究。
所有基线NCCT扫描均由对治疗分组和最终结局不知情的专家阅片者进行四次ASPECTS评估。专家阅片者对所有临床信息设盲,但临床受累大脑半球除外。
为了定义ASPECTS的参考标准,每份CT扫描首先由八名阅片者库中的两名专家阅片者进行评分,以产生每个ASPECTS区域(n = 10)的共识评分。若存在分歧,则由第三名阅片者提供共识评分[16]。
此外,每份CT扫描由第二个九名阅片者库中的两名专家阅片者进行评分,以分别产生两个独立的ASPECTS,以下分别命名为观察者1的ASPECTS和观察者2的ASPECTS [17]。
Frontier ASPECTS
syngo.via Frontier ASPECTS原型软件(版本2.0.1,Siemens Healthcare GmbH,埃尔朗根,德国)可分析平扫CT(NCCT)扫描,用于检测急性卒中大脑中动脉供血区的早期缺血性改变。基于150例正常NCCT数据集创建了一个概率图谱,其中对ASPECTS区域(尾状核(CN)、内囊(IC)、岛叶(INS)、豆状核(LN)以及大脑中动脉血管供血区的6个区域(M1–M6))进行了分割。该人脑图谱由每个大脑半球的十个感兴趣体积组成,代表10个ASPECTS区域。将图谱自动拟合至NCCT脑图像后,为每个体素指定属于特定ASPECTS区域的可能性。每个体素的可能性转化为体素特异性HU的权重,用于计算每个ASPECTS区域的平均HU。为排除脑脊液、陈旧性梗死、骨骼和钙化,过暗(低于10 HU)或过亮(高于55 HU)的体素被排除。
计算患侧半球与对侧半球各ASPECTS区域之间平均HU的相对差异,并以HU差异百分比表示。通过使用预先定义的相对HU差异阈值,将患侧半球每个ASPECTS区域分类为受累(软件检测到缺血性改变)或未受累。受累区域的数量用于计算ASPECT评分。ASPECTS区域特异性阈值用于将ASPECTS区域分类为缺血性和非缺血性。默认阈值基于对患者的初步评估,其中自动化ASPECTS以基于CT灌注的梗死核心评估作为参考标准进行优化[18]。患侧大脑半球由软件自动选择。如有需要,可调整自动评估的患侧半球侧别以与临床患侧大脑半球相匹配。
统计分析
为确定ASPECTS区域相对HU变化的最佳阈值并验证研究结果,采用分层随机抽样将纳入患者分为训练集(占全数据集比例0.2)和测试集(占全数据集比例0.8)。数据集按受累ASPECTS区域(CN、IC、INS、LN、M1–M6)和CT扫描仪制造商进行分层。使用t检验和卡方检验评估训练集和测试集在年龄、性别、基线NIHSS、卒中侧别、缺血性卒中病史、卒中前改良Rankin量表以及参考标准ASPECTS方面是否存在显著差异。
在训练集中使用≥90%的特异度来寻找软件阈值设置,使计算的ASPECTS与参考标准之间在检测缺血性改变方面具有最佳相关性(在线资源)。创建受试者工作特征曲线以计算曲线下面积,并使用训练集中定义的阈值评估计算的ASPECTS在测试集中检测缺血性改变的敏感度和特异度。创建Bland-Altman图以评估软件与参考标准之间的系统性差异。
使用组内相关系数(ICC)评估计算的ASPECTS和个体观察者(1和2)与参考标准相比的性能以及观察者间一致性,采用单向随机效应、绝对一致性、单评估者/测量模型(ICC[1,1])。使用最严格的ICC模型,因为ASPECTS是由多名专家阅片者组成的小组中选出的阅片者进行评估的[19]。对于ICC,值小于0.5表明可靠性差,0.5至0.75之间表明中等可靠性,0.75至0.9之间表明良好可靠性,大于0.90表明极好可靠性。此外,报告了各区域(正常和异常)的一致性以及三分法ASPECTS(0–4、5–7、8–10)的一致性。所有分析均使用SPSS软件包版本24.0.0.1和R版本3.5.1进行。
结果
患者
在MR CLEAN试验中,463例患者具有5 mm层厚的基线NCCT。4例患者的NCCT因读取错误无法由自动化软件处理,剩余459例(> 99%)患者可进行分析(图1)。对于这459例患者,NCCT采集使用了来自4个不同制造商的18台不同扫描仪(在线资源,表1)。
Frontier ASPECTS中受影响的大脑半球在86%的患者中与临床受影响半球相匹配。其余扫描(65例)经调整以匹配临床受影响的脑半球。65例错误分类中有24例(37%)的ASPECTS为7–8,36例(55%)的ASPECTS为9–10(在线资源,表2)。然而,在根据影像学上的受影响半球进行校正后,鉴别性能并未显著改善(在线资源,图2;在线资源,表4)。分层随机抽样导致104例患者(23%)被分配到训练集,355例患者(77%)被分配到测试集。由于分层限制,该划分并非恰好为20%/80%的划分。训练集与测试集之间未发现显著差异(表1)。
训练集
在训练集(n = 104)中,以≥90%特异度的软件阈值,我们发现检测受影响ASPECTS区域的敏感度为33–49%,曲线下面积(AUC)为0.741–0.785(在线资源,表4)。
测试集验证
测试集中评估中央区域(尾状核、岛叶带、内囊和豆状核)和皮层区域(M1–M6)缺血性改变的曲线下面积与训练集中的曲线下面积相似(表2)。使用训练集中检测中央区域缺血性改变的最佳阈值(5.6%),在测试集中发现特异度和敏感度分别为89%和57%。使用训练集中检测皮层区域缺血性改变的最佳阈值(4.7%),在测试集中发现特异度和敏感度分别为89%和41%(表2)。总体计算的ASPECTS与参考标准在2276个区域的正常性上一致,在507个区域的缺血存在上一致,总体准确率为78%。三分法计算的ASPECTS的准确率为60%。完整ASPECTS范围的ICC为0.526(0.447–0.597)。对所有ASPECTS区域使用1个阈值获得了相似的结果。自动ASPECTS与参考标准之间ASPECTS差异的Bland-Altman图显示平均差异为0.59(95% CI − 3.20–4.39)(在线资源,表5和图2)。默认的区域特异性阈值导致的ICC低于优化阈值。
在不同厂商的扫描中评估ASPECTS区域的曲线下面积未发现差异(在线资源,表3)。
计算的ASPECTS与观察者ASPECTS的比较
计算的ASPECTS与参考标准在各区域的一致性相似于观察者与参考标准的区域一致性(78%和79%对比84%和77%)。计算的ASPECTS和观察者的三分法ASPECTS一致性分别为60%和59%对比60%和57%(表3)。
计算的ASPECTS与参考标准的一致性比较显示,对[CN/IC/INS/LN]和[M1–M6区域]使用两个优化阈值时ICC为0.526(95% CI 0.447–0.597),对所有10个区域使用一个优化阈值时ICC为0.537(95% CI 0.459–0.607)。观察者与参考标准的一致性比较显示较低的ICC,分别为0.464(95% CI 0.378–0.542)和0.383(95% CI 0.291–0.468)。
观察者之间的一致性(总体一致性86%,ICC 0.667(95% CI 0.605–0.721))高于计算的ASPECTS与参考标准之间的一致性(表3)。
讨论
在本研究中,我们评估了Frontier ASPECTS软件在NCCT扫描上检测早期缺血性脑改变的性能。我们的研究显示Frontier ASPECTS与参考标准(定义为两位专家读者之间的共识)之间存在中等一致性。该一致性相似于个体读者与参考标准之间的一致性,但低于观察者间一致性。Frontier ASPECTS可辅助NCCT的视觉评估,用于检测和量化急性缺血性卒中导致的早期缺血性改变。
Frontier ASPECTS软件具有特定优势。在评估ASPECTS各区域的平均密度之前排除骨骼和陈旧性梗死,可提高脑实质密度测量的准确性。在大约20%的NCCT扫描中发现了陈旧性脑梗死,不应将其用于ASPECTS评估。计算各区域的平均密度及密度的相对变化,使得能够调整阈值以针对特定情境优化该工具,并允许未来在预测模型中使用相对密度值替代二分类结局(正常/异常)。基于二分类结局训练的机器学习模型算法将失去这一机会[3, 20, 21]。目前的缺点包括少数扫描中的判读错误以及受影响半球评估中的不匹配。然而,后者可手动校正,从而获得正确的ASPECTS评估。尽管近期证据显示Frontier ASPECTS的表现明显较低,但这一差异可以用我们的阈值优化以及使用软件版本2.0.1而非1.2.0来解释。[12]。
评估用于支持临床验证的自动化软件的一个主要问题是参考标准的选择。既往研究使用的参考标准包括在NCCT特定时间范围内进行的DWI[3, 20, 21]、随访NCCT[22, 23]或MRI[24]。在以随访NCCT作为参考的研究中,仅对基线和随访影像上均存在的病灶进行评分[22],或对随访NCCT上明确的最终梗死核心进行评分[23]。以DWI-ASPECTS作为参考标准可能存在问题,因为检查与参考标准之间可能存在长达2小时的潜在时间延迟,这可能影响结果。更重要的是 underlying 信号改变的差异。当细胞毒性水肿已导致DWI信号异常时,早期阶段的NCCT扫描可能完全正常。NCCT扫描仅在血管源性水肿的下一阶段才会显示密度降低。这可能导致算法在事件发生后早期阶段的敏感性较低。以随访影像作为参考标准忽略了静脉溶栓和血管内取栓的效果。NCCT上的轻微改变在治疗后可能是可逆的,这可能导致算法的特异性较低[23]。
将ASPECTS与灌注改变进行比较可能产生有价值的信息,但这需要不同的方法,因为灌注图上的异常在卒中发作后立即显现,并不一定导致NCCT上的影像学异常。然而,鉴于ASPECTS评分对缺血性卒中治疗的相关性以及人工ASPECTS评分存在的问题(如观察者间一致性中等),本文的目的是评估软件能否可靠地自动化ASPECTS评分并支持临床医生评估早期缺血性改变。因此,与DWI或灌注成像进行比较超出了本文的范围。
因此,我们采用专家观察者的共识判读作为参考标准。唯一的缺点可能是观察者无法在NCCT扫描上检测到细微异常,而这些异常有可能通过密度测量或机器学习技术检测到。因此,我们旨在与阅片者进行比较,因为当前自动化图像分析的背景是支持并可能替代阅片者,以提高评估的稳健性。
无论采用何种方法,我们发现其他研究报告了相似的性能。当我们将Frontiers ASPECTS与Brainomix e-ASPECTS的性能进行比较时,发现了相似的敏感性(54% vs 44–46%)和特异性(89% vs 91–94%)[3, 22]。此外,自动化ASPECTS的性能优于观察者[3, 22]。一项分析各区域相对Hounsfield单位密度的类似研究发现,对于HU比值阈值< 0.94,敏感性为45%,特异性为93%,曲线下面积为0.780 [24]。一项评估RAPID@IschemaView自动化ASPECTS的研究发现,其性能等同于专家神经放射科医生的共识判读[25]。
最后,以DWI-ASPECTS作为参考标准的机器学习算法得出的ICC为0.76,敏感性为66%,特异性为92%。该研究与本研究的相似之处在于,在训练集上优化算法并在测试集上测试性能[20]。
本研究的优势包括纳入患者的异质性以及使用了来自四家主要CT扫描仪制造商的18种不同扫描仪类型,这使得研究结果能够可靠地转化到临床实践中。其次,严谨的方法学——分为训练集和测试集以及使用多种指标评估准确性——是一大优势。第三,大多数以基线ASPECTS作为参考标准评估ASPECTS软件性能的研究,将观察者评估的ASPECTS同时用于参考标准的共识判读和个体观察者分析,这在观察者一致性分析中产生了偏倚[9, 10, 12]。为在我们的分析中防止这一偏倚,我们严格拆分专家阅片组,使用独立的专家阅片者分别进行参考标准共识判读和个体观察者分析。
本研究的一个可能局限性是使用了制造商特定软件,因为该软件在Siemens设备上采集的CT扫描中可能表现更好。然而,该软件在ASPECTS各区域的区分性能在Siemens CT扫描仪与其他制造商CT扫描仪采集的扫描之间无显著差异。其次,在我们的研究中,我们使用观察者小组来提供ASPECTS,代表了临床实践中观察者间ASPECTS的变异性。大多数研究未描述使用观察者小组来提供ASPECTS,也没有任何作者描述其所使用的ICC类型。一个实际局限性是在分析中使用了≥ 90%的固定特异性。本研究中受试者工作特征曲线的形态提示,在较低特异性下,对受累与未受累ASPECTS区域具有更好的区分能力,根据具体情况和数据类型,人们可能希望使用其他阈值,从而导致特异性或敏感性的变化。
该软件工具不应被视为医生的替代品。我们建议在临床实践中将该软件工具视为医生的辅助工具。需要进一步研究将该ASPECTS软件与其他供应商的软件性能进行比较。除此之外,还需要通过评估其与基于阅片者的ASPECTS相比在预测结局方面的附加价值,来确定该ASPECTS软件在临床实践中的作用。
结论
总之,Frontier ASPECTS的性能与专家阅片者相当,能够以标准化方式支持阅片者检测早期缺血性改变。
电子补充材料
(DOCX 202 kb)
引用
- Wolff L, Berkhemer OA, van Es ACGM, et al. Validation of automated Alberta Stroke Program Early CT Score (ASPECTS) software for detection of early ischemic changes on non-contrast brain CT scans. Neuroradiology. 2020. PMID: 32857212. doi:10.1007/s00234-020-02533-6
- 全文:PMC7966210(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7966210/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。