急性缺血性卒中患者颅内侧支循环评估的评分者间信度:29名评分者与人工智能软件的比较
基于MR CLEAN研究500例急性缺血性卒中患者的基线CTA,随机选取39例由7名放射科医师、13名初级和9名高级住院医师在1小时培训后评估侧支评分(CS,0-3分),并与参考标准和自动算法比较。各评分者组与参考标准的ICC为0.689-0.780,总体准确率65±7%,二分类后升至88±5%;自动CS准确率62%,二分类后90%。结论认为经培训后评分者间信度不受经验影响,自动CS表现与住院医师和放射科医师相似。
要点
- 侧支评分(CS)0-3分,0分为无侧支,1分为>0%且≤50%充盈,2分为>50%且<100%充盈,3分为100%充盈。
- 各评分者组与参考标准的ICC为0.689-0.780,总体合并ICC为0.751(95%CI:0.665-0.835)。
- 总体视觉CS准确率65±7%,二分类(0-1分差,2-3分好)后升至88±5%;自动CS准确率62%,二分类后90%。
核心结论
- 经过1小时培训后,侧支循环评分的评分者间信度不受放射科医师经验水平影响。
- 自动侧支评分在确定侧支评分方面表现与住院医师和放射科医师相似。
研究设计与样本
- 研究为基于MR CLEAN研究(荷兰16家卒中中心的前瞻性连续研究)基线CTA数据的评分者间信度研究。
- 从500例前循环闭塞的急性缺血性卒中患者中筛选出148例符合图像质量标准者,按每个侧支评分随机选取10例CTA,最终39例CTA纳入分析(1例因无法生成MIP被排除)。
- 由7名放射科医师、13名初级住院医师(第1-2年)和9名高级住院医师(第3-5年)共29名评分者在1小时培训后独立评估视觉CS。
- 参考标准由两名独立且经验丰富的介入神经放射学家重新评估CS,意见不一致时由核心实验室观察者作为第三评分形成2/3共识。
- 自动算法基于Su等人的模型计算定量侧支评分(qCS),并将qCS转换为修改的Tan标准CS(0分定义为充盈≤10%而非0%)。
关键影像表现/征象
- 视觉CS评估中,39例参考CS分布为:0分5例、1分13例、2分10例、3分11例。
- 31%的病例(12/39)需要第三名放射科医师提供共识。
- 各病例的平均视觉CS范围为0.03至2.90,仅2例(5%)获得完全一致的视觉CS评分,20例(51%)出现2种不同评分,17例(44%)出现3种不同评分。
- qCS范围为3.79%至100%。
诊断标准与关键数值
- 侧支评分(CS)采用Tan等4分法:0分为无侧支(闭塞MCA区域0%充盈),1分为>0%且≤50%充盈,2分为>50%且<100%充盈,3分为100%充盈。
- 二分类定义:CS 0-1分为侧支循环差,CS 2-3分为侧支循环好。
- ICC分级标准:<0.50为差,>0.50且≤0.75为中等,>0.75且≤0.90为好,>0.90为优。
- 各评分者组与参考标准的ICC:所有医师合并0.751(95%CI:0.665-0.835),各亚组ICC范围为0.689-0.780,组间无差异。
- 二分类后所有观察者合并ICC降至0.682(95%CI:0.585-0.783)。
临床应用与阅片要点
- 侧支评分需在1小时培训后由放射科医师或住院医师完成,评分者间信度为中等至好(ICC 0.689-0.780)。
- 自动CS可作为医师的辅助工具,尤其适用于侧支评分处于临界值的病例。
- 作者认为,将软件纳入侧支状态判定有助于在保持高准确率的同时减少观察者间变异。
- 作者指出,使用定量尺度而非分类尺度可能带来更好的治疗决策,但自动CS软件在整合入临床实践前需要验证。
局限性
- 准确率计算的一个局限是参考CS为分类变量,即使在经验丰富的神经放射学家之间也难以达成共识,31%的病例(12/39)需要第三名放射科医师提供共识。
- 研究的扫描数量(n=39)限制了本研究的预测效能,因此也限制了分析预测性能的可行性。
- 作者建议未来使用更大样本量研究,以比较自动CS与视觉CS和mRS的相关性。
全文中译13 节 · 点击展开
引言
急性缺血性卒中主要由一条或多条脑动脉闭塞引起,导致大脑某一区域氧气供应不足[1]。在全球范围内,缺血性卒中是第二大死亡原因,也是人群中伤残调整生命年的主要贡献因素[2]。缺血性卒中最为有效的治疗是及时实现闭塞动脉的再灌注[3]。颅内大血管闭塞的患者可考虑接受血管内取栓术(EVT)。通过支架取栓器和/或抽吸装置将血栓从血管中移除,恢复原有的血流和氧气供应[4]。然而,EVT并非无风险的干预措施,治疗效果因人而异[5]。EVT的效果取决于不同的临床和影像学参数。这些参数可在术前进行评估,以确定治疗获益的可能性并进行患者筛选,尤其是在晚期时间窗内[6]。因此,研究这些参数在术前获取的一致性和可靠性具有重要意义。
与确定治疗效果相关的参数之一是侧支循环评分(CS)[7]。CS量化了患侧半球通过动脉侧支循环对大脑中动脉(MCA)远端分支的对比剂充盈程度。侧支循环是次级通路,当主要动脉无法提供足够的血液供应时可作为备用通路发挥作用[8]。由于闭塞而处于风险中的脑组织,如果通过侧支血管确保了氧气供应,则更有可能在主要通路供血不足的时期内存活[8]。
Tan等人开发了一种4分制分类评分系统,用于在计算机断层扫描血管造影(CTA)上评估闭塞的大脑中动脉(MCA)供血区的侧支循环状态[9]。评分为0表示无侧支循环,1表示侧支供血充盈> 0%且≤ 50%,2表示> 50%,3表示闭塞MCA供血区100%充盈[9]。CTA扫描的侧支循环评分通常通过视觉评分获得,该评分依赖于操作者,存在潜在的观察者间差异。基于机器学习的方法生成的自动定量侧支循环评分(qCS)表现出与经验丰富的放射科医师相似的性能[10]。
在本研究中,我们旨在评估CS的观察者间变异性以及变异性是否受工作经验年限的影响[11]。其次,我们将医生给出的视觉CS与前述qCS及参考CS进行比较。
方法
影像数据
基线CTA扫描来自荷兰急性缺血性卒中血管内治疗多中心随机临床试验(MR CLEAN,荷兰试验注册号:NTR1804。Current Controlled Trials注册号:ISRCTN10888758),该研究是一项前瞻性、连续性研究,在荷兰16个卒中中心开展[6]。MR CLEAN研究方案经Erasmus MC中央医学伦理委员会及各参与中心的研究委员会批准。所有患者或其法定代表人在随机化前均提供了书面知情同意。
MR CLEAN数据库包含500例由前循环闭塞导致的急性缺血性卒中患者的数据。介入前CTA扫描由核心实验室的放射科医生对CS和闭塞位置进行评级,这些医生无法获取其他影像数据或任何临床信息。选取图像质量良好/中等、头部覆盖充分、轴位序列、层厚<1.0毫米、层间距等于或小于层厚的CTA扫描。从这些CTA扫描中,针对每个CS随机选取10次扫描。重建层厚为8毫米的轴位和冠状位最大强度投影(MIP)。
视觉侧支评分
如适用,记录住院医师年限。荷兰的7名放射科医生和22名放射科住院医师参加了为期1小时的侧支评分培训课程。课程解释了评分的原理和方法,并展示和讨论了CS示例。
培训后,要求参训者基于轴位CTA扫描和8毫米MIP重建图像联合对所有病例进行评分。每个病例均提供闭塞血管(ICA-T/M1/M2)和受累半球(左/右)。
自动侧支评分
qCS使用Su等人[10]报道的模型生成。MR CLEAN研究中获取的CTA未用于该模型的开发。CTA扫描的处理始于基于图谱的配准和使用神经网络对血管中心线的分割。此后,通过比较受累半球与未受累半球的血管体积和血管长度(均分别进行像素强度加权和非加权),量化MCA供血区内血管的相对数量。四个比值用于计算qCS。qCS使用Tan等人的修改定义转换为侧支评分:侧支评分0定义为受累MCA供血区充盈等于或小于10%,而非0%充盈[9]。
参考标准
由影像核心实验室评估的CTA由两名独立且经验丰富的介入神经放射学家(A.v.E、P.J.v.D)重新进行CS评估,此二人不属于评分者小组。若存在分歧,则以核心实验室观察者的评级作为第三CS,以提供双观察者共识。
统计分析
结果按以下分组对受访者进行分析后得出:第一年和第二年放射科住院医师(初级住院医师,n=13)、第3-5年放射科住院医师(高级住院医师,n=9)、所有放射科住院医师(n=22)、放射科医生(n=7)以及所有医生合计(n=29)。计算视觉CS的均值和标准差。分析基于4分侧支评分和二分法评估(CS 0-1:侧支循环差;CS 2-3:侧支循环好)。采用二分法是因为MR CLEAN中侧支循环好的患者治疗效果显著,而侧支循环差的患者治疗效果较小[7]。
观察者变异性采用组内相关系数(ICC)报告,使用双向随机、单次测量、绝对一致性模型[12]。ICC针对4分侧支循环评分及二分类评分计算,涵盖所有观察者以及基于放射学阅片经验的亚组:初级住院医师、高级住院医师和放射科医师。ICC低于0.50表示相关性差,>0.50且≤0.75为中等,>0.75且≤0.90为良好,>0.90为极好。全侧支循环评分(CS)和二分类CS的准确率针对每组与参考标准和qCS进行比较计算。显著性差异使用单因素方差分析(One-way ANOVA)计算。统计分析使用SPSS Statistics第25版进行。
结果
数据集和参考标准的选择
在500例患者中,148例符合纳入标准。对于CS 0–3(图1),基于图像核心实验室评估,每个侧支循环评分随机选取10例CTA扫描。1例扫描无法处理生成MIP,最终测试集为39例。图2显示了患者筛选的示意图。对于39例选定病例,重新阅片后获得参考CS:CS 0(n=5)、CS 1(n=13)、CS 2(n=10)和CS 3(n=11)(表1)。在31%的病例中(12/39),需要第三位放射科医师提供共识。CTA扫描详情(参考侧支循环评分、层厚、峰值千伏电压(kVp)、曝光量(mA))已报告(补充表1)。
评估者间变异性
ICC针对4分CS(表2)和二分类CS(表3)报告。所有组均显示中等至良好的ICC,合并结果的ICC为0.751(95% CI:0.665–0.835)(表2)。对CS进行二分类后,所有观察者合并的ICC降至0.682(95% CI:0.585–0.783)(表3)。亚组之间未显示ICC差异。
准确率
29名评估者评定CS的平均准确率为65±7%(表4)。亚组之间未发现准确率的显著差异(表4)。使用二分类量表时准确率增至88±5%;然而,亚组之间的差异仍无统计学意义(表5)。使用qCS(分类,0–3)作为参考评分时,平均总准确率为67±8%,二分类后(CS 0–1:侧支循环差,CS 2–3:侧支循环好)增至88±5%。qCS的CS评定准确率为62%,CS二分类后增至90%。
个体病例分析
每个病例的平均视觉侧支评分(范围:0–3)为0.03至2.90。2例(5%)的视觉侧支评分完全一致。观察者在20例(51%)中给出了2种不同的侧支评分,在其余17例(44%)中给出了3种不同的侧支评分。定量侧支评分(qCS,范围:0–100%)为3.79%至100%。各病例按平均视觉侧支评分升序排列,见图3。
讨论
在本研究中,我们评估了视觉侧支评分的观察者变异性,并将受访者在1小时培训课程后给出的评分以及自动化软件给出的评分与参考评分进行了比较。不同放射科住院医师组与放射科医师之间在侧支循环评分(CS)表现上未发现差异。所有组与参考评分比较的准确性相似。自动化侧支评分在确定侧支评分方面表现与住院医师和放射科医师相似。
评分者间侧支循环状态评分的变异性此前已有报道,但通常使用Cohen's kappa进行[7, 13, 14]。然而,对于非二分类评分使用Cohen's kappa较难解释,因为评分之间的差异必须根据类别之间的距离进行加权,而这在使用加权Kappa或组内相关系数(ICC)时才会发生。在Weiss等人的一项研究中,提供了用于侧支状态评分评分者间信度的加权Kappa,但他们仅使用了2名读者[15]。Tan等人给出了4分侧支评分的ICC为0.87,但这也基于2名读者[9]。在评估评分者间信度时,使用更多观察者更为可取。
自动化侧支评分在4分侧支评分和二分类评分方面均显示出与视觉评分者相当的准确性。文献中还报道了其他用于自动侧支评分的算法。Boers等人的研究提出了一种定量模型,该模型计算闭塞区域相对于未受影响半球的血管存在百分比[16]。血管识别采用了不同的方法。该研究还显示其与Tan等人定义的分类视觉侧支评分(0–3)存在显著相关性(Spearman ρ:0.75,P < .001),但未报告ICC、准确性或误差矩阵[9]。
Grunwald等人的研究在临床实践中评估了Brainomix Ltd.的自动化侧支评分软件[17]。该软件使用基础图像分割和机器学习,二者均未进一步说明。输出结果为4分制侧支评分。他们报告该自动化侧支评分软件与参考评分相比的一致性为90%,未具体说明的ICC为0.93(95% CI 0.90–0.95)。然而,参考评分是利用自动化侧支评分的信息构建的。
侧支循环状态可用于预测结局[18]。使用正确的影像学检查来评估侧支循环状态以预测结局非常重要。与单期CTA相比,在多期CTA上评估侧支循环状态在预测结局方面表现出更好的性能[19]。最佳的侧支循环评估应在动脉峰值期之后进行[20]。准确性计算中的一个局限性在于分类参考CS。即使在经验丰富的神经放射科医生之间,也很难达成共识。在31%的病例中(12/39),需要第三位放射科医生来提供共识。引入软件辅助确定侧支循环状态有助于在保持高准确性的同时最小化观察者间变异。对于定量模型,计算出的CS可在0至100%的完整范围内给出,以增加评分的精细度。
放射科住院医师与资深放射科医生之间的放射学经验差异很大;然而,在CS评估的准确性方面未发现差异。基于这些结果,我们预期其他放射科医生在此情境下也会有类似表现。出于同样的原因,我们不预期住院医师和放射科医生的结果会有所改善。此外,整体性能(ICC:0.751,95% CI:0.665–0.835)与先前报道的侧支循环状态评分观察者间一致性相当[7, 9, 14, 21]。
我们认为,经过基本的侧支循环评分培训后,所有放射科住院医师和放射科医生都有可能达到65%的准确性和0.751的ICC。该评分的定义要求基于视觉检查对定量值进行分类。90%与20%之间的差异将清晰可见,但45%与55%之间的差异难以区分。两种情况下的差异均为1分,这对使用分类评分评估侧支循环状态提出了质疑。使用定量量表而非分类量表可能会带来更好的治疗决策。定量自动化CS软件可能是一种解决方案,但在将该软件整合到临床实践之前需要进行验证。验证自动CS的下一步将是研究其预测性能:它们能否基于基线扫描预测患者的功能结局?急性缺血性卒中后3个月的改良Rankin量表(mRS)常用于评估功能结局[22]。所研究的扫描数量(n=39)限制了本研究的预测效力,因此也限制了分析预测性能的可行性。建议未来使用更大样本量进行研究,以探讨自动化CS与mRS之间的相关性,并与视觉CS进行比较。理想情况下,应开展一项研究,对同一批急性缺血性卒中患者同时使用视觉CS和自动定量CS,以确定这些侧支循环评分在预测结局和治疗获益方面的性能。此外,不仅应考虑侧支循环评分,还应纳入其他已被证实的结局和/或治疗获益预测因素,将其整合到一个大型预测模型中,例如MR PREDICTS决策工具[23]。然后,可在预测模型中比较两种CS类型的性能。
结论
在个体评分者层面,侧支状态评分存在相当大的变异性。经过1小时培训后,以参考标准评分的CS准确性不受评分者经验的影响。自动CS表现出与经验丰富的放射科医生和放射科住院医师相似的性能。自动CS可以辅助医生,特别是对于侧支评分处于临界值的病例。
补充信息
以下是电子补充材料的链接。补充文件1(XLSX 9 kb)
引用
- Wolff L, Su J, Van Loon D, et al. Inter-rater reliability for assessing intracranial collaterals in patients with acute ischemic stroke: comparing 29 raters and an artificial intelligence-based software. Neuroradiology. 2022. PMID: 35608629. doi:10.1007/s00234-022-02984-z
- 全文:PMC9643213(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9643213/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。