文献速递神经CTMR

深度学习辅助平扫CT诊断急性缺血性卒中:多中心研究

Improving the diagnosis of acute ischemic stroke on non-contrast CT using deep learning: a multicenter study.
PubMed 文献 · Insights Imaging · 2022-12-06

该多中心回顾性研究开发深度学习模型,自动分割梗死灶并评估ASPECTS评分,在5家医院1391例开发集和85例外部队列中验证。模型外部验证AUC为0.729,辅助4名放射科医生后平均敏感度从0.254升至0.333、特异度从0.896升至0.915,阅片时间从219.0秒降至175.7秒,ICC从0.741升至0.980。

要点

  • AI辅助可提升放射科医生对平扫CT早期缺血征象的敏感度与ASPECTS评分一致性。
  • 模型对外部数据ASPECTS区域判读AUC为0.729,分割DSC为0.762。
  • AI辅助使阅片时间显著缩短、评分者间ICC由0.741升至0.980。

关键影像表现/征象

  • 模型可同时分割梗死灶并自动估算ASPECTS,内部验证AUC为0.876(95%CI 0.846–0.907),外部验证AUC为0.729(95%CI 0.679–0.779)。
  • 模型分割DSC在内部验证集为0.600、外部验证集为0.762,外部验证精确率1.000、召回率0.616。
  • 模型外部验证中识别单个ASPECTS缺血区域的敏感度和特异度高于所有专家评分者。

诊断标准与关键数值

  • 以ASPECTS20个区域为单位的ROC分析:内部验证集AUC 0.876(95%CI 0.846–0.907),外部验证集AUC 0.729(95%CI 0.679–0.779)。
  • 无AI辅助时4名评分者平均敏感度0.254(95%CI 0.22–0.26)、特异度0.896(95%CI 0.884–0.907);有AI辅助时平均敏感度0.333(95%CI 0.301–0.345)、特异度0.915(95%CI 0.904–0.926)。
  • 平均特异度差异有统计学意义(p=0.014),平均敏感度差异无统计学意义(p=0.196)。
  • 平均阅片时间由219.0秒降至175.7秒(p=0.035);区域水平ICC由0.741升至0.980,评分水平ICC由0.614升至0.809。

临床应用与阅片要点

  • 可将AI模型作为平扫CT-ASPECTS判读的初筛或第一读者,辅助识别早期缺血改变并提示累及区域。
  • AI辅助可提高评分者间一致性,适合急诊场景下低年资或普通放射科医生参考。
  • 注意模型对低NIHSS、高ASPECTS(如9–10分)及内囊、M5等区域病灶的检出仍有限,需结合临床与DWI。

局限性

  • 本研究仅关注卒中病灶,未纳入其他神经影像征象,白质脑病和陈旧梗死可能干扰ASPECTS计算。
  • 参考标准为发病24小时内DWI梗死图像,非最终梗死体积。
  • 外部验证集样本量较小(85例),且评分者为普通放射科医生而非神经放射专科医生。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Dec 6;13:184. doi: 10.1186/s13244-022-01331-3

引言

卒中是威胁人类健康的重大疾病之一,是全球第三大死因,具有高致死率和高致残率[1–3]。与磁共振成像(MRI)和CT灌注成像(CTP)相比,非增强计算机断层扫描(NCCT)因其相对快速、广泛可及和成本效益高,被视为所有卒中诊断的首选方法[3, 4],尤其是在急诊科环境中[5]。NCCT不仅对颅内出血的检测具有高敏感性,而且是用于筛选血管内治疗患者的广泛使用工具[6–8]。阿尔伯塔卒中项目早期CT评分(ASPECTS)是一种基于NCCT评估早期缺血性改变(EIC)的定量评分方法[9],已在多项随机对照试验(RCT)中用于患者筛选和排除[10–12]。迄今为止,NCCT-ASPECTS仍是急诊科早期缺血分诊和溶栓预后预测中最广泛使用的模态[13–19]。

然而,使用NCCT进行EIC检测仍具有挑战性,实践中ASPECTS只能被粗略确定。缺血的早期征象及其转化为ASPECTS的过程存在相当大的漏诊率和评分者间变异性,这是由于评分者经验差异所致[20–22],因为NCCT上的轻度梗死难以用肉眼识别,且参与ASPECTS评分的大脑区域之间没有明显边界。如既往研究所报道,仅使用NCCT只能检测到10%的急性缺血性卒中(AIS)和7%的超急性缺血性卒中患者[5]。此外,EIC检测也依赖于经验,并受到观察者间一致性有限的困扰[23, 24]。需要投入更多努力来提高EIC检测敏感性和ASPECTS评估一致性。

已有多种使用人工智能的软件应用,包括经典机器学习和深度学习,被设计用于自动化EIC检测和ASPECTS评分[25–29]。经典机器学习方法通常使用基于图像灰度的分割和预定义特征来定义病灶,例如e-ASPECTS[29](Brainomix,英国)、RAPID-ASPECTS[24](iSchemaView,美国)和Frontier ASPECTS[30](Siemens Healthcare,德国)。这些方法受限于依赖数据科学家专业知识的手工纹理模式或几何形状,因此ASPECTS结果在不同研究间存在差异[30, 31]。深度学习(DL)已成为医学影像诊断中的强大技术,能够发现抽象的特定任务特征,并进一步以端到端的方式利用这些特征产生准确的临床解读[32–35]。DL方法在EIC检测和ASPECTS解读中的应用刚刚兴起[27, 28],并显示出良好性能。然而,用于NCCT-ASPECTS评分的成熟DL方法很少,且大多数现有研究为单中心研究;此外,它们仅关注模型效率的评估,而非模型在临床急诊场景中的性能。因此,DL模型在临床场景中的性能需要进一步研究。

为解决上述问题,我们提出了一种新的深度学习(DL)模型,用于自动检测急性缺血性卒中(AIS)病灶并进行ASPECTS评分,并进一步证明该模型在临床辅助中的价值。首先,该模型基于5个卒中中心合理规模的平扫CT(NCCT)数据集开发。其次,该模型使用镜像装配模块和双路径深度卷积神经网络(DCNN)模型来增强病灶检测能力。此外,为验证模型的临床性能,我们采用多读者多中心(MRMC)实验来评估放射科医生在所提出模型辅助下的诊断。

方法与材料

本回顾性研究获得所有参与医院伦理审查委员会的批准。医学数字成像和通信(DICOM)头文件中的患者隐私信息已脱敏。由于其为回顾性研究,本研究豁免知情同意要求。

参与者

开发集通过于2013年至2017年间在两家参与医院的放射信息系统(RIS)中检索关键词“急性缺血性卒中”获取,NCCT至DWI时间<24 h的AIS患者纳入该数据集(1870例患者);随后排除像素间距不一致、扫描范围不足或图像质量低的图像。开发集按5:1比例分为训练集和内部验证集,如图1所示。

外部验证集来自另外三家医院。纳入发病至NCCT时间<6 h且NCCT至DWI时间<24 h的AIS患者(99例)。排除不合格图像,并收集入组患者的临床特征。

具体而言,开发集和外部验证集均仅纳入大脑中动脉(MCA)供血区梗死进行分析。图像采集参数见附加文件1。

图1 数据纳入流程图 查看原图 ↗

真值确定

开发集和外部验证集中每例NCCT扫描的缺血区和ASPECTS真值均由三名委员会认证的放射科医生(Z.T.Z.、L.C.F.、P.F.)共识确定,所有放射科医生均具有至少10年急诊神经放射学经验(这些专家在标注前接受了www.aspectsinstroke.com上的指导说明)。缺血区由一名放射科医生手动勾画并评分,并由另外两名放射科医生独立验证。所有NCCT缺血区均参考配对的DWI图像和放射学报告,使用3D Slicer(版本4.8.1,www.slicer.org)勾画。每个区域的ASPECTS评分也根据ASPECTS指南进行评定。

DL模型开发

所提出的深度学习(DL)模型如图2所示,由5个关键步骤组成,用于自动评分ASPECTS。为减少噪声的影响,我们首先使用中值滤波和暗图像增强算法[36](“细节增强”)对NCCT图像进行预处理。AIS患者NCCT上EIC的表现极不明显,专家只能根据NCCT图像中左右脑之间轻微的灰度差异做出判断。为此,我们设计了一个“镜像装配模块”,通过围绕大脑中线翻转原始NCCT图像获得镜像图像,并用原始NCCT图像减去镜像图像获得差异图像。然后,我们将原始图像、镜像图像和差异图像拼接起来,获得深度学习模型的输入样本。

具体而言,急性缺血性病灶的边界在NCCT图像中不明显,难以准确勾画,因此容易被误诊。因此,如果使用这种噪声标注进行模型训练,会导致模型学习偏倚并损害模型效能,尤其是当直接将UNet[37]和panoptic FPN[38]等传统全景分割方法应用于模型开发时。为解决这一问题并受集成学习思想的启发,我们提出了一种新颖的深度卷积神经网络(DCNN)模型,具有两条路径——“全局路径”和“局部路径”。“全局路径”基于ResNeXt模型[39, 40]构建,以实现缺血性病灶的良好全局定位和粗略分割,并降低病灶级别的漏诊率。然而,“全局路径”只能从ResNeXt-50的P3层输出粗略分割图像,忽略了缺血性病灶的边界细节,因此我们开发了“局部路径”作为“全局路径”的补充,基于Dense-UNet模型[41]在全分辨率图像下进行细致的像素级分割。然后,我们使用双线性插值将“全局路径”和“局部路径”的输出分割结果调整为原始NCCT图像的大小,随后通过逐元素相加融合调整大小后的两条路径输出分割,获得最终输出分割。“全局路径”和“局部路径”的详细信息见附加文件1。

为了对ASPECTS进行评分,我们基于MNI脑模板生成了血供分布图[42, 43],如附加文件1:图S3所示。然后,通过将血供区域图线性配准至NCCT图像(“线性配准”),获得相应个体的血供区域。最后,根据计算病灶分割与血供区域重叠比例的ASPECTS评分标准[9],获得每个ASPECTS区域的评分(“ASPECTS评分模块”)。所提出的模型使用Python 2.7和MxNet框架(版本1.4.0,mxnet.apache.org)实现,并使用两块Nvidia GTX 1080Ti GPU进行计算加速。模型使用随机梯度下降优化器和从0.002开始的阶梯式幂衰减学习率调度器进行训练。深度学习模型以512 × 512的输入图像大小训练100个epoch。当内部验证集的模型损失开始上升时,停止训练过程。为了使模型既关注病灶的细节又关注整体分割轮廓,我们构建了一个整合交叉熵和DICE损失函数的损失函数。损失函数在附加文件1中介绍。

图2 所提出的用于病灶分割和ASPECTS评分的深度学习(DL)模型概述。该模型包括五个关键步骤:细节增强、镜像装配模块、深度卷积神经网络(DCNN)模型、线性配准和ASPECTS评分模块。该模型生成两类数据:缺血性病灶分割和基于区域的ASPECTS 查看原图 ↗

多阅片者多中心(MRMC)实验

我们在外部验证集上开展了MRMC实验,在来自不同三级教学医院的四名放射科阅片者的辅助下评估所提出DL模型的临床效能;每名阅片者均具有超过10年的急诊放射学临床经验。实验前,要求所有阅片者参加一次教育课程,学习如何根据www.aspectsinstroke.com上的说明使用ASPECTS,随后为每名阅片者提供与急诊科配备相同的设备。还指导他们按照急诊临床实践解读每份扫描。阅片者对患者的病史和起病症状不知情。本MRMC实验分两个阶段进行:第一阶段仅提供原始扫描供阅片者审阅。第二阶段在2周的洗脱期后进行,向阅片者提供模型分割和基于区域的ASPECTS。要求所有阅片者在电子表格上对基于区域的ASPECTS进行评分,并记录两个阶段中他们的阅片时间。还计算并比较了两个阶段中四名阅片者之间的阅片者间一致性。

统计分析

基线人口统计学特征见表1。深度学习(DL)模型根据ASPECTS标准以基于区域的方式进行评估。每个病例生成20个二项结局(20个ASPECTS区域)。ROC曲线按以下方式绘制:我们列举了DCNN模型在0至1之间的概率阈值,对于每个阈值,根据模型对每个ASPECTS区域的输出计算相应的真阳性率(TPR)和假阳性率(FPR);将这些TPR-FPR对绘制成ROC曲线。曲线下面积(AUC)基于ROC曲线计算,其置信区间(CI)参照Dai Feng的方法[44]计算。Dice相似系数(DSC)、精确率和召回率用于分割性能评估。

在多阅片者多病例(MRMC)实验中,我们使用基于区域的灵敏度和特异度进行临床疗效评估。记录每次阅片的总时间,并通过将总时长除以病例总数计算平均病例阅读时间。平均时间采用配对Student's t检验进行比较。灵敏度和特异度采用McNemar检验进行比较。阅片者间一致性采用双向混合单一绝对一致性的组内相关系数(ICC)进行测量[45]。所有统计分析均通过R编程语言(版本3.6.2)完成,双侧α < 0.05被认为具有统计学意义。

表1 基线人口统计学和临床特征 查看原表 ↗

结果

患者数据

最终,共纳入1,391例患者(训练集1,179例,内部验证集212例)用于模型开发,85例患者符合模型外部验证条件(见图1)。所有合格患者的基线特征总结于表1。这三个数据集之间的年龄差异具有统计学意义(p < 0.001),性别差异无统计学意义(p = 0.120);此外,年龄的事后分析显示,训练集与内部验证集之间无差异,而这两组与外部验证集之间发现年龄存在统计学差异。观察到,GE Healthcare(美国马萨诸塞州波士顿)和Siemens Healthineers(德国埃尔朗根)制造的CT扫描仪在开发集中占多数(训练集:GE 57.0%,SIEMENS 41.7%;内部验证集:GE 61.8%,SIEMENS 37.3%),而PHILIPS Healthcare(荷兰贝斯特)是外部验证集中的主要厂商(58.8%),三组之间制造商差异显著(p < 0.001)。

详细临床信息仅对外部验证集记录。从发病到基线CT的平均时间为176.4 ± 93.6 min,美国国立卫生研究院卒中量表(NIHSS)中位数为5(IQR 2–10)。外部验证集的DWI-ASPECTS分布和ASPECTS区域以条形图形式在图3中展示(DWI-ASPECTS中位数 = 9,IQR 8–10)。外部验证集共对1700(85 × 20)个ASPECTS区域进行了评分。

图3 外部验证集的DWI-ASPECTS和ASPECTS区域分布。C,尾状核;IC,内囊;I,岛叶;L,豆状核;M1,额叶岛盖;M2,前颞叶;M3,后颞叶;M4,大脑中动脉前部;M5,大脑中动脉外侧部;M6,大脑中动脉后部 查看原图 ↗

深度学习模型效率

内部验证集和外部验证集的ROC曲线如图4a、b所示。对于内部验证集,模型获得的AUC为0.876(95% CI 0.846–0.907),而在外部验证集上,模型获得的AUC为0.729(95% CI 0.679–0.779)。外部验证显示,训练后的模型在识别单个缺血ASPECTS区域方面比所有专家评估者提供了更高的敏感度和特异度。内部验证集的DSC、精确率和召回率分别为0.600、0.528和0.694,外部验证集分别为0.762、1.000和0.616。

为了可视化模型性能,图5展示了两名患者的NCCT分割结果。显然,肉眼界定病灶边界是困难的,而模型几乎可以实现这一目标。

图4 所提出的基于DL的模型的性能。a 基于DL的模型在内部验证集上基于区域的ASPECTS分析(20个区域)的ROC曲线。b 基于DL的模型在外部验证集上基于区域的ASPECTS分析的ROC曲线,四名评估者的性能也用圆形或三角形描绘。c (b)中评估者性能的放大图示 查看原图 ↗
图5 基于DL的模型的可视化病例。预测结果为模型分割输出,标注表示由专家放射科医师定义的金标准。受试者1的dice、精确率和召回率分别为0.817、1.0和0.690,受试者2分别为0.670、1.0和0.502 查看原图 ↗

MRMC研究的性能比较

专家评估者在外部验证集上的性能总结于表2。无vs.有AI辅助时,平均敏感度分别为0.254(95% CI 0.22–0.26)和0.333(95% CI 0.301–0.345),特异度分别为0.896(95% CI 0.884–0.907)和0.915(95% CI 0.904–0.926)——平均特异度存在统计学差异(p = 0.014),但平均敏感度无统计学差异(p = 0.196)。如图4b、c所示,在DL模型的辅助下,专家1和专家2的敏感度和特异度显著提高(专家1:敏感度p < 0.001,特异度p = 0.002;专家2:敏感度p = 0.006,特异度p = 0.022);对于专家3,特异度显著提高(p = 0.019),敏感度无显著差异(p = 1);专家4的敏感度(p = 0.281)和特异度(p = 0.630)未观察到显著差异。此外,四名评估者在模型辅助下基于区域的ICC达到0.980,而无模型辅助时为0.741,基于评分的ASPECTS ICC从0.614提高到0.809。

关于阅读时间,外部验证集的平均阅读时间总结于表3。显然,在DL模型的辅助下,所有专家评估者的判读时间显著缩短(p = 0.035)。

表2 评估者在外部验证集上的性能 查看原表 ↗
表3 阅读实验中每例的平均时间 查看原表 ↗

讨论

在急诊科,使用平扫CT(NCCT)诊断早期缺血性改变(EIC)和ASPECTS一直是一项持续性挑战,且具有迫切的临床需求。本研究尝试利用深度学习(DL)技术检测梗死区域,并评估DL在急诊临床场景中的性能。具体而言,我们提出的DL模型在ASPECTS评分方面表现出良好效果,在外部验证集中达到0.729的AUC。采用镜像装配模块和双路径DCNN模型的DL模型在隐匿性病灶分割中获得0.762的高DSC。在模型辅助下,评分者在ASPECTS评分中表现出更高的敏感度和特异度、更短的操作时间以及良好的一致性问题。据我们所知,这是首次以多阅片者多病例(MRMC)方式研究DL模型的急诊效能。

我们提出的DL模型在病灶分割方面优于既往报道的研究[27, 46],多项因素为良好性能奠定了基础:首先,由卒中专家和随访DWI提供的高质量参考标准,确保训练后的DL模型能够有效学习任务特异性特征;其次,DL方法善于模拟和整合卒中专家在检测急性缺血性卒中(AIS)病灶方面的经验;最后但最重要的是,创新的模型流程,包括用于捕捉左右大脑图像差异的镜像装配模块,以及用于解决难以辨识病灶检测和分割问题的双路径DCNN模型。该流程能够增强与图像分割任务相关的特征特性,同时抑制冗余特征。此外,为准确评分ASPECTS,我们还开发了ASPECTS图谱并将其反向配准至原始NCCT图像以减少图像变形误差;进一步地,为抑制分割误差,我们使用区域级ASPECTS而非DSC来确定分割阈值。在NCCT上进行EIC检测和ASPECTS评分是临床所需要的,但EIC的细微征象并非总能通过视觉捕捉,如图5所示。因此,深度学习在难以辨识特征检测中的效能可能成为NCCT临床应用于AIS诊断的加速器。

已有研究报道了放射科医师与自动软件在ASPECTS评分中的性能比较[25, 26, 29],而我们的研究与既往研究的不同之处在于将人工智能模型用作首读者。人工智能作为首读者已在肺结节检测中被广泛接受[47],但在NCCT-ASPECTS判读中的报道较少。如图4b、c和表2所示,所有借助深度学习模型的卒中专家均达到了相对较高的敏感度水平(敏感度 ≥ 0.3),同时特异度提高(p = 0.014),判读时间缩短(p = 0.035)。然而,我们也注意到并非所有评分者的敏感度或特异度均具有统计学显著性,这可能归因于评分者对模型结果的接受程度。由于征象过于微弱而难以观察,病灶判定的信心可能随读者经验的不同而变化。多项研究显示,在确定NCCT-ASPECTS时仅达到轻度至中度评分者间一致性,放射科医师的ICC范围为0.579–0.936 [21, 23, 24, 28, 48, 49]。相比之下,在我们的研究中,借助人工智能辅助的放射科医师的ASPECTS信度(ICC 0.980)显著提高,有助于提升诊断信心和医疗质量一致性。总之,该人工智能模型可作为ASPECTS评分中专家判读的有价值补充和/或确认手段,并改善性能和信度。

在NCCT-ASPECTS评估中,专家诊断和软件性能的巨大差异仍然是一个令人担忧的问题,因为据报道其敏感度和特异度分别范围为0.26至0.8和0.87至0.97 [5, 25, 26, 28, 29]。在我们的研究中,所得的敏感度和特异度并不优于先前报道的方法,这可归因于外部验证集的实验设置,包括梗死严重程度、ASPECTS和受累区域的分布、放射科医师的经验以及不同的扫描设备厂商。首先,与先前研究相比,我们外部验证集入组患者的NIHSS较低(5,2–10),年龄较小(66.6 ± 12.3),使得病灶与Masaki Naganuma的研究相比更为模糊难以检测 [28]。其次,病灶检测敏感度受ASPECTS分布的影响很大,尤其是对于ASPECTS > 7的超急性卒中,而本研究的中位ASPECTS仅为9(IQR 8–10),其中ASPECTS 9和ASPECTS 10的患者各29例,与Hulin Kuang的研究相比增加了病灶检测的难度 [50]。此外,ASPECTS准确度还可能受到脑区分布的影响 [51]。如图3B所示,我们研究中的病灶区域主要散布于M5(n = 24)、IC(n = 24)、L(n = 18)和M2(n = 16),且已有研究表明IC和M5与参考标准的一致性较低、漏诊率较高 [52]。第三,为契合急诊场景,本研究的参与评分者为普通放射科医师而非神经放射科医师。与神经放射科医师相比,普通放射科医师在ASPECTS评分中的敏感度和特异度较低。这与我们发现普通放射科医师敏感度较低的结果一致。最后,这是一项多中心研究,图像质量较单中心研究更为复杂,这也可能削弱评分者在NCCT-ASPECTS评分中的临床表现。总之,与先前研究相比,我们研究的外部验证数据采集自多个厂商的扫描设备,NIHSS较低且ASPECTS较高。因此,外部验证集中的诊断性能是合理可接受的,且与已报道的结果一致。

若干局限性值得讨论。首先,本研究主要关注卒中病灶,忽略了其他神经影像学征象的存在。特别是,脑白质病变和陈旧性梗死的存在可能干扰ASPECTS的计算。其次,参考标准是患者在获得完全再灌注后24小时内获取的MRI梗死图像,导致NCCT梗死与随访采集之间存在时间延迟。由于梗死随时间增长,该时间延迟可能引入DWI梗死偏倚。第三,尚未考虑患者的预后结局,应开展前瞻性研究以评估所提出模型带来的患者预后改善。

总之,所提出的深度学习模型能够自动检测EIC并解读ASPECTS,在临床场景中展现出改进且可靠的性能。深度学习ASPECTS模型可以成为普通放射科医师的良好助手,尤其是在专业知识和资源有限的医院,并进一步指导急性缺血性卒中(AIS)的治疗决策。

补充信息

附加文件1。本材料补充了图像采集参数、模型结构、损失函数及自主开发的ASPECTS图谱的详细内容。

引用

  1. Chen, Wu, Wei, et al. Improving the diagnosis of acute ischemic stroke on non-contrast CT using deep learning: a multicenter study. Insights Imaging. 2022. PMID: 36471022. doi:10.1186/s13244-022-01331-3
  2. 全文:PMC9723089(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9723089/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。