文献速递神经技术与安全CT

综合性脑CT深度学习模型对放射科医生检测准确率的影响

Effects of a comprehensive brain computed tomography deep learning model on radiologist detection accuracy.
PubMed 文献 · Eur Radiol · 2023-08-22

这项回顾性多阅片者多病例研究评估了深度学习模型辅助放射科医生解读脑非增强CT的表现,模型在144个发现上的平均AUC为0.93,辅助后放射科医生在22个父级发现上的平均AUC从0.73升至0.79,在189个子级发现上从0.68升至0.72,91个发现的AUC显著改善,阅读时间平均缩短26.5秒。

要点

  • 模型独立在144个发现上平均AUC为0.93,显著优于未辅助放射科医生的平均表现。
  • 辅助后放射科医生在22个父级发现上平均AUC从0.73升至0.79,在189个子级发现上从0.68升至0.72。
  • 模型辅助使阅读时间平均缩短26.5秒(95% CI 13–41秒,p < 0.01)。

核心结论

  • 综合性深度学习模型的辅助显著提高了放射科医生在广泛临床发现上的检测准确率,并显示出改善脑非增强CT解读的潜力。
  • 模型独立表现强劲,可能减少错误、提高效率、促进分诊并更好地实现及时患者照护。

研究设计与样本

  • 回顾性多阅片者多病例研究,32名放射科医生在至少4个月(124天)洗脱期前后分别无辅助和有辅助解读2848例脑非增强CT。
  • 模型训练集为212,484例脑非增强CT(来自168,326名唯一患者),测试集为2848例(来自2419名唯一患者),病例来自澳大利亚一家私人放射学集团。
  • 纳入标准为年龄≥18岁且序列层厚≤1.5 mm,扫描来自住院、门诊和急诊环境。
  • 参考标准为三名澳大利亚专科神经放射科医生裁决的真实标签,分类标签由143名顾问放射科医生标注并使用Dawid-Skene共识。
  • 模型为五折交叉验证训练的五个CNN集成,基于ResNet、Y-Net和ViT架构,同时训练所有发现。

关键影像表现/征象

  • 模型辅助下,多数未辅助时漏诊的细微急性脑梗死(如右侧枕叶低密度)被更多放射科医生检出。
  • 模型可对细分发现(如急性脑梗死、亚急性硬膜下血肿、胶体囊肿、脑室内出血)进行定位和分割叠加显示。
  • 模型提供三维可视化功能,可在单一病例中展示多个发现。

诊断标准与关键数值

  • 模型独立在144个发现上平均AUC为0.93,在父级发现上平均AUC为0.90。
  • 未辅助放射科医生在22个父级发现上平均AUC为0.73,在189个子级发现上平均AUC为0.68。
  • 辅助放射科医生在22个父级发现上平均AUC为0.79,在189个子级发现上平均AUC为0.72。
  • 91个子级发现的AUC在辅助后显著改善,158个发现临床非劣效,仅1个显著下降具有临床意义(小脑发育不全)。
  • 模型辅助使平均阅读时间从236.0秒降至209.5秒,平均缩短26.5秒(95% CI 13–41秒,p < 0.01)。

临床应用与阅片要点

  • 模型辅助可提高放射科医生对细微发现的检出(如低AUC的「分水岭梗死」未辅助AUC 0.57,辅助后0.68,模型独立0.92)。
  • 模型辅助平均提高召回率(敏感度)而不降低精确率。
  • 模型辅助对危重发现(基于beta值选择)优先提高敏感度,可能减少漏诊。
  • 模型辅助对91个发现的AUC有显著改善,但对17个发现出现AUC下降,其中16个统计学劣效,仅1个临床显著。

局限性

  • 原文在讨论中指出,需要进一步工作来研究辅助读者与模型性能之间差距的驱动机制。
  • 原文未报告其他局限性。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2023 Aug 22;34(2):810–22. doi: 10.1007/s00330-023-10074-8

引言

计算机断层扫描(CT)发明于20世纪70年代,是第一种可用于脑部直接成像的方法,至今仍是用于此目的的主要成像方式。脑部非增强计算机断层扫描(NCCTB)常用于疑似颅内病变的患者,主要因其可及性好且采集时间短[1]。在急诊医学中,NCCTB能够快速诊断并为原本可能遭受重大并发症或死亡的患者提供及时救治[1, 2]。2016年,美国进行了超过1500万例NCCTB检查[3]。即使在资深放射科医师阅片者中,也已报道了梗死检测、轴外占位和血管血栓形成方面的错误模式[4, 5],而临床经验不足、疲劳和中断似乎会增加错误发生的可能性[6]。为解决这些问题,人们已尝试开发人工智能(AI)系统以减少错误并协助临床医师进行判读[7]。

深度学习卷积神经网络(CNN)是一类设计用于处理多维图像数据的神经网络。CNN已成功应用于许多医学领域[8, 9],并在放射学中展现出强大的图像分类性能[10, 11]。放射学中的深度学习系统似乎能提高放射科医师的临床发现检测能力[10],尤其是低年资临床医师[11],并有助于缩短平均判读时间[10, 12]。然而,大多数已开发的NCCTB深度学习系统范围有限,仅能检测单一或少量临床发现。Chilamkurthy等(2018)训练并验证了一个模型,该模型能够准确检测四项关键临床发现(包括多种出血类型),所用数据集包含313,318例NCCTB,并使用放射学报告自动标注[7]。其他深度学习系统已被开发用于准确检测颅内出血[13]、创伤性脑损伤[14]、急性梗死[15]和痴呆[16]。然而,现有系统的狭窄范围限制了其临床效用。针对其他模态的深度学习系统存在提高临床全面性的趋势[10, 17],并且在扩大旨在辅助NCCTB判读的深度学习系统范围方面存在相当大的机会。

我们开发并评估了一个全面的深度学习系统,旨在协助临床医师判读NCCTB检查并提示疑似发现。该系统适用于成年患者的非增强脑部CT扫描(脑部卷积核)。研究问题包括以下内容:(1)当深度学习系统作为助手使用时,放射科医师的判读性能如何变化?(2)与经验丰富的执业放射科医师相比,该全面深度学习模型的表现如何?

方法

研究设计

设计了一项回顾性多阅片者多病例(MRMC)研究,以评估32名放射科医师在有无深度学习系统辅助下的检测准确性。放射科医师首先在不使用深度学习工具的情况下判读病例,然后在至少4个月(124天)的洗脱期后,借助深度学习工具重新判读同一组病例。

模型开发与评估涉及由三个互斥的放射科医师组对NCCTB数据集进行标注和判读,各组执行不同的职能:对包含测试和训练数据的更广泛数据集进行初始分类标注由来自越南的143名顾问放射科医师完成,

对测试数据集标签计算了Dawid-Skene共识,并由来自澳大利亚的三名神经放射学专家对这些标签进行了金标准裁定,以及

MRMC研究中对测试数据集的判读由来自越南的32名顾问放射科医师完成。

对更广泛数据集的分类标注确定了每个病例中存在的影像学表现,这些表现由顾问神经放射学家前瞻性开发的本体树所定义,该本体树包含214项临床发现(192项子发现和22项父发现;补充材料)。金标准标注确定了本MRMC研究中使用的测试数据集病例中存在的影像学表现。

伦理批准

本研究获得了Bellberry人类研究伦理委员会(HREC;批准号:2021–02-123和2021–03-259)、澳大利亚圣母大学HREC(批准号:2020-127S)以及胡志明市医药大学生物医学研究伦理委员会(IRB-VNO1002)的批准。考虑到澳大利亚《人类研究伦理行为国家声明》,本研究中使用去标识化CT数据的知情同意豁免获得了批准。

本体树

开发了一棵本体树,规定了临床发现并描述了这些发现之间的关系(补充材料)。214项发现中的每一项均由三名澳大利亚亚专科神经放射学家共识定义。参与标注和评估的放射科医师接受了培训,以根据这些定义识别NCCTB发现。

数据

本研究使用了215,332份NCCTB,来自170,745名唯一患者,数据取自澳大利亚一家私立放射学集团。病例包括住院、门诊和急诊环境中的扫描。纳入标准为年龄≥18岁且序列层厚≤1.5 mm。NCCTB对本体树的每个子发现进行了分类标注,每份扫描由三至八名放射科医师标注。标注者在开始前完成了培训,包括熟悉标注工具、审阅每项发现的定义,并在一个由183份NCCTB组成的精选数据集上进行练习。标注者的表现使用F1指标[18]进行评估,每人在开始前均表现出F1分数>0.50。每位放射科医师获得每个病例的相同数据,但对其他放射科医师生成的标签设盲。提供了放射学报告、患者年龄和性别,以及研究中的所有序列和配对的CT或磁共振成像(MRI)扫描。每个病例中每项发现的共识分类标签使用Dawid-Skene算法[19]生成0到1之间的评分。对一部分发现进行了定位标注(3D分割和侧别化)(补充材料)。标注者获得了可定位的阳性发现,并被指示仅对这些发现进行分割/侧别化。分割图每份均由三名放射科医师标注。

训练数据集

用于训练的数据子集包含212,484份NCCTB(168,326名 unique 患者)。分类标签用于训练模型检测所见。父级所见根据子级标签自动标注。模型从原始标签和本体树结构中学习。分割图用于训练模型生成叠加输出。

测试数据集

功效分析确定,需要至少2848例(2419名 unique 患者)的MRMC测试数据集,才能在30名放射科医师的检测准确率中检出受试者工作特征曲线下面积(AUC)0.02的平均差异(α=0.05,β=0.8)。病例从标注数据集中抽取,以在每个所见达到足够病例数的同时尽可能保持总病例数最低。MRMC测试数据集病例在患者层面被排除于模型训练之外。测试数据集中的每个病例均经过裁定性金标准标注流程,以确保高质量金标准。金标准标签由三名接受过专科培训的神经放射学亚专科医师之一确定,他们审查了Dawid-Skene共识标签以及初始三名标注者所选择的分类标签。这些神经放射科医师可获取匿名化临床信息、既往和后续放射学检查以及放射学报告。他们无法获取深度学习模型的输出。

深度学习模型开发

深度学习模型由五个CNN组成的集成模型构成,采用五折交叉验证训练。该模型有三个头:一个用于分类,一个用于左右定位,一个用于分割。模型基于ResNet [20]、Y-Net [21]和ViT [22]架构。单个集成模型在所有所见上同时训练。通过类别平衡损失加权和对带分割标签实例进行超采样来缓解类别不平衡。研究终点评估分类模型(v1.0)的性能。在模型开发过程中,基于临床和统计学考量,共选择144个所见纳入MRMC研究中的AI模型。纳入的所见需满足:(1)达到至少0.80的AUC;(2)在所选操作阈值下能够达到至少0.20的最低精确率;(3)训练集中至少有50例;(4)表现不低于既往已发表的针对可比临床所见的AI性能。β值由亚专科神经放射科医师团队根据所见的关键性选择。关键性越高,对漏检所见的容忍度越低,因此选择更高的β值以提高模型灵敏度。

MRMC测试数据集判读

32名放射科医师,每人在完成放射科专科培训后具有2至21年的临床经验(中位数=8年),每人均对MRMC数据集中的全部2848例病例进行了解读。展示了患者年龄、性别及放射学申请单的临床主干信息,但未提供放射学报告或其他对比图像。要求放射科医师使用7点量表对本体树中214项发现中的每一项存在与否的信心进行评分。AI工具显示了深度学习模型检测到的发现,以及模型信心的度量。对于部分发现,显示了分割叠加图。放射科医师在诊断级显示器和硬件上进行交互操作。解读时间由DICOM查看平台记录。放射科医师接受了关于本体树定义和标注方法的培训。随后,他们在无模型辅助的情况下独立评估了全部2848项检查。经过洗脱期后,提供了关于AI工具使用的培训,同样的放射科医师在有模型辅助的情况下再次独立评估了这些检查。

分析

本研究的主要目标是量化放射科医师在有和无模型辅助下检测性能的差异。次要目标是将无辅助阅片者的性能指标与独立深度学习模型进行比较。对于主要目标,计算了AUC和马修斯相关系数(MCC)的差异。AUC和MCC被报告为主要指标,因为AUC是广泛接受的机器学习性能指标,而MCC比其他指标能提供更具信息量的分类器性能指示。绘制了受试者工作特征(ROC)曲线;使用美国食品药品监督管理局(FDA)iMRMC v4.0.3软件和广义Roe and Metz模型分析放射科医师在有和无模型辅助下的性能(AUC)[23, 24]。使用自助法确定各臂之间每项发现的平均放射科医师性能是否存在统计学显著差异。使用Benjamini–Hochberg程序(alpha=0.05)控制错误发现率以校正多重比较[25]。AUC差异大于0.05被认为具有临床意义[26];临床非劣效性定义为双侧95%CI的下尾大于−0.05,临床劣效性定义为双侧95%CI的上尾小于−0.05。统计学优效性定义为双侧95%CI的下尾大于零,统计学劣效性定义为上尾小于零[10]。具有临床意义的MCC被认为差异大于0.1。对于次要目标,使用相同的自助法技术将模型的AUC与每项发现的无辅助放射科医师平均AUC进行比较。分析由多名研究人员(C.T.、J.S.、L.D.S.P.)进行并验证。方法学由一位独立的生物统计学教授(G.H.)验证。

结果

训练和测试数据集特征见表1。模型辅助提高了放射科医师的判读性能。在22项父级发现中,无辅助和有辅助的放射科医师平均AUC分别为0.73和0.79。有三项子级发现病例太少,无法计算读者性能(“前庭导水管扩大”:0例,“颅内压监测器”:0例,“颈长肌钙化”:1例)。无辅助放射科医师在其余189项子级发现中的平均AUC为0.68。最低AUC见于“脑室内碎屑”(0.50,95% CI = 0.49–0.51)。最高AUC见于“深部脑刺激(DBS)电极”(0.97,95% CI = 0.95–0.99)、“脑室腹腔(VP)分流管”(0.96,95% CI = 0.95–0.97)和“动脉瘤弹簧圈”(0.95,95% CI = 0.93–0.98)。有辅助放射科医师在189项子级发现中的平均AUC为0.72。最低AUC见于“脑室内碎屑”(0.50,95% CI = 0.500.50)。最高AUC见于“DBS电极”(0.99,95% CI = 0.99–1.00)、“动脉瘤弹簧圈”(0.97,95% CI = 0.94–0.99)和“VP分流管”(0.97,95% CI = 0.95–0.98)。

在模型辅助下,放射科医师AUC的变化在91项子级发现中为正向且具有统计学显著性。AUC增幅最大的三项发现为“钩回疝”(AUC增幅0.19,95% CI = 0.14–0.24)、“脑沟变浅”(AUC增幅0.19,95% CI = 0.16–0.21)和“小脑扁桃体疝”(AUC增幅0.19,95% CI = 0.12–0.25)。当模型用作辅助时,发现17项AUC下降,其中16项在统计学上较差。158项发现在临床上非劣效,仅有一项统计学显著下降具有临床意义(“小脑发育不全”)。图1展示了22项父级发现中有辅助和无辅助放射科医师的AUC。所有统计量见补充材料。

模型使用与统计学显著更短的平均判读时间相关(模型辅助下快26.5 s,95% CI = 13–41 s,p < 0.01)。研究第一组的平均判读时间为236.0 s(中位数198.0 s,IQR 140.8–282.2 s),而第二组的平均判读时间为209.5 s(中位数163.5 s,IQR 106.5–254.8 s)。

当放射科医师使用深度学习模型作为辅助时,81项子级发现的MCC显示出统计学显著改善。169项子级发现在临床上非劣效(∆MCC 95% CI下限大于−0.1)。有一项发现在统计学上较差(“小脑发育不全”)。

表1 训练和测试(即MRMC)数据集详情。数据以n(%)、均值(SD)或中位数(IQR)表示 查看原表 ↗
图1 放射科医师在深度学习模型辅助下父级发现AUC的变化。图中显示了模型、无辅助和有辅助放射科医师的平均AUC以及AUC变化(即delta)及其调整后的95% CI,针对每项父级发现。当95% CI下限大于0.05时,认为发现具有临床意义;当95% CI下限大于零时,认为具有统计学意义 查看原图 ↗

独立模型性能

由于性能不足,48项发现被从最终模型中排除(补充材料),最终共有144项模型发现。该模型单独在所有144项模型发现上的平均AUC为0.93,在父级发现上的平均AUC为0.90。最低AUC见于“非侵袭性骨病变”(0.74,95% CI 0.68–0.80)和“非侵袭性轴外脂肪密度”(0.74,95% CI 0.63–0.85)。最高AUC为1.00,见于“DBS电极”(95% CI 1.00–1.00)和“人工耳蜗”(95% CI 1.00–1.00)。对于142项临床发现,模型AUC在统计学上优于未辅助放射科医师的表现。其余两项发现尚无定论。比较模型表现与放射科医师平均表现的ROC曲线见图2(父级发现)。

图3展示了模型对所有发现的放射科医师召回率和精确率的影响,按每项发现所选beta值分为三组后取平均值。图4展示了一例急性脑梗死(A–C)示例,其NCCTB变化细微,大多数未辅助的放射科医师均漏诊。然而,当大多数放射科医师使用深度学习工具时,该梗死被识别出来。还展示了一例细微的亚急性硬膜下血肿(D–F),以及模型输出和7天后的扫描图像。还展示了一例胶样囊肿及其模型置信度(G–H)。图5展示了一例脑室内出血。图6展示了模型的三维功能,可视化显示单个病例中的多项发现。

图2 父级发现的ROC曲线,展示模型的表现以及辅助和未辅助放射科医师的平均表现 查看原图 ↗
图3 使用深度学习模型后的性能改善。未辅助和辅助放射科医师的精确率和召回率(即敏感度)在所有发现上取平均值,基于每项发现所选beta水平。箭头表示放射科医师在AI辅助下召回率和精确率的变化。平均而言,模型辅助导致召回率(敏感度)提高,而精确率未下降 查看原图 ↗
图4 A 一名79岁女性的脑非增强CT检查,表现为急性卒中症状。右侧枕叶的细微低密度在研究的未辅助组中被32名阅片者中的30名漏诊,但在使用深度学习工具作为助手时被26名阅片者检出。B 模型输出。模型准确地将右侧枕叶内的大面积梗死区域定位(紫色阴影)。C DWI图像清晰显示该患者的急性梗死区域。D 小双侧等密度亚急性硬膜下血肿示例。E 模型将这些血肿定性为亚急性硬膜下血肿并以紫色阴影定位。F 7天后进行的CT扫描。随着血肿演变为低密度,其在后续扫描上更为明显。G 脑非增强CT检查显示胶样囊肿。H 同一胶样囊肿病例及模型分割示例和高置信度 查看原图 ↗
图5 脑非增强CT检查显示脑室内出血,以及决策支持系统用户界面示例 查看原图 ↗
图6 单个病例的三维(3D)可视化,包含多项临床发现,展示模型的三维功能。模型预测的发现与真实标注并列呈现。 查看原图 ↗

讨论

自CT发明以来,其空间分辨率和对比度分辨率已有显著提高,使临床医生更容易检出异常。本研究展示了CT诊断的进一步进展,即通过使用综合人工智能来帮助临床医生在平扫CT(NCCTB)上检出一系列异常。所开发的模型涵盖144项临床发现,并在一项大规模MRMC研究中得到验证。在无模型辅助时,阅片者的表现因发现的细微程度和固有主观性而差异巨大。未辅助阅片者在所有发现上的平均AUC为0.68。模型单独的平均AUC显著更高,为0.93。在模型辅助下,放射科医生在91项临床发现上的表现显著改善。模型高准确性的一个驱动因素是大规模训练数据集,包含212,484项检查,每项检查均由多名放射科医生对192项发现逐一标注。

模型获益在帮助放射科医生检出细微发现时最为明显。“分水岭梗死”的未辅助放射科医生AUC较低,为0.57,表明其表现仅略优于随机猜测。急性梗死的真实标注通常借助弥散加权MRI扫描或随访CT辅助。弥散加权是检测急性梗死最准确的方法,因为它可检测与微观组织变化相关的信号。CT依赖宏观组织变化来产生密度变化。然而,随着梗死时间推移,其变得更明显,从而可在随访CT检查中更清晰地检出。模型对“分水岭梗死”的表现AUC为0.92(0.88–0.94),表明尽管这一发现对放射科医生而言难以检出,但CT扫描上通常存在细微异常,使模型能够检出。辅助阅片者的AUC为0.68,而未辅助阅片者的平均AUC为0.57。放射科医生在模型辅助下检出这些梗死的显著改善表明,这些检查中的发现对人眼可见,尽管在研究未辅助组中常被漏诊。需要进一步研究以探讨导致辅助阅片者与模型表现之间差距的机制。

有趣的是,该模型对读者的影响不止于提高他们的准确性。在放射学中,召回率(即敏感度)与精确率之间往往存在权衡。通常的平衡方式是使精确率高于召回率,这主要是因为放射学中的大多数错误是视觉感知错误[27],这些错误会导致假阴性并降低召回率。临床医生的视觉搜索会偏向图像的某些部分而非其他部分。相比之下,卷积神经网络(CNN)倾向于以同等程度的细致审视图像的各个部分,并能提醒放射科医生注意他们否则可能遗漏的发现,从而提高其召回率。我们发现,通过改变模型针对不同发现的阈值所对应的beta水平——这改变了模型对这些发现的召回率与精确率的平衡——我们可以改变放射科医生在模型辅助下时的召回率与精确率平衡。Beta水平是根据发现的关键性来选择的。其逻辑是,对于关键性发现,假阳性的代价低于假阴性的代价,因此理想情况下,读者应倾向于召回率而非精确率。对于低关键性发现,则应倾向于精确率;如果beta水平设为1,则召回率与精确率权重相等。正如预期,在研究的无辅助组中,读者倾向于精确率而非召回率。在研究的有辅助组中,精确率与召回率的比值很大程度上取决于为各发现所选择的beta水平。对于高关键性发现,召回率如所期望地优先于精确率,而对于低关键性发现,精确率仍被优先考虑。在不损失精确率的情况下,有模型辅助时高关键性发现的召回率显著提高。因此,放射科医生在AI工具辅助下取得的大部分最大性能提升都来自临床关键性发现。

对于大多数发现,模型的AUC高于有辅助放射科医生的平均AUC。这一效应已被广泛认识,并在临床决策支持文献中有大量描述[10, 28]。放射学中的许多发现并非完全二分类,其存在或缺失可能模棱两可。放射科医生并不总是遵循模型预测这一观察结果,最可能反映了这些病例中发现的模棱两可的表现。许多文章描述了放射学中的观察者间分歧,急性梗死尤为如此[29, 30]。对于表现较少模棱两可的发现,如轴外积液,放射科医生的表现与模型相似。

局限性与未来方向

尽管使用了来自多个站点、具有不同人口统计学特征和不同CT扫描仪的真实世界数据,但该研究本质上是回顾性的。另一个局限性是,由于研究数据集进行了全面匿名化处理,我们无法进行连续病例选择以更好地复现真实世界实践。病例改为随机选取。AUC下降0.05被定义为具有临床意义,只有小脑发育不全达到了这一劣效水平。其余16项在统计学上劣效的发现仅显示AUC的轻微下降,根据专科神经放射科医师的判断,这些下降不具有临床意义。必须权衡该模型的获益与使用AI工具相关的可能一般风险。如果用户对该工具了解甚少或工具以不正确的方式使用,此类风险(例如自动化偏倚)可能会成为现实。最终必须由医生决定模型预测的发现是否确实存在于扫描图像上。

CTB深度学习系统的主要用途将是协助放射科医师进行NCCTB的报告。该系统还可用于分诊和住院环境中,在诊疗现场协助临床医生进行决策,特别是在可能无法随时获得专家放射科医师建议的资源匮乏环境中。

结论

本研究表明,在受控环境中使用基于AI的综合软件系统可协助放射科医师在脑部非增强CT扫描上检测一系列异常。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 231 KB)

引用

  1. Buchlak QD, Tang CHM, Seah JCY, et al. Effects of a comprehensive brain computed tomography deep learning model on radiologist detection accuracy. Eur Radiol. 2023. PMID: 37606663. doi:10.1007/s00330-023-10074-8
  2. 全文:PMC10853361(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10853361/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。