文献速递胸部技术与安全DR

卷积神经网络与放射科医生对COVID-19早期检测的比较

A comparison of Covid-19 early detection between convolutional neural networks and radiologists.
PubMed 文献 · Insights Imaging · 2022-07-28

研究基于BIMCV公共数据集,用四网络集成模型Ensemble4Covid在首次临床胸部X线片上检测COVID-19,并与5名不同年资放射科医生比较;模型AUC 0.85高于医生共识的0.71,但作者指出未做肺实质分割、训练测试来自同一中心等局限。

要点

  • Ensemble4Covid在首次就诊胸片上诊断COVID-19的AUC为0.85,5名放射科医生共识AUC为0.71。
  • 模型在特异度70%(64–75%)时敏感度为85%(79–89%),高于同一组放射科医生。
  • 作者指出AI未做肺实质分割,无法确定其依据的是肺炎还是肺外特征。

核心结论

  • 使用首次临床就诊的胸片会显著降低COVID-19检测性能,Ensemble4Covid在此条件下性能明显高于5名放射科医生的共识。

研究设计与样本

  • 回顾性研究,使用BIMCV-COVID19+与BIMCV-COVID19-公共数据集,来源为西班牙瓦伦西亚地区医学影像数据库,涵盖23家医院、18个卫生部门。
  • 纳入6,962例患者(4,566例阳性、2,396例阴性),训练集含3,647例阳性(9,188张正位胸片)和1,908例阴性(2,551张正位胸片)。
  • 独立测试集含310例阳性(首次临床就诊且检测在±1天内)和527例阴性;医生评估子集随机抽取225例阳性和255例阴性。
  • 参考标准为观察期内至少一次RT-PCR、IgM或IgG阳性判为阳性,所有检测均阴性判为阴性;图像来自20家不同厂商设备。
  • 模型为ResNet50、Densenet121、InceptionV3、InceptionResNetV2四网络线性集成(Ensemble4Covid),图像预处理为256×256像素。

关键影像表现/征象

  • Grad-CAM真阳性热图显示重要区域对应斑片状实变和磨玻璃影,呈外周、双侧分布,或右肺中下野为主。
  • Grad-CAM假阳性热图显示重要区域对应右肺多发实变无区域优势、单侧右下肺 opacity 及对侧腋窝软组织、右肺外周肩胛骨重叠及心后左肺下叶血管。

诊断标准与关键数值

  • Ensemble4Covid在836张测试图像上AUC为0.856,阈值取Youden指数最大化处。
  • 男性AUC 0.88 vs 女性AUC 0.83;小于40岁患者AUC 0.82 vs 大于等于40岁患者AUC 0.86。
  • 与5名放射科医生共识比较,Ensemble4Covid AUC 0.85 vs 放射科医生AUC 0.71。
  • Ensemble4Covid在特异度70%(64–75%)时敏感度85%(79–89%)。
  • 放射科医生标签按BSTI模板分为正常、可能COVID-19、不确定、其他非COVID-19异常,并转化为0–2分评分系统。

临床应用与阅片要点

  • 作者认为AI可用于COVID-19的快速诊断,在资源匮乏环境中可对每例胸片提供即时放射学报告。
  • 作者认为该工具可经远程放射学提供给缺乏微生物检测的地区使用。
  • 作者指出AI结果提示COVID-19时,可对微生物检测阴性或早期影像报告阴性的患者建议更密切的临床和影像随访。

局限性

  • 未做肺实质分割,无法确定AI检测的是肺炎还是其他异常,包括心血管和肺外表现(如提示男性或肥胖的数据),这可能使AI与放射科医生的诊断性能比较不可靠。
  • 软件在同一中心患者中训练和测试,尚需在不同放射设备、不同社会人口学人群和不同疾病患病率中验证。
  • 分析仅使用胸片表现,未纳入人口学和实验室数据。
  • 尚未评估该工具在临床实践中对放射科医生的贡献,AI较高敏感度在常规工作环境中可能消失,需前瞻性测试。
  • 缺乏COVID-19疑似症状体征和申请额外检查的精确信息,可能高估AI性能。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Jul 28;13:122. doi: 10.1186/s13244-022-01250-3

要点

使用常规胸部X射线(CXR)检测COVID-19的敏感性取决于疾病的演变过程。

与一组放射科医生相比,人工智能在疾病发病初期达到了更高的敏感性。

这种早期检测COVID-19的能力可应用于资源匮乏的环境,为每位接受CXR检查的患者提供即时放射学报告。在缺乏微生物学检测的地区,该工具的辅助还可通过远程放射学提供。

背景

2019年冠状病毒病(COVID-19)的出现极大地改变了全球数百万人的生活方式,使公共卫生面临风险并使卫生系统不堪重负。截至2021年9月,全球病例数超过7000万,直接死亡人数约为470万[1]。早期发现Covid-19病例对于降低传播率和采取适当的治疗措施仍至关重要[2]。

COVID-19诊断的标准方法是逆转录聚合酶链反应(RT-PCR)[3]。在大流行初期,当RT-PCR检测稀缺时,影像学检查对于诊断COVID-19至关重要。然而,尽管胸部计算机断层扫描(CT)[4]或X射线摄影[5, 6]在整个大流行演变过程中一直具有相关性,但最初通过肺部受累来识别COVID-19的重点已经改变。与此同时,不同的实验室检测变得越来越可及。目前,胸部X射线摄影(CXR)是推荐用于疑似由SARS-COV-2感染引起的呼吸道症状患者初步评估的影像学检查[7]。其主要作用现在是作为肺部损伤较高严重程度的生物标志物以及该肺部受累随时间变化的随访工具,包括肺部扩散的速度。这些临床变量的相关性推动了不同人工智能算法的发展,用于自动检测COVID-19胸部受累[8–11]。

此前已有许多关于使用人工智能结合胸部X线片检测COVID-19的报道结果。最初,许多研究局限于小型数据集,或使用质量参差不齐的公开可用图像[12, 13]。尽管如此,其他近期研究使用了更广泛、更一致的数据集,产生了更可靠的结果[10]。COVID-19的早期诊断将使我们能够在更高治疗级别上预判诊疗[14, 15]。尽管如此,胸部X线片(CXR)在疾病初期阶段的预测能力,无论是对于放射科医师还是对于人工智能算法,都较低。我们假设我们的人工智能算法仍能在疾病初期阶段进行的胸部CXR中检测到COVID-19的放射学征象,其性能可与放射科医师相竞争。尽管在发达国家,COVID-19诊断目前并不像大流行第一阶段那样依赖影像学技术,但可靠的人工智能算法对于分析资源系统性匮乏的地区可能具有实质性帮助。然而,在后大流行的未来,对于高需求且超负荷的急诊科和放射科而言,区分疾病极早期阶段的COVID-19与其他具有相似临床特征演变的其他疾病可能是有益的。该算法将成为呼吸系统患者分诊的相关临床工具。因此,基于CXR图像,我们的目标是比较自动化人工智能算法与放射科医师解读在检测COVID-19方面的性能。但是,与其他相关算法不同,我们的CXR图像对应于疑似COVID-19肺炎患者进行的首次检查,包括阳性和阴性病例。另一方面,在我们的研究中,阴性病例是在研究同一时期内任何RT-PCR检测均未呈阳性的患者,与既往研究中非COVID-19病例选自大流行前时期患者相比[9, 16],这降低了偏倚的可能性。

材料与方法

医学影像人工智能清单(CLAIM)已作为附加文件1添加[17],系根据Roberts等人在[18]中的建议。

数据

我们的回顾性研究纳入了来自公开可用的BIMCV-COVID19+[19]和BIMCV-COVID19-[20]数据集的阳性患者和阴性患者。该数据的来源是西班牙瓦伦西亚地区医学影像数据库(BIMCV),该数据库包含来自18个卫生部门的23家医院。

数据集包含COVID-19/非COVID-19患者的胸部X线(CXR)图像,以及聚合酶链反应(RT-PCR)、免疫球蛋白G(IgG)和免疫球蛋白M(IgM)诊断性抗体检测和影像学报告。CXR图像使用来自20家不同供应商的放射学设备采集,确保数据集具有较大的变异性。2020年4月至6月(观察期)连续招募符合以下纳入标准的患者:(a)因临床怀疑SARS-COV-2感染而进行了RT-PCR和/或IgM或IgG血清学检测,以及(b)在微生物学或血清学检测日期后一周内完成了首次便携式或站立式胸部X线检查。18岁以下患者被排除。我们用于区分有无急性SARS-CoV-2感染患者的金标准检测为RT-PCR;然而,鉴于该检测的局限性并依据[21]中提出的建议,也使用了血清学检测(Ig)。因此,在观察期内至少有一项RT-PCR、IgM或IgG检测阳性的患者被归类为SARS-COV-2感染阳性(以下简称“阳性”)。在观察期内所有进行的血清学或微生物学检测结果均为阴性的患者被归类为无SARS-COV-2感染的患者(以下简称“阴性”)。一名患者在此期间可能有多次检查和诊断检测且结果不同。

数据集

排除18岁以下患者后,本研究纳入6,962名患者(4,566名阳性,2,396名阴性)。进行了随机拆分以获得独立于测试集的训练集。训练集包括3,647名阳性患者(9,188张正位CXR)和1,908名阴性患者(2,551张正位CXR)。独立测试集包括其余患者,即a)310名SARS-CoV-2感染阳性患者,其CXR图像满足来自首次临床就诊的要求,且属于在正负一天内检测阳性的患者,以及b)527例阴性病例,其图像对应于首次临床就诊。需要强调的是,测试集仅保留了首次临床就诊的图像,因为我们关注的是COVID-19的早期诊断。图1显示了数据的详细分解。请注意,正位CXR的数量高于患者数量,因为一名患者在第一天可能接受了多项不同的临床检查,而一次临床检查可能包含多张正位CXR。请注意,所有临床就诊的所有正位CXR均纳入训练集。此设置增加了可用训练图像的数量,这在训练深度神经网络模型时至关重要。

最后,从测试集中随机抽取225项阳性和255项阴性检查的子集,用于放射科医师评估。

表1给出了训练数据集和测试数据集的详细人口统计学描述。该表显示,训练组与测试组之间以及阳性与阴性病例之间在年龄和性别上没有显著差异。阳性训练患者影像数量较多,是由于对该特定组进行了随访检查。请注意,阳性测试患者并非如此,因为仅使用首次临床就诊时的图像进行评估。可能导致结果偏倚的一个因素是从移动设备或固定设备采集的图像质量不同。表1还显示了使用移动设备获取的图像比例,不同组之间该比例相似。最后,该表还显示男性组的发病率更高(p < 0.05),这与之前其他研究 [22] 的结果一致。

图1 数据整理和数据划分流程图 查看原图 ↗
表1 数据集详细描述 查看原表 ↗

深度学习模型

与文献中的其他工作一样,我们的方法基于使用深度卷积神经网络,这些网络可作为预训练模型 [23] 使用,以应用迁移学习技术。使用了四种不同的知名卷积架构,均使用ImageNet数据集 [24] 进行预训练。具体而言,选择了ResNet50 [25]、Densenet121 [26]、InceptionV3 [27] 和InceptionResNetV2 [28]。

在将图像输入模型之前,通过使用每幅图像的最大像素值对像素强度进行归一化,并将图像调整至固定分辨率256 × 256像素,对图像进行预处理。在网络开头添加了一个三通道卷积层,以使这些架构适应灰度胸部X射线(CXR)图像。该层用作伪彩色转换,以适配期望彩色图像的预训练输入层。此外,在预训练网络顶部添加了全局平均池化(GlobalAveragePooling)[29] 和一个全连接(Dense)层,并使用sigmoid激活函数以提供评分。

经过所有这些修改后,最终通过使用Adam优化器、学习率退火以及24个样本的批量大小来最小化二元交叉熵,对网络进行优化。优化在固定的50个轮次上进行,前25个轮次的学习率为0.001,最后几个轮次的学习率为0.0001。该网络使用Keras库 [30] 进行了完整的端到端训练,包括所有预训练网络权重。

训练卷积神经网络的一个关键问题是为问题选择合适的数据增强策略。在这个意义上,探索了RandAugment技术[31],其策略包括:自动对比度、均衡化、旋转、对比度、亮度、锐度、剪切、X平移和Y平移。此外,RandAugment需要指定两个主要参数:同时应用策略的数量,以及这些增强的强度。RandAugment总是以均匀概率选择一种变换。因此,给定训练图像的N种变换,RandAugment可能应用不同的策略。使用了不同的和参数值,每种增强定义的最大强度为30。总共使用4种拓扑、3个值和2个值的不同组合来训练总计24个模型。和的可能值使用从训练集中按80/20分区提取的验证集来选择。为此,选择验证集上的ROC曲线下面积(AUC)作为优化指标。

与放射科医生的比较

五名分别具有1、3、6、12和14年经验的放射科医生,且近期具有COVID-19胸部X线片判读的密集经验,使用225名阳性 and 255名阴性测试患者的较小子集提供评估以基准测试模型性能,如图1所示。

放射科医生对任何临床特征均设盲,并可访问完整的放射学研究(即放射科医生可以审查正位和侧位投影)。放射科医生按照COVID-19 BSTI报告模板[32]使用若干标签提供对COVID-19概率的总体主观判读:1:正常,2:可能COVID-19,3:COVID-19不确定,4:其他非COVID-19异常。放射科医生之间的一致性使用Fleiss' kappa统计量测量,它是Cohen's kappa针对多名评估者和评级[33]的推广。我们检验了kappa的潜在值为0(提示偶然一致)的零假设(= 5%)。

使用放射科医生的标签推导出三点COVID-19评分系统:正常和其他非COVID-19异常标签为评分0。

COVID-19中等概率为评分1。

COVID-19高概率为评分2。

对放射科医生的评分在三个评分之间的中间值处(0与1之间以及1与2之间)设置阈值,以获得敏感性和特异性的两个不同操作点。还通过平均个体放射科医生的评分获得共识放射科医生判读。

使用公共数据集与最先进AI算法的比较

AUC 性能可能会因用于构建训练和测试数据集的标准不同而变化。因此,我们使用最广泛的开放获取基准之一——COVID-19 数据集:COVIDx 数据集 [12],验证了我们的训练方法,以便与其他最先进方法进行客观比较。COVIDx 数据集包含 13,870 个患者病例的 13,975 张 CXR 图像。COVIDx 数据集有许多 COVID-19 阳性样本,来自五个质量不一的公开可用数据存储库。该数据集还有另外三个类别:正常、肺炎和 COVID-19。遵循 Wang 等人 [12] 的方法,使用 Densenet121 架构的单一模型性能通过敏感性和阳性预测值进行评估,使用相同的数据集划分并从头训练模型以保证公平比较。置信区间使用 2,000 个 bootstrap 样本获得 [34]。

结果

深度学习模型的性能

表 2 总结了每种不同神经网络架构在测试集上的最佳结果。RandAugment 应用了通过每个拓扑的验证子集获得的最佳参数 N 和 M。最佳结果由 Densenet121 模型在 N = 4 和 M = 30 时获得,AUC 为 0.845。这四个模型的线性集成,命名为 Ensemble4Covid,最终 AUC 达到 0.856。表中用于获得不同指标的分数阈值是使 Ensemble4Covid ROC 曲线中 Youden 指数 [35] 最大化的阈值(最大化敏感性和特异性之和)。

图 2 和图 3 显示了真阳性和假阳性病例的三个代表性示例。每张图像都显示了突出特征重要性的 Grad-CAM 热图 [36]。Grad-CAM 算法显示网络在何处寻找特定类别。因此,仅显示阳性预测的示例。

表 3 显示了使用 Ensemble4Covid 模型在不同测试组中的 AUC 结果。男性性能更好(AUC 0.88 对 0.83),40 岁以下患者略低(AUC 0.82 对 0.86)。

表 2 不同架构和 RandAugments 参数在 836 张测试图像上的结果 查看原表 ↗
图 2 真阳性 COVID-19 预测的 Grad-CAM 热图。右侧图像的红色强度表示对阳性预测重要的图像区域。这些区域对应于斑片状实变和磨玻璃影,呈外周、双侧分布 (a) 或右肺中下区为主 (b, c) 查看原图 ↗
图 3 假阳性 COVID-19 预测的 Grad-CAM 热图。右侧图像的红色强度表示对假阳性预测重要的区域。这些区域对应于右肺多发实变无区域优势 (a),单侧右肺下叶 opacity 和对侧腋窝区域软组织 (b),右肺外周肩胛骨重叠以及心脏后方左肺下叶血管 (c) 查看原图 ↗
表 3 Ensemble4Covid 在 836 张测试图像上不同年龄和性别组的性能 查看原表 ↗

与放射科医生的比较

表4提供了放射科医生与集成神经网络在放射科医生测试集(225例COVID-19阳性患者和255例阴性患者)上的比较。使用Fleiss' Kappa检验显示放射科医生之间的一致性显著高于随机水平(,)。该表显示了每个决策阈值的特异度和灵敏度。Ensemble4Covid模型的灵敏度在每个平均特异度值下给出。

通过平均放射科医生的评分获得了共识。图4比较了Ensemble4Covid模型与五位放射科医生共识的ROC曲线。它还显示了每位放射科医生的结果。五位放射科医生的共识达到了0.71的AUC。

表4 放射科医生在各阈值下的特异度和灵敏度结果 查看原表 ↗
图4 每位放射科医生的灵敏度和特异度(含95%置信区间),以及Ensemble4Model的ROC曲线(含95%置信带)和五位放射科医生的共识。每位读者根据评分阈值显示两个操作点 查看原图 ↗

与最先进人工智能模型的比较

表5显示了单个Densenet121模型的灵敏度和阳性预测值(PPV),并与Wang等人[12]报道的COVID-Net结果进行了比较。结果表明,[12]中呈现的结果与使用COVIDx数据集、按照材料与方法部分所述方法训练的Densenet121模型之间没有显著的统计学差异。AI方法在COVIDx数据集上达到的灵敏度远高于放射科医生和我们的Ensemble4Covid方法在我们数据集上取得的结果(表3)。这一结果表明,算法的性能可能受到特定数据集难度和既定标准的影响。

表5 在COVIDx数据集上的结果 查看原表 ↗

讨论

COVID-19的早期检测仍然至关重要,既有助于隔离和减少感染,也有助于实现患者监测和避免致命性进展[37]。胸部X线摄影(CXR)目前不是早期检测COVID-19疾病的合适检查[38]。然而,CXR是一种廉价、广泛可用且被高度需求的检查(尤其是在急诊科),适用于任何急性起病呼吸道症状的患者[39]。

我们应用于CXR的AI工具在特异度为70%(64–75%)时,检测COVID-19的灵敏度达到85%(79–89%),高于一组五位放射科医生,无论其在急诊环境中使用CXR技术的经验如何。

将这一工具有系统地应用于任何健康中心进行的所有CXR,将能够在没有其他检测的情况下早期发现该疾病[40]。同样,我们经历了新变异株的持续暴发,其严重程度、传染潜力和症状最初不确定,需要数周或数月的大量研究。在这种情况下,RT-PCR检测的灵敏度可能较低[41]。

此外,如果以非典型方式表现,临床怀疑和微生物学检测的申请都会被延迟。但无论临床环境如何,面对胸部症状,CXR通常默认进行且在任何微生物学检测之前完成,因此COVID-19有可能通过AI工具被检测到。

另一方面,在资源有限的环境、国家或情况下,当需要早期诊断以决定患者安置时,在合理时间内获得RT-PCR检测结果可能具有挑战性。在此背景下,将AI算法系统地应用于胸部X线(CXR)可能成为一种便捷的筛查工具[38]。如果具备适当的基础设施,这种评估也可以通过远程放射学进行。

Ensemble4Covid方法的灵敏度低于其他先前发表的算法[10, 12]。但在我们的研究中,AI仅使用首次放射学检查进行评估,此时肺部表现不如疾病更晚期阶段那样明显。然而,我们认为尽管灵敏度表面上较差,我们的结果仍值得考虑,因为本研究中使用的验证条件更接近真实应用场景,即需要早期诊断的情况。AI的优势可能在于其能够在医学图像变化尚未被人眼可见之前识别这些变化。对于COVID-19患者,在胸部X线(CXR)上异常肺密度尚未明显之前,情况可能如此。

尽管如此,我们必须承认我们的结果存在一些局限性。首先,我们不知道AI检测的是肺炎还是其他异常,因为训练中未进行肺实质分割。这些异常可能包括不同层面的病理,例如心血管甚至肺外表现,如提示男性性别或肥胖的数据,这些与COVID-19更差的预后相关[42, 43]。

这一问题可能使我们的AI与放射科医师诊断性能比较不可靠,并解释了对AI有利的显著差异。如果是这种情况,AI与放射科医师之间灵敏度和特异度的比较将受到限制。但最终,该工具仍会改善COVID-19检测,正如其他采用类似方法学的出版物所强调的那样[44],尤其是对经验较少的放射科医师而言。

因此,即使AI性能是基于检测提示COVID-19易感性的肺外特征,它也可能适用于临床决策。因此,AI结果提示COVID-19时,可建议对微生物学检测阴性或疾病早期放射学报告阴性的患者进行更密切的临床和放射学随访。未来的研究将进一步阐明该工具在得出结论时所考虑的因素。

其次,该软件在同一中心的患者中进行了训练和测试。为确定我们的结果是否可推广,未来研究将尝试使用不同放射学设备、不同社会人口学人群以及与我们用于训练算法的样本不同疾病患病率的胸部X线(CXR)进行验证[45]。然而,当应用于不同疾病患病率的人群时,用于确定工具诊断性能的AUC参数变化将很小。

第三个局限性是我们的分析仅使用了胸部X线(CXR)表现,未使用可改善模型能力的人口统计学或实验室数据。放射科医师的评估也是在非正常条件下进行的,以避免纯粹图像解读中的偏倚,即没有临床-分析信息。

第四个局限性是,该工具在临床实践中对放射科医生的贡献也尚未得到评估。因此,我们不能排除人工智能较高的敏感性在常规工作环境中可能消失,尽管我们的数据似乎支持即使对专业水平较高的放射科医生,人工智能也能改善结果。这一局限性可以通过在实际临床情境中对工具进行前瞻性测试来克服。

第五个局限性是,尽管阳性和阴性患者的样本在年龄(表1)、招募期(图1)和COVID-19临床疑似方面相似,但缺乏关于COVID-19疑似症状和体征以及所要求额外检查的精确信息,这也可能高估了人工智能工具的性能。我们的第六个局限性是参考标准固有的,如前所述多次,即RT-PCR阴性结果并不一定意味着没有疾病,可能发生了错误分类。我们认为,使用血清学检测和微生物学检测提高了分类准确性。尽管如此,我们不排除那些仅接受了RT-PCR检测的患者中可能存在SARS-CoV-2感染的假阴性,特别是如果只检测了一次。

我们的最后一个局限性是,本研究表明假阳性结果率较高,尤其是在COVID-19低流行环境中,根据我们的特异性数据高达30%。因此,RT-PCR或其他微生物学或血清学检测的数量可能会增加。然而,如果能够纳入有关患者特征的额外信息,人工智能算法可能会提高其准确性。

简而言之,该项目的初步结果表明,该人工智能算法可用于在疾病发作时进行的首次常规胸部X线摄影(CXR)中早期检测COVID-19,超越了放射科医生的表现。我们结果的普适性、算法做出决策的原因以及它可能为常规患者护理带来的附加价值将在未来的工作中阐明。

补充信息

附加文件1。医学影像人工智能清单(CLAIM)。

引用

  1. Albiol A, Albiol F, Paredes R, et al. A comparison of Covid-19 early detection between convolutional neural networks and radiologists. Insights Imaging. 2022. PMID: 35900673. doi:10.1186/s13244-022-01250-3
  2. 全文:PMC9330942(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9330942/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。