文献速递胸部CT

商业人工智能方案在胸部CT检测COVID-19肺炎中的应用:尚未准备好用于临床实施?

Commercial AI solutions in detecting COVID-19 pneumonia in chest CT: not yet ready for clinical implementation?
PubMed 文献 · Eur Radiol · 2021-12-23

本研究在双中心500例胸部CT(其中50例经微生物学证实为COVID-19肺炎)上评估4种商业人工智能方案鉴别COVID-19肺炎与其他肺部病变的性能,敏感度62-96%、特异度31-80%、阳性预测值19-25%、AUC 0.54-0.79。在含磨玻璃影的亚组中敏感度不变但特异度降至15-53%,各方案间一致性极低至不存在。作者认为这些方案经进一步改进后可能作为预警工具整合入临床工作流程,但需随机试验评估真实获益与潜在危害。

要点

  • 4种商业AI方案鉴别COVID-19肺炎的敏感度62-96%、特异度31-80%,阳性预测值仅19-25%。
  • 含磨玻璃影亚组中敏感度不变,特异度降至15-53%,AUC 0.54-0.69。
  • 各商业AI方案间一致性极低至不存在,仅两对方案间有极小一致性(κ=0.37和0.28)。

核心结论

  • 本研究凸显商业AI方案诊断胸部CT中COVID-19肺炎时特异度多变且阳性预测值低。
  • 然而一种方案的敏感度达到可接受水平。
  • 因此,目前处于开发中的商业AI方案若进一步改进,有潜力作为预警工具整合入临床常规工作流程。
  • 需要随机试验评估AI用于图像分析的真实获益及潜在危害。

研究设计与样本

  • 本研究为回顾性双中心诊断准确性研究,遵循STARD 2015指南。
  • 数据集共500例胸部CT(含和不含静脉对比剂),来自两家三级医疗机构,使用256层、64层或16层CT扫描仪(Philips)。
  • COVID-19肺炎经RT-PCR证实50例,COVID-19阴性450例(其中400例为2018年全部胸部CT中随机选取,50例来自2018年预先定义的有证实的磨玻璃影的临床数据集)。
  • 评估4种商业AI方案:contextflow(contexflow DEMO Lung CT 1.1.8版)、icometrix(Icolung 0.6.0版)、Infervision(InferRead CT Pneumonia 第1版)、Siemens(Pneumonia Assessment 2.0版)。
  • 参考标准为RT-PCR证实的SARS-CoV-2感染,所有分析纳入CO-RADS≥3的CT研究;由两位分别有7年和10年经验的放射科医师在不知COVID-19发生率的情况下判读作为对照。

关键影像表现/征象

  • 50例RT-PCR证实的SARS-CoV-2感染中,38例判为CO-RADS 5,8例为CO-RADS 4,2例为CO-RADS 1,2例为CO-RADS 3。
  • 20例(40.0%)PCR证实的SARS-CoV-2感染患者仅有磨玻璃影,28例(56.0%)磨玻璃影合并其他COVID-19影像征象,2例(4.0%)无SARS-CoV-2感染征象。
  • 50例PCR证实的SARS-CoV-2感染患者中16例(32.0%)合并细菌重叠感染。
  • 含磨玻璃影亚组共150例CT,包括48例证实SARS-CoV-2感染且有磨玻璃影的病例和102例有其他肺部病变且有磨玻璃影的病例。

诊断标准与关键数值

  • AI方案任务为将每例CT分类为「COVID-19肺炎疑似」或「非COVID-19肺炎疑似」。
  • 全部CT研究中,敏感度62-96%,特异度31-80%,阴性预测值82-99%,阳性预测值19-25%,CO-RADS≥3研究的AUC 0.54-0.79。
  • 放射科医师对照的敏感度79-92%、特异度88-92%。
  • 含磨玻璃影亚组中,AI方案敏感度不变,特异度降至15-53%,阴性预测值72-89%,AUC 0.54-0.69;放射科医师敏感度79-92%、特异度52-62%。
  • 公司1与公司3间κ=0.37、公司1与公司4间κ=0.28为极小一致性,其余方案组合间无一致性;一种方案在149例中产生86例假阳性。

临床应用与阅片要点

  • 作者认为一种方案敏感度达可接受水平(0.96),AI工具有潜力作为预警功能支持放射科医师在临床常规中发现疑似COVID-19肺炎的胸部CT。
  • 作者认为放射科医师特异度高,可结合临床信息进一步分诊患者。
  • 作者指出在常规临床使用前必须进一步改进算法。
  • 作者建议算法商业上市后使用ECLAIR清单选择最优产品。
  • 作者指出鼻拭子和PCR检测仍是公共筛查的主要手段,CT成像不可作为筛查依据;世界卫生组织推荐CT不应用于筛查COVID-19。

局限性

  • 作者自述数据集组成中COVID-19肺炎与其他病变CT比例为10%对90%,该比例可能相对偏高,而COVID-19患者比例更低会导致阳性预测值更低。
  • 作者自述虽尽量联系多家公司,但市场上存在其他商业方案。
  • 作者自述仅向公司发送原始DICOM文件,因此不了解算法的分割准确性、体积计算或概率评分。
  • 作者自述因数据安全和缺乏协议,无法公开公司名称与其结果的对应关系。
  • 作者自述一家公司仅能分析无静脉对比剂的CT研究,其数据集病例数显著减少至176例,结果解读及与其他分析更多病例的算法可比性受限。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Dec 23;32(5):3152–60. doi: 10.1007/s00330-021-08409-4

引言

2019年冠状病毒病(COVID-19)于2019年在中国被发现[1]。此后,该病在全球范围内传播,成为医疗保健系统的沉重负担。识别严重急性呼吸综合征冠状病毒2(SARS-CoV-2)感染患者对于控制疾病传播非常重要。诊断主要依赖于使用实时聚合酶链反应(RT-PCR)的分子生物学检测。影像学在评估疑似或确诊COVID-19患者中具有价值:例如,用于排除肺栓塞等替代诊断[2]。在一项荟萃分析中,胸部CT诊断COVID-19的合并灵敏度为94%,阳性预测值范围为1.5%至30.7%[3]。然而,胸部CT的真实灵敏度被高估了[4]。虽然灵敏度较高(67–100%),但特异度相对较低(25–80%)。因此,世界卫生组织建议不应使用CT筛查COVID-19[5]。

为统一和规范与转诊医师的报告沟通,COVID-19报告和数据系统(CO-RADS)根据COVID-19肺炎的概率将CT表现分为五类[6]。根据所选阈值不同,诊断COVID-19的灵敏度和特异度差异很大[2]。在区分COVID-19与其他非典型肺炎方面,阅片者间一致性仅为中等,且阅片者专业水平与准确率不相关[7]。

人工智能(AI)在图像分析方面具有巨大潜力,例如在评估胸部X线和乳腺X线摄影中[8, 9]。许多深度学习模型声称能够准确检测胸部CT中的COVID-19,甚至能将其与社区获得性肺炎或其他肺部疾病相区分。在四个真实数据集上,灵敏度范围为0.81至0.95,特异度范围为0.82至0.97[10–13]。

然而,尽管这些初步结果令人鼓舞,由于显著的方法学缺陷,此类深度学习模型目前尚无法转化为临床常规应用[14]。

在本研究中,我们旨在评估多种商业AI解决方案在双中心临床数据集中区分COVID-19肺炎与其他肺部疾病的表现。

方法

本研究经相关伦理委员会批准(莱茵兰-普法尔茨州医学会伦理委员会,美因茨,许可编号2020–15,066;以及德国科隆大学医学院伦理委员会,科隆,许可编号20–1281)。所有CT检查均完全匿名化。研究实施和本手稿撰写过程中遵循了STARD 2015诊断准确性研究报告指南(补充图1)[15]。

数据集

我们回顾性收集了来自两个不同三级医疗机构的500例胸部CT检查的临床数据集,包括使用和不使用静脉造影剂的情况。CT扫描在256层、64层或16层CT扫描仪(飞利浦)上进行。

该数据集由50例经RT-PCR确诊为COVID-19的CT扫描和450例COVID-19阴性的CT扫描组成,其中400例CT扫描是从2018年所有胸部CT扫描中随机选取的,50例扫描来自2018年一个预定义的临床数据集,该数据集经证实存在磨玻璃影(GGOs),以确保至少保证有一定数量的伴有GGOs的非COVID-19 CT扫描(图1)。所有COVID-19患者均处于急性期,要么从较小医院转诊而来,要么自行到急诊室就诊。对于全部500例CT扫描,一位具有3年胸部影像学经验的放射科医师将肺部改变分类为胸腔积液、磨玻璃影(GGOs)、实变、肿瘤或肺静脉淤血。广泛程度通过与总肺容积比较,对GGOs和实变进行视觉评估来估计。形态、以水平分布为主还是以垂直分布为主、肺叶受累情况及密度按既往报道进行评估[16, 17]。表1展示了整个数据集的分类结果。关于450例有其他肺部疾病患者进行影像检查原因的更多详细信息可见于补充表2。

为更好地描述本研究数据集的特征,全部50例经证实SARS-CoV-2感染患者的CT扫描由三名阅片者按共识依据CO-RADS进行分类[6]。其中两名住院医师分别接受过2年和3年的胸部影像学及肺部CT培训。那位获得委员会认证的放射科医师具有10年胸部影像学和肺部CT经验,包括肺部感染性疾病的影像学检查。评分者不知道患者的病程和临床结局。在三名评分者意见不一致的病例(17例扫描)中进行了共识阅片。38例CT扫描被判定为CO-RADS 5,而8例CT扫描被归类为CO-RADS 4。两例CT扫描分别被分类为CO-RADS 1和CO-RADS 3。共有20例(40.0%)经PCR证实SARS-CoV-2感染的患者仅有GGOs,28例(56.0%)患者表现为GGOs合并其他COVID-19影像学征象,2例(4.0%)SARS-CoV-2阳性患者没有SARS-CoV-2感染的征象。在50例经PCR证实SARS-CoV-2感染的患者中,16例(32.0%)存在细菌重叠感染。

图1 数据集的构成:COVID-19状态和磨玻璃影(GGOs)的存在情况 查看原图 ↗
表1 数据集特征 查看原表 ↗

人工智能解决方案

从2020年6月到2021年2月,我们联系了九家公司,并提出在我们独立的双中心数据集上评估其用于COVID-19检测的人工智能解决方案,该数据集包含500例匿名胸部CT扫描。此时,有五家公司没有可用于区分COVID-19肺炎和其他肺部疾病的现成工具,或者我们无法签署双方均可接受的数据传输协议。四家公司最终同意参与我们的挑战并签署了数据传输协议:contextflow(contexflow DEMO Lung CT 1.1.8版)、icometrix(Icolung 0.6.0版)、Infervision(InferRead CT Pneumonia 第1版)和Siemens(Pneumonia Assessment 2.0版)。在我们对胸部CT集合进行初步评估时,所有解决方案均处于开发阶段且不可购买。因此,我们没有关于用于开发算法的训练集组成及算法初始性能的信息。关于所评估算法的更多信息已公开可用,我们已明确联系各公司以获取用于评估我们数据集的版本的更详细信息(补充表3)。500例CT扫描中COVID-19病例的比例未向各公司披露。任务是每项检查归类为“COVID-19肺炎疑似”或“非COVID-19肺炎疑似”,这是本研究的主要终点。因此,参与本研究的一项要求是该公司提供用于在胸部CT数据集中检测COVID-19肺炎的工具(补充表3)。四家公司能够下载匿名CT检查的DICOM格式肺窗以开始其分析。所有图像处理和分析均由各公司自行完成。结果为一个Excel文件,包含二分类标注“COVID-疑似”和“其他肺部疾病”。由于我们向各公司发送了原始DICOM文件,我们没有关于算法分割准确性、体积计算或概率评分的信息。三家公司能够处理有和无静脉(i.v.)对比剂给药的CT检查,而一家公司专注于无i.v.对比剂的CT检查。为了将人工智能解决方案的结果与放射科医师的结果进行比较,我们让两名分别具有7年和10年经验的委员会认证放射科医师对所有图像进行评分。两人均对我们数据集中COVID-19病例的发生率设盲,并且与各公司类似,没有临床信息。由于数据安全原因及缺乏协议,结果展示时不附带公司名称。

统计分析

统计分析使用R(A Language and Environment for Statistical Computing,R Foundation for Statistical Computing,http://www.R-project.org)进行。我们将各公司的结果与金标准(RT-PCR证实的SARS-CoV-2感染)进行比较,并计算真阳性、真阴性、假阳性和假阴性的数量。

根据这些数字,我们计算了敏感性、特异性、阳性预测值(PPV)和阴性预测值(NPV)。此外,对每个人工智能解决方案计算了曲线下面积(AUC)。对于所有分析,我们使用分类为CO-RADS ≥ 3的CT检查,以确保纳入的扫描显示相关改变。

在亚组分析中,计算了伴有磨玻璃影(GGO)的CT研究中用于鉴别COVID-19肺炎与其他肺部疾病的敏感度、特异度、阳性预测值(PPV)、阴性预测值(NPV)和AUC。四种AI解决方案之间的一致性使用Cohen kappa系数(k)衡量。

结果

两种AI解决方案成功处理了498例CT研究,而其他解决方案分别处理了497例和174例研究。表2展示了AI解决方案在鉴别COVID-19肺炎与其他肺部疾病方面的性能指标。

敏感度和特异度范围分别为62–96%和31–80%。阴性预测值和阳性预测值范围分别为82–99%和19–25%。CO-RADS ≥ 3的研究的AUC范围为0.54至0.79(补充图2)。相比之下,放射科医师估计的敏感度和特异度范围分别为79–92%和88–92%(表2)。

在亚组分析中,评估了四种AI解决方案在伴有GGO的CT研究中的性能(表3)。150例伴有GGO的CT扫描亚组构建如图1所示。GGO亚组的形态学和临床特征详细信息见补充表1。在这些病例中,敏感度未发生变化,但特异度降至15–53%的范围。阴性预测值也低于所有病例,范围为72–89%。伴有GGO的研究的AUC范围为0.54–0.69(补充图3)。相比之下,对于伴有GGO的患者亚组,放射科医师估计的敏感度和特异度范围分别为79–92%和52–62%(表3)。

公司1与公司3之间(0.37)以及公司1与公司4之间(0.28)的评分者间一致性极低,而在所有其他组合中完全未发现评分者间一致性(表4)。

图2和图3展示了本数据集所用CT研究的示例。

表2 各工具在鉴别COVID-19肺炎(CO-RADS ≥ 3)与肺部疾病方面的性能 查看原表 ↗
表3 亚组分析。各工具在伴有GGO的CT研究中鉴别COVID-19肺部感染(CO-RADS ≥ 3)与其他肺部疾病方面的性能。该亚组包括48例经证实的SARS-CoV-2感染且存在GGO的病例,以及102例其他肺部疾病且存在GGO的病例 查看原表 ↗
表4 亚组分析。各工具在伴有GGO的CT研究中鉴别COVID-19肺炎(CO-RADS ≥ 3)与其他肺部疾病方面的性能 查看原表 ↗
图2 a–d 四例经RT-PCR证实SARS-CoV-2感染的不同患者示例,所有病例均被正确归类为COVID-19疑似病例 查看原图 ↗
图3 a–d 所有AI解决方案将2018年的CT研究归类为COVID-19疑似病例的示例 查看原图 ↗

讨论

在本研究中,我们在独立双中心数据集的外部验证中,对四种用于识别COVID-19肺炎的AI解决方案进行了挑战性测试。我们的研究揭示了所测试AI解决方案的高阴性预测值。然而,特异度变异很大,为31–80%,阳性预测值则相当低,为19–25%。一种解决方案的敏感度高达96%,而其他解决方案为62–85%。

已有若干出版物声称,深度学习模型能够准确检测COVID-19肺炎,从而将其与其他肺部感染或正常肺实质区分开来[10–13]。然而,一项系统综述得出了完全不同的结论,并指出“目前,由于潜在的方法学缺陷或偏倚,人工智能解决方案不具有临床应用的潜力”[14]。

在我们对胸部CT集合进行初步评估时,所有解决方案均处于开发阶段,尚不可购买。迄今为止,所评估算法中有两种的训练和验证情况已发表[18, 19]。这两种算法均经过训练以检测疑似COVID-19肺炎的胸部CT,并在训练中达到了灵敏度≥ 0.90和特异度≥ 0.83。

我们的研究显示,至少有一种解决方案具有相对较高的灵敏度,与已发表的专注于利用人工智能检测COVID-19肺炎的研究相当。然而,在我们的研究中,特异度显著较低,为31–80%,而既往研究报告的特异度为82–96% [4, 20]。

在分析所有经证实的COVID-19肺炎CT研究时,三家公司的AUC > 0.70,另一家公司的AUC为0.54,而在磨玻璃影(GGO)研究亚组分析中AUC较低:其中一种人工智能解决方案的AUC达到0.69,而另外三种人工智能解决方案表现更差,AUC在0.54至0.58之间。尤其是某一工具在鉴别COVID-19肺炎与其他疾病时产生了大量假阳性病例(149例中86例假阳性)。我们研究中的阳性预测值(PPV)在0.19至0.25之间。然而,有一种解决方案的灵敏度尚可接受。在并非所有患者都进行常规检测的情况下,人工智能解决方案有潜力为临床常规提供一种警示工具,在图像采集后直接自动识别潜在的COVID-19病例。这些患者可能很快被送去进行后续PCR检测。然而,我们的结果表明,算法的进一步改进是必须的。因此,大规模的训练和评估研究应增强这些解决方案的性能。

在我们的数据集中,10%的病例有确证的SARS-CoV-2感染。在既往研究中,用于验证深度学习算法的外部数据集包含19%至77%的COVID-19患者[10, 12]。因此,与既往研究相比,我们数据集中COVID-19肺炎的比例相对较低。然而,考虑到在临床实践中偶然出现COVID-19疑似肺部改变的情况要少得多,尤其是在大量人群已接种疫苗的情况下,这一比例可能仍然相对偏高。我们数据集中COVID-19患者比例更低会导致特异度和PPV进一步降低。在本研究中,我们额外纳入了两名委员会认证放射科医师的诊断,并将结果与算法的结果进行比较。我们假设算法的性能可能受疾病性质的强烈影响:COVID-19肺炎的CT表现是非特异性的,许多不同的问题都可以模仿。因此,我们决定纳入放射科医师进行直接比较,并发现他们在将扫描分类为“COVID-19疑似”或非疑似时也存在问题。有趣的是,放射科医师1的敏感度仅略低于公司1,且高于所有其他算法,而放射科医师2的敏感度位于其他算法敏感度范围之内。在特异度和PPV方面,两名放射科医师均明显优于算法。然而,为避免遗漏任何COVID-19肺炎患者,尤其需要高敏感度。公司1具有总体最高的敏感度,为0.96,处于可接受水平。因此,AI工具有潜力作为警报功能支持放射科医师,在临床常规工作中检测疑似COVID-19肺炎的胸部CT扫描。我们的研究结果表明放射科医师具有高特异度,他们随后可利用临床信息对患者进行进一步分诊,这极大地提高了基于图像的决策确定性[21]。然而,我们的结果表明,在常规临床使用之前,必须进一步改进算法。

在一些研究中,算法必须区分COVID-19肺炎与细菌性或病毒性肺炎,而Harmon等人使用了任何临床指征的CT检查或分期CT。AI解决方案在区分COVID-19肺炎与其他疾病时的特异度高度可变,这是由于存在广泛的可模仿COVID-19的其他肺部病变,如非典型细菌性肺炎、耶氏肺孢子菌肺炎、肺水肿和过敏性肺炎[22]。CT表现是非特异性的,甚至可与非感染性疾病重叠[23]。我们的数据集侧重于真实临床数据,而非特定疾病,但50例COVID-19阳性患者除外。

四种人工智能解决方案之间的评分者间信度非常低。仅在成对的人工智能解决方案之间,kappa统计量才能发现极低限度的一致性,而在所有其他情况下均不存在一致性。这一事实与总体上无论是否使用人工智能,CT诊断COVID-19肺炎时特异性高度可变且阳性预测值较低的情况相一致[5]。Neri等人指出,“使用人工智能的CT用于筛查或作为诊断COVID-19的一线检测”不被推荐[24]。当然,鼻拭子和PCR检测仍然是公共卫生筛查的主要手段,因为CT成像并不合理。然而,如上所述,CT支持的人工智能解决方案可能在日常临床常规中作为警示工具发挥作用,特别是在分析因其他原因而进行的CT时。然而,我们的结果表明,算法的进一步改进是必须的,因为尽管三种解决方案是专门为识别疑似COVID-19肺炎的胸部CT扫描而训练的,其敏感性仍低于90%。

在本研究中,我们仅向各公司发送了原始DICOM文件。因此,所有处理均掌握在他们手中,我们仅收到了数据集的二分类结果。 consequently,我们无法了解结果的处理和可视化情况,以及软件可能的可用性和融入常规工作流程的便捷性。此外,由于所有产品在图像评估时均处于开发阶段,我们没有关于最终产品价格和支持服务的信息。因此,未对算法在定价、融入常规工作流程、支持等方面进行更详细的比较。一旦算法可商业化获得,我们建议使用ECLAIR清单来确定最佳产品[25]。

我们的研究存在局限性。首先,我们设定数据集中COVID-19肺炎与其他情况的CT研究比例分别为10%和90%。如上所述,这一比例可能相对较高。然而,较低的COVID-19患者比例会导致更低的PPV。其次,我们力求联系尽可能多的公司,但存在其他商业解决方案。本研究纳入了来自欧洲和亚洲公司的四种人工智能解决方案,为市场提供了良好的洞察。第三,我们向公司发送了原始DICOM文件。因此,我们没有关于算法分割准确性、体积计算或概率评分的信息。作为另一个局限性,由于数据安全原因和缺乏协议,无法公开公布公司与其结果相关的名称。第四,一家公司仅能分析无静脉造影的CT研究。因此,其数据集中的病例数显著减少至176例。因此,结果的解读以及与其他分析更大样本量病例的算法的可比性受到限制。第五,我们放射科医师的诊断是在不了解患者症状或临床病史的情况下做出的。显然,这造成了一种人工阅片情境,但对于与算法进行比较是必要的。临床信息有助于加强COVID-19肺炎与其他肺部病变的鉴别[21]。

总之,本研究强调,商业人工智能(AI)解决方案在检测胸部CT中的COVID-19肺炎时,其特异性相对较低且多变,阳性预测值(PPV)也较低。然而,有一种解决方案的敏感度达到了可接受的水平。因此,目前正在开发的商业AI解决方案,如果进一步改进,有可能作为警报工具整合到临床常规工作流程中,用于检测肺部改变可疑为COVID-19肺炎的患者。总体而言,AI有潜力在日常实践中为放射科医生提供支持。然而,需要开展随机试验来评估AI的真正获益,并审慎考虑任何潜在危害,因为如果使用AI,大量患者将因假阳性结果而被诊断[26]。这些试验应以前瞻性方式开展,并纳入临床验证,以衡量AI对治疗决策的影响。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 51 KB)

引用

  1. Jungmann F, Müller L, Hahn F, et al. Commercial AI solutions in detecting COVID-19 pneumonia in chest CT: not yet ready for clinical implementation? Eur Radiol. 2021. PMID: 34950973. doi:10.1007/s00330-021-08409-4
  2. 全文:PMC8700707(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8700707/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。