基于CT图像深度学习算法筛查COVID-19的诊断性能
回顾性收集259例患者(180例典型病毒性肺炎、79例核酸确诊COVID-19)的1065张CT图像,另纳入15例前两次核酸阴性COVID-19病例,改良Inception迁移学习模型进行内部和外部验证。内部验证准确率89.5%、特异度0.88、敏感度0.87;外部验证准确率79.3%、特异度0.83、敏感度0.67;54张核酸阴性COVID-19图像中46张被预测为阳性,准确率85.2%。
要点
- 内部验证AUC 0.93(95%CI 0.90–0.96),外部验证AUC 0.81(95%CI 0.71–0.84)。
- 模型用于区分COVID-19与其他典型病毒性肺炎,两者影像学特征相似。
- 两名高年资放射科医师对745张图像预测准确率分别为55.8%和55.4%。
关键影像表现/征象
- COVID-19早期表现为双肺分布斑片状影和磨玻璃影,进展期双肺出现多发磨玻璃影和浸润。
- 其他典型病毒性肺炎可见假空洞、淋巴结增大和多灶性磨玻璃影。
- 图2示例中蓝色箭头指向磨玻璃影,橙色箭头指示胸膜凹陷征。
诊断标准与关键数值
- 内部验证:AUC 0.93(95%CI 0.90–0.96),敏感度0.88,特异度0.87,准确率89.5%,NPV 0.95,Youden指数0.75,F1 0.77,kappa 0.69。
- 外部验证(单张确定CT图像):AUC 0.81(95%CI 0.71–0.84),敏感度0.83,特异度0.67,准确率79.3%,NPV 0.90,Youden指数0.48,F1 0.63,kappa 0.48。
- 外部验证(每例多张图像):准确率82.5%,敏感度0.75,特异度0.86,PPV 0.69,NPV 0.89,kappa 0.59。
- 54张核酸阴性COVID-19图像中46张被算法预测为COVID-19阳性,准确率85.2%。
临床应用与阅片要点
- 模型旨在区分COVID-19与其他典型病毒性肺炎,两者影像学特征相似,肉眼识别困难。
- 放射科医师1对745张图像预测准确率55.8%、敏感度0.71、特异度0.51;放射科医师2准确率55.4%、敏感度0.73、特异度0.50。
- 使用超级计算机系统每例约需10秒,可通过共享公共平台远程执行。
局限性
- CT图像分类任务困难,因为可变对象数量相对较多,特别是肺外与肺炎诊断无关的成像区域。
- 训练数据集相对较小,预期增加训练量后系统性能会提高。
- 分析的CT图像特征来自疾病发展后期严重肺部病变患者。
全文中译12 节 · 点击展开
引言
由严重急性呼吸综合征冠状病毒2(SARS-COV-2,又称2019-nCov)引起的非典型且人际传播性肺炎暴发已造成全球大流行。截至2020年6月1日,全球已有超过610万例冠状病毒病(COVID-19)确诊病例。在中国,约16%–21%的病毒感染者发展为重症,死亡率为2%–3%。根据最新的病毒基本再生数(R0)估计,在完全无免疫力的人群中,一名感染者平均将病毒传染给约3.77人[1, 2],这表明疾病的快速传播迫在眉睫。尽早识别感染者以进行隔离和治疗至关重要。
COVID-19的诊断依赖以下标准:临床症状、流行病学史和阳性CT图像,以及阳性病原学检测。COVID-19的临床特征包括呼吸道症状、发热、咳嗽、呼吸困难及肺炎[3–6]。然而,这些症状缺乏特异性,因为存在个别病例,例如在一个无症状感染者家庭中,胸部CT扫描显示肺炎,且病毒病原学检测报告为阳性结果。一旦某人被确定为调查对象(PUI),将采集下呼吸道标本,如支气管肺泡灌洗液、气管吸出物或痰液,用于病原学检测。该实验室技术基于实时RT-PCR和病毒核酸测序[7, 8]。自COVID-19暴发以来,核酸检测的效率一直受限于若干限速因素,包括疫区检测试剂的可用性和数量。此外,检测试剂的质量、稳定性和可重复性也存疑。方法学、疾病分期、标本采集方法、核酸提取方法及扩增系统的影响均是检测结果准确性的决定因素。保守估计核酸检测的检出率较低(30%–50%)[9],在许多情况下必须重复检测数次才能确认结果。
COVID-19的另一主要诊断工具是放射影像学。大多数COVID-19病例在CT图像上具有相似特征,包括早期磨玻璃影和后期肺实变。偶尔也可观察到圆形形态及周围型肺分布[4, 10]。尽管典型CT图像可能有助于疑似病例的早期筛查,但各种病毒性肺炎的图像相似,且与其他感染性和炎性肺部疾病存在重叠。因此,放射科医生难以将COVID-19与其他病毒性肺炎区分开来。
涉及医学影像的深度学习系统的人工智能已被开发用于图像特征提取,包括形状和空间关系特征。具体而言,卷积神经网络(CNN)在特征提取和学习方面已显示出良好前景。CNN已被用于增强高速视频内窥镜的低光照图像,训练数据有限,仅来自55段视频[11]。此外,CNN已被应用于通过CT图像识别肺结节性质、通过胸部X线图像诊断儿童肺炎、在结肠镜检查视频中实现息肉的精确自动化和标记,以及从视频中进行膀胱镜图像识别提取[12–15]。
基于影像模式识别病毒性病原体有多种特征,这些特征与其特定发病机制相关[16]。COVID-19模式的标志是早期双肺分布的斑片状阴影和磨玻璃影。随着疾病进展,双肺出现多发磨玻璃影和浸润影[6]。这些特征与典型病毒性肺炎非常相似,仅有轻微差异,放射科医生难以区分。基于此,我们认为CNN可能有助于我们识别那些难以通过视觉识别发现的独特特征。
因此,我们的研究评估一种使用CT图像在流感季节筛查COVID-19的深度学习算法的诊断性能。为检验这一假设,我们回顾性纳入了1065张病原学确诊COVID-19病例的CT图像,以及既往诊断的典型病毒性肺炎。我们的结果证明了使用深度学习方法提取放射学图形特征用于COVID-19诊断的原理验证。
方法与材料
数据集的回顾性收集
我们回顾性收集了259例患者的CT图像,其中队列包括180例典型病毒性肺炎病例,以及来自三家医院的另外79例严重急性呼吸综合征冠状病毒2型(SARS-COV-2)核酸检测确诊的病例。此外,我们还纳入了15例额外的COVID病例,其中前两次核酸检测在初诊时为阴性。提供图像的医院为西安交通大学第一附属医院(中心1)、南昌大学第一医院(中心2)和西安医学院附属西安第八医院(中心3)。所有CT图像在送交分析前均经过再次确认。本研究符合各参与机构的机构审查委员会要求。由于本研究的回顾性性质,机构审查委员会(IRB)豁免了知情同意。
感兴趣区(ROI)的勾画
为了建立区分COVID-19和典型肺炎的二元模型,我们勾画感兴趣区(ROI)作为训练队列和验证队列的输入图像。我们根据COVID-19的特征从CT图像上勾画ROI,如早期的小斑片状阴影和间质改变、进展期的双肺多发磨玻璃影和浸润影,并在其他典型病毒性肺炎的CT图像上勾画ROI作为对照,如假空洞、淋巴结增大和多灶性磨玻璃影(GGO)。我们根据肺炎的典型特征手动勾画ROI,并确定所有病变层面作为模型的输入。ROI被分为三个队列:一个训练队列(n = 320,来自中心1)、一个内部验证队列(n = 455,来自中心1)和一个外部验证队列(n = 290,来自中心2和3)。对于一个ROI,其大小约为395 × 223至636 × 533像素。
所提出架构的概述
我们用于预测架构的系统流程如图1所示。该架构包括三个主要过程:(1)输入图像的预处理;(2)ROI图像的特征提取和训练;(3)使用两个全连接层进行分类和二元分类器的预测。我们进行了迁移学习,即使用著名的GoogleNet Inception v3卷积神经网络(CNN)[16]以预定义模型进行训练。在本研究从肺部X线片学习之前,该网络已在来自ImageNet的120万张彩色图像(包含1000个类别)上进行了训练[17]。整个神经网络大致可分为两部分:第一部分使用预训练的inception网络将图像数据转换为一维特征向量,第二部分使用全连接网络,主要用于分类预测。每个病例的ROI图像经预处理后输入模型进行训练。训练集中各类图片数量相等,共320张图像。每个病例剩余的CT图像用于内部验证。在训练过程的每次迭代中,我们从训练数据集中获取一批图像。训练使用以下参数:我们训练了15,000个epoch,预训练模型的初始学习率为0.01,并随训练自动调整;此外,我们使用自适应矩估计梯度下降进行优化。
图像预处理和特征提取
根据肺炎的特征性征象,ROI图像被定义为炎性病变,并由我们的计算机视觉(CV)模型按以下步骤提取:将图像转换为灰度图。
灰度二值化:由于直接使用OSTU方法在多峰情况下会导致阈值选择失败,本研究中二值化阈值的选择基于灰度值Vmin(80)和Vmax(200)的所有像素频率直方图统计。在选择区间内选择最小频率作为阈值,频率统计的区间为5。
背景区域填充:采用泛洪填充法将图像扩展一个黑色像素,并将靠近边界的黑色像素填充为白色。
反色:确定图像的所有轮廓区域,将两个最大的轮廓区域视为两个肺区域。
将肺区域的最小外接矩形作为ROI框架,对原始图像进行裁剪以获得ROI图像。
为获得更具可重复性的CT特征,将从不同医院和扫描仪获取的每幅CT图像的像素间距设置为299 × 299像素。尺寸未统一。为提高模型的可靠性,将ROI图像处理为固定的299 × 299像素尺寸,然后精确勾画肺轮廓以确保模型的实用性。获得勾画的ROI用于分类模型构建。我们修改了典型的inception网络,并用预训练权重对修改后的inception(M-inception)模型进行微调。M-inception的输入层大小为299 × 299 × 3,与ImageNet兼容。我们将灰度模式(单通道)映射到该维度(299 × 299 × 3,其中RGB的每个通道值等于灰度模式值),在第一层形成虚拟RGB格式图像。在训练阶段,原始inception部分未进行训练,我们仅训练修改部分。M-inception的架构如表1所示。inception与M-inception模型的差异在于最后一个全连接层。我们在特征送入最终分类层之前对其进行了降维。训练数据集由上述所有图像块组成。inception网络如表1所示。
预测
生成特征后,最后一步是基于这些特征对肺炎进行分类。采用分类器集成以提高分类准确率。在本研究中,我们采用端到端学习以确保模型收敛。
性能评估指标
我们使用多种指标比较分类性能,如准确率、灵敏度、特异度、曲线下面积(AUC)、阳性预测值(PPV)、阴性预测值(NPV)、F1分数和约登指数[18, 19]。TP和TN分别代表真阳性和真阴性样本数。FP和FN分别代表假阳性和假阴性样本数。灵敏度衡量被正确区分的阳性样本比例。特异度衡量被正确区分的阴性样本比例。AUC是用于衡量分类器性能的指标。NPV用于评估筛查算法,PPV表示诊断指标为阳性时患病的概率。约登指数是最佳界限的判定指数。F1分数是二分类模型准确性的度量。此外,使用F度量(F1)评估性能,以比较性能的相似性和多样性。Kappa值衡量CNN模型预测与临床报告之间的一致性[20]。
结果
算法开发
为了开发一种用于识别病毒性肺炎图像的深度学习算法,我们最初纳入了259名患者,其中队列包括180例在COVID-19暴发前诊断的典型病毒性肺炎病例。这些患者在队列中被称为COVID-19阴性。其余79例来自三家医院,SARS-COV-2核酸检测确诊,称为COVID-19阳性。两名放射科医生被要求审阅图像并勾画出1065张代表性图像(740张为COVID-19阴性,325张为COVID-19阳性)进行分析(图2所示为示例)。这些图像被随机分为训练集和验证集。模型训练迭代15,000个epoch,初始学习率为0.01。共获得320张图像(160张来自COVID-19阴性,160张来自COVID-19阳性)用于构建模型。为了测试模型的稳定性和泛化性,从中心1获得455张图像(COVID-19阴性360张,COVID-19阳性95张)用于内部验证,从中心2和3获得290张图像(COVID-19阴性220张,COVID-19阳性70张)用于外部验证。训练损失曲线和准确率如图3所示。构建模型并在训练过程中每100步测量验证准确率以调整超参数。准确率和损失曲线均趋于稳定。
深度学习性能
该算法在基于特定CT图像的内部验证中得出的AUC为0.93(95% CI,0.90至0.96),在外部验证中为0.81(95% CI,0.71至0.84)(图4)。使用最大约登指数阈值概率,内部和外部数据集的敏感度分别为0.88和0.83,特异度分别为0.87和0.67,准确率分别为89.5%和79.3%,阴性预测值分别为0.95和0.90,约登指数分别为0.75和0.48,F1分数分别为0.77和0.63(表2)。在特定CT图像的内部和外部验证中,kappa值分别为0.69和0.48,表明CNN模型对COVID-19的预测与病原学检测结果高度一致。此外,我们基于每位患者的多张图像进行了外部验证。准确率为82.5%,敏感度为0.75,特异度为0.86,PPV为0.69,NPV为0.89,kappa值为0.59。
AI与放射科医生预测的比较
同时,我们请两位熟练的放射科医师对这745张图像进行预测评估。放射科医师1的准确率为55.8%,灵敏度为0.71,特异度为0.51;放射科医师2的准确率相似,为55.4%,灵敏度为0.73,特异度为0.50(表3)。这些结果表明,放射科医师通过肉眼识别难以对COVID-19做出预测,进一步证明了本研究提出的算法的优势。
对病原学阴性患者CT图像上COVID-19的预测
由于核酸检测 frequently 报告高假阴性结果,我们旨在检验该算法在病原学检测为阴性时能否检测出COVID-19。为实现这一目标,我们额外纳入了15例COVID-19病例,这些病例最初两次核酸检测为阴性,第三次检测转为阳性。这些CT结果与核酸检测在同一天采集(图5)。有趣的是,我们发现,在核酸检测结果为阴性时采集的54张图像中,有46张被算法预测为COVID-19阳性,准确率为85.2%。这些结果表明,该算法作为COVID-19筛查方法具有较高价值。
讨论
监测和及时识别PUIs对于确保工作人员合理分诊以安排值班、进一步评估和随访至关重要。由于基于核酸的实验室检测存在局限性,前线医护人员迫切需要更快速的替代方法,以快速、准确地诊断该疾病。在本研究中,我们通过深度学习方法分析代表性CT图像,开发了一套AI程序。这是一项回顾性、多中心、诊断性研究,使用我们改良的inception迁移神经网络,总体准确率达到89.5%。此外,我们本研究开发的深度学习模型的高性能通过外部样本进行了测试,准确率为79.3%。更重要的是,作为一种筛查方法,我们的模型在内部和外部CT图像数据集上分别达到了相对较高的灵敏度0.88和0.83。此外,该模型在特定人群中表现更好,准确率高达82.5%。值得注意的是,我们的模型被用于区分COVID-19与其他典型病毒性肺炎,两者具有相当相似的影像学特征。因此,在当前COVID-19全球大流行期间,该CNN模型有可能作为COVID-19筛查的有力工具。
值得注意的是,我们的模型旨在区分COVID-19与其他典型病毒性肺炎,两者具有相似的影像学特征。我们将模型的性能与两名熟练放射科医生的表现进行了比较,我们的模型显示出更高的准确性和敏感性。这些发现证明了深度学习可以提取COVID-19的CT图像特征用于诊断目的的原理验证。使用超级计算机系统,每个病例仅需约10秒,并且可以通过共享公共平台远程执行。因此,进一步开发该系统可以显著缩短疾病控制的诊断时间。我们的研究是首个将AI技术应用于CT图像以有效筛查COVID-19的研究。
COVID-19诊断的金标准一直是基于核酸的检测,以确定SARS-COV-2基因特定序列的存在。虽然我们仍然重视核酸检测在SARS-COV-2感染诊断中的重要性,但必须指出,由于方法学缺陷、疾病阶段和标本采集方法等多个因素导致的高假阴性数量可能会延迟诊断和疾病控制。近期数据表明,核酸检测的准确性约为30–50%,大约为[4, 7, 8]。使用CT成像特征提取,我们能够达到超过89.5%的准确性,显著优于核酸检测。更有趣的是,在检测初始病原学检测为阴性的COVID-19患者的CT图像时,我们的模型在正确预测COVID-19方面达到了85.2%的准确性。根据Xia等人撰写的一项研究,75%的RT-PCR结果阴性患者表现出阳性CT发现[21]。该研究推荐胸部CT作为当前COVID-19检测的主要工具。
深度学习方法已被用于解决数据丰富的生物学和医学问题。训练需要大量标注数据[22]。虽然我们对初步结果感到满意,但我们相信通过在训练中包含更多CT图像可以实现更高的准确性。因此,有必要对该系统进行进一步优化和测试。为实现这一目标,我们生成了一个网页,获得许可的医疗人员可以访问该网页,上传CT图像进行测试和验证。该网页可通过https://ai.nscc-tj.cn/thai/deploy/public/pneumonia_ct访问。
自COVID-19暴发以来,已有几种基于传统特征提取的CNN模型被研究用于从CT图像中筛查COVID-19。例如,Yang及其同事使用CNN分析了152张手动标注的CT图像,在COVID-19诊断中获得了0.89的准确率;然而,该研究的数据获取自预印本PDF文件中的嵌入图像,且验证集相对较小[23]。Khater及其同事报道,使用复合混合特征提取和堆叠混合分类系统从51张CT图像中区分严重急性呼吸综合征(SARS)和COVID-19,准确率达96%,该方法表现出优于单独使用DCNN算法的性能[24]。Nuriel还构建了基于MobileNetV2的DCNN模型,以评估深度学习从胸部CT图像中检测COVID-19的能力,并达到了0.84的准确率[25]。此外,Halgurd提出了一种基于智能手机嵌入式传感器诊断COVID-19的新型AI赋能框架,可供医生方便使用[26]。我们比较了这四种已发表的模型,并讨论了各模型的差异。显然,所获得的准确率各不相同,但我们模型的优势在于它能将COVID-19与其他典型病毒性肺炎区分开来。例如,尽管Khater的模型准确率较高,但它只能区分SARS和COVID-19。Yang等和Nuriel等的两个模型获得了相似的准确率;然而,他们比较的是COVID-19与其他肺部疾病。当COVID-19与季节性病毒性肺炎共存时,准确区分COVID-19与其他典型病毒性肺炎(两者具有相似的影像学特征)至关重要。此外,我们的模型表现出持续改进和优化。
然而,我们的研究存在一些局限性。尽管深度学习被用于表征和学习许多不同形式数据中的可预测关系,并在精准医学应用中具有前景,但低信噪比和复杂数据整合等诸多因素对其效能提出了挑战[27]。由于可变对象数量相对较多,特别是肺外与肺炎诊断无关的成像区域,CT图像代表了一项困难的分类任务[12]。此外,训练数据集相对较小。当训练量增加时,该系统的性能有望提高。值得注意的是,我们分析的CT图像特征来自疾病发展后期具有严重肺部病变的患者。尽管我们纳入了15例COVID患者以评估该算法用于早期诊断的价值,但仍需要更大的数据库将该算法与疾病进展及COVID-19所有病理阶段相关联,以优化诊断系统。
未来,我们打算将CT图像的层次化特征与遗传、流行病学和临床信息等其他因素的特征相关联,进行多模型分析以促进增强诊断。我们研究中开发的人工智能可通过减少PUI数量来辅助及时隔离和治疗,从而为COVID-19疾病控制做出显著贡献。
引用
- Wang S, Kang B, Ma J, et al. A deep learning algorithm using CT images to screen for Corona virus disease (COVID-19). Eur Radiol. 2021. PMID: 33629156. doi:10.1007/s00330-021-07715-1
- 全文:PMC7904034(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7904034/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。