在多人口学背景下基于计算机断层扫描影像组学促进标准化COVID-19疑似病例预测
这项多机构回顾性研究纳入意大利和俄罗斯2720例胸部CT,由三国放射科医生按CO-RADS标注,提取影像组学特征比较三种机器学习模型。无论何种验证场景,识别疑似COVID-19 CT的准确率为84%,带噪声降低时随机森林模型在内部留出集AUC达0.92±0.06,外部验证AUC为0.75。
要点
- 多人口学数据中三位放射科医生CO-RADS评分总体一致性为k=0.80(95%CI 0.705–0.899)。
- 带噪声降低时随机森林在内部留出集识别COVID-19的AUC为0.92±0.06,敏感度0.91±0.07、特异度0.94±0.04。
- 外部验证时随机森林AUC降至0.75±0.08,敏感度0.95±0.03、特异度0.63±0.03。
核心结论
- 基于CO-RADS的自动化模型在多人口学背景下达到临床可接受的性能,作者认为该方法可作为自动化COVID-19评估的标准化工具。
研究设计与样本
- 多机构审查委员会批准的回顾性研究,纳入意大利和俄罗斯2720例胸部CT(平均年龄58岁,范围18–100岁)。
- 从每个 population 随机选取子队列,由来自三个国家的三位 board-certified 放射科医生进行CO-RADS标注,共获得673例患者扫描的系统标注。
- 随机选取43例重叠子集计算观察者间一致性;比较逻辑回归、多层感知机和随机森林三种机器学习模型。
- 模型评估分两种场景:混合多人口学数据训练后于独立留出集测试,以及单一人口学训练后外部验证于另一人口学。
- 影像组学特征经肺叶分割、噪声降低等预处理后提取,使用PyRadiomics库及CoLlAGe等特征,并采用SMOTE处理类别不平衡。
关键影像表现/征象
- 两个亚队列确诊病例中,超过50%(俄罗斯194/297,意大利200/361)的病例可见磨玻璃影,其他常见表现包括胸腔积液、实变、铺路石征和血管增粗。
诊断标准与关键数值
- 总体CO-RADS观察者间一致性为k=0.802(95%CI 0.705–0.899);CO-RADS 5的k=1.00(95%CI 0.84–1.17),CO-RADS 1的k=0.93(95%CI 0.76–1.10),CO-RADS 3的k=0.91(95%CI 0.74–1.00),CO-RADS 2和4分别为k=0.76(95%CI 0.58–0.93)和k=0.72(95%CI 0.56–0.92)。
- 无论验证场景类型,疑似COVID-19 CT的识别准确率为84%(138/164)。
- 多类分类模型(随机森林)识别其他合并症的最高准确率为85%(329/386)。
- 区分其他社区获得性肺炎(CO-RADS 3)的平均AUC为0.80。
- 在社区获得性肺炎和其他合并症存在下识别COVID-19肺炎的AUC为0.92。
临床应用与阅片要点
- 随机森林模型在内部留出集带噪声降低时识别COVID-19(CO-RADS 5)的AUC为0.92±0.06,敏感度0.91±0.07、特异度0.94±0.04。
- 外部验证场景中,带噪声降低时随机森林AUC为0.75±0.08,敏感度0.95±0.03、特异度0.63±0.03;无噪声降低时AUC为0.79±0.07,敏感度0.72±0.10、特异度0.73±0.05。
- 噪声降低后各分类器整体性能改善;随机森林在大多数设置中表现优于其他分类器。
- SHAP解释显示「wavelet_(LH)_GLCM_Imc1」特征对COVID预测有正向影响,「Log (sigma=1) GLDM Small Dependence Low Gray Level Emphasis」在几乎所有设置中呈负向影响。
局限性
- 影像组学特征还可纳入流行病学-实验室参数和临床症状以提供更全面的模型。
- 采集过程、重建参数或研究方案的变化可导致不同的影像组学特征,这种变化对分类性能的影响程度是活跃研究领域。
- 仅纳入非增强图像。
全文中译17 节 · 点击展开
引言
既往发表的文章表明,COVID-19具有独特的影像学特征,使得利用CT筛查疑似病例和评估疾病进展成为可能[1, 2]。基于CT表现,多个放射学会发布了用于COVID-19患者疑似分期的标准化方案[3–5]。COVID-19报告与数据系统(CO-RADS)是荷兰放射学会(NVvR)发布的五分类疑似度分类方案[4]。CO-RADS包含在COVID-19高发病率人群中,基于平扫胸部CT区分明确非感染性起源或社区获得性肺炎与典型COVID-19特征的辨别性特征。该报告系统在COVID-19分诊中显示出高判别力,并提供了任何放射科医生均可理解的适当报告语言[6, 7]。因此,使用如CO-RADS等标准化评分是实现自动化COVID-19检测方法最直接的途径[8]。
帮助放射科医生检测COVID-19的紧迫性导致人们急于开发机器学习和深度学习模型,而忽视了标准化方法。例如,使用不可泛化的数据进行模型训练(单一人口统计学特征、具有不同采集或重建方案的公共数据集、源DICOM不可用、存在图像伪影的扫描)导致机器学习方法学应用不佳。这一局限性导致了近期研究设计中的可重复性问题和偏倚[9]。随着数据特征因人口统计学、免疫格局和临床实践在不同大流行阶段之间的变化而改变,这一问题可能进一步加剧。因此,人工智能驱动的研究应遵循标准化和可重复的路径,以确认AI模型的性能及其快速适应性和在临床工作流程中的实施。
放射组学是一种利用数学算法量化医学影像中病变表型特征的方法,随后可用于预测疾病严重程度和进展[10, 11]。这一量化过程与常规放射学方法形成对比,后者中放射科医生主要基于定性属性描述病变。放射组学特征在亚视觉水平提取,意味着计算机系统可以检测人眼视觉系统可能无法辨别的模式。因此,在标准化环境中使用时,放射组学可提供补充常规放射学分析的有价值临床信息[12]。
为了在临床实践中使用自动化模型,必须考虑模型验证的三个关键方面。第一个方面是从多样化人群(多人口统计学特征)队列中获取高质量数据。第二个方面是采用放射科医生可理解的标准化标注方案。第三个方面是使用各种测试场景(内部-外部验证)进行全面的模型分析。在我们的研究中,除了包括上述方面外,我们使用经过噪声降低处理和未经过噪声降低处理的数据集进行模型评估,并使用基于SHapley加法解释(SHAP)的放射组学特征来解释模型输出[13]。我们假设在多人口统计学特征环境中,通过使用分类算法结合最佳放射组学特征标签预测胸部CT上的CO-RADS评分,可以自动识别COVID-19。
材料与方法
本回顾性研究经参与机构的伦理委员会批准。工作流程的图形摘要见图1。
研究人群
本研究纳入了来自两个国家的1418例疑似COVID-19患者的胸部CT:第一组人群来自俄罗斯莫斯科的MosMed,收集于2020年3月至4月;第二组人群来自意大利罗马Università Campus Bio-Medico di Roma的COVID中心,收集于2020年2月至2020年5月[14, 15]。尽管两组人群的采集方案完全不同,但所接收的数据集主要由匿名平扫胸部CT图像组成,每位患者扫描平均包含300–400幅图像(层面)。所获取数据集的纳入和排除标准见图2,采集和重建参数概览见表1。
放射科医生的标注
为了阐明所获取的数据集,三位具有委员会认证的多人口统计学放射科医生(电子补充材料,第1节),拥有超过5年的经验,审阅了来自多人口统计学数据集的CT图像。每位放射科医生遵循CO-RADS标注方案,以捕捉COVID-19疑似候选人中的多类别变异。阅片者对COVID-19的临床-流行病学诊断以及俄罗斯数据集中存在的预定义CT类别(严重程度分级)设盲。在给定时间内,我们能够获取673例患者扫描的系统性标注。从纳入人群中随机选取了43例患者的重叠子集,以计算多人口统计学放射科医生之间的观察者间一致性。CT扫描使用开源多图像分析GUI [16]进行查看,阅片者能够修改窗设置。
噪声降低
在本研究中,我们使用了一种专有的基于深度学习的噪声降低(DLNR)算法(Pixelshine,AlgoMedica),该算法已被证明能有效降低已重建DICOM图像的图像噪声,并能改善图像质量 [17–19]。所有扫描无论采用何种CT方案均使用DLNR算法处理以供分析。总共创建了两个数据子集,一个未进行噪声降低(设置1、3和5),一个进行了噪声降低(设置2、4和6)。使用噪声降低的原因是为了确保不同方案所获得数据的呈现更加一致。
特征提取
对每例扫描进行三维肺叶分割(电子补充材料,第2节)后,使用PyRadiomics库 [20] 提取放射组学特征。使用PyRadiomics提取的大多数特征描述符符合影像生物标志物标准化倡议(IBSI)[21] 所描述的特征定义。此外,还纳入了26个新的放射组学描述符,称为局部各向异性梯度方向共现(CoLlAGe)特征,以捕捉肺叶水平的各向异性并封装CO-RADS [22]。
此外,为增加特征多样性,在对原始图像应用小波、高斯拉普拉斯(LoG)、平方、平方根、对数、指数、梯度及二维局部二值模式(LBP2D)等滤波器后提取特征。然而,滤波器未应用于基于二维形状的类别和CoLlAGe特征。
实验设计与性能评估
我们使用机器学习(ML)模型逻辑回归(LR)、多层感知机(MLP)和随机森林(RF)进行自动化CO-RADS分类。出于比较目的,我们按照近期描述的方法[8]在不同CO-RADS操作点组合下评估了ML模型。为了在三种机器学习模型中使用多人口统计学数据集来考虑泛化性和可重复性,我们考虑了两种模型评估场景。在第一种场景中,我们在混合数据集(俄罗斯和意大利数据集)上训练分类模型,并在内部留出数据集(俄罗斯)上进行测试。在第二种场景中,分类模型要么在俄罗斯数据集上训练、要么在意大利数据集上训练,并在另一人群上进行外部验证。由于这些场景在分类时分别在有和无噪声降低的情况下进行评估,因此我们总共实施了六种不同设置,以全面评估模型训练的所有可能性。每种设置的详细信息(包括数据划分)如图2所示。
统计学与评估指标
为了解放射科医师之间CO-RADS标注的观察者间变异性,我们使用了Fleiss kappa和t检验。
在模型训练之前,提取的特征使用Z分数归一化缩放到相同带宽。我们使用皮尔逊相关系数(PCC)来消除PCC大于0.95的冗余特征。作为特征选择方法,我们使用单因素方差分析F检验,组间差异显著(p < 0.05)的特征被纳入考虑[23]。这种特征缩放和特征选择应用在本文其余部分称为特征工程。为避免CO-RADS类别中存在的类别不平衡导致过拟合,我们使用了合成少数类过采样技术(SMOTE)[24]。
在我们的实验中,我们计算了受试者工作特征曲线下面积(AUC),以了解基于ML的自动CO-RADS评分的性能,同时计算了F1度量、召回率、准确率和精确率。使用DeLong检验比较AUC之间的统计学差异[25]。指标的95%置信区间(95% CI)使用1000次迭代的非参数自助法进行评估。完整实验设置使用Python中的PyTorch框架在本地构建[26]。
可解释可视化
为了更好地理解模型预测,我们使用了SHapley Additive exPlanations(SHAP),它基于模型输出衡量特征重要性[27]。SHAP五类别图用于可视化最佳模型在CO-RADS分类上的特征重要性。COVID-19(CO-RADS 5)的独立类别汇总图用于理解特征与预测影响之间的关系。
结果
患者特征
我们排除了15次被判定为CO-RADS 0级(不可判读)的扫描。总体而言,34.5%(227/658)的患者没有COVID-19 CT表现(CO-RADS 1)或表现正常,6.8%(45/658)的患者CT表现符合COVID-19以外的感染(CO-RADS 2),主要包括多发结节、肺气肿、纤维化、支气管扩张、钙化、肺脓肿、树芽征和肺转移。约17.2%(113/658)的患者CT表现与COVID-19相符,但同时存在其他疾病如细菌感染(非特异性磨玻璃影、实变、胸腔积液),被归类为CO-RADS 3。CO-RADS 4类别包含16.6%(109/658)疑似COVID-19异常的患者,24.9%(164/658)确诊COVID-19感染的患者被归类为CO-RADS 5(表2)。在两个亚队列的确诊病例中,超过50%(194/297,200/361)的病例被发现存在磨玻璃影。其他常见表现包括胸腔积液、实变、铺路石征和血管增粗。
多人口学特征放射科医师CO-RADS分级系统的观察者间一致性
对于总体CO-RADS标注,我们观察到放射科医师之间存在高度一致性,平均Fleiss' kappa(k)值为0.802(95% CI:0.705–0.899)。对于各个CO-RADS类别,读者间CO-RADS 5(k = 1.00,95% CI:0.84–1.17)、CO-RADS 1(k = 0.93,95% CI:0.76–1.10)和CO-RADS 3(k = 0.91,95% CI:0.74–1.00)几乎完全一致。CO-RADS 2和CO-RADS 4观察到高度一致性,k值分别为0.76(95% CI:0.58–0.93)和0.72(95% CI:0.56–0.92)(表3)。
模型在不同数据设置下的性能
在本节中,我们报告各分类器用于总体CO-RADS分类的平均AUC以及降噪后性能的百分比变化。
逻辑回归(LR)分类器在设置1中用于总体CO-RADS分类的平均AUC为0.83 ± 0.01,降噪后(设置2)为0.83 ± 0.025。在设置4和6(降噪后)中,LR分类器的性能与设置3和5相比提高了4%;即AUC分别从0.71 ± 0.06增至0.74 ± 0.04,从0.70 ± 0.02增至0.75 ± 0.03。
多层感知机(MLP)分类器在设置1和设置2中的AUC分别为0.84 ± 0.02和0.87 ± 0.06。在设置3中,AUC为0.72 ± 0.02,在设置4中,AUC为0.77 ± 0.04。在设置4中,AUC为0.69 ± 0.021,在设置5中,AUC为0.75 ± 0.01。因此,降噪后,我们观察到MLP分类器在设置2、4和6中的性能分别提高了3%、5%和6%。
随机森林模型在设置1中的AUC为0.88 ± 0.02,在设置2中为0.93 ± 0.04。在设置3中,AUC为0.76 ± 0.04,在设置4中,AUC为0.78 ± 0.04。在设置5中,AUC为0.70 ± 0.02,在设置6中,AUC为0.77 ± 0.02。因此,降噪后,我们观察到设置2、4和6的性能分别提高了5%、2%和7%。RF分类器在大多数设置中优于其他分类器。
所有组合用于COVID预测的CO-RADS评分详细信息见表4,其他评估指标见表5。可以观察到,三种分类器在设置1和设置2中的表现均优于其余设置。此外,我们研究了模型在有和无噪声抑制情况下预测“正常胸部CT”的能力,结果如图3所示。在三种机器学习分类器中,随机森林在几乎所有设置中表现最佳。
COVID-19预测
在此,我们展示各设置下最佳分类器对COVID-19预测(CO-RADS 5)的结果。在设置1中,在留出数据集上,随机森林(RF)分类器分类COVID-19患者的AUC为0.88 ± 0.06。RF算法识别COVID-19特征的敏感度和特异度分别为0.86 ± 0.11和0.88 ± 0.06。噪声抑制后,RF模型的性能提高至AUC 0.92 ± 0.06,敏感度 = 0.91 ± 0.07,特异度 = 0.94 ± 0.04。
我们观察到,在场景2中,当在俄罗斯数据集上训练并在意大利数据集上进行外部验证时,RF模型性能下降,反之亦然。在无任何噪声抑制的情况下,RF分类器的AUC为0.79 ± 0.07。RF模型的敏感度和特异度分别为0.72 ± 0.10和0.73 ± 0.05。在设置4中,经噪声抑制后,COVID-19预测的AUC为0.75 ± 0.08,敏感度 = 0.95 ± 0.03,特异度 = 0.63 ± 0.03。
对于场景2的设置5,观察到最佳模型性能为AUC 0.71 ± 0.06,敏感度 = 0.74 ± 0.09,特异度 = 0.66 ± 0.05。噪声抑制后,最佳模型性能提高至0.75 ± 0.09(AUC),敏感度 = 0.75 ± 0.09,特异度 = 0.75 ± 0.05。RF分类器在各设置中的详细评估指标见表4。
影像组学特征的解释
为了识别各场景中用于CO-RADS分类的重要特征,我们对前20个特征的SHAP值进行了可视化。各设置的SHAP值总结于图4。
在场景1中负责CO-RADS分类的前20个特征中,我们发现“log (sigma=1)-3D-GLCM Auto-correlation”、“log (sigma=1) 3D GLCM Joint Entropy”、“log (sigma=1) 3D GLCM Idm”、“log(sigma=1) 3D GLDM Low Gray Level Emphasis”和“original Firstorder-10Percentile”特征在设置1和设置2中最为常见。同样,对于其他设置,重要的CO-RADS分类特征可在图4中了解。
个体汇总图显示了CO-RADS 5的类别特异性特征(图5)。对于每个设置,正的SHAP值表示COVID-19风险增加。“Log (sigma=1) GLDM Small Dependence Low Gray Level Emphasis”在几乎所有设置中对COVID预测显示负向影响,而“wavelet (LH) GLCM Imc1”显示正向影响。
讨论
自COVID-19暴发以来,已开发了多种深度学习[28, 29]、影像组学[30, 31]及整合模型[32, 33],聚焦于COVID-19的筛查、诊断和预后。为促进COVID-19检测模型向临床实践转化,我们遵循系统化方法开发了简单、可泛化且可重复的自动化COVID-19检测模型。在本研究中,(A) 我们成功评估了多中心或公私数据集场景,并显示通过使用降噪技术整体改善了CO-RADS分类;(B) 通过从两个临床中心和异质性成像方案中选择高质量数据,我们显著减少了近期许多研究中常见的人群选择偏倚,正如近期一篇综述所述[9];(C) 标注由来自不同国家的三位经验丰富的放射科医师完成,避免了使用缺乏经验的放射科医师或来自同一中心的放射科医师时可能出现的标注偏倚;(D) 通过使用标准化标注方案,我们使研究易于实施和比较;(E) 通过SHAP解释影像组学特征,我们能够精准定位影响分类的关键特征;(F) 最后,通过开展类似于个体预后或诊断多变量预测模型透明报告(TRIPOD)声明第2b和第3类所列指南的验证流程,我们提升了实验设计质量,并通过测试不同机构间的跨数据集域偏移证明了预测模型的有用性[34]。
无论何种验证场景类型,CT影像组学特征均有助于识别疑似COVID-19的CT扫描,在二维设置中准确率为84%(138/164)。Homayounieh等、Fang等和Liu等报告使用临床-影像组学联合特征获得了更高的准确率,但其训练仅基于单一人口学群体,这可能引发偏倚担忧[30, 31, 35]。Lee等使用深度学习算法,在调查来自八个以上国家的异质性人群时获得了与本研究相似的准确率[36]。
我们观察到,在两种验证方法中,内部留出法对COVID分类(CO-RADS 5)的AUC最高,为0.92,而外部验证为0.75。这表明,与在单一人群数据上训练的模型相比,在多种人口统计学特征上训练并在内部留出集上测试的模型表现更好[36]。已有许多自动模型用于区分COVID-19与非COVID-19,但很少有模型能够区分肺气肿和肺癌等合并症[2]。值得注意的是,我们的多类分类模型(RF)能够以85%(329/386)的最高准确率识别其他合并症。既往研究表明,放射组学可用于在CT上区分COVID-19(CO-RADS 4)与其他肺炎(CO-RADS 3)[37, 38]。我们观察到,在区分疑似COVID-19患者的其他社区获得性肺炎(CO-RADS 3)方面,平均性能为0.80(AUC),与既往研究不同,我们使用的是疑似COVID-19患者的扫描图像,未纳入普通人群的扫描图像。
研究表明,与放射科医生的主观评估相比,使用全肺CT放射组学预测COVID-19患者的结局和疾病严重程度具有重要意义[30, 31, 39, 40]。虽然这些研究中获得的特征无法与我们的研究进行直接比较,但我们观察到,纹理特征在COVID-19患者或CO-RADS 5的特征重要性中占主导地位(图5)。有趣的是,通过对非增强胸部CT应用降噪处理,我们能够提高所有分类器的性能。这可能是因为除了降低噪声和促进放射组学特征的降维之外,它还有助于泛化来自不同采集协议的扫描图像(最小化方差)。
尽管放射科医生来自不同国家(荷兰、德国和意大利),但在多种人口统计学数据中,CO-RADS评分的观察者间一致性为显著。Prokop等、Lessmann等和Dilek等也报告了类似的一致性[4, 7, 8]。
本研究的一些明显局限性在于,我们的放射组学特征还可以纳入流行病学-实验室参数和临床症状,以提供更全面的模型。其次,众所周知,采集过程、重建参数或研究方案的变化可导致不同的放射组学特征。这种变化对分类性能的影响程度是一个活跃的研究领域。第三个局限性是仅纳入了非增强图像。然而,比较和结合深度学习方法所构建的特征将是我们未来工作的主要重点[41, 42]。
结论
我们试图回答这样一个问题:我们能否使用系统化方法构建影像组学特征,并采用简单的机器学习分类器,在多人口学背景下有效区分COVID-19。最佳分类器平均在80%的病例中正确指定CO-RADS评分。也就是说,通过利用影像组学结合降噪的力量,有可能以相对较高的准确率从非增强胸部CT预测CO-RADS评分。将上述模型作为标准化工具应用于临床实践,可能有助于放射科医生对COVID-19进行分类。最后,本研究设计可作为研究工具使用,促进自动化COVID-19检测领域可重复和可比较的模型。
补充信息
ESM 1(DOCX 18 kb)
引用
- Nagaraj Y, de Jonge G, Andreychenko A, et al. Facilitating standardized COVID-19 suspicion prediction based on computed tomography radiomics in a multi-demographic setting. Eur Radiol. 2022. PMID: 35362751. doi:10.1007/s00330-022-08730-6
- 全文:PMC8973680(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8973680/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。