文献速递呼吸衰竭与机械通气重症综合管理与镇静镇痛消化、代谢与肾脏急症

COVID-19诊断与预后预测模型:系统综述与批判性评价

Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal.
PubMed 文献 · BMJ · 2020-04-07
一句话结论现有66个COVID-19预测模型均存在高偏倚风险,性能估计可能过于乐观,作者不推荐任何模型用于临床实践。

该动态系统综述检索了截至2020年7月1日的文献,纳入169项研究描述的232个预测模型,其中51项研究描述的66个模型被详细评价。模型分为三类:一般人群感染或住院风险预测、疑似患者诊断模型、确诊患者预后模型。所有模型均被评为高偏倚风险,主要因对照选择不具代表性、排除未发生结局事件的患者、模型过拟合及报告不清。报告的C指数范围分别为一般人群0.71–0.99、诊断模型0.65–>0.99、预后模型0.54–0.99,但仅11个模型(5%)进行了外部验证校准。作者结论为不推荐任何现有模型用于实践。

要点

  • 所有66个模型均评为高偏倚风险,作者明确不推荐任何模型常规用于临床实践。
  • 诊断模型C指数0.65–>0.99,预后模型0.54–0.99,但性能估计可能过于乐观。
  • 多数模型未描述目标人群(27个,12%)或医疗场景(75个,32%),仅11个(5%)经外部校准验证。
  • Jehi诊断模型和4C死亡评分被列为有前景的模型,需在多队列中验证。
  • 预测模型开发应遵循TRIPOD报告规范,并考虑年龄、生命体征、合并症等候选预测因子。

适用人群与场景

  • 纳入标准:开发或验证基于个体水平数据的多变量模型或评分系统,预测任何COVID-19相关结局的研究;不限语言、发表状态、场景、预测时间范围、预测因子或结局。
  • 排除标准:模拟疾病传播或病死率的流行病学研究、诊断试验准确性研究、预测因子发现研究。
  • 三个模型类别:一般人群感染或住院风险预测、疑似感染患者诊断模型、确诊患者预后模型。
  • 一项研究针对儿科患者开发预测模型。

诊断标准与关键阈值

  • C指数:1表示模型区分完美,0.5表示区分不优于随机。
  • 校准截距:风险未被系统性高估或低估时为0;校准斜率:预测风险不太极端或太温和时为1。
  • 预测性能按最强验证形式提取:外部验证(独立数据库)>内部验证(bootstrap、交叉验证、随机训练测试拆分、时间拆分)>表观验证(开发数据本身)。
  • 偏倚风险评估使用PROBAST工具,覆盖四个域。

研究设计与关键结果

  • 系统检索获得37421条标题,最终纳入169项研究描述232个预测模型;其中51项研究描述的66个模型被详细评价。
  • 模型分类:7个一般人群风险模型,118个诊断模型(75个基于医学影像,10个诊断疾病严重程度),107个预后模型(预测死亡风险、进展至重症、ICU入住、通气、插管或住院时间)。
  • 常见预测因子:生命体征、年龄、合并症和影像特征;诊断模型中流感样症状常见;预后模型中性别、C反应蛋白和淋巴细胞计数常见。
  • C指数范围:一般人群模型0.71–0.99;诊断模型0.65–>0.99;预后模型0.54–0.99。
  • 所有模型均评为高偏倚风险或偏倚风险不明确,主要原因为对照患者选择不具代表性、排除研究结束时未发生结局事件的患者、模型过拟合风险高及报告不清。
  • 27个模型(12%)未描述目标人群,75个模型(32%)未描述医疗场景,仅11个模型(5%)通过校准图进行外部验证。
  • Jehi诊断模型和4C死亡评分被确定为有前景的模型。
  • 预测死亡风险的4项研究报告C指数0.90–0.98;一项模型在新患者中应用时,低风险患者死亡概率被高估、高风险患者被低估(校准斜率>1),尽管区分度优秀。

证据类型、等级与局限

  • 证据类型:动态系统综述与批判性评价,由COVID-PRECISE组完成,与Cochrane预后方法组合作。
  • 数据来源:PubMed和Embase(通过Ovid)检索至2020年7月1日,补充arXiv、medRxiv和bioRxiv至2020年5月5日。
  • 偏倚风险评估:所有模型均评为高偏倚风险(PROBAST评估),提示实际应用时预测性能可能低于报告值。
  • 局限性:该系统综述不能视为所有现有COVID-19预测模型的最新列表;45项研究仅为预印本,可能经同行评议后改进;存在未发表但已在临床使用的预测模型,不在本综述范围内。
  • 局限性:部分模型排除研究结束时既未康复也未死亡的患者,导致严重采样偏倚;随访时间多数研究未报告;诊断模型患病率变异大(17%–79%),部分使用病例对照采样可能不具代表性。
  • 作者结论:不推荐任何现有预测模型用于临床实践;未来研究应明确解决所提出的问题。

对床旁实践的改变

  • 作者不推荐任何66个已评价的预测模型用于临床实践,因其均为高偏倚风险且缺乏独立外部验证证据。
  • Jehi诊断模型和4C死亡评分被列为有前景的模型,应尽快在多队列中验证,最好通过合作和数据共享进行。
  • 预测模型开发应遵循TRIPOD报告规范,并基于既往文献和专家意见选择预测因子,而非纯数据驱动方式。
  • 诊断模型候选预测因子可考虑:年龄、体温或发热、症状体征(如气短、头痛、寒战、咽痛、乏力)、性别、血压、肌酐、嗜碱性粒细胞、中性粒细胞、淋巴细胞、丙氨酸转氨酶、白蛋白、血小板、嗜酸性粒细胞、钙、胆红素、流行病学接触史及肺部影像特征。
  • 预后模型候选预测因子可考虑:年龄、CT评分特征、乳酸脱氢酶、性别、C反应蛋白、合并症(包括高血压、糖尿病、心血管疾病、呼吸系统疾病)及淋巴细胞计数。

指南或共识出处

  • 本系统综述方案注册于OSF(https://osf.io/ehc47/,注册号https://osf.io/wy245)。
  • 报告参考PRISMA和TRIPOD指南。
  • 数据提取使用CHARMS清单,偏倚风险评估使用PROBAST工具。
  • 所有评价模型的详细信息可在https://www.covprecise.org/公开获取。

提炼说明

  • 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」,故未列出这些栏目。
全文中译22 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:BMJ. 2020 Apr 7;369:m1328. doi: 10.1136/bmj.m1328

引言

新型冠状病毒病2019(covid-19)对全球健康构成重要而紧迫的威胁。自2019年12月初在中华人民共和国湖北省暴发以来,在180多个国家中确诊该病的患者人数已超过3 231 701例,而感染人数可能远高于此。已有超过220 000人死于covid-19(截至2020年4月30日)。1 尽管采取了旨在遏制疾病和延缓传播的公共卫生应对措施,多个国家仍面临重症监护危机,且可能有更多国家步其后尘。2 3 4 疾病暴发导致医院床位需求大幅增加和医疗设备短缺,同时医务人员本身也可能被感染。

为减轻医疗系统的负担,同时为患者提供尽可能最佳的照护,需要高效的诊断和关于疾病预后的信息。结合多个变量或特征来估计人群感染风险或感染后不良结局风险的预测模型,可协助医务人员在分配有限医疗资源时对患者进行分诊。从基于规则的评分系统到先进的机器学习模型(深度学习),已有多种模型被提出并发表,以响应快速、公开分享相关covid-19研究发现以指导公共卫生应对和帮助拯救生命的呼吁。5 其中许多预测模型在同行评审之前即发表于开放获取存储库中。

我们旨在系统评价和批判性评估所有当前可用的covid-19预测模型,特别是预测发生covid-19或因covid-19住院风险的模型、预测疑似感染患者中存在covid-19的模型,以及预测covid-19患者预后或感染病程的模型。我们纳入模型开发和外部验证研究。本动态系统评价将定期更新,正在与Cochrane预后方法组合作进行。

方法

我们检索了PubMed和通过Ovid访问的Embase、bioRxiv、medRxiv以及arXiv,以查找2020年1月3日之后发表的关于covid-19的研究。我们使用了covid-19活系统评价的公开可获取的文献列表。6 该列表包含通过PubMed和通过Ovid访问的Embase、bioRxiv和medRxiv上发表的关于covid-19的研究,并持续更新。我们通过将covid-19检索词(covid-19、sars-cov-2、novel corona、2019-ncov)与方法学检索词(diagnostic、prognostic、prediction model、machine learning、artificial intelligence、algorithm、score、deep learning、regression)组合,与该列表和来自bioRxiv和medRxiv的相关命中结果进行比较,以验证该列表是否适用于本目的。所有相关命中结果均可在该活系统评价列表中找到。6 我们通过检索“covid-19”补充了该列表中来自PubMed的命中结果,因为当我们进行初始检索时,该词未被纳入所报道的活系统评价6用于PubMed的检索词中。我们进一步用从arXiv检索到的关于covid-19的研究补充了该列表。在线补充材料中列出了检索式。此外,我们联系了作者以获取检索时尚未公开可用的研究,7 8 并纳入了检索时已公开可用但不在活系统评价6列表上的研究。9 10 11 12

我们于2020年3月13日和2020年3月24日(针对该综述的第一版)以及2020年4月7日(针对该综述的第一次更新)检索了数据库。所有研究均被纳入考虑,不论语言或发表状态(预印本或同行评审文章;预印本的更新仅在其于同行评审期刊发表后的未来更新中被纳入并重新评估)。如果研究基于个体参与者水平数据开发或验证了多变量模型或评分系统,以预测任何covid-19相关结局,则纳入该研究。这些模型包括三类预测模型:用于预测疑似感染患者中是否存在covid-19的诊断模型;用于预测covid-19患者感染病程的预后模型;以及用于识别一般人群中发生covid-19风险增加者的预测模型。对研究场景(例如住院患者、门诊患者或一般人群)、预测时间范围(模型预测多长时间之后的情况)、纳入的预测因子或结局均不作限制。旨在对疾病传播或病死率进行建模的流行病学研究、诊断试验准确性研究以及预测因子发现研究被排除。标题、摘要和全文由独立评价者(LW、BVC和MvS中的两人)双人重复筛选以确定合格性,分歧通过讨论解决。

纳入文章的数据提取由两名独立评价员完成(来自LW、BVC、GSC、TPAD、MCH、GH、KGMM、RDR、ES、LJMS、EWS、KIES、CW、AL、JM、TT、JAAD、KL、JBR、LH、CS、MS、MCH、NS、NK、SMJvK、JCS、PD、CLAN和MvS)。评价员使用基于CHARMS(预测模型研究系统评价的关键评价与数据提取)清单13和PROBAST(预测模型偏倚风险评估工具)的标准化数据提取表来评估所报告的预测模型。14我们试图通过使用所呈现的任何指标来提取每个模型的预测性能。这些指标包括TRIPOD(个体预后或诊断多变量预测模型的透明报告)声明15所推荐的任何区分度总结(预测风险在有无结局的参与者之间进行区分的程度)和校准度总结(预测风险与观察风险相对应的程度)。区分度通常用C指数量化(C指数=1表示模型区分完美;C指数=0.5表示区分度不优于随机)。校准度通常用校准截距(当风险未被系统性高估或低估时为零)和校准斜率(当预测风险不太极端也不太温和时为一)量化。16我们重点关注从最强可用验证形式估计的性能统计量(按强度顺序:外部验证(在独立数据库中进行评估)、内部验证(自举验证、交叉验证、随机训练测试分割、时间分割)、表观验证(使用与开发完全相同的数据进行评估))。数据提取中的任何差异由评价员之间讨论,必要时由LW和MvS解决冲突。在线补充材料提供了数据提取的详细信息。我们在报告本文时考虑了PRISMA(系统评价和荟萃分析优先报告条目)17和TRIPOD15的各个方面。

患者与公众参与

让患者或公众参与我们研究的设计、实施或报告既不合适也不可能。研究方案和初步结果已在https://osf.io/ehc47/和medRxiv上公开。

结果

我们通过系统检索获取了4903条题录(图1;2020年3月13日1916条,2020年3月24日774条,纳入综述第一版;2020年4月7日2213条,纳入第一次更新)。经请求(在社交媒体上发出呼吁后)额外获得了两项未发表研究。我们还纳入了另外四项公开可得但未被我们的检索检出的研究。在4909条题录中,199项研究被保留进行摘要和全文筛选(综述第一版85项;第一次更新增加114项)。51项研究描述了66个预测模型,符合纳入标准(综述第一版27篇论文中的31个模型;第一次更新增加24篇论文中的35个模型)。7 8 9 10 11 12 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62这些研究被选中进行数据提取和关键评价(表1和表2)。

图1 研究纳入与排除的PRISMA(系统评价和荟萃分析优先报告条目)流程图。CT=计算机断层扫描 查看原图 ↗
表1 用于COVID-19诊断和预后预测模型概览 查看原表 ↗
表2 基于51项建立2019冠状病毒病预测模型研究的四个领域的偏倚风险评价(使用PROBAST) 查看原表 ↗

原始数据集

32项研究使用了来自中国的COVID-19患者数据,2项研究使用了来自意大利的患者数据,31 39 1项研究使用了来自新加坡的患者数据40(补充表1)。10项研究使用了国际数据(补充表1),2项研究使用了模拟数据。35 41 1项研究使用了2015至2016年美国医疗保险索赔数据来估计COVID-19的易感性。8 3项研究未明确COVID-19数据的来源(补充表1)。

在51项研究中,26项报告了研究日期,数据收集时间在2019年12月8日至2020年3月15日之间。大多数研究的随访时间不明确。2项研究报告了中位随访时间(8.4天和15天),19 37另一项研究报告随访至少5天。42一些中心向多项研究提供了数据,若干研究使用了开放的Github63或Kaggle64数据存储库(版本或访问日期通常不明确),因此无法确定这些数据集在我们所识别的51项研究之间的重叠程度(补充表1)。1项研究24开发了用于儿科患者的预测模型。成人研究中的中位年龄各不相同(从34岁至65岁;见补充表1),男性比例也各不相同(从41%至67%),尽管这些信息往往完全未报告。

在6项开发预后模型以预测确诊或疑似感染患者死亡风险的研究中,死亡率从8%至59%不等(表1)。这种较大差异部分是由于严重的抽样偏倚所致,因为研究排除了在研究期结束时仍患病(即既未康复也未死亡)的参与者。7 20 21 22 44此外,随访时间长短可能在各研究间存在差异(但很少报告),并且人们被诊断为COVID-19或收入医院(因而被招募进入研究)的方式可能存在地区和时间的差异。在诊断模型研究中,仅5项报告了COVID-19患病率并采用了横断面或队列设计;患病率从17%至79%不等(见表1)。由于31项诊断研究使用了病例对照抽样或数据收集方法不明确,这些诊断研究中的患病率可能不能代表其目标人群。

表1概述了51项已识别研究中报告的66个预测模型。补充表2提供了建模细节,框1讨论了模型以可用于临床实践的格式的可获得性。

16项研究以可用于临床实践的格式呈现了其模型。然而,由于所有模型均存在高偏倚风险,我们不建议在对其进行适当的外部验证之前常规使用。

用于预测一般人群发生2019冠状病毒病(COVID-19)风险或因COVID-19住院风险的模型

“COVID-19脆弱性指数”用于从其他呼吸道感染(如肺炎、流感)中识别因covid-19肺炎住院的情况,已作为在线工具提供。8 65

诊断模型

“COVID-19诊断辅助APP”已在iOS和安卓设备上提供,用于诊断无症状患者和疑似患者的covid-19。12“疑似COVID-19肺炎诊断辅助系统”已作为在线工具提供。10 66“COVID-19早期预警评分”用于在成人中检测covid-19,已在文章中作为评分图表提供。30 列线图(一种计算风险的图形辅助工具)可用于基于影像学特征、流行病学史和白细胞计数诊断covid-19肺炎。43 用于检测确诊covid-19儿科患者重症疾病的决策树也可在文章中获得。24 此外,还有一种基于血常规检查数据进行诊断的在线工具。45

基于图像的诊断模型

三种辅助基于医学图像诊断的人工智能模型可通过网络应用程序获得。23 26 29 67 68 69 其中一个模型已部署在16家医院,但作者在其研究中未提供任何可用的工具。33 一篇论文包含基于图像对患者进行分类的“总严重程度评分”。54

预后模型

为辅助死亡预后判断,文章中提供了列线图、7 决策树21 和基于计算机断层扫描的评分规则。22 此外,还有一种用于预测进展为重症covid-19的列线图。32 一篇论文提供了一种预测疾病进展的模型方程。60

总体而言,七项研究在GitHub上公开了其源代码。8 11 34 35 38 47 55 三十一项研究未包含任何可用于使用或验证其预测模型的可用方程、格式或参考。

用于预测普通人群发生covid-19风险或因covid-19住院风险的模型

我们识别出三个预测普通人群中covid-19肺炎住院风险的模型,但这些模型在没有任何covid-19患者的数据集中,使用非结核性肺炎、流感、急性支气管炎或上呼吸道感染住院作为结局(表1)。8 预测因素包括年龄、性别、既往住院史、合并症数据和健康的社会决定因素。该研究估计三个模型的C指数分别为0.73、0.81和0.81。

用于在疑似感染患者中检测covid-19的诊断模型

九项研究开发了13个多变量模型用于诊断covid-19。大多数模型针对疑似covid-19患者。报告的C指数值范围在0.85至0.99之间, except for one model with a C index of 0.65。两项研究旨在诊断确诊covid-19患者的重症疾病:一项在确诊covid-19的成人中报告C指数值为0.88,46另一项在儿科患者中报告完美性能。24多个诊断预测因子在不止一个模型中使用:年龄(五个模型);体温或发热(三个模型);体征和症状(如气短、头痛、寒战、咽痛和疲劳;三个模型);性别(三个模型);血压(三个模型);肌酐(三个模型);流行病学接触史、计算机断层扫描上的肺炎征象、嗜碱性粒细胞、中性粒细胞、淋巴细胞、丙氨酸转氨酶、白蛋白、血小板、嗜酸性粒细胞、钙和胆红素(各在两个模型中;表1)。

提出了三十四个预测模型,用于基于图像支持covid-19或covid-19肺炎的诊断(并监测进展)。大多数研究使用计算机断层扫描图像。其他图像来源为胸部X线片39 47 48 49 55 56 58和咳嗽声音的声谱图。53预测性能差异很大,估计的C指数值范围从0.81至0.998。

诊断为covid-19患者的预后模型

我们确定了16个用于诊断为covid-19患者的预后模型(表1)。在这些模型中,八个估计疑似或确诊covid-19患者的死亡风险(表1)。这些模型的预期用途(即何时使用、对谁使用以及预测时间范围,例如到何时为止的死亡率)未明确描述。五个模型旨在预测进展至严重或危重状态,三个旨在预测住院时间(表1)。预测因子(针对任何结局)包括年龄(七个模型)、源自计算机断层扫描评分的特征(七个模型)、乳酸脱氢酶(四个模型)、性别(三个模型)、C反应蛋白(三个模型)、合并症(包括高血压、糖尿病、心血管疾病、呼吸系统疾病;三个模型)和淋巴细胞计数(三个模型;表1)。

四项预测死亡率的研究报告C指数在0.90至0.98之间。一项研究还评估了校准。7当应用于新患者时,其模型对低风险患者产生的死亡概率过高,对高风险患者产生的死亡概率过低(校准斜率>1),尽管区分度极好。7一项研究开发了两个模型预测住院时间超过10天,估计C指数为0.92和0.96。20另一项预测住院时间的研究未报告C指数。两项预测住院时间的研究均未报告校准。开发模型预测进展至严重或危重状态的五项研究报告C指数在0.85至0.99之间。其中一项研究还报告了完美校准,但尚不清楚如何评估。32

偏倚风险

根据PROBAST评估,所有模型均存在高偏倚风险(表1),这表明它们在实际使用中的预测性能可能低于报告值。因此,我们有理由担心这些模型在用于其他人群时预测不可靠。框2给出了每种模型类型偏倚风险的常见原因详情。

用于预测普通人群发展为2019冠状病毒病(covid-19)或因covid-19住院风险的模型

这些模型基于医疗保险索赔数据,并在缺乏covid-19患者的情况下,使用替代结局来预测因covid-19肺炎住院。8

诊断模型

对照可能不代表性诊断模型的目标人群(例如,筛查模型的对照患有病毒性肺炎)。12 41 45 用于确定结局的检测在不同参与者之间存在差异,12 41 或其中一个预测因子(例如发热)是结局定义的一部分。10

基于医学影像的诊断模型

总体而言,研究未清楚报告哪些患者在临床常规中接受了影像检查,也不清楚对照是否从目标人群(即疑似covid-19患者)中选择。研究通常未清楚报告感兴趣区域是如何标注的。图像有时仅由一名评分者标注而无质量控制。25 27 47 52 55 缺乏对模型设定和后续估计的仔细描述,对模型的透明度和可重复性构成挑战。每项研究使用了不同的深度学习架构,有些是已建立的,有些是专门设计的,但未将所用架构与其他架构进行基准比较。

预后模型

研究参与者常因在研究期末未发生结局但仍处于随访中(即仍在住院但未康复或死亡)而被排除,从而产生高度选择性的研究样本。7 20 21 22 44 此外,仅三项研究通过使用Cox回归19 42或竞争风险模型62来处理删失。一项研究使用了电子健康记录中最后一次可用的预测因子测量值(而非在模型预期使用时间点测量预测因子值)。21

51项研究中有24项在参与者域存在高偏倚风险(表2),这表明研究中纳入的参与者可能无法代表模型的目标人群。13项研究对参与者纳入情况的报告不明确,导致无法进行偏倚风险评估。51项研究中有6项在预测因子域存在高偏倚风险,这表明预测因子在模型预期使用时间点不可获得、未明确定义,或受到结局测量的影响。在人工智能研究中以医学图像作为预测因子的诊断模型研究,在预测因子域均被评分为不明确。一项诊断成像研究使用了简单的评分规则,预测因子偏倚风险被评为低。这些出版物往往缺乏关于预处理步骤(例如图像裁剪)的明确信息。此外,复杂的机器学习算法以复杂的方式将图像转换为预测因子,这使得对此类成像研究完全套用PROBAST预测因子部分具有挑战性。大多数研究使用了易于评估的结局(例如死亡、实验室确诊的covid-19存在与否)。尽管如此,在18项研究中,有理由担心由结局测量引入的偏倚,原因包括使用了主观或替代结局(非covid-19的重度呼吸道感染)等。

除一项研究外,所有研究在分析域均存在高偏倚风险(表2)。许多研究样本量较小(表1),这导致过拟合风险增加,尤其是在使用复杂建模策略时。三项研究未报告所开发模型的预测性能,三项研究仅报告了表观性能(即使用与开发模型完全相同的数据所获得的性能,未针对潜在过拟合所致乐观偏倚进行调整)。仅五项研究评估了校准,7 12 32 43 50 但其中两项研究检查校准的方法可能欠佳。12 32

九项模型在同一研究中进行了开发并进行外部验证(在独立数据集中,排除随机训练-测试划分和时间划分)。7 12 25 32 42 43 51 52 59 然而,其中六个模型用于外部验证的数据集不能代表目标人群。7 12 25 42 59 因此,如果将这些模型应用于目标人群,预测性能可能会有所不同。在一项研究中,未报告预后常用的性能统计量(区分度、校准)。42 Gozes等52和Fu等51在外部验证集上具有满意的预测性能,但尚不清楚外部验证数据是如何收集的,以及是否具有代表性。Gong等32和Wang等43在可能无偏但较小的外部验证数据集上获得了满意的区分度。

一项研究呈现了小型外部验证(27名参与者),报告了一个最初为禽流感H7N9肺炎开发的模型具有满意的预测性能。然而,研究期末未康复的患者被排除,这再次导致了选择偏倚。22另一项研究是对现有肺部计算机断层摄影图像严重程度评分的小规模外部验证研究(78名参与者),报告的区分度令人满意。54

讨论

在这项针对所有与covid-19大流行相关的预测模型的系统综述中,我们识别并严格评价了51项研究,这些研究描述了66个模型。这些预测模型可分为三类:面向一般人群、用于预测发生covid-19或因covid-19住院风险的模型;用于支持对疑似感染患者进行covid-19诊断的模型;以及用于支持对covid-19患者进行预后判断的模型。所有模型均报告了良好至极佳的预测性能,但由于在参与者选择、预测因子描述和所用统计方法方面报告质量差和方法学实施不佳的共同影响,所有模型均被评价为具有高偏倚风险。正如预期,在这些早期covid-19相关预测模型研究中,来自covid-19患者的临床数据仍然稀缺,且仅限于来自中国、意大利和国际登记处的数据。除少数例外,可用样本量和目标结局的事件数均有限。这是构建预测模型时众所周知的问题,并会增加模型过拟合的风险。70 高偏倚风险意味着这些模型在新样本中的性能很可能低于研究者所报告的性能。因此,估计的C指数(通常接近1,提示近乎完美的判别能力)很可能是乐观的。11项研究进行了外部验证,7 12 22 25 32 42 43 51 52 54 59 且校准很少被评估。

我们综述了33项研究,这些研究使用先进的机器学习方法对医学图像进行分析,以诊断covid-19、covid-19相关肺炎,或辅助肺部图像分割。预测性能指标显示其识别covid-19的能力高至几乎完美,尽管这些模型及其评价同样具有高偏倚风险,尤其是因为报告质量差以及人为混合了有和无covid-19的患者。因此,我们不推荐将所识别的66个预测模型中的任何一个用于实践。

挑战与机遇

预测模型的主要目的是支持医疗决策。因此,至关重要的是确定一个预测可满足临床需求的目标人群,以及一个可用于开发和验证预测模型的具有代表性的数据集(最好包含连续患者)。还必须对该目标人群进行仔细描述,以便能够在具体背景下评价所开发或验证模型的性能,并使使用者在进行预测时知道该模型适用于哪些人。遗憾的是,本系统综述纳入的研究往往缺乏对研究人群的充分描述,这使这些模型的使用者对其适用性存疑。尽管我们认识到所有研究都是在紧迫性造成的严重时间限制下完成的,但我们建议当前所有处于预印本状态的研究以及所有未来研究都应遵循TRIPOD报告指南15,以改进对其研究人群和建模选择的描述。TRIPOD译本(例如中文和日文)也可在https://www.tripod-statement.org获取。

对研究人群更准确的描述也有助于我们理解各研究报告结局(如covid-19相关死亡率)中观察到的变异性。预测结局相对频率的变异性给预测模型构建者带来了重要挑战。在结局相对频率不同的环境中应用预测模型,可能产生校准不良的预测71,在安全应用于该新环境之前可能需要更新。16当预测模型被迁移到不同的医疗系统时,往往可能需要这样的更新,这要求能够从该系统获得covid-19患者的数据。

Covid-19预测问题往往并不表现为简单的二分类任务。数据中的复杂性应得到恰当处理。例如,应为预后结局(如30天死亡率)指定预测时间范围。如果研究参与者在该时间段内既未康复也未死亡,其数据不应被排除在分析之外,而大多数被综述的研究却这样做了。相反,应考虑适当的时间至事件分析以允许行政删失。16因其他原因导致的删失,例如因快速康复以及不再处于covid-19死亡风险中的患者失访,可能需要在竞争风险框架下进行分析。72

与其在各自本地环境中开发和更新预测,来自多个国家和医疗系统的个体参与者数据可能有助于更好地理解预测模型在不同环境和人群中的可推广性和实施。这种方法可以大大提高预测模型在常规医疗中的适用性和稳健性。73 74 75 76 77

与covid-19相关预测模型开发和验证的证据基础将在未来几个月迅速增加。随着来自预测因子发现研究78 79 80 81 82 83 84以及covid-19相关出版物开放同行评议倡议85的证据不断增加,数据登记库63 64 86 87 88正在建立。为最大化新机遇并促进个体参与者数据荟萃分析,世界卫生组织最近发布了一个新的数据平台,以鼓励共享匿名的covid-19临床数据。89为充分利用这些发展的全部潜力,在数据获取和模型构建方面的国际跨学科合作至关重要。

研究局限性

随着covid-19相关预测模型的新出版物迅速进入医学文献,本系统综述不能被视为所有当前可获得的covid-19相关预测模型的最新清单。此外,我们所综述的研究中有45项仅以预印本形式提供。这些研究在同行评议后、进入正式医学文献时可能会有所改进;我们将在未来的更新中重新评估这些经同行评议的出版物。我们还发现了其他目前正在临床实践中使用但没有科学出版物的预测模型,90以及在科学手稿仍在审稿期间就上线使用的网络风险计算器。91这些未发表的模型自然不属于本文献综述的范围。

对实践的意义

所有66个被评价的预测模型均被发现存在高偏倚风险,且目前缺乏对新开发模型进行独立外部验证的证据。然而,在covid-19大流行中,诊断和预后模型有助于快速高效地进行患者分诊,这种紧迫性可能促使临床医生在缺乏充分文档记录和验证的情况下实施预测模型。尽管我们不能让完美成为好的敌人,但早期研究表明,模型在大流行背景下的用途有限,92 甚至可能弊大于利。93 因此,目前我们不能推荐任何模型用于实践。

我们预计不久将获得更多个体参与者水平的covid-19数据。这些数据可用于验证和更新当前可用的预测模型。16 例如,一个模型预测入院后15天内进展为重症covid-19,在两个小型但未选择的队列中进行外部验证时显示出有希望的区分度。32 第二个诊断covid-19肺炎的模型在外部验证中显示出有希望的区分度。43 第三个使用基于计算机断层扫描的总严重度评分的模型在轻症、普通型和重症-危重型患者之间显示出良好的区分度。54 由于这些研究的报告不够详细,且验证是在小型中国数据集中进行的,因此需要在更大的国际数据集中进行验证。由于医疗系统(例如中国和欧洲)在患者入院和出院时机以及covid-19患者检测标准方面存在差异,我们预计大多数现有模型将需要更新(即根据当地情况进行调整)。

在创建新的预测模型时,我们建议基于既往文献和专家意见来选择预测因子,而不是以纯数据驱动的方式选择预测因子16;这对于样本量有限的数据集尤为重要。94 基于我们的综述所识别的多个模型中包含的预测因子,我们鼓励研究人员考虑纳入几个候选预测因子:对于诊断模型,这些包括年龄、体温或发热、体征和症状(如气短、头痛、寒战、咽痛和疲劳)、性别、血压、肌酐、嗜碱性粒细胞、中性粒细胞、淋巴细胞、丙氨酸转氨酶、白蛋白、血小板、嗜酸性粒细胞、钙、胆红素、肌酐、流行病学接触史以及可能源自肺部影像的特征。对于预后模型,这些预测因子包括年龄、源自计算机断层扫描评分的特征、乳酸脱氢酶、性别、C反应蛋白、合并症(包括高血压、糖尿病、心血管疾病、呼吸系统疾病)和淋巴细胞计数。通过指出当前可用模型在设计和报告方面最重要的方法学挑战和问题,我们希望为进一步研究提供一个有用的起点,这些研究旨在开发新模型,或验证和更新现有模型。

本动态系统综述及首次更新是与Cochrane预后方法组合作进行的。随着更多国际研究的不断涌现,我们将持续更新本综述和评价,为医疗决策者和专业人员提供最新信息。

结论

目前已有若干针对covid-19的诊断和预后模型,它们均报告了良好至优秀的判别性能。然而,这些模型均存在高偏倚风险,主要原因是对照患者的选择不具代表性、排除了在研究结束时尚未经历目标事件的患者以及模型过拟合。因此,其性能估计值可能是乐观且具有误导性的。我们不推荐目前任何预测模型用于实践。未来旨在开发和验证covid-19诊断或预后模型的研究应明确处理所提出的问题。迫切需要共享数据和专业知识以开发、验证和更新covid-19相关预测模型。

本主题已知内容

近期2019冠状病毒病(covid-19)发病率的急剧上升给全球医疗系统带来了压力;迫切需要在该人群中对covid-19进行有效的早期发现、对疑似患者进行诊断以及对确诊患者进行预后评估

病毒核酸检测和胸部计算机断层扫描成像是诊断covid-19的标准方法,但耗时较长

早期报告提示,老年患者、合并症患者(慢性阻塞性肺疾病、心血管疾病、高血压)以及表现为呼吸困难的患者在感染后更易发生较严重的疾病和死亡

本研究补充的内容

共识别出三个模型,用于预测一般人群中肺炎及其他事件(作为covid-19肺炎的替代结局)导致的入院

共识别出47个用于检测covid-19的诊断模型(其中34个基于医学图像);以及16个用于预测死亡风险、进展为重症或住院时间的预后模型

所提出的模型报告质量差且存在高偏倚风险,令人担忧其预测在日常实践中应用时可能不可靠

参考来源

  1. Wynants L, Van Calster B, Collins GS, et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal. BMJ. 2020. PMID: 32265220. doi:10.1136/bmj.m1328
  2. 全文:PMC7222643(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7222643/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。