多中心衍生与验证的住院患者急性呼吸衰竭或死亡早期预警评分
研究基于四家医院2013年68775例次成人住院和第五家医院2017年2258例次成人住院的电子病历数据,用随机森林方法衍生并验证APPROVE评分,以预测住院死亡或插管后机械通气≥48小时的复合终点。2013年内部验证 AUROC 为0.87(95%CI 0.85-0.88),2017年前瞻性外部验证 AUROC 为0.90(95%CI 0.85-0.95);2013年优于MEWS和NEWS,2017年与MEWS和NEWS无显著差异。阈值>0.25时,2017年敏感性64%、阳性预测值16%、假阳性率5%。作者认为该模型可用于实时风险识别,但链接预警能否改善临床结局仍需进一步研究。
要点
- APPROVE预测住院死亡或机械通气≥48小时,2013年 AUROC 0.87(95%CI 0.85-0.88),2017年前瞻性验证 AUROC 0.90(95%CI 0.85-0.95)。
- 阈值>0.25时,2013年敏感性63%、阳性预测值21%;2017年敏感性64%、阳性预测值16%、假阳性率5%。
- 2017年相同敏感性下,APPROVE阳性预测值16%高于MEWS 7%和NEWS 4%,假阳性率5%低于MEWS 14%和NEWS 25%。
- 2017年队列中85%-91%的APPROVE阈值触发发生在ICU外,188例首次>0.25者中163例(89%)在ICU外触发。
- 首次高APPROVE评分至复合终点中位时间在2013年为26.8-37.2小时,2017年为58.8-68.6小时,至插管中位时间7.4-32.8小时。
适用人群与场景
- 成人(>18岁)住院患者,2013年队列来自四家医院,2017年外部验证队列为2017年1月17日至3月31日Wakefield医院全部成人住院患者。
- 排除入院前已机械通气的患者;2017年分析排除在急诊科即出现或发生主要终点事件、未计算任何APPROVE评分的患者(排除33例)。
- 作者认为APPROVE可能最适合用于住院病房患者,而非急诊科初诊或急诊停留时间短的患者。
诊断标准与关键阈值
- 复合终点定义:住院死亡或插管后机械通气≥48小时,以死亡或开始机械通气≥48小时中较早发生者为事件时间。
- APPROVE为0至1的连续评分,阈值可选0.15、0.20、0.25;2017年前瞻性队列中评分>0.25时病房临床医生收到预警。
- MEWS阈值>4、NEWS阈值>6用于比较,计算时间点与APPROVE相同。
处置流程与药物剂量
- 2013年回顾性队列在每次有数据时计算APPROVE;2017年前瞻性医院在入院医嘱后每4小时(00:00、04:00、08:00、12:00、16:00、20:00)用最近可用数据计算。
- 2017年医院病房患者APPROVE评分>0.25时临床医生收到预警;2013年临床医生看不到评分。
- 作者提出触发APPROVE后可启动加强监测、快速反应或干预,例如根据情况更早给予或升级利尿剂、支气管扩张剂、经鼻高流量氧疗或无创通气,或更早重新评估患者对无创通气的反应。
红旗征与不能漏的情况
- 住院患者出现临床恶化可在重症干预前8-48小时被观察到,但延迟识别常见且与更差结局相关。
- 未能识别进展中的呼吸衰竭是快速反应团队启动延迟最常见的原因,与院内死亡率增加相关。
研究设计与关键结果
- 观察性研究:2013年四家医院68775例次成人住院随机50:50分为衍生/内部验证队列,2017年第五家医院2258例次成人住院用于前瞻性外部验证;复合终点为住院死亡或机械通气≥48小时。
- 2013年验证队列 APPROVE AUROC 0.87(95%CI 0.85-0.88),显著优于MEWS 0.68(95%CI 0.66-0.71,p=0.0038)和NEWS 0.74(95%CI 0.72-0.76,p=0.0055)。
- 2017年前瞻性队列 APPROVE AUROC 0.90(95%CI 0.85-0.95),MEWS 0.79(95%CI 0.68-0.89,与APPROVE比p=0.57)、NEWS 0.77(95%CI 0.67-0.86,p=0.76),差异无统计学显著。
- 2013年阈值>0.25时敏感性63%(95%CI 60-66%)、阳性预测值21%(95%CI 19-22%)、假阳性率8%;MEWS>4达相似阳性预测值时敏感性仅16%(95%CI 13-18%)。
- 2017年阈值>0.25时敏感性64%(95%CI 46-79%)、阳性预测值16%(95%CI 11-23%)、假阳性率5%(95%CI 4-6%);MEWS/NEWS>4敏感性67%(95%CI 49-81%)时阳性预测值分别为7%(95%CI 5-11%)和4%(95%CI 3-6%),假阳性率分别为14%(95%CI 12-15%)和25%(95%CI 23-27%)。
- 2017年188例至少一次APPROVE>0.25的患者中,163例(89%)首次高评分发生在ICU外;这些患者中仅28%最终转入ICU,首次高评分至转入ICU中位时间6小时(IQR 1.0-44.5)。
- 2013年首次高APPROVE评分至复合终点中位时间:阈值0.15为37.2小时(IQR 5.6-134.0),0.20为29.5小时(IQR 4.5-121.2),0.25为26.8小时(IQR 4.5-111.2);2017年分别为58.8小时(IQR 14.7-171.6)、58.8小时(IQR 13.1-190.6)、68.6小时(IQR 10.7-193.8)。
- 机械通气≥48小时患者住院死亡率2013年和2017年均为33%,机械通气<48小时患者死亡率2013年为1.4%、2017年<1%。
证据类型、等级与局限
- 证据类型:观察性研究,包含回顾性衍生/内部验证队列和前瞻性外部验证队列;随机森林机器学习方法建模。
- 局限:APPROVE并非为预测短期机械通气设计,电子病历可可靠识别机械通气但无法识别插管原因,故聚焦机械通气>48小时。
- 局限:APPROVE并非为识别仅非肺部器官衰竭(如脓毒症需血管活性药但无需机械通气)的较轻患者设计。
- 局限:评分建立在具有全面电子病历系统的医院,在电子病历系统更有限的社区医院可能难以复制。
- 局限:2013年缺乏准确ICU入住时间数据,无法确定预警发生在ICU外的频率。
- 局限:2017年医院在入院医嘱后每4小时计算APPROVE,遗漏了相当数量在任何评分计算前死亡或插管的患者。
- 局限:2017年样本量小于2013年且事件率更低,可能降低检测评分间统计学显著差异的效能。
- 局限:算法需在广泛临床环境和患者队列中检验准确性、对决策的影响及以患者为中心的结局验证。
对床旁实践的改变
- APPROVE可基于电子病历自动计算,在住院病房识别死亡或机械通气≥48小时高风险患者,2017年以每4小时频率计算并可行。
- 阈值>0.25时2017年阳性预测值16%、假阳性率5%,作者认为需一线临床医生过滤以平衡早期检测与假警报。
- 作者认为降低 cutoff 值可提高敏感性但增加预警患者数和降低事件率;作为连续评分,cutoff 可根据可接受的预警率和干预风险调整。
- 作者指出2017年临床医生在患者APPROVE>0.25时收到预警,可能影响其行为包括插管决策。
- 作者认为将自动预测评分链接到预警能否改善临床结局仍需额外研究确定。
提炼说明
- 原文未涉及「指南或共识出处」,故未列出这些栏目。
全文中译14 节 · 点击展开
背景
急性呼吸衰竭(ARF)的住院发生率为每10万例住院患者784例,是医院中最常见的急性器官衰竭之一[1],并与30%的6个月死亡率、再入院率增加以及幸存者功能受损相关[2–4]。ARF患者的临床恶化可在重症监护干预前8–48小时被观察到[5]。然而,对临床恶化的延迟识别很常见,并与更差的结局相关[6]。未能识别正在发生的呼吸衰竭是快速反应团队(RRT)启动延迟的最常见原因,而后者与院内死亡率增加相关[7, 8]。
大多数早期预警系统(EWS),如改良早期预警评分(MEWS)或国家早期预警评分(NEWS),预测ICU入住、心脏骤停或死亡,作为临床恶化的指示[9, 10]。心脏骤停和死亡不常见,代表器官功能障碍的晚期、最终结果。ICU入住既取决于患者病情,也取决于医院层面因素。然而,需要机械通气(MV)的呼吸衰竭是被广泛接受的ICU入住标准,并始终与死亡率和发病率增加相关[11]。一个除死亡外还可预测急性呼吸衰竭的多中心临床模型,可能能够在不同医院中于危重病程更早期识别急重症患者,此时及时干预可能更有效地影响MV的可能性或持续时间、ICU入住、发病率、死亡或不需要的生命维持治疗。
本研究的目标是开发并验证一种基于EHR的多中心风险分层工具,以识别死亡或需要MV且MV持续48小时或更长时间的急性呼吸衰竭高风险患者。
方法
研究设计与设置
APPROVE(准确预测延长通气)评分在2013年队列中来自四家医院的患者中进行了回顾性推导和验证,随后于2017年在另一家不同医院中进行了前瞻性外部验证。作为比较,在2013年和2017年验证队列中,在计算APPROVE的同一时间点也计算了MEWS和NEWS。所有研究医院均拥有带数据仓库的综合EHR系统。
研究方案经各医院机构审查委员会审查并批准。知情同意被豁免。
研究人群
2013年队列由2013年入住两个三级学术中心内四家医院的成人(>18岁)住院患者组成:Montefiore Health System(美国纽约州布朗克斯)的Montefiore Moses division和Jack D. Weiler Hospital;以及Mayo Clinic(美国明尼苏达州罗切斯特)的St Mary’s和Rochester Methodist。每次入院按50:50随机分配至用于模型开发的推导队列或用于模型验证的内部验证队列。2017年外部验证队列由2017年1月17日至3月31日入住Montefiore Health System中Wakefield Hospital的所有成人住院患者组成。在两个队列中,入院前已接受机械通气的患者被排除,每位患者多次住院均被纳入。
数据收集
仅将临床诊疗中常规收集的变量纳入作为推导APPROVE的候选变量。这包括基线人口学特征、生命体征、实验室数据以及医院干预/评估(见附加文件1:表S1)。为每家医院创建了站点特定的数据字典,以统一数据收集。字典中的每个数据元素均映射至各医院电子健康记录(EHR)中的现有字段,并制定了站点特定的提取和验证流程。2013年队列的四家医院使用了两种不同的EHR系统,而2017年前瞻性队列使用了第三种不同的EHR供应商。
结局
复合合格事件定义为院内死亡或插管并随后接受机械通气(MV)48小时或更长。在研究医院的EHR中,所有接受MV的患者均可被识别,但插管原因无法识别。大多数插管为短期插管,反映的是因手术、操作或较轻形式的呼吸衰竭而进行的择期插管,其死亡率和发病率较低。出于这些原因,我们未将无死亡的机械通气<48小时视为合格事件。事件时间定义为死亡时间或持续至少48小时的MV启动时间,以先发生者为准。
模型开发
在2013年推导队列中每位患者住院期间的多个随机选择的时间点上,使用该时间点之前收集的最近EHR数据进入推导模型。如果事件在所选时间点之后的48小时内发生,则患者被视为发生合格事件。合格事件为二分类变量。然而,在模型中我们将其作为连续因变量使用,以使预测值为0至1的连续似然估计评分。随机森林(RF)使用“randomForestSRC”R包(http://cran.r-project.org/web/packages/randomForestSRC/)实现。随机森林模型是机器学习算法。它们在患者的随机子集和变量的随机子集上拟合多个分类与回归树(CART)。CART模型首先纳入对结局预测最佳的单一变量,然后逐一依次添加额外变量,直至无其他变量能改善预测。这些多个模型使用最大似然方法组合以生成最终估计值。缺失数据使用随机森林算法进行插补,以匹配在同一时间点与其他具有缺失值的患者最相似的已知值患者。该方法基于模式,而非更常用的任意插补(例如固定值、平均值、最佳值或最差值插补)。
获取变量重要性、每个变量的最小树深度、错误率(误分类)和预测值,并计算最大似然估计值(MLE)作为 APPROVE 评分。变量重要性衡量变量变化对模型预测的影响程度。最小深度是变量在这些多个 CART 树中最早被纳入的深度。APPROVE 评分值越高,事件发生的可能性越大。受试者工作特征曲线下面积(AUROC)用于衡量模型的区分度;通过计算灵敏度、特异度以及阳性和阴性预测值(PPV 和 NPV)来评估性能(见附加文件 1:表 S2)。
模型验证
模型性能首先在回顾性内部验证 2013 队列中进行评估。为模拟 APPROVE 在临床实践中前瞻性使用的方式,在 2013 验证队列中每次出现数据点时即计算 APPROVE 评分。对每位患者进行检查,确定评分首次超过某一截止值的时间(如有),然后评估此后任何时间的事件。为确定 APPROVE 的性能,基于推导队列选择了三个截止值(0.15、0.20、0.25)(见附加文件 1:表 S2)。作为对照,在每次计算 APPROVE 的时间点,也使用相同数据计算 MEWS 和 NEWS。
APPROVE 还在外部 2017 医院进行了前瞻性验证。由于实时数据提取和触发评分计算的技术和计算需求,无法在有新数据时实时计算 APPROVE。取而代之的是,对所有成年患者入院后每 4 小时(00:00、04:00、08:00、12:00、16:00、20:00)使用最后可用数据计算 APPROVE。在 2013 和 2017 年所有 APPROVE 计算中,缺失数据由从 2013 推导队列确定的插补值替代。计算 NEWS 和 MEWS 时,最后可用值向前沿用。如果值缺失,则假定为正常。
由于 APPROVE 直到入院后才计算,因此在入院前在急诊科(ED)出现或发生主要关注事件(需要机械通气的呼吸衰竭或死亡)且在任何 APPROVE 评分计算之前的患者被排除在分析之外。临床医生无法看到其患者的评分。但是,如果病房患者的评分 > 0.25,临床医生会收到警报。
评分计算和分析使用 R 版本 3.1.1(www.R-project.org)、SAS 版本 9.4 和 JMP 11.1.1(SAS Institute Inc., Cary, NC, USA)进行。
结果
从 2013 年 68,775 例入院中提取临床数据用于回顾性推导和内部验证队列。在 2017 队列中,以相同方式从 Wakefield 医院 2258 例成人入院中提取临床数据,排除 33 例患者,因为他们在任何 APPROVE 评分计算之前即在 ED 出现或发生了事件。机械通气 >= 48 小时患者的院内死亡率在 2013 和 2017 年均为 33%,而机械通气 < 48 小时患者的死亡率在 2013 年为 1.4%,在 2017 年 < 1%。
研究人群特征
表1列出了2013年和2017年队列的基线人口统计学、生命体征和实验室检查结果。2013年的事件发生率为3%,高于2017年的1.6%,可能是因为2017年队列排除了在每4小时计算的APPROVE评分之前发生的事件(如果纳入这些患者,2017年医院的总事件发生率为3.0%,与2013年相同)。前瞻性队列中缺失数据较少,除此之外各项数值相似。
模型开发
在模型开发过程中,随机森林(RF)模型在200棵树处进行剪枝,因为增加更多的树并未提高模型的预测能力。误分类率稳定在0.0243。模型中纳入的变量及其在预测事件中的重要性分析(变量重要性)和在200棵树中的平均最小深度见图1。最小深度排名低且变量重要性排名高的变量对树的构建和预测具有重要作用。
模型验证
APPROVE、MEWS和NEWS在2013年回顾性验证队列中识别死亡或机械通气(MV)≥48小时高风险患者的AUROC见图2a。在2013年,APPROVE的区分能力显著优于MEWS(AUROC 0.68,95% CI 0.66–0.71;p 0.0038)或NEWS(AUROC 0.74,95% CI 0.72–0.76;p = 0.0055),其AUROC为0.87(95% CI 0.85–0.88)。然而,AUROC在理解预测评分在临床实践中如何发挥作用方面存在局限性。在临床应用中,评分识别事件的敏感性必须与将触发警报的患者数量以及警报预测事件的可能性相平衡。图3展示了当患者评分超过某一阈值时提醒临床医生的情况下,阳性预测值(PPV)以及为捕获一个事件所需评估的患者数量如何随检测事件的敏感性变化。在较宽的敏感性范围内,与MEWS和NEWS相比,APPROVE具有更高的PPV(图3a),同时为捕获一个事件所需提醒的患者数量更少(图3b)。
为展示APPROVE在临床环境中的表现——当患者评分超过某一阈值时临床医生可能被提醒——表2呈现了APPROVE、MEWS和NEWS在不同提醒阈值下的灵敏度、特异度、PPV、NPV和假阳性率(FPR)。总体而言,较低阈值与较高灵敏度但较低PPV相关(表2)。在2013年,APPROVE预测评分计算后任何事件的灵敏度和特异度良好(灵敏度63–75%,特异度83–92%)。如果对超过0.25阈值的评分发送提醒,APPROVE检测事件的灵敏度为63%(95% CI 60–66%),约1/5被提醒的患者发生事件(PPV 21%,95% CI 19–22%),FPR为8%。相比之下,在MEWS阈值> 4时具有相似PPV的情况下,灵敏度仅为16%(95% CI 13–18%)。在NEWS提醒阈值> 6时,PPV相似为22%(95% CI 19–25%),但与APPROVE相比,假阳性率更低(1%),灵敏度也低得多,为16%(95% CI 13–18%)。
在2017年前瞻性队列中,APPROVE的表现与2013年相似,AUROC为0.90(95% CI 0.85–0.95)(图2)。然而,MEWS和NEWS的表现均优于其在2013年队列中的表现,因此APPROVE与MEWS和NEWS无显著差异。MEWS的AUROC为0.79(95% CI 0.68–0.89)(与APPROVE相比p = 0.57),NEWS的AUROC为0.77(95% CI 0.67–0.86)(与APPROVE相比p = 0.76)。对于大于30%的灵敏度,与MEWS和NEWS相比,APPROVE的PPV更高,且捕获一个事件所需评估的患者数更低(图3c和3d)。同样,表2显示了这些评分在2017年医院不同提醒阈值下的表现。再次,每个评分的阈值越高,灵敏度越低,PPV越高,假阳性率越低。在提醒阈值> 0.25时,APPROVE的灵敏度为64%(95% CI 46–79%),与其2013年的表现相似(灵敏度63%,95% CI 60–66%)。在该阈值下,约16%的被提醒患者将发生事件(PPV 16%,95% CI 11–23%),假阳性率为5%(95% CI 4–6%)。在MEWS和NEWS阈值> 4时具有相似灵敏度(67%,95% CI 49–81%)的情况下,与APPROVE相比,PPV显著更低(MEWS为7%,95% CI 5–11%;NEWS为4%,95% CI 3–6%),假阳性率显著更高(MEWS为14%,95% CI 12–15%;NEWS为25%,95% CI 23–27%)。使用APPROVE阈值0.20显示与MEWS或NEWS > 4相比相似的结果。
还进行了额外的探索性敏感性分析,以评估APPROVE对不同事件的性能。在第一次敏感性分析中,我们探讨了APPROVE、MEWS和NEWS对医院死亡率、MV > 48小时或任何持续时间的MV这些个体事件的预测能力(见附加文件1:图S1)。尽管APPROVE的推导目的是预测医院死亡率或MV > 48小时的复合结局,但APPROVE也能够预测医院死亡率(2013年AUROC 0.91,95% CI 0.90–0.93;2017年AUROC 0.93,95% CI 0.89–0.97)、MV > 48小时(2013年AUROC 0.79,95% CI 0.77–0.80;2017年AUROC 0.86,95% CI 0.73–0.94)或任何持续时间的MV(2013年AUROC 0.77,95% CI 0.76–0.79;2017年AUROC 0.80,95% CI 0.67–0.92)这些个体事件。2013年,对于医院死亡率,这显著优于MEWS和NEWS,但对于MV与MEWS和NEWS无显著差异。2017年,APPROVE、MEWS和NEWS对所有个体事件的AUROC相似。
在另一项探索性分析中,我们探讨了从首次APPROVE评分超过给定阈值到死亡或插管导致MV > 48小时的时间(见附加文件1:表S3)。2013年,在阈值0.15、0.20和0.25下,从首次高APPROVE评分到主要复合事件(死亡率或MV > 48小时)的中位时间分别为37.2小时(IQR 5.6–134.0)、29.5小时(IQR 4.5–121.2)和26.8小时(IQR 4.5–111.2)。在2017年验证医院中观察到更长的至事件时间:在阈值0.15、0.20和0.25下分别为58.8小时(IQR 14.7–171.6)、58.8小时(IQR 13.1–190.6)和68.6小时(IQR 10.7–193.8)。正如预期,至插管时间较短,2013年中位范围为9.4至12.6小时,2017年为7.4至32.8小时,具体取决于阈值。
我们还尝试调查当患者的APPROVE评分超过潜在警报阈值时他们所在的位置。我们仅在2017年前瞻性医院中能够进行此项分析,因为2013年各医院EHR系统中ICU入住时间不可靠或不准确。在2017年队列中,85–91%的患者在APPROVE评分超过0.15、0.20或0.25阈值时位于ICU之外。例如,在2017年队列中188例有一次或多次APPROVE评分 > 0.25的患者中,163例(89%)患者的首次高评分发生在ICU之外。这些患者中仅有28%最终转入ICU,从首次高评分到ICU转入的中位时间为6小时(IQR 1.0–44.5)。
讨论
利用随机森林分析,我们得以开发出一种基于电子健康记录(EHR)的风险分层工具,能够识别院内死亡或机械通气(MV)> 2天的风险患者。该工具在2013年内部队列和2017年另一家医院的前瞻性外部队列中得到验证,AUROC分别为0.87(95% CI 0.85–0.88)和0.90(95% CI 0.85–0.95)。2013年和2017年的APPROVE具有相似的敏感性(63–89%)、特异性(83–95%)、阴性预测值(NPV)(99%)、可控的阳性预测值(PPV)(9–21%)和假阳性率(2–15%),具体取决于警报阈值。在2013年回顾性验证队列中,APPROVE优于MEWS和NEWS,在一系列评分敏感性范围内具有显著更高的AUROC、更高的PPV以及检测一次事件所需的更少警报。但在2017年,APPROVE的表现如AUROC所示无显著差异,但在相似敏感性下假阳性更少。
大多数早期预警评分旨在预测入住ICU、心脏骤停和/或院内死亡。APPROVE与这些既往方法的不同之处在于,它旨在预测机械通气或院内死亡。对于肺炎、心力衰竭、慢性阻塞性肺疾病(COPD)、肺栓塞、髋部骨折、糖尿病酮症酸中毒、急性心肌梗死和卒中等常见疾病,ICU入住率因医院而异,且可能同样取决于非临床医院因素以及患者层面因素如诊断、疾病严重程度或死亡风险[12–17]。对于未插管、疾病严重程度和死亡风险较低(< 2%)的患者尤其如此,在某些医院,这类患者可能占非外科ICU入住量的高达50% [15, 16]。因此,疾病严重程度和死亡风险相似的患者在某些医院会被收入ICU,而在其他医院则不会,且结局无明显差异。这引发了担忧:为预测一家医院ICU入住而开发的早期预警评分,在其他环境中可能因ICU使用率不同而表现各异,且在不同临床环境中可能无法始终与死亡率相关。我们打算将APPROVE用于多家医院。需要MV的急性呼吸衰竭始终与死亡率和发病率增加相关,并且是ICU入住指南中公认的标准[2, 4, 11, 18]。
尽管与其他已发表的早期预警评分进行比较较为困难,因为本研究旨在预测机械通气(MV)>48小时或死亡,而既往研究在不同时间框架和不同人群中预测不同的结局,但本研究中MEWS和NEWS的表现与既往报道相似。据报道,MEWS在不同研究中预测24–48小时内ICU转入、心脏骤停或死亡的AUROC为0.59–0.88 [19–23]。在一项研究中,MEWS预测ICU转入的AUROC为0.68,预测24小时内死亡率的AUROC为0.88 [19]。据报道,NEWS在脓毒症中预测任意时间院内死亡率的AUROC为0.65,而在另一项研究中,其在一般内科患者中预测院内死亡率的AUROC为0.79,预测24小时死亡率的AUROC为0.83 [24, 25]。MEWS和NEWS在我们队列中的表现落在既往报道的范围之内(2013年和2017年队列中,MEWS预测院内死亡率的AUROC为0.78–0.93,NEWS为0.83–0.91(附加文件1:图S1))。
同样,其他源自电子健康记录(EHR)的早期预警评分也是为在不同时间框架下预测不同结局而开发的。例如,LAPS2评分预测死亡率的AUROC为0.88,但其开发目的是预测院内死亡率和30天死亡率,因此利用了大多数住院EHR系统中不可用的门诊合并症数据 [26]。一个基于EHR的评分(eCART)预测心脏骤停、ICU转入或死亡的AUROC为0.77,预测死亡的AUROC为0.93 [19],相比之下,APPROVE在2013年和2017年预测院内死亡率或MV > 48小时的AUROC分别为0.87和0.90,预测死亡的AUROC分别为0.91和0.93 [27]。Rothman指数预测院内死亡率,在预测24小时内死亡率时AUROC为0.93 [28],而APPROVE在2013年预测死亡的AUROC为0.91,2017年为0.93,中位死亡时间约为3–6天。
2013年,APPROVE在AUROC、敏感性以及评分敏感性与PPV或识别一次事件所需警报患者数之间的相对平衡方面优于MEWS和NEWS。虽然APPROVE在2017年的表现与2013年非常相似,但在2017年队列中,APPROVE的AUROC与MEWS和NEWS相比无显著差异。部分原因是2017年队列的样本量限制了检测差异的效力。但也可能是由于MEWS和NEWS在2017年前瞻性队列中的表现有所改善。这种改善可能归因于两个队列之间患者的差异以及评分是回顾性还是前瞻性计算的方式不同。在2013年回顾性队列中,APPROVE、MEWS和NEWS是在所有成人入院患者中只要有可用数据时即进行计算,从最初到急诊科(ED)就诊至出院。在2017年前瞻性医院中,APPROVE和其他评分的计算从下达入院医嘱后的下一个预定时间(00:00、04:00、08:00、12:00、16:00、20:00)开始。在2017年分析中,那些到ED就诊并在入院前接受插管或死亡、尚未计算任何APPROVE评分的患者被排除。事实上,前瞻性医院中有33例患者(占所有发生事件患者的49%)被排除在分析之外。然而,任何风险评估模型对于那些在就诊ED时或就诊后不久即出现需要插管的呼吸衰竭的患者可能都无用。因此,2017年分析中排除这些患者可能改善了任何预测评分的表现,而2013年队列中纳入类似患者可能限制了评分预测插管的能力。尽管如此,APPROVE最好可能用于收入医院病房的患者,而非初次就诊的患者或ED停留时间较短的ED患者。
然而,AUROC不应是风险评估工具在临床实践中可用性的唯一指标。一个临床有用的工具还必须平衡检测事件的敏感性与将触发警报并发生事件的患者数量。对太多可能不会发生事件的患者发出警报可能导致资源分配效率低下并促成警报疲劳。与MEWS和NEWS相比,APPROVE呈现更高比例的警报患者随后发生了事件,同时为捕获一次事件而警报的患者更少(图3)。如果在2017年队列中当评分超过0.25阈值时发送警报,APPROVE的敏感性为64%,特异性为95%,约16%的警报患者发生事件,假阳性率为5%。在MEWS或NEWS>4相似的67%敏感性下,PPV显著更低(MEWS为7%,95%CI 5–11%;NEWS为4%,95%CI 3–6%),假阳性率更高(MEWS为14%,95%CI 12–15%;NEWS为25%,95%CI 23–27%),与APPROVE相比。在2013年队列中,阈值>0.25的警报也可见类似结果。
自动风险预测评分若能被纳入临床环境以前瞻性识别高危患者,则具有潜在优势。将预测评分应用于临床环境需要与某种行动(传出支)相衔接,其中可包括通知患者的医疗服务提供者,并可选是否触发快速反应。这种一线临床医生过滤将是必要的,因为使用APPROVE需要在早期发现与假警报之间取得平衡。降低截断值将导致更高的敏感性,但代价是在较低事件率下产生更多患者警报。由于APPROVE是一个连续评分,警报的截断值可以根据可接受的警报率和干预措施的风险进行调整。
在2017年队列中,当患者的APPROVE评分超过0.25时,临床医生会收到警报。这可能影响了他们的行为,包括他们决定插管的决策。
由于APPROVE的大多数警报发生在非ICU患者中,中位时间为死亡或插管导致MV>48小时前26–68小时,或插管前7.4–33小时,因此可能有足够时间进行潜在干预。触发APPROVE可激活加强监测、快速反应或可能防止呼吸衰竭进展的干预措施。此类干预措施的示例包括酌情更早给予或升级利尿剂、支气管扩张剂治疗、经鼻高流量氧疗或无创通气。这也可能意味着更早重新评估患者对无创通气的反应。由于机械通气是一种挽救生命的干预措施,在这些患者中有些将不可避免,因此早期及时实施最佳实践(如ARDS中的低潮气量)可能带来更好的结局[29–31]。此外,APPROVE还可允许更早讨论照护目标,这是Choosing Wisely运动的一个组成部分,越来越多地在RRT期间紧急进行[32, 33]。在前瞻性医院中,如果住院病房患者的APPROVE评分超过0.25的阈值,临床医生会收到警报。需要进一步研究以确定将自动预测评分与警报相关联是否会带来临床结局的改善。
我们的研究存在若干局限性。正如所讨论的,APPROVE并非设计用于预测短期机械通气(MV)患者。在研究医院的电子健康记录(EHR)系统中,MV可以被可靠识别,但插管原因无法识别。我们聚焦于MV > 48小时,以排除那些因操作或手术而择期插管的患者。尽管如此,APPROVE仍能够识别需要任何持续时间MV的患者(2013年和2017年队列的AUROC分别为0.77和0.80),尽管其表现并不优于MEWS或NEWS。APPROVE也并非设计用于识别病情较轻、仅有非肺部器官衰竭(如脓毒症可能需要血管升压药但无需MV)的患者。然而,呼吸功能障碍和衰竭是脓毒性休克中最常见的器官衰竭之一,高达84%的脓毒性休克患者需要MV,这在很大程度上导致了脓毒症的死亡风险[34, 35]。该评分是在拥有全面EHR的医院中创建的,在EHR系统较为有限的社区医院中可能难以复制。我们缺乏2013年ICU入住时间的准确数据,无法确定警报在ICU外发生的频率。然而,2017年队列的数据表明,大多数警报(> 85%)发生在ICU外,中位时间为ICU入住前6小时。在2017年的医院中,APPROVE是在下达入院医嘱后以4小时间隔计算的,这遗漏了大量在任何评分计算之前死亡或插管的患者。我们计划将评分计算的触发点移至急诊科分诊处,并实现实时评分计算。我们计划评估APPROVE的表现会如何随着更及时的评分计算而改变。任何预测模型都存在因“训练效应”而随时间推移敏感性发生变化的风险。然而,APPROVE在2017年的验证仍显示出良好的性能。2017年的样本量小于2013年,事件率也更低,这可能降低了检测各评分之间性能差异具有统计学显著性的功效。尽管如此,APPROVE在两个队列中性能的相似性令人放心,即使样本量较小。最后,我们的算法应在广泛多样的临床环境和患者队列中测试其准确性、对决策的影响以及以患者为中心结局的验证。
我们的研究具有若干优势。APPROVE是使用随机森林得出的,这是一种非参数机器学习方法,已被证明优于其他方法[20]。此外,APPROVE使用随机森林插补法处理缺失数据,其效果优于大多数其他缺失数据插补方法[36]。APPROVE与NEWS和MEWS进行了比较,因为它们目前常被用作早期预警评分。大多数先前的研究是在一家医院中推导和验证其基于EHR的评分。APPROVE共在五家医院、三种不同的EHR系统中进行了推导和验证。尽管如此,尽管2013年和2017年在EHR、患者人群、事件率以及APPROVE评分计算频率方面存在差异,其敏感性、特异性、PPV和NPV仍相似。最后,APPROVE进行了前瞻性验证,这更好地代表了其在真实临床环境中的可能表现,并说明了在床旁实施预测分析的可行性。
结论
我们开发了一种风险分层工具,用于识别院内存在死亡风险或需要机械通气(MV)> 48小时的急性呼吸衰竭风险的患者,其性能优于MEWS和NEWS,同时预警的患者数量更少。在2013年多中心队列中完成验证后,APPROVE于2017年被整合入电子健康记录(EHR)系统,每4小时自动计算,以进行前瞻性验证。APPROVE在前瞻性验证队列与回顾性验证队列中的性能相似,表明将预测分析前瞻性整合入医院记录系统以识别呼吸衰竭或死亡高风险患者是可行的。仍需进一步研究以确定将自动预测评分与预警相关联是否会改善临床结局。
附加文件
附加文件1:表S1。模型所选变量。表S2。APPROVE在推导队列中预测评分后48小时内事件的性能。表S3。在2013年和2017年验证队列中,从住院期间APPROVE首次超过阈值至主要事件(死亡或导致MV > 48小时的气管插管),或至各独立事件(院内死亡,或导致MV > 48小时的气管插管)的中位(四分位距)时间。对于复合合格事件,以最早发生的事件(死亡或导致MV > 48小时的气管插管)作为事件时间。图S1。APPROVE、MEWS和NEWS预测2013年回顾性验证医院院内死亡(a)、机械通气(MV)> 48小时(b)及任意时长MV(c)的曲线下面积(AUROC),以及(分别为d、e、f)2017年前瞻性验证医院中的相应结果。APPROVE、MEWS和NEWS在每个患者的多个随机时间点计算,并在评分计算后评估合格事件。(DOCX 141 kb)
参考来源
- Dziadzko MA, Novotny PJ, Sloan J, et al. Multicenter derivation and validation of an early warning score for acute respiratory failure or death in the hospital. Crit Care. 2018. PMID: 30373653. doi:10.1186/s13054-018-2194-7
- 全文:PMC6206729(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6206729/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。