在巴西72个ICU的48,816例患者中外部验证SAPS 3和MPM0-III评分
该研究为ORCHESTRA研究的二次分析,纳入2013年巴西72个ICU的48,816例成人患者,回顾性验证SAPS 3和MPM0-III的区分度和校准度。SAPS 3标准方程(SAPS 3-SE)的SMR为1.00(95%CI 0.98-0.102),校准良好;SAPS 3-CSA高估死亡率(SMR 0.75),MPM0-III低估死亡率(SMR 1.15)。SAPS 3的AUROC为0.85,优于MPM0-III的0.80(p<0.001)。作者结论认为SAPS 3-SE在巴西ICU中预测准确,支持其用于绩效评价和基准比较。
要点
- 在48,816例巴西ICU患者中,SAPS 3-SE的SMR为1.00(95%CI 0.98-0.102),校准良好,支持用于绩效评价和基准比较。
- SAPS 3-CSA高估死亡率(SMR 0.75,95%CI 0.74-0.77),MPM0-III低估死亡率(SMR 1.15,95%CI 1.13-1.18)。
- SAPS 3的区分度(AUROC=0.85)优于MPM0-III(AUROC=0.80),差异有统计学意义(p<0.001)。
- 在公立医院患者中,所有模型均不能准确预测住院死亡率;在私立医院患者中,仅SAPS 3-SE表现良好。
- 作者认为SAPS 3-SE仍可在巴西使用,但针对中南美洲的定制方程(SAPS 3-CSA)不应再使用。
适用人群与场景
- 纳入2013年巴西72个ICU连续收治的年龄≥16岁成人患者,排除心脏专科ICU患者、年龄<18岁者、心脏手术者、急性心肌梗死者和烧伤患者。
- 研究人群以内科患者为主(67.9%),主要收治原因依次为术后监护(26.3%)、脓毒症(22.3%)、神经系统并发症(11.4%)和心血管并发症(11.3%)。
研究设计与关键结果
- 研究类型为多中心回顾性队列研究(ORCHESTRA研究的二次分析),纳入48,816例患者,来自72个ICU(50所医院),其中86.1%为综合ICU,90.0%位于私立医院。
- 平均SAPS 3评分为44.3±15.4分;ICU死亡率为11.0%,住院死亡率为16.5%。
- 预测死亡率分别为SAPS 3-SE 16.4±19.3%、SAPS 3-CSA 21.7±23.2%、MPM0-III 14.3±14.0%。
- SMR分别为SAPS 3-SE 1.00(95%CI 0.98-0.102)、SAPS 3-CSA 0.75(95%CI 0.74-0.77)、MPM0-III 1.15(95%CI 1.13-1.18)。
- 区分度:SAPS 3模型AUROC=0.85,MPM0-III AUROC=0.80,差异有统计学意义(p<0.001)。
- 校准:SAPS 3-SE校准良好,仅在前两个风险十分位有轻微高估(低于第1百分位)和低估(第8至14百分位之间);SAPS 3-CSA在所有风险等级均匀高估死亡率;MPM0-III总体倾向于低估死亡率。
- 亚组分析:在私立医院患者中,SAPS 3-SE是唯一表现良好的模型;在公立医院患者中,所有模型均不能准确预测住院死亡率。
- 在仅符合SAPS 3原始发表资格标准的患者(n=55,742)中,SAPS 3-SE和SAPS 3-CSA的AUROC均为0.855,校准也良好。
证据类型、等级与局限
- 证据类型:多中心回顾性队列研究(ORCHESTRA研究的二次分析)。
- 局限:采用便利样本,以私立医院为主,可能不能代表整个国家;未对数据收集进行审计,无法估计缺失变量对评分估计的影响;未评估临终决策,无法在分析中考虑该因素。
对床旁实践的改变
- 在巴西ICU中,SAPS 3-SE可用于绩效评价和基准比较,但不应将SAPS 3-CSA用于此目的。
- MPM0-III在巴西ICU中低估住院死亡率,SAPS 3-CSA高估住院死亡率,两者均不适用于该人群的绩效评价。
- 在公立医院患者中,所有模型均不能准确预测住院死亡率,使用这些模型进行绩效评价需谨慎。
- 作者认为,尽管SAPS 3在巴西仍有用,但针对中南美洲的定制方程(SAPS 3-CSA)不应再使用。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译7 节 · 点击展开
背景
疾病严重程度评分在重症监护环境中具有广泛的适用性。尽管这些评分不应基于个体使用,但它们对于评估ICU绩效、随时间监测绩效、指导资源管理和质量改进以及用于基准比较是有用的[1]。然而,由于病例构成、临床管理模式的差异,以及入住政策和ICU前后诊疗的差异,这些模型在不同场景下的性能有所不同。因此,疾病严重程度评分必须在特定环境或地理区域使用前进行验证。
最常用的三种疾病严重程度评分为急性生理学与慢性健康状况评价(APACHE)[2]、死亡概率模型(MPM0-III)[3]和简化急性生理学评分(SAPS 3)[4, 5]。其中,唯一使用全球范围内患者和重症监护病房(ICU)数据(35个国家307个ICU)开发的评分是SAPS 3评分。除了通用标准方程外,研究者还开发了七个区域方程来估计医院死亡率,从而允许在更通用的层面上对ICU进行比较。
2009年,巴西重症监护协会(Associação de Medicina Intensiva Brasileira,AMIB)选择SAPS 3评分作为推荐用于巴西ICU绩效评估和基准比较的疾病严重程度评分[6]。然而,据我们所知,已报告的验证研究结果相互矛盾,且大多为单中心研究,涉及特定患者人群[7–13],样本量相对较小[14–16]。此外,由于疾病严重程度评分的校准预计会随时间推移而恶化,此类工具的性能应定期重新评估[17]。因此,在本研究中,我们旨在在一个大型当代巴西ICU入院患者队列中验证SAPS 3。此外,我们还比较了SAPS 3与MPM0-III的性能。
方法
设计与设置
本研究是对ORCHESTRA研究的二次分析,该研究是一项多中心回顾性队列研究,探讨2013年巴西51家医院78个ICU收治的59,693例患者的重症监护组织与结局[18]。
参与者选择、数据收集与定义
ORCHESTRA研究的参与ICU选自巴西重症监护研究网络(BRICNet)。为本研究之目的,我们排除了专门收治心脏病患者的ICU(n = 6)(图1),最终涉及50家医院的72个ICU。我们纳入了2013年期间参与ICU连续收治的所有年龄≥16岁的患者。在ORCHESTRA研究中,再入院患者及核心数据缺失的患者[年龄、ICU入住前地点、主要ICU入住诊断、SAPS 3评分、ICU和医院住院时间(LOS)及出院时生命状态]被排除。在本研究中,除收治于心内科病房的患者(n = 3951)外,我们还排除了不符合SAPS 3和MPM0-III双重纳入标准的患者[年龄<18岁者(n = 358)、接受心脏手术者(n = 2971)、急性心肌梗死者(n = 3568)和烧伤者(n = 29)]。因此,共有48,816例患者构成研究人群。
我们从Epimed Monitor System®(Epimed Solutions®,巴西里约热内卢)获取了去标识化的患者数据,该系统是一个基于云端的商业注册数据库,用于质量改进、绩效评估和基准比较目的。使用Epimed Monitor System®的重症监护病房(ICU)以前瞻性方式在结构化电子病例报告表中收集数据,最通常由经过培训的病例管理员完成。关键数据元素包括人口统计学特征、入院诊断、ICU入住前所在位置、基于Charlson合并症指数[19]的合并症、入院前一周的功能状态[20]、包括SAPS 3评分、MPM0-III评分和序贯器官衰竭评分(SOFA)[21]在内的评分、ICU支持措施的使用、ICU和住院住院时间(LOS)以及出院后去向。SAPS 3和MPM0-III评分使用ICU入住时(±1小时)的数据计算。按照推荐,缺失值被编码为各变量的参考类别或“正常”类别。系统中提供了使用标准方程(SAPS 3-SE)和为中南美洲国家定制的方程(SAPS 3-CSA)估算的死亡率。在本研究中,主要关注的结局是患者层面的院内死亡率。
统计分析
我们使用标准描述性统计方法描述ICU和患者特征,连续变量根据情况以均值±标准差或中位数(25–75%四分位距,IQR)报告。分类变量以绝对数(频率百分比)报告。
我们通过估算受试者工作特征曲线下面积(AUROC)来评估模型的区分度(各模型区分存活患者与死亡患者的能力)。三种评分区分能力的AUROC两两比较采用DeLong方法[22]进行。我们使用GiViTI小组提出的校准带[23, 24]来研究观察结局与预期结局之间的关系。使用该方法,拟合结局与预测概率的logit变换之间的广义多项式logistic函数,并给出相应的95%和80%置信区间(CI)边界。当校准带的95%CI边界不包含平分线时,即出现对平分线(完美校准线)的统计学显著偏离[23]。校准曲线通过将预测死亡率(x轴)对观察死亡率(y轴)作图构建。各模型的标准ized死亡比(SMR)及相应95%置信区间(CI)通过观察死亡率除以预测死亡率计算。双侧p值<0.05被认为具有统计学显著性。我们使用R(http://www.r-project.org)和SPSS 21(IBM Corp.,Armonk,NY)进行统计分析。
结果
我们的最终样本包括研究期间72个ICU收治的48,816例患者(图1)。表1给出了主要的医院和ICU特征。大多数ICU为内科-外科ICU(n = 62,86.1%),位于私立医院(n = 45,90.0%)。每个ICU的患者中位数为517(361–817)。
表2报告了主要患者特征。入住ICU的主要原因依次为术后监护(26.3%)、脓毒症(22.3%)、心血管并发症(11.3%)和神经系统并发症(11.4%)。入住ICU时,7550例(15.5%)患者使用有创机械通气,4875例(10.0%)使用无创通气。6158例(12.6%)需要血管升压药,1578例(3.2%)需要肾脏替代治疗。
ICU和住院时间的中位数分别为3(1–5)天和8(4–18)天。SAPS 3平均为44.3 ± 15.4分。共有5385例(11.0%)在ICU内死亡;2646例在转出ICU后于住院期间死亡,住院死亡率为16.5%。表2报告了主要患者特征和结局。
预测死亡率分别为16.4 ± 19.3%(SAPS 3-SE)、21.7 ± 23.2%(SAPS 3-CSA)和14.3 ± 14.0%(MPM0-III)。表3给出了所研究评分的性能分析。总之,使用SAPS 3-SE时SMR适中,而SAPS 3-CSA高估了住院死亡率,MPM0-III则低估了住院死亡率。总体而言,区分度良好,但SAPS 3评分更高(表3)。仅SAPS 3-SE的校准可接受。在校准带分析中,前两个风险十分位内仅有极轻微的高估(低于第1百分位数)和低估(第8至第14百分位数之间)。相反,SAPS 3-CSA在所有风险范围内均一致高估死亡率,而MPM0-III总体倾向于低估(图2、3)。
由于纳入的ICU大多位于私立医院,我们按医院类型和特定患者亚组进行了亚组分析(附加文件1:e表1和e图1–8)。在入住私立医院的患者中,我们发现结果与所有研究人群中所观察到的结果相当,SAPS 3-SE是唯一性能良好的模型。然而,在入住公立医院的患者中,没有一个模型能准确预测住院死亡率。最后,我们对仅符合该模型原始发表[4]所报告纳入标准的所有患者(n = 55,742)进行了SAPS 3性能的额外分析。SAPS 3-SE和SAPS 3-CSA的模型区分度(AUROC = 0.855)和校准(附加文件1:e图3)也均合适。在附加文件1:e表2中,我们提供了我们队列患者以及SAPS 3研究中报告患者的特征和结局信息。
讨论
在本研究中,我们证明SAPS 3-SE能够准确预测一个大型当代巴西ICU患者队列中的结局。相反,MPM0-III评分的校准相对较差,并倾向于显著低估死亡率,而SAPS 3-CSA尽管具有合理的区分度,却高估了死亡率。此外,SAPS 3-SE提供了更精确的估计,使SMR更接近1.0。在校准曲线中,SAPS 3-SE的观察死亡率线在所有风险等级中均一致地更接近理想预测线。
近年来,主要受AMIB提供的官方建议推动,SAPS 3成为巴西绝大多数ICU用于评估ICU性能及进行基准比较的疾病严重程度评分。然而,SAPS 3的验证研究是在特定患者亚组中或涉及普通ICU人群的单中心研究中进行的[7–16]。总体而言,这些研究中对SAPS 3-SE和SAPS 3-CSA方程均进行了评估。总体而言,区分度通常良好,但校准结果在各研究间存在差异。
在这些既往研究中,SAPS 3-SE校准较差,且通常倾向于低估死亡率[7–10, 12]。仅在两项研究中SAPS 3-SE倾向于高估死亡率(其中一项纳入急性冠脉综合征患者),两项研究的死亡率均相对较低[11, 16]。另一方面,SAPS 3-CSA在五项涉及癌症[8, 9]、急性肾损伤[10, 12]及接受外科手术患者[15]的研究中准确预测了死亡率。然而,我们的结果证实MPM0-III在预测死亡率方面不准确。这些结果与巴西既往几乎所有研究一致[9, 10, 12, 16]。
在纳入数千名受试者的预测模型验证/校准研究中,传统校准统计量(如Hosmer–Lemeshow拟合优度检验)存在一种已知现象,即尽管校准曲线肉眼观察良好、绝对误差非常小、校准斜率和截距可接受,p值却往往高度显著。这是因为在大样本量下,检验效能足以将有统计学意义的微小无关差异检测出来。另一方面,在解读小队列的校准结果时必须谨慎,因为即使校准曲线、校准截距和斜率提示存在校准不良,传统校准统计量的p值也可能不显著,从而引发对研究检验效能不足的担忧[25]。因此,在小队列中,当样本量不足以达到统计学显著性时,预期概率与观察概率之间的不一致也可能导致校准曲线偏离[26]。此外,这些研究纳入的是特定患者亚组,其结果可能无法完全推广至不同情景下的危重症患者总体人群。
众所周知,预后评分的性能(主要是校准度)往往会随时间推移而下降。Zimmerman等人[2]在报告APACHE IV的开发过程时很好地证明了这一点。Soares等人[8]也在巴西一项为期3年、纳入入住ICU的癌症患者队列中研究SAPS 3评分时,记录了校准度随时间受损的情况。这就是为什么应定期重新评估预后评分的性能。
队列构成也可能影响评分性能。比较我们的队列与SAPS 3原始开发队列,我们的中位年龄相当,但以内科患者为主(67.9% vs. SAPS 3队列中的43.5%),中位SAPS 3评分更低(43分 vs. 48分),住院死亡率更低(16.5% vs. 23.5%)(附加文件1:eTable 2)。尽管存在这些病例组合差异,目前SAPS 3-SE模型对我们的 population 拟合良好,这可能反映了医疗服务提供方面的变化导致风险校正死亡率降低。在此意义上,我们的结果对ICU绩效评价具有潜在意义,更重要的是对巴西ICU的基准比较具有意义。一方面,我们提供了强有力的证据表明,尽管SAPS 3在我国仍然有用,但针对拉丁美洲国家的定制方程不应再使用。
我们的研究具有许多优势,包括据我们所知,这是巴西规模最大的疾病严重程度评分验证研究,并且使用了来自全国多个中心的更具当代性的数据。此外,我们认为出院偏倚的潜在影响可以忽略不计[27],因为我们转至其他医院和临终关怀机构的患者比例极低。
我们的研究也有若干局限性,在解释结果时应予以考虑。第一,尽管我们评估了大量巴西ICU,但我们使用的是便利样本,主要由私立医院组成,可能不能代表整个国家。第二,我们未对数据收集进行审核,因为我们使用的是登记数据库中记录的数据进行绩效评价和基准比较。因此,我们无法估计缺失变量对评分估计的影响。然而,在所有ICU中,由经过培训的医疗专业人员作为病例管理者登记数据。第三,我们未评估临终决策,因为这些未在数据库中定期登记,因此我们无法在分析中考虑这一因素。
总之,使用大型当代数据库,我们证明SAPS 3-SE在预测结局方面是准确的,支持其在巴西ICU绩效评价和基准比较中的应用。
附加文件
附加文件1. 对来自72个巴西ICU的48,816名患者进行SAPS 3和MPM0-III评分外部验证的电子补充材料。
参考来源
- Moralez GM, Rabello LSCF, Lisboa TC, et al. External validation of SAPS 3 and MPM0-III scores in 48,816 patients from 72 Brazilian ICUs. Ann Intensive Care. 2017. PMID: 28523584. doi:10.1186/s13613-017-0276-3
- 全文:PMC5436994(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5436994/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。