SAPS II 与 SAPS 3 死亡评分校准的决定因素:欧洲多中心研究
该辅助研究纳入 17 个欧洲国家 120 个 ICU 在 4 周内收治的 5266 例患者,评估 SAPS II 与 SAPS 3 对院内死亡的校准。两评分均高估死亡率:SAPS II 的 SMR 为 0.75(95%CI 0.71–0.79),SAPS 3 为 0.91(95%CI 0.86–0.96)。高估在预测死亡率 0.50–0.90 时最明显,SAPS II 在预测死亡率约 0.75 时高估达 0.25,SAPS 3 高估不超过 0.13。校准随收治原因(基础观察、严重创伤高估最明显)及中心特征(国家卫生支出、医院床位数、日间护患比)而异。作者认为使用这些评分比较不同患者人群和不同卫生支出水平的 ICU 时应谨慎,并建议局部重新验证和定期重评预测能力。
要点
- SAPS II 高估死亡率:预期死亡 1568 例(30.1%)vs 实际死亡 1194 例(22.7%),SMR 0.75(95%CI 0.71–0.79)。
- SAPS 3 高估死亡率:预期死亡 1322 例(25.4%),SMR 0.91(95%CI 0.86–0.96),校准优于 SAPS II。
- 高估集中于中高预测风险:SAPS II 在预测死亡率约 0.75 时高估达 0.25,SAPS 3 在预测风险 0.50–0.90 时高估不超过 0.13。
- 基础观察收治者高估最明显:SAPS II SMR 0.44(95%CI 0.34–0.57),SAPS 3 SMR 0.68(95%CI 0.52–0.88)。
- 校准跨中心变异超出随机抽样所能解释(置换检验 P<0.001),且与卫生支出、医院床位、日间护患比等中心特征相关。
适用人群与场景
- 研究纳入 17 个欧洲国家 120 个 ICU 在 2011 年 11 月或 2012 年 2 月两个 4 周期间之一收治的成人患者,排除收治少于 20 例的 ICU 后分析 5266 例。
- 患者平均年龄 62.4 岁(范围 18–98),60% 为男性,69% 为非计划入 ICU,49% 为手术后入 ICU。
诊断标准与关键阈值
- SAPS II 与 SAPS 3 评分及预测死亡率按原始方程计算,SAPS 3 使用按地理区域(中/西欧、东欧、北欧、南欧)定制的方程。
- 校准曲线低于对角线表示评分高估死亡率,偏离越大校准越差;SMR 低于 1 表示高估死亡率,高于 1 表示低估。
- Brier 评分越小越好;若对所有患者使用观察死亡率 0.227 则 Brier 评分为 0.175。
研究设计与关键结果
- 研究为 ELOISE 研究的辅助分析,纳入 17 个欧洲国家 120 个 ICU 的 5266 例患者,评估 SAPS II 与 SAPS 3 对院内死亡的校准。
- SAPS II 预期死亡 1568 例(30.1%)vs 实际死亡 1194 例(22.7%),SMR 0.75(95%CI 0.71–0.79);Brier 评分 0.132(95%CI 0.127–0.137)。
- SAPS 3 预期死亡 1322 例(25.4%),SMR 0.91(95%CI 0.86–0.96);Brier 评分 0.131(95%CI 0.126–0.136)。
- SAPS II 在预测死亡率 0.20 以下高估小于 0.04,在预测死亡率约 0.75 时高估达 0.25;SAPS 3 在预测风险 0.50–0.90 时高估不超过 0.13。
- SAPS II 中与死亡率关联减弱的项目包括极端心率(<70 或 >160 次/分)、GCS<6、AIDS 诊断、收缩压<70 mm Hg、血钠<125 mmol/L;具有至少一项者(n=2230,42.8%)SMR 0.68(95%CI 0.63–0.73),其他患者 SMR 0.89(95%CI 0.81–0.97)。
- SAPS 3 中与死亡率关联减弱的项目包括转移性癌症、入 ICU 前院内位置、心脏手术、心率>160 次/分;具有至少一项者(n=2751,52.8%)SMR 0.82(95%CI 0.76–0.88),其他患者 SMR 1.10(95%CI 1.00–1.21)。
- 按收治原因,基础观察者 SAPS II SMR 0.44(95%CI 0.34–0.57)、SAPS 3 SMR 0.68(95%CI 0.52–0.88);严重创伤者 SAPS II SMR 0.56(95%CI 0.39–0.78)、SAPS 3 SMR 0.73(95%CI 0.51–1.02);心血管原因者 SAPS 3 校准良好,SMR 0.94(95%CI 0.86–1.03)。
- SAPS II 校准曲线形状与卫生支出(P<0.001)和医院床位数(P=0.004)显著相关;SAPS 3 与卫生支出(P<0.001)和日间护患比(P=0.036)显著相关;跨中心 SMR 和 Brier 评分变异超出随机抽样(置换检验 P<0.001)。
证据类型、等级与局限
- 证据类型:多中心队列研究的辅助分析(ELOISE 研究)。
- 局限:ELOISE 研究并非为评估 SAPS II 和 SAPS 3 校准的决定因素而设计,故一些校准决定因素如临终照护政策未被收集;ICU 为自愿参与,可能不代表所有欧洲 ICU。
- 作者认为这些评分的预后意义在欧洲并不一致,取决于患者和中心特征,且相当部分变异仍无法解释;建议使用时应谨慎,尤其比较不同患者人群和不同卫生支出水平的 ICU 时;并认为局部重新验证是有用的预防措施,且定期重评即使已确立的评分的预测能力可能是审慎的。
对床旁实践的改变
- 作者认为使用 SAPS II 和 SAPS 3 比较不同患者人群及不同卫生支出水平的 ICU 时应谨慎。
- 作者认为局部重新验证是有用的预防措施,且定期重评即使已确立的评分的预测能力可能是审慎的。
- 对基础观察或严重创伤收治的患者,两评分高估死亡率更明显,SAPS II 在基础观察者 SMR 0.44(95%CI 0.34–0.57)。
指南或共识出处
- European Mortality & Length of Intensive Care Unit Stay Evaluation(ELOISE)研究;临床试验注册号 NCT01422070,注册日期 2011 年 8 月 19 日。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」,故未列出这些栏目。
全文中译14 节 · 点击展开
背景
预测重症监护病房(ICU)入住患者院内生存率的评分可用于评估ICU绩效[1–4]、衡量患者病例组合,并为组间比较进行统计学调整。为此已开发了多种预测评分,包括简化急性生理学评分(SAPS)II和SAPS 3[5, 6]。
预测评分的理想特征包括:区分将发生所研究结局的患者与不会发生该结局的患者的能力(即区分度),以及结局的实际发生率与评分所预测风险之间的一致性(即校准度)[7]。如果区分度差,预测评分在临床实践中无用,校准度也无从谈起。当区分度可接受时,有必要考察校准度的质量。多项研究的研究者评估了SAPS II和SAPS 3评分的校准度,总体而言,发现在欧洲国家校准度较差,尤其是SAPS II。一些研究者报告SAPS II高估了死亡率[8–10],而另一些研究者则发现了相反的结果[4, 11, 12]。预测评分的校准度可随时间变化,因为ICU人群在变化,新的诊断、治疗和预后技术不断涌现[3]。此外,评分的校准度可能因国家而异,甚至同一国家内不同中心之间也存在差异。Villers等报告了法国各中心之间SAPS II校准度的高度异质性[12]。事实上,各中心之间ICU入住原因可能不同,使得在某一中心重要的死亡危险因素在另一中心可能无用,从而降低了区分能力。各中心之间的总体医疗水平也可能不同,这会影响背景死亡风险,从而影响评分的校准度[13]。限制或撤除治疗等伦理问题也可能因地理区域而异,并且可能在中心之间也存在差异[14]。
在本研究中,我们评估了SAPS II和SAPS 3在17个欧洲国家ICU入住患者中的校准度,并试图确定校准不良的来源。我们假设,自评分开发以来,评分的某些条目与死亡之间的关联强度可能已经减弱,尤其是20年前开发的SAPS II。我们重新评估了SAPS条目所赋分值,并与原始评分进行了比较。我们研究了评分修改对校准曲线的影响。此外,我们探讨了中心特征是否导致校准不良。
方法
ELOISE研究及分析数据子集
欧洲死亡率与重症监护病房住院时间评估(ELOISE)研究的主要目的是估计医院内存在中间监护病房(IMCU)对院内死亡率的影响[15]。本文所呈现的分析是一项辅助研究。ELOISE研究纳入了来自17个欧洲国家167个ICU的5834例患者,这些患者在两个4周时段之一(2011年11月或2012年2月)入住ICU。为了使每个中心有足够的观测值来估计校准曲线,并有足够多的中心来探索异质性,我们从分析中排除了为ELOISE研究招募少于20例患者的ICU,最终分析了来自17个国家120个中心的5266例患者的数据。数据收集详情见附加文件1。
SAPS II和SAPS 3评分的计算
两个SAPS评分的评分和预测死亡率均按照原始方程计算[5, 6]。SAPS 3评分预测的风险采用针对地理区域(中欧/西欧、东欧、北欧和南欧)定制的方程进行评估[6]。
SAPS II和SAPS 3评分校准的评估
获得SAPS II和SAPS 3评分预测院内死亡的校准曲线,以显示观察死亡率与预测死亡率之间的关系。预测死亡率的观察风险函数使用平滑核函数[16]进行评估,并针对预测死亡率作图。恒等线代表评分的完美校准。如果曲线位于恒等线下方(上方),则评分高估(低估)了死亡率。偏离恒等线越大,校准不良越严重。此外,我们计算了评分的Brier评分和标准化死亡比(SMR)[7]。Brier评分是死亡概率与实际结局(患者存活为0,死亡为1)之间的均方差;值越小越好[17]。SMR大于(或小于)1表明预测评分低估(或高估)了死亡率。
校准与患者特征
我们按照原始工作[5]中使用的方法,重新评估了SAPS II中每个条目所赋予的分数。各组成部分与死亡率之间的关联基于多变量逻辑回归模型,某一条目的分数为估计回归系数十倍后最接近的整数。如果从ELOISE研究数据中获得的关联与原始工作相比发生变化,则所赋予的分数也会变化。原始分数与所赋分数之间的差异越大,反映对校准的影响越大。对SAPS 3进行了类似分析,但使用的是混合效应逻辑回归模型(以患者特征为固定效应,以中心为随机效应对截距的影响),以复现原始工作[6]中遵循的方法。进行了一项事后分析,根据入住ICU的原因评估校准曲线、SMR和Brier评分。仅研究了入住次数超过200次的原因(心血管原因、消化系统原因、神经系统原因、呼吸系统原因、严重创伤、基础观察)。
校准与中心特征
我们还假设某些中心特征可能影响校准。首先,我们验证了各中心间校准的变异性是否与随机抽样引起的变异性相容。为此,我们为120个中心中的每一个拟合了一条校准曲线。中心特异性Brier评分和SMR的方差反映了校准的组间变异性。我们进行了置换检验,以确定这些方差的观测值是否与所有中心校准相同的假设相容。置换检验包括将患者随机分配到各中心,计算其Brier评分和SMR,然后获得这些量的方差,并将该过程重复1000次。由此得到的Brier评分和SRM方差分布仅反映归因于偶然性的组间方差;将实际观测值与这些分布进行比较。为评估中心特征是否对SAPS II评分的校准有影响,我们采用Finazzi等人提出的方法对校准曲线进行建模,并引入中心特征与预测死亡率logit值之间的交互项[18]。该分析针对以下各项特征进行:2012年国家卫生支出占国内生产总值(GDP)的百分比、医院床位数(<500、500–1000、>1000张床位)、是否存在IMCU、ICU内是否存在IMCU床位、ICU调整床位数(ICU内两张IMCU床位等于一张ICU床位[15])、是否可能在ICU内分配额外床位,以及日间护士/患者比(<0.5、0.5–1、>1)。对SAPS 3评分进行了相同的分析。
统计方法详见附加文件2。所有统计分析均使用R统计软件包(https://www.r-project.org/;R Foundation for Statistical Computing,维也纳,奥地利)进行。显著性水平设定为0.05,所有统计检验均为双侧检验。
结果
120个参与中心和5266名参与患者的特征见表1。大多数医院的床位容量为500–1000张,位于年卫生支出占GDP大于8%的国家,设有IMCU,日间护士/患者比在0.5至1之间,ICU调整床位数大于12张。患者入住ICU时平均年龄为62.4岁(范围18–98岁),60%为男性。69%的患者为非计划入住ICU,49%为手术后入住。
SAPS II和SAPS 3评分的校准
收集了5209例(98.9%)和5206例(98.9%)患者的SAPS II和SAPS 3评分。SAPS II评分预计的死亡人数为1568例(30.1%),而观察到的死亡人数为1194例(22.7%),由此得出SMR为0.75(95% CI 0.71–0.79)。校准曲线(图1)位于恒等线以下,证实SAPS II评分总体上高估了死亡率。高估的程度随SAPS II评分预测的死亡水平而变化。对于低风险患者,预测死亡率相当准确:在预测死亡率不超过0.20时,高估幅度小于0.04。对于预测死亡水平为中等的和高的患者(0.50至0.90之间),高估变得显著:当预测死亡率约为0.75时,高估幅度达到0.25。SAPS II预测的Brier评分为0.132(95% CI 0.127–0.137)。如果该评分无法区分死亡患者与存活患者(即如果对所有患者均使用观察到的死亡风险0.227),Brier评分将为0.175。
SAPS 3评分预计的死亡人数为1322例(25.4%),由此得出SMR为0.91(95% CI 0.86–0.96)。校准曲线比SAPS II评分更接近恒等线(图1)。然而,对于预测风险在0.50至0.90之间的患者,SAPS 3评分预测的死亡率高于观察到的死亡率。高估幅度未超过0.13。Brier评分为0.131(95% CI 0.126–0.136)。
单个条目对校准不良的预测价值?
为确定评分校准不良是均匀的还是特定于某些评分条目,我们比较了根据原始研究为每个条目赋予的分值和从ELOISE数据得出的分值权重(表2)。SAPS II评分中与死亡率关联降低的条目为极端心率(<70或>160次/分钟)、格拉斯哥昏迷量表(GCS)评分小于6、艾滋病诊断、收缩压(SBP)小于70 mm Hg以及血清钠水平小于125 mmol/L。在至少具有上述一个条目的患者中(n = 2230,42.8%),SMR为0.68(95% CI 0.63-0.73);在其他患者中,SMR为0.89(95% CI 0.81-0.97)。
对于SAPS 3评分,与死亡率相关性降低的条目包括转移性癌症的存在、入住ICU前的院内位置、心脏手术以及心率大于160次/分钟(附加文件3:表S1)。在至少具有上述一个条目的患者中(n = 2751 [52.8%]),SMR为0.82(95% CI 0.76–0.88);在其他患者中为1.10(95% CI 1.00–1.21)。
入住ICU的原因与校准度
按入住ICU的原因评估校准曲线和SMR(图2和附加文件4:表S2)。对于两种SAPS评分,因基本观察而入住ICU的患者死亡率高估尤为明显,SAPS II评分SMR为0.44(95% CI 0.34–0.57),SAPS 3评分SMR为0.68(95% CI 0.52–0.88)。在该亚组中,即使预测风险较低,校准曲线也偏离了恒等线。在因严重创伤入住ICU的患者中观察到类似但较不明显的趋势,SAPS II评分SMR为0.56(95% CI 0.39–0.78),SAPS 3评分SMR为0.73(95% CI 0.51–1.02)。对于其他入住原因,校准不良较不明显甚至较低。例如,SAPS 3评分在因心血管原因入住ICU的患者中校准良好(SMR 0.94,95% CI 0.86–1.03)。
中心间变异性
我们在120个中心中的每一个中心分别拟合了SAPS II评分的校准曲线(图3a)。校准曲线差异相当大,但尚不清楚该方差是否大于单纯偶然预期。通过在中心之间随机置换患者,获得了在所有中心校准度相同的假设下预期的校准曲线典型模式(图3b)。这些图表明,观察到的中心间校准变异性高于偶然预期的变异性。图3c表示在中心对校准无影响的零假设下预期的SMR标准差分布。观察到的SMR标准差由垂直线表示,落在分布的右侧;置换检验的p值小于0.001。这些发现表明,SAPS II评分校准度的中心间变异性不能很好地用随机变异性解释,并提示中心特征可能增加了这种变异性。使用Brier评分也观察到相同的发现(附加文件5:图S1A)。
在回归模型中,医疗支出和医院床位数与SAPS II评分校准曲线的形状显著相关(分别为p < 0.001和p = 0.004)。根据这些因素的校准曲线如图4a和b所示。在2012年医疗支出低于GDP 8%的国家的研究中心中,SAPS II评分校准良好,但随着医疗支出的增加,拟合度逐渐变差。此外,在拥有500–1000张床位的医院ICU中,死亡风险的高估程度低于规模更小或更大的医院。其他中心特征与校准曲线的形状无显著相关(是否存在IMCU p = 0.91,ICU内是否存在IMCU床位 p = 0.20,ICU调整床位数 p = 0.73,ICU内能否分配额外床位 p = 0.99,日间ICU护士/患者比 p = 0.10)。
对于SAPS 3,同样发现了SMR(图3d–f)(p < 0.001)和Brier评分(附加文件5:图S1B)存在中心间超额变异。在回归模型中,医疗支出和日间ICU护士/患者比与校准曲线的形状显著相关(分别为p < 0.001和p = 0.036)。相应的校准曲线如图4c和d所示。对于位于医疗支出低于GDP 8%的国家的研究中心,SAPS 3评分低估了死亡率。其他中心特征与校准曲线的形状无显著相关(医院床位数 p = 0.09,是否存在IMCU p = 0.68,ICU内是否存在IMCU床位 p = 0.80,ICU调整床位数 p = 0.62,ICU内能否分配额外床位 p = 0.96)。两种SAPS评分按医疗支出水平分层的SMR和Brier评分数据见附加文件6(表S3)。
讨论
SAPS II和SAPS 3评分总体上高估了死亡率,其中SAPS II的高估更为明显(SMR 0.75),而SAPS 3的高估程度较轻(SMR 0.91)。尽管其他研究也报告了死亡率的高估[10, 19–22],但我们显示这种校准不良并非同等影响所有患者和所有ICU。首先,校准不良取决于每位患者的预测风险水平以及患者所表现出的评分特定条目。其次,校准在不同中心之间存在差异;在高卫生支出国家以及小型和大型医院中,校准不良比中等规模医院更为严重。
当预测风险较低时(约低于预测风险0.30),评分校准良好;而在预测死亡率约为0.75时,SAPS II评分的高估增至0.25(SAPS 3为0.13)。由于自评分开发以来关联强度已发生变化,最初归因于评分某些条目的分值已不能正确反映死亡率的增加。预测评分中关联降低的主要条目,对于SAPS II评分为心率、GCS(<6)和慢性病(AIDS),对于SAPS 3评分为手术解剖部位(移植、创伤-其他)、入ICU前院内位置、合并症(转移性癌症)、心率(≥160次/分钟)。其中一些关联降低(心率、SBP)可能由现代自动或半自动数据采集方法解释,这些方法已被证明能发现更多“病理”要素,从而抬高了所赋予的SAPS评分[23]。AIDS关联的降低可能由抗HIV高效疗法的引入来解释。GCS对SAPS II预测能力的降低可能由关于评估规则的常见误解所致[24]:镇静患者有时被错误地赋予最差评分(3分),而评分应反映我们认为患者在无镇静状态下会处于的状态。另一种可能的解释是,真实世界中的数据质量低于研究验证研究中的数据质量,随机误差也会稀释关联。
评分的校准因入住ICU的原因而异。尤其是,当SAPS II和SAPS 3评分应用于因基本观察或严重创伤而入住ICU的患者时,其预测的死亡率过高。可能的情况是,在因任何导致强烈生理应激反应的创伤性损伤而入住ICU的患者与因其他原因入住的患者中,死亡率与预测评分所涉及的生物学参数之间的关系有所不同。生物学数值可能能够很好地反映内科疾病的阶段,但对创伤后促进恢复的稳态机制的效果反映不佳。除了患者特征对校准的影响外,我们还检测到各中心之间存在较大的异质性。校准的变异性太大,无法仅用随机抽样来解释。某些中心特征与SAPS评分的校准不良相关:国家卫生支出(SAPS II和SAPS 3)、医院床位数(SAPS II)以及日间护士/患者比(SAPS 3)。如果我们对医院规模造成的变异没有合理的解释,卫生支出的影响可能可以用ICU中可用于治疗患者的资源量来解释。在低支出国家,救生医疗技术可能未被充分利用或被配给,这可能导致更高的死亡率,更接近于25年前SAPS II评分开发时存在的死亡率。任何新的有效医疗治疗都必然会降低其所治疗疾病的预测价值;例如,自经皮腔内冠状动脉成形术和溶栓治疗引入以来,心肌梗死后的生存率已有所改善。
本研究存在若干局限性。分析数据作为ELOISE研究的一部分收集,该研究中研究人员旨在检测医院内是否存在IMCU对死亡率的影响。由于ELOISE研究并非为评估SAPS II和SAPS 3死亡率评分校准的决定因素而设计,某些校准的决定因素未被收集,例如临终关怀政策。此外,ICU是自愿参与的,可能不能代表所有欧洲ICU。
结论
本研究表明,SAPS II和SAPS 3评分的预后意义在欧洲各地并不一致,因为它取决于患者特异性特征和中心特异性特征。另一重要部分的变异性仍无法解释。这表明这些评分的使用者应谨慎行事,尤其是在比较服务于不同患者群体且位于卫生支出水平不同国家的ICU时。更广泛地说,我们的结果表明,在特定背景下开发的预后评分的外部有效性不应被视为理所当然,地方性再验证是有用的预防措施。此外,即使是成熟的评分,定期重新评估其预测能力也可能是审慎的做法,因为医疗治疗的变化可能会改变此类工具的价值。
附加文件
附加文件1:数据收集的附加细节。(DOCX 14 kb)
统计方法的附加细节。(DOCX 16 kb)
SAPS 3评分条目的原始和重新评估分值。(DOCX 18 kb)
按重症监护病房(ICU)入住原因分组的SAPS II和SAPS 3评分的SMRs和Brier分数。(DOCX 11 kb)
在假设所有中心校准相同的条件下,中心特异性Brier分数的标准差(SD)分布,分别针对(a)SAPS II评分和(b)SAPS 3评分。垂直线表示观察到的Brier分数SD。(DOCX 24 kb)
按卫生支出类别(占GDP百分比)分组的SAPS II和SAPS 3评分的SMRs和Brier分数。(DOCX 12 kb)
伦理委员会。(DOCX 33 kb)
参考来源
- Poncet A, Perneger TV, Merlani P, et al. Determinants of the calibration of SAPS II and SAPS 3 mortality scores in intensive care: a European multicenter study. Crit Care. 2017. PMID: 28376908. doi:10.1186/s13054-017-1673-6
- 全文:PMC5379500(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5379500/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。