更新版专有脓毒症预测模型的多中心前瞻性验证
该前瞻性预后研究在4个美国大型医疗系统(共227091次成人住院 encounter)中验证Epic脓毒症模型第2版(ESM v2)。脓毒症按Sepsis-3标准定义,模型在 encounter 水平AUROC为0.82(95%CI 0.81–0.83)至0.92(95%CI 0.92–0.93),在预测水平12小时时间窗AUROC为0.75(95%CI 0.74–0.75)至0.85(95%CI 0.85–0.85)。与临床医生识别脓毒症相比, encounter 水平AUROC小幅下降至0.80–0.90;阳性预测值仍低(0.13–0.26),需评估数量高和警报负担高。作者结论认为ESM v2较v1判别能力改善,但机构间变异大、阳性预测值低、警报负担高;计划实施该模型的医疗系统应进行内部评估以验证本地性能、采用警报静默策略并设计临床工作流程帮助管理假阳性。
要点
- 在4个美国医疗系统的227091次成人住院 encounter 中,ESM v2的 encounter 水平AUROC为0.82(95%CI 0.81–0.83)至0.92(95%CI 0.92–0.93),机构间变异大。
- 12小时时间窗预测水平AUROC为0.75(95%CI 0.74–0.75)至0.85(95%CI 0.85–0.85);随着时间窗延长,AUROC下降而PPV和NNE改善。
- 匹配60%灵敏度的模型阈值在各机构间为14至37,对应特异性0.83–0.96、PPV 0.13–0.26、NPV 0.97–0.99。
- 与临床医生识别(抗生素、乳酸或血培养医嘱复合指标)相比, encounter 水平AUROC小幅下降至0.80(95%CI 0.79–0.81)至0.90(95%CI 0.89–0.90),真阳性病例中位预测提前时间为1.4(0.6–4.0)至7.1(2.4–15.1)小时。
- ESM v2在所有性能指标、所有模型阈值和所有研究站点均优于ESM v1;ESM v1的 encounter 水平AUROC为0.65(95%CI 0.64–0.65)至0.84(95%CI 0.83–0.85),PPV为0.07(95%CI 0.07–0.08)至0.14(95%CI 0.14–0.15)。
适用人群与场景
- 18岁及以上成人患者,在急诊科接受评估或住院,且至少有来自新模型和原模型各1个预测评分。
- 排除标准:符合脓毒症标准、出院或死亡发生在生成模型评分之前的患者;因首小时无全血细胞计数结果而所有ESM v2评分被删失的脓毒症患者也被排除。
- 研究场景为4个美国大型医疗系统:密歇根大学(单一大型学术三级医疗中心)、俄勒冈健康与科学大学(单一大型学术三级医疗中心)、Emory Healthcare(6家学术和社区医院组合)、MetroHealth(单一大型安全网医院)。
诊断标准与关键阈值
- 脓毒症定义采用Sepsis-3临床共识标准:疑似感染时间窗内(培养医嘱前72小时至后24小时给予至少2剂抗生素中的首剂)出现器官功能障碍,器官功能障碍定义为SOFA评分较 encounter 基线变化≥2分。
- 脓毒症阳性时间定义为每次住院 encounter 中患者首次满足Sepsis-3标准的时间。
- 模型每15分钟生成0至100分的脓毒症风险评分;脓毒症阳性时间之后的预测被排除。
- 为计算特异性、PPV、NPV和需评估数量(NNE),采用各机构60%灵敏度阈值;匹配60%灵敏度的模型评分阈值在各机构间为14至37。
处置流程与药物剂量
- 各研究站点在实施ESM v2前,均使用原模型触发实时脓毒症警报;实施新模型后,警报基于ESM v2评分触发,ESM v1评分在后台静默计算。
- 所有研究站点在实施前均基于站点特定历史成人住院数据集对新模型进行微调。
- 根据开发者建议,对于评估首小时内无全血细胞计数(CBC)结果的患者,ESM v2预测评分被左删失;因此首小时内符合脓毒症标准且无CBC结果的患者被排除(首小时排除率各站点为9.8%至30.1%)。
研究设计与关键结果
- 研究类型:前瞻性预后验证研究;样本量:227091次成人住院 encounter;4个美国大型医疗系统;脓毒症 encounter 7401次(3.3%),非脓毒症 encounter 221695次(96.7%)。
- encounter 水平AUROC在各站点间为0.82(95%CI 0.81–0.83)至0.92(95%CI 0.92–0.93);匹配60%灵敏度阈值下,特异性0.83(95%CI 0.83–0.84)至0.96(95%CI 0.96–0.96),PPV 0.13(95%CI 0.13–0.14)至0.26(95%CI 0.25–0.27),NPV 0.97(95%CI 0.97–0.97)至0.99(95%CI 0.99–0.99)。
- 真阳性病例中,脓毒症阳性前中位预测提前时间为1.9(IQR 0.7–6.6)小时至10.3(IQR 1.3–81.4)小时。
- 预测水平4小时时间窗AUROC为0.75(95%CI 0.75–0.76)至0.86(95%CI 0.86–0.86),灵敏度0.25(95%CI 0.24–0.26)至0.44(95%CI 0.43–0.44),特异性0.93(95%CI 0.93–0.93)至0.97(95%CI 0.97–0.97),PPV 0.02(95%CI 0.01–0.02)至0.04(95%CI 0.04–0.04),NNE 24至69;随时间窗延长,AUROC下降而PPV和NNE改善。
- 与临床医生识别复合指标(抗生素、乳酸、血培养医嘱中最早者)相比, encounter 水平AUROC为0.80(95%CI 0.79–0.81)至0.90(95%CI 0.89–0.90);真阳性病例中位预测提前时间为1.4(IQR 0.6–4.0)小时至7.1(IQR 2.4–15.1)小时。
- ESM v1在匹配灵敏度0.60阈值下, encounter 水平AUROC为0.65(95%CI 0.64–0.65)至0.84(95%CI 0.83–0.85),PPV为0.07(95%CI 0.07–0.08)至0.14(95%CI 0.14–0.15);ESM v2在所有性能指标、所有模型阈值和所有研究站点均优于ESM v1,与临床医生识别比较时也优于原模型。
- 12小时时间窗NNE为21至35;住院全程时间窗NNE改善至4至8。
- 公平性审计:年龄较大、男性、白人和非西班牙裔患者的脓毒症发生率较高;模型性能与基线脓毒症发生率密切相关,未观察到按年龄、性别、种族或族裔独立分层的 disproportionately better or worse performance。
证据类型、等级与局限
- 证据类型:前瞻性预后验证研究(prognostic study),遵循TRIPOD+AI报告指南。
- 局限:本研究使用Sepsis-3临床标准标记脓毒症病例,该方法与人工医生复核的金标准方法一致性不完美;该标记方法将分析限制于最终接受培养和抗生素医嘱的脓毒症病例,未包括最终未接受治疗的脓毒症病例。
- 局限:模型性能分析在新模型已整合入临床工作流程后进行,警报性能变化可能影响临床医生行为(包括抗生素或血培养医嘱的频率和时机),可能在本研究的Sepsis-3抽象结局标签中引入确认偏倚并夸大模型准确性;实施后因临床医生行为变化导致的模型漂移是公认挑战且无标准解决方案。
- 局限:本研究报告整个住院期间的模型性能,未区分急诊科、住院病房和重症监护室诊断的脓毒症;未来研究应评估模型在这些和其他亚人群中的性能。
- 局限:所有研究站点在实施前均进行了模型微调,因此无法评论未微调的基础模型性能。
- 局限:本研究分析各研究站点实施新模型后即刻收集的观察性数据,并非设计用于评估其对临床结局(如死亡率)的影响;需要额外研究来研究该脓毒症预测模型对死亡率的影响。
对床旁实践的改变
- 作者结论认为ESM v2较v1判别能力改善,但机构间变异大、阳性预测值低、警报负担高。
- 作者建议,寻求实施该模型的医疗系统应进行内部评估以验证本地性能、采用警报静默策略并设计临床工作流程帮助管理假阳性。
- 作者指出,计划实施该模型的机构应认识到该模型局限性:入院首小时无CBC结果时无法产生准确预测,可能导致相当比例脓毒症患者(如密歇根大学高达30%)在脓毒症发作前没有任何可靠模型预测。
- 作者指出,12小时时间窗NNE为21至35,意味着使用该模型的医疗系统需要管理或静默约21至35次警报才能捕获1例未来12小时内发生的脓毒症;住院全程时间窗NNE改善至4至8次警报,在考虑 encounter 水平干预(如将患者加入脓毒症观察名单或住院治疗路径)时可能有帮助。
- 作者指出,警报静默策略可帮助降低总警报负担但不能改善警报准确性;临床工作流程(如团队简报或床旁护士筛查)可帮助区分真阳性和假阳性并进一步指导有效脓毒症护理。
提炼说明
- 原文未涉及「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译17 节 · 点击展开
引言
脓毒症是美国住院患者死亡的主要原因之一,1,2,3 脓毒症的早期识别和治疗可以改善预后并挽救生命。4,5 拯救脓毒症运动强烈建议对住院患者进行脓毒症筛查,6 这促使美国各医院广泛采用自动化脓毒症预测工具。7 然而,此类工具往往缺乏通用性,且通常由医疗系统在未经内部验证的情况下实施,8 可能因漏诊或延迟治疗而损害脓毒症诊疗质量。多中心外部验证研究评估模型性能和通用性,为临床预测模型的安全有效采用提供指导。9,10,11
2018年,Epic Systems发布了第一版Epic脓毒症模型(ESM v1),这是一种专有的惩罚性逻辑回归脓毒症预测模型,已在数百家美国医院实施。尽管部署广泛,但该模型在多个不同医疗系统的外部验证中被发现区分度和校准度较差。12,13,14,15 具体而言,使用抗生素作为预测因子、与非临床结局标签进行比较以及模型通用性有限,可能导致了ESM v1性能不佳以及内部验证与外部验证之间的差异。
2022年,Epic Systems发布了脓毒症预测模型的修订版(ESM v2),这是一种梯度提升树模型,解决了先前的方法学问题,并允许进行本地化微调(即基于特定机构的历史数据集更新模型参数)。在内部验证中,Epic Systems报告ESM v2在3个内部验证中心的受试者工作特征曲线下面积(AUROC)值改善至0.83至0.86之间(Tyler Sundberg和Elliot First,Epic Systems,Microsoft Teams会议,2025年2月25日)。截至2025年8月,Epic Systems报告已有95个医疗保健组织(代表731家独立医院)目前使用该模型进行实时脓毒症预测,而超过100个组织仍在使用原始模型。尽管采用广泛,但该新型脓毒症预测模型的外部多中心验证尚未见报道。
本文呈现ESM v2在美国4个大型医疗系统住院患者脓毒症预测的多中心前瞻性验证。利用各研究中心实施后收集的实时前瞻性数据,我们报告新模型相对于原始版本的性能,概述不同临床中心之间性能的差异,并将模型性能与临床医生对脓毒症的识别进行比较。
方法
本预后研究获得了各参与中心的机构审查委员会批准。由于二次研究属于最小风险豁免范畴,知情同意要求被豁免。本研究的报告遵循个体预后或诊断多变量预测模型的透明报告声明——人工智能更新版(TRIPOD+AI)报告指南。16
研究设置
我们在美国4个大型卫生系统(密歇根大学,密歇根州安娜堡;俄勒冈健康与科学大学,俄勒冈州波特兰;埃默里医疗,佐治亚州亚特兰大;以及MetroHealth,俄亥俄州克利夫兰)开展了一项前瞻性验证研究。在每个研究中心,均在模型实施后立即连续收集一段时间的数据。在密歇根大学和俄勒冈健康与科学大学收集的数据代表来自单一大型学术三级医疗中心的患者。在埃默里医疗收集的数据代表来自埃默里附属的6家学术和社区医院组合的患者。在MetroHealth收集的数据代表来自单一大型安全网医院的患者。
患者人群
所有年龄在18岁或以上的成年患者,凡在急诊科(ED)接受评估或住院期间至少有1个来自新模型和原始模型的预测评分者,均纳入研究。符合脓毒症标准、在生成模型评分前出院或死亡的患者被排除。
结局定义
脓毒症病例采用Sepsis-3临床标准定义4,包括在疑似感染前48小时至后24小时之间存在器官功能障碍证据的患者。器官功能障碍定义为序贯器官衰竭评估(SOFA)评分较就诊基线变化2分或以上。疑似感染定义为体液培养与培养医嘱时间前72小时至后24小时内至少给予2剂抗生素中第一剂同时发生。模型性能和提前时间分析相对于脓毒症阳性时间进行,脓毒症阳性时间定义为患者在每次医院就诊中首次符合Sepsis-3标准的时间。关于我们脓毒症标注方法的更多细节见补充材料1中的eMethods。
脓毒症预测模型
脓毒症预测模型生成0至100之间的评分,反映患者的脓毒症风险。两个模型的预测评分每15分钟对所有急诊和住院患者计算一次。脓毒症阳性时间之后发生的预测被排除。在ESM v2实施之前,所有研究中心均使用原始模型向医疗从业人员触发实时脓毒症警报。在新模型实施后,警报基于ESM v2评分触发,ESM v1评分在后台静默计算。在所有研究中心,新模型在实施前均在站点特定的成年住院患者历史训练集上进行了微调。
根据开发者建议,对于无可用全血细胞计数(CBC)结果的患者,评估第一小时内的ESM v2预测评分因内部验证研究中观察到的高变异性而被左删失。因此,在第一小时内符合脓毒症标准且无CBC结果的患者被排除,因为该时间范围内的所有ESM v2评分均被删失。这一第一小时排除不适用于原始模型,但为保持一致性,这些患者也从模型分析中排除。关于预测模型的更多细节见其他文献17和补充材料1中的eMethods。
统计分析
使用受试者工作特征曲线下面积(AUROC)评估模型区分度。为保持各中心间的一致性并模拟高灵敏度阈值,采用各机构60%灵敏度阈值计算特异度、阳性预测值(PPV)、阴性预测值(NPV)及需评估人数(NNE)。我们通过1000次Bootstrap重采样生成95%CI。模型性能在就诊层面和预测层面进行分析,时间窗分别为4小时、12小时和全院住院期间。就诊层面分析基于首个超过阈值的预测评分时间。预测层面性能使用与就诊层面分析中60%灵敏度相匹配的相同模型阈值计算。使用校准图评估模型校准度。各中心分别进行分析,结果汇总进行比较。各中心之间不共享患者数据。关于就诊层面与预测层面分析的补充说明见补充材料1的eMethods。
临床医生识别脓毒症的时间可影响脓毒症预测模型在真实世界中的性能和实用性。15为衡量模型性能与临床医生识别脓毒症的对比,我们针对临床医生识别脓毒症的首个指标(即最早的抗生素医嘱、乳酸医嘱和体液培养医嘱)以及基于其中任一最早者的复合定义进行了敏感性分析。比较事件时间从Sepsis-3阳性时间提前至脓毒症识别最早临床指标的时间(如存在)。与临床医生识别的比较在就诊层面进行。
进行公平性审计以确定模型在按年龄、性别、种族和民族分层的亚人群中是否具有差异性性能。种族和民族为自我报告。种族分类为亚洲人、黑人、白人、其他(定义为以下任一项的包容性类别:美洲印第安人和阿拉斯加原住民、亚洲印度人、中东或北非人、多种族、夏威夷原住民或太平洋岛民、或其他)和未知。民族分类为西班牙裔或非西班牙裔。对于每个亚组,我们报告基线脓毒症发生率、模型评分的中位数和IQR以及模型AUROC。
为评估警报负担,我们绘制了各机构超过模型警报阈值的预测评分平均数量。为模拟假设临床工作流程中的警报负担,我们使用8小时静默策略(即警报触发后8小时内抑制后续警报)绘制了总警报数量。分析于2025年7月23日至8月19日进行,使用Python软件版本3.13(Python软件基金会)。
结果
队列人口统计学特征
共评估了4个医疗系统内的227 091次住院就诊,包括密歇根大学的32 642次就诊(2024年11月11日至2025年3月11日)、俄勒冈健康与科学大学的36 211次就诊(2023年8月31日至2025年2月11日)、Emory Healthcare的54 420次就诊(2024年8月1日至2024年9月30日)以及MetroHealth的103 818次就诊(2023年10月4日至2024年10月23日)。总体而言,7401次就诊(3.3%;中位[IQR]年龄,65[54-75]岁;3359例[45.4%]女性;198例[2.7%]亚洲患者;1824例[24.6%]黑人患者;4782例[64.6%]白人患者;526例[7.1%]西班牙裔患者)符合脓毒症标准,221 695次就诊(96.7%;中位[IQR]年龄[33-65]岁;123 563例[56.2%]女性;5495例[2.5%]亚洲患者;85 319例[38.8%]黑人患者;109 039例[49.6%]白人患者;21158例[9.6%]西班牙裔患者)不符合。按研究地点划分的患者人口统计学特征概述见表1。
脓毒症发病率
各研究地点的基线脓毒症发病率为2.2%至7.1%,三级医疗中心观察到的脓毒症发生率更高(表2)。实施新模型后,所有研究地点的脓毒症发病率与历史发病率保持一致。从入院就诊到脓毒症阳性的中位(IQR)时间为3.7(1.8-9.3)小时至10.3(1.3-81.4)小时。因第一小时无全血细胞计数(CBC)排除标准而被排除的脓毒症阳性就诊百分比在各研究地点为9.8%至30.1%。
各研究地点的模型性能
新脓毒症预测模型的性能概述见表2。在就诊层面,模型的AUROC范围为0.82(95% CI,0.81-0.83)至0.92(95% CI,0.92-0.93)。与60%灵敏度相匹配的模型评分阈值在各机构间为14至37。在此阈值下,特异度为0.83(95% CI,0.83-0.84)至0.96(95% CI,0.96-0.96),PPV为0.13(95% CI,0.13-0.14)至0.26(95% CI,0.25-0.27),NPV为0.97(95% CI,0.97-0.97)至0.99(95% CI,0.99-0.99)。对于真阳性病例,脓毒症阳性前的中位(IQR)预测提前时间为1.9(0.7-6.6)小时至10.3(1.3-81.4)小时。所有可能阈值下的模型性能概述见图1。各研究地点模型性能对应的校准图见补充材料1中的e图1至e图4。
在4小时时间范围的预测层面,AUROC为0.75(95% CI,0.75-0.76)至0.86(95% CI,0.86-0.86),灵敏度为0.25(95% CI,0.24-0.26)至0.44(95% CI,0.43-0.44),特异度为0.93(95% CI,0.93-0.93)至0.97(95% CI,0.97-0.97),PPV为0.02(95% CI,0.01-0.02)至0.04(95% CI,0.04-0.04),NNE为24至69(表2)。随着时间范围延长,AUROC下降,PPV和NNE改善。
模型性能与临床医生识别能力的对比
新型脓毒症预测模型与临床医生对脓毒症识别能力的性能对比总结于表3。将模型与临床医生识别能力的复合临床指标(即抗生素、乳酸和血培养医嘱)进行比较,判别性能略有下降,各研究中心的AUROC范围为0.80(95% CI,0.79-0.81)至0.90(95% CI,0.89-0.90)。对于真阳性病例,在临床医生识别之前的中位(IQR)预测提前时间为1.4(0.6-4.0)小时至7.1(2.4-15.1)小时。
ESM v2与ESM v1的性能对比
新模型与原始模型在Sepsis-3阳性之前及临床医生识别之前的性能对比概述于图2。在匹配0.60灵敏度的阈值下,原始模型在就诊层面的AUROC范围为0.65(95% CI,0.64-0.65)至0.84(95% CI,0.83-0.85),PPV范围为0.07(95% CI,0.07-0.08)至0.14(95% CI,0.14-0.15)。新模型在所有性能指标、所有模型阈值和所有研究中心均优于ESM v1。与临床医生对脓毒症的识别能力相比,新模型同样表现出优于原始模型的性能。原始模型性能的完整概述见补充材料1中的eTable 1。
公平性审计
新型脓毒症预测模型在所有研究中心的公平性审计完整结果见补充材料1中的eTable 2至5。在老年患者、男性患者、白人患者和非西班牙裔患者中观察到较高的脓毒症发生率。模型性能与基线脓毒症发生率密切相关。未观察到明显偏离该趋势的情况,即未发现独立基于年龄、性别、种族或民族的不成比例的更好或更差性能。
警报负担
患者评分高于警报阈值的平均数量以及采用8小时静默策略所触发警报数量的图表见补充材料1中的eFigure 5至8。在所有研究中心,入院后即刻出现高频警报,随后随着患者住院进程的推进逐渐下降。理论上的8小时静默策略大幅降低了总警报负担,但低PPV和高NNE持续存在。
讨论
在这项大型多中心前瞻性预后研究中,我们发现ESM v2对早期脓毒症预测表现出中等至较强的判别能力,但各机构间的性能差异较大。这一新的脓毒症预测模型在各中心获得的总体就诊层面AUROC介于0.82至0.92之间,与Epic Systems独立报告的性能(AUROC,0.83-0.86)一致。至脓毒症阳性的中位预测提前时间(1.9-10.2小时)提示有充足的时间窗重新评估患者、开具额外诊断检查或启动治疗。ESM v2在所有指标上的性能均优于ESM v1。与临床医生对脓毒症的识别相比,新模型还保持了中等水平的性能,而原始模型则未能做到。虽然新模型的总体性能(如AUROC)通常低于其他前沿脓毒症预测模型所报告的性能,如COMPOSER、18 Targeted Real-time Early Warning System19和SepsisWatch,20但它优于其他更常部署的预测模型21及临床预测评分,如全身炎症反应综合征(SIRS)、SOFA和快速SOFA。22此外,这一新的脓毒症预测模型目前已在数百家美国医院部署,凸显了本研究及其他外部验证研究对核实其性能的重要性。
研究各站点的模型性能存在高度变异性,凸显了在部署前进行本地验证的必要性。判别准确性(AUROC,0.82-0.92)、匹配60%敏感度的阈值(14至37)、预测提前时间(1.5-9.1小时)以及模型性能相对于临床医生怀疑的下降幅度在各机构间均存在显著差异。多种因素可能导致了这一现象。首先,新的脓毒症预测模型在识别社区获得性脓毒症方面可能比医院获得性脓毒症更有效。新模型在脓毒症发病时间较早且急诊科脓毒症病例比例较高的机构中表现出更强的性能,这与社区获得性病例相一致。这与既往研究一致,即医院获得性脓毒症在临床上更为复杂,比社区获得性脓毒症更难预测。23,24 其次,新模型在仅有三级医疗中心的站点(密歇根大学和俄勒冈健康与科学大学)表现弱于包含社区医院和安全网医院的站点(埃默里大学和MetroHealth)。三级医疗站点的基线脓毒症发生率更高、脓毒症阳性中位时间更长、中位住院时间更长、每名患者的预测次数更多,且模型性能相对于临床医生识别的总体表现更低。这些因素支持了既往证据,即患者复杂性和基线脓毒症发生率会影响脓毒症预测模型的性能。13 最后,第一小时全血细胞计数(CBC)排除率可能对各站点的模型性能产生了不同影响。根据开发者指南,新脓毒症预测模型在入院第一小时内缺乏CBC结果时无法产生准确预测。由于临床工作流程、患者量和实验室可及性的差异,各卫生系统在护理第一小时内持续采血并完成CBC检测的能力各不相同。计划实施该模型的机构应认识到这一模型局限性,该局限性可能导致相当比例的脓毒症患者(例如,密歇根大学高达30%)在脓毒症发病前没有任何可靠的模型预测。
尽管性能有所改善,高警报负担仍是实施新模型时的一个顾虑。我们的分析发现该模型相关的阳性预测值(PPV)较低且需筛查人数(NNE)较高。例如,在12小时时间范围内,NNE范围为21至35。这意味着使用该模型的卫生系统需要管理或静默约21至35条警报才能捕获一例在未来12小时内发生的脓毒症。在全住院期间时间范围内,NNE改善至4至8条警报,这在考虑就诊层面的干预措施(如将患者加入脓毒症观察名单或住院治疗路径)时可能有帮助。高警报负担问题并非该模型独有,而是所有脓毒症预测模型的已知局限性。实施警报静默策略有助于减少总警报负担,但无法提高警报准确性。临床工作流程,如团队碰头会或床边护士筛查,有助于区分真阳性与假阳性,并进一步指导有效的脓毒症护理。
优势与局限性
本研究具有若干优势。第一,这是对该新型脓毒症预测模型的首项大规模多中心验证研究,涵盖了美国不同地理区域(中西部、太平洋西北部、南部)和不同类型卫生系统(三级医疗中心、社区医院、安全网医院)的多样代表性,从而能够对模型性能进行具有代表性的真实世界评估。使用Sepsis-3标准和60%敏感性基准的标准化评估方法,使得不同站点和模型之间的性能比较清晰明确。第二,使用各研究站点实施新模型后立即收集的前瞻性实时数据,密切反映了模型在真实世界部署条件下的性能。这为卫生系统领导者提供了实用见解,以指导其对各自机构实施后模型性能的预期。此外,针对多个临床医生识别指标和多个时间窗口分析模型性能,提供了模型精确度、及时性和假阳性率之间真实世界临床权衡的细致视角。
尽管具有上述优势,本研究仍存在若干局限性。第一,本研究使用Sepsis-3临床标准来标记脓毒症病例,该方法与人工医师审查的金标准方法一致性不完美。25,26,27,28使用Sepsis-3抽象法进行脓毒症标记,使得能够在多个研究站点进行标准化的大规模模型验证,但将模型性能分析限制在以临床医生为中心的结局上,这是所有形式的自动化脓毒症标记的已知局限性。Sepsis-3脓毒症编码和研究共识框架建议使用在特定时间范围内同时开具血培养和抗生素医嘱来定义疑似感染。4使用这一临床脓毒症定义将分析限制于最终接受了培养和抗生素医嘱的脓毒症病例,未纳入任何最终未接受治疗的脓毒症病例。
其次,模型性能分析是在新模型已经整合到临床工作流程之后进行的。警报性能的变化可能影响了临床医生的行为,包括抗生素或血培养医嘱的频率和时机。这可能在我们抽象的Sepsis-3结局标签中引入了确认偏倚,并夸大了模型准确性。由于临床医生行为变化导致的实施后模型漂移是临床预测模型评估中广泛公认的挑战,尚无标准解决方案。29 然而,本研究中的2个因素有助于减轻这些担忧。首先,将模型整合后的脓毒症发生率与历史发生率进行比较,发现我们研究地点之间无显著差异,提示新模型的引入并未显著改变脓毒症标注率。其次,所有研究地点此前均使用原始模型进行脓毒症警报,新模型实施后除由哪个模型触发脓毒症警报外,临床工作流程未作任何改变。因此,与引入全新系统相比,用新版本直接替换原始模型较少可能引起实施后模型漂移。虽然理想的解决方案是对两个模型同时进行静默测试,但这不可行,因为研究地点依赖这些模型进行临床诊疗。
第三,本研究报道了整个住院期间的模型性能,未区分在急诊科、住院病房和重症监护病房中诊断的脓毒症。既往脓毒症研究提示社区获得性和医院获得性脓毒症人群之间存在生理学和流行病学异质性30,且脓毒症预测模型在急诊科识别早发性社区获得性脓毒症病例方面可能比在住院病房和重症监护病房更有效。31 这与我们的发现一致,即该模型在脓毒症发生率较低和脓毒症阳性时间较早的地点表现更优。未来研究应评估该模型在这些及其他亚人群中的性能。
第四,由于我们所有研究地点在实施前均进行了模型微调,我们无法评论未经微调的基础模型的性能。第五,本研究分析了各研究地点实施新模型后立即收集的观察性数据,并非旨在评估其对临床结局(如死亡率)的影响。需要进一步研究来探讨该脓毒症预测模型对死亡率的影响。
结论
在这项关于ESM v2的预后研究中,我们在4个美国大型卫生系统中进行的前瞻性多中心验证发现模型区分度有所改善,但各机构间变异性较大。寻求实施该模型的卫生系统应进行内部评估以验证本地性能,部署警报静默策略,并设计临床工作流程以帮助管理假阳性。
参考来源
- Wong A, Currey D, Schwinne M, et al. Multicenter Prospective Validation of an Updated Proprietary Sepsis Prediction Model. JAMA Netw Open. 2026. PMID: 41758510. doi:10.1001/jamanetworkopen.2026.0181
- 全文:PMC12949446(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12949446/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。