脓毒症预测模型在不同脓毒症定义下的性能表现
这项诊断研究在9家急性护理医院对198494例成人就诊进行了脓毒症预测模型的静默前瞻性评估,模型每15分钟生成预测。模型在Sepsis-3定义下AUROC为0.89(95%CI 0.89-0.90)、AUPRC为0.24(95%CI 0.23-0.25),SEP-1定义下AUROC为0.94、AUPRC为0.16,ASE定义下AUROC为0.85、AUPRC为0.11。Sepsis-3定义下Youden最佳阈值为9,阳性预测值11.4%,中位提前预警时间3.4小时,需要评估8.7例 encounter 才能识别1例真阳性。作者认为模型提供了一定提前预警,但高假阳性率可能限制其临床实用性,除非仔细选择阈值并针对性实施。
要点
- 模型在Sepsis-3定义下AUROC为0.89(95%CI 0.89-0.90),AUPRC为0.24(95%CI 0.23-0.25),为其训练定义下表现。
- Sepsis-3定义下Youden最佳阈值为9时,阳性预测值仅11.4%(95%CI 11.1%-11.7%),假阳性率19.3%,需评估8.7例才能识别1例真阳性。
- 模型在急诊科8小时时间窗内AUROC为0.90,住院病房为0.82,ICU为0.76,判别力随患者病情严重程度升高而下降。
- Sepsis-3定义下中位提前预警时间为3.4小时(IQR 0.9-22.4小时),SEP-1为4.5小时,ASE为1.4小时。
- 在治疗启动前评估时,Sepsis-3定义下AUROC降至0.75(95%CI 0.75-0.76),但AUPRC升至0.38(95%CI 0.37-0.40)。
适用人群与场景
- 纳入2024年3月17日至2024年8月31日期间在Mass General Brigham医疗系统9家急性护理医院(2家四级学术中心、5家社区医院、2家重症通路医院)就诊的成人(≥18岁)患者,包括急诊科、住院单元、ICU和围手术期区域。
- 排除:住院时间不足1小时的就诊;以内镜开始的就诊;直接收入精神科服务的就诊;急诊就诊后直接转至产房的就诊。
- 纳入从急诊科开始或直接入院的就诊,包括急诊就诊后未入院即出院的患者。
诊断标准与关键阈值
- Sepsis-3定义:时间零点为培养或抗生素的最早合格时间点。
- SEP-1定义:时间零点为满足2项或以上全身炎症反应综合征标准且伴器官功能障碍的最早合格时间点。
- ASE定义:时间零点为培养、抗生素和器官功能障碍三者共同满足的最早合格时间点。
研究设计与关键结果
- 研究类型为诊断研究,静默前瞻性评估本地训练的梯度提升树集成脓毒症预测模型,模型每15分钟生成0-100分预测,不显示给临床医生。
- 共纳入198494例就诊(中位年龄55岁,IQR 36-71岁;54.8%女性),Sepsis-3定义脓毒症发生率2.9%(5832例),SEP-1为1.2%(2366例),ASE为2.0%(3881例)。
- 模型在SEP-1定义下AUROC最高为0.94(95%CI 0.94-0.94),Sepsis-3为0.89(95%CI 0.89-0.90),ASE为0.85(95%CI 0.85-0.86)。
- Sepsis-3定义下AUPRC最高为0.24(95%CI 0.23-0.25),SEP-1为0.16(95%CI 0.15-0.17),ASE为0.11(95%CI 0.11-0.12)。
- Sepsis-3定义下Youden最佳阈值为9,阳性预测值11.4%(95%CI 11.1%-11.7%),召回率82.4%(95%CI 81.8%-83.8%),假阳性率19.3%(95%CI 19.2%-19.6%),需评估8.7例(95%CI 8.5-9.0)识别1例真阳性。
- 急诊入院患者在Sepsis-3定义下最佳阈值为18,阳性预测值19.5%(95%CI 18.8%-20.0%),召回率69.4%(95%CI 68.1%-70.8%),需评估5.1例(95%CI 5.0-5.3),但35.7%(15419/43247)的就诊达到该阈值。
- Sepsis-3定义下8小时时间窗预测层面AUROC在急诊科为0.90(95%CI 0.89-0.90),住院病房为0.82(95%CI 0.82-0.83),ICU为0.76(95%CI 0.75-0.77)。
- 模型从未达到超过50%的阳性预测值,即使在高分阈值下也是如此。
证据类型、等级与局限
- 证据类型:单中心医疗系统的诊断研究(队列研究),静默前瞻性部署评估。
- 局限:研究在美国东北部单一医疗系统内评估脓毒症模型,其他医疗系统可能因患者人口学或疾病负担不同而获得不同模型性能。
- 局限:所研究的脓毒症模型仅是众多脓毒症预测模型之一,与其他模型的直接比较超出本研究范围。
- 局限:更新的ASE结局定义已提交并正在考虑中,本分析聚焦于现有ASE定义而非更新定义。
对床旁实践的改变
- 作者认为,模型提供了一定提前预警,但高假阳性率可能限制其临床实用性,除非仔细选择阈值并针对性实施。
- 作者指出,仅基于模型评分的决策支持(在偏向敏感性的阈值下)可能使最终发生脓毒症的小部分患者获益,代价是增加警报负担和对大多数非脓毒症患者的过度治疗。
- 作者指出,模型在急诊科判别力最高,在住院病房和ICU逐渐降低,提示模型主要优势可能在于较早的诊疗阶段。
- 作者指出,模型的统计性能在静默实施期间不一定等同于临床获益,需要进一步研究更新版脓毒症模型的临床影响。
指南或共识出处
- Sepsis-3:Third International Consensus Definitions for Sepsis and Septic Shock
- SEP-1:Centers for Medicare & Medicaid Services Severe Sepsis and Septic Shock: Management Bundle
- ASE:Centers for Disease Control and Prevention Adult Sepsis Event
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」,故未列出这些栏目。
全文中译14 节 · 点击展开
引言
脓毒症是全球发病和死亡的主要原因。1,2 在美国,每年估计有170万成人因脓毒症住院,仅Medicare患者造成的费用就超过400亿美元。1,3 早期识别和启动脓毒症治疗是生存的关键,治疗每延迟1小时与死亡率增加4%相关。4,5,6,7,8,9 能够预测脓毒症的机器学习模型有可能实现更早启动治疗。部署最广泛的模型之一是脓毒症早期检测模型(Epic System Corp)。该基于电子健康记录(EHR)的脓毒症模型的第1版是一个具有静态系数的惩罚回归模型。然而,独立评估发现该模型性能不佳,引发了对其在临床环境中实用性的担忧。10,11,12,13,14,15
该模型的第2版随后于2022年11月发布,但迄今为止对该版本的评估仍然有限。16 该模型的第2版是一个本地训练的梯度提升树集成模型,基于第三次国际共识定义脓毒症和脓毒性休克(Sepsis-3)结局定义进行训练。17 该模型使用的特征包括患者年龄、诊断、实验室值、生命体征、护理流程图评估、药物给药、操作和既往使用情况。该模型开发策略的完整细节向供应商客户提供。18 脓毒症模型尤其值得进行性能评估,因为它可能是医疗保健中实施最广泛的机器学习模型。据供应商报告,截至2025年5月,有125个医疗保健机构在使用第1版,78个在使用第2版。
然而,由于各研究使用了异质性脓毒症结局定义,脓毒症检测机器学习模型的评估变得复杂,使得模型性能的直接比较变得困难。10,11,12,13,14,15,16,19,20 需要标准化的、多定义评估,以更好地表征模型在不同情境下的性能。
我们在考虑临床实施之前,对本地训练的脓毒症预测模型实例进行了 silent 前瞻性性能评估。结局是比较该模型在3种既定脓毒症定义上的性能:Sepsis-3;美国医疗保险和医疗补助服务中心严重脓毒症和脓毒性休克:管理集束(SEP-1);以及美国疾病控制与预防中心成人脓毒症事件(ASE)。17,21,22 这些定义反映了临床应用的范围:Sepsis-3最常用于临床研究和模型开发,SEP-1是美国医院质量报告的基础,ASE设计用于流行病学监测和公共卫生报告,现正被用作拟议的国家医院死亡率结局指标的基础。23,24
方法
患者、设计与设置
本诊断研究纳入2024年3月17日至8月31日期间在Mass General Brigham(MGB)医疗系统内急性照护医院就诊的18岁及以上患者。MGB机构审查委员会批准了本研究并豁免知情同意,因为其对人类参与者构成的风险极小。本研究遵循个体预后或诊断多变量预测模型透明报告加人工智能(TRIPOD+AI)报告指南。25
MGB医疗系统包括2个四级照护学术中心、5个社区医院和2个危急通道医院。符合条件的住院就诊包括从急诊科(ED)开始的就诊或直接入院,排除从内镜操作开始的就诊、直接收入精神科服务的就诊、或急诊就诊后直接转至产房的就诊。急诊科就诊后未入院即出院的就诊纳入研究。住院时间不足1小时的就诊被排除。所有研究站点使用相同的电子健康记录(EHR)。
电子健康记录预测模型的本地化与实施
脓毒症模型第2版最初使用来自3个非MGB医疗系统的数据开发。为进行本地实施,供应商定义了模型架构、输入和超参数。我们将输入特征映射至本地对应项,并使用2023年1月1日至5月31日期间在本医疗系统就诊的约250 000例成人患者就诊记录,基于Sepsis-3结局在本地训练模型。训练人群与本研究所用队列之间无重叠。模型原生处理缺失值。氧输送的空值以室内空气替代,所有其他缺失特征未经插补处理。模型前瞻性地每15分钟为医院内所有成人患者生成预测值(0-100),这些预测值存储于EHR中,但未向临床医生展示,也未用于临床决策支持。模型评分与阳性预测值(PPV)并不直接相关,即评分60并不等同于60%的脓毒症风险。模型版本、训练参数和校准在研究期间未发生变化。
测量指标
所有数据均通过结构化查询语言从EHR数据仓库中提取。查询捕获了患者人口学特征、院内病房类型、实验室检验值、生命体征和预测模型评分的相关数据。患者种族(亚裔、黑人或非裔美国人、白人、多种族或其他[美洲印第安人或阿拉斯加原住民或夏威夷原住民或太平洋岛民]、或未知)和族裔(西班牙裔、非西班牙裔或未知)为自我报告并从EHR中提取,收集用于评估模型在种族和族裔分层中的性能。缺失的人口学变量报告为不可用。就诊类型定义了住院类型;然而,部分定义为仅急诊就诊而未住院的就诊可能被转回住院康复机构或另一急诊科。结构化查询语言查询和脓毒症结局定义的准确性通过随机审查35份患者记录予以确认。
结局定义
主要结局是脓毒症模型在Sepsis-3定义、基于SEP-1的可计算定义和ASE定义下的性能。17,21,22,23,24 时间零点定义为各定义下最早符合条件的时间点,具体如下:Sepsis-3为培养或抗生素;SEP-1为2项或以上全身炎症反应综合征标准合并器官功能障碍;ASE为培养、抗生素和器官功能障碍。各结局的完整定义及其对应的时间零点列于补充材料1的e表1中,以及可计算SEP-1定义与SEP-1质量指标的区别。
统计分析
本研究所需的最小样本量采用Riley等26描述的方法计算(详细信息见补充材料1的e方法)。研究人群的描述采用分类变量的计数和比例以及连续变量的中位数和四分位距。报告从到达医院至本次就诊中首个脓毒症时间零点之间的时间,按就诊类型分层。
模型性能在就诊层面和预测层面(在8小时和24小时的特定时间范围内)使用受试者工作特征曲线下面积(AUROC)、精确率-召回率曲线下面积(AUPRC)、估计校准误差(ECE)、决策曲线分析和提前时间分析进行评估。置信区间通过在就诊层面重采样进行自助法估计,并考虑了患者层面的聚类。报告各结局定义在一系列模型阈值下的精确率和召回率。报告在 favoring 高召回率(≥0.8)、高精确率(≥0.15)和Youden左上角(受试者工作特征曲线上使敏感度和特异度之间权衡最大化的点)的预定义阈值下的模型性能,包括假阳性率和检测1例真阳性就诊所需评估的就诊数。该分类模型评估框架的详细信息此前已在其他研究中使用,见补充材料1的e方法。12,27,28,29,30 预测层面的模型性能通过预测生成时患者位于急诊科、病房还是重症监护病房(ICU)进行评估。
模型性能在基于人口学特征、就诊类型和医院类型的人群亚组分层内计算。性能漂移通过计算研究期间每周的AUROC和AUPRC进行评估。鉴于模型在治疗已经开始后才识别脓毒症的临床实用性有限,使用Kamran等10描述的框架进行了敏感性分析,以评估模型在治疗开始前的性能。对于该分析,我们筛选预测,仅保留在脓毒症相关临床措施之前发生的预测,具体为乳酸检测、血培养或静脉抗生素的医嘱。分析使用R 4.4.1版(R Foundation for Statistical Computing)和Python 3.12版(Python Software Foundation)进行。31
结果
患者特征
在为期6个月的研究期间,共有207 489次医院就诊符合纳入标准。我们排除了8995次因住院时间不足1小时的就诊。最终分析纳入198 494次医院就诊(患者年龄中位数[IQR],55 [36-71]岁;女性54.8%,男性45.2%;种族:亚裔3.5%,黑人或非裔美国人11.9%,白人69.6%,多种族或其他1.1%,种族未知13.9%;民族:西班牙裔16.0%,非西班牙裔80.4%,民族未知3.5%)(补充材料1中的eTable 2)。共有68.1%的患者在急诊科就诊后未入住同一医院即出院,21.8%从急诊科收入院,4.9%在择期手术后收入院。
在整个研究人群中,使用Sepsis-3定义的脓毒症结局发生率为2.9%(5832次就诊),使用SEP-1定义为1.2%(2366次就诊),使用ASE定义为2.0%(3881次就诊)(表)。与无脓毒症的患者相比,脓毒症患者年龄更大(年龄中位数[IQR],Sepsis-3为69 [57-79]岁 vs 55 [35-71]岁,SEP-1为69 [58-79]岁 vs 55 [36-71]岁,ASE为68 [58-78]岁 vs 55 [35-71]岁),且更常收入院或在学术医院就诊(Sepsis-3为57.5% vs 42.6%,SEP-1为49.7% vs 43.0%,ASE为62.5% vs 42.7%)(补充材料1中的eTable 3)。大多数脓毒症患者经急诊科到达(Sepsis-3,64.2%;SEP-1,82.4%;ASE,77.8%),而非直接入院(Sepsis-3,15.8%;SEP-1,13.4%;ASE,16.9%)或手术后入院(Sepsis-3,3.6%;SEP-1,2.3%;ASE,5.1%)。院内死亡率也因结局定义而异(Sepsis-3,519/5832 [14.2%];SEP-1,519/2366 [21.9%];ASE,727/3881 [18.7%])。
从到达医院到脓毒症时间零点的时间因脓毒症结局定义而异(中位数[IQR],Sepsis-3为4.1 [1.2-25.2]小时,SEP-1为5.8 [1.8-31.3]小时,ASE为1.7 [0.7-11.6]小时)(补充材料1中的eFigure 1)。对于每种结局定义,从到达到时间零点的时间因就诊类型而异。例如,对于Sepsis-3,直接入院的从到达到时间零点的时间(中位数[IQR],35.0 [3.9-170.9]小时)长于从急诊科入院者(中位数[IQR],2.9 [1.0-10.3]小时)。
模型性能
就诊层面性能
在3种脓毒症结局中,该模型对SEP-1的区分度最高(AUROC,0.94;95% CI,0.94-0.94),其次为Sepsis-3(AUROC,0.89;95% CI,0.89-0.90)和ASE(AUROC,0.85;95% CI,0.85-0.86)(图1A)。与SEP-1(AUPRC,0.16;95% CI,0.15-0.17)和ASE(AUPRC,0.11;95% CI,0.11-0.12)相比,Sepsis-3结局的精确度最高(AUPRC,0.24;95% CI,0.23-0.25)(图1B)。每种脓毒症结局定义的发生率差异会影响PPV,进而影响AUPRC,但AUROC不受发生率影响。
模型的性能在基于脓毒症发病率的人群亚组之间存在差异。随着分诊 acuity(急诊严重程度指数)升高,脓毒症发病率增加,AUROC 下降,而 AUPRC 保持稳定或有所改善。Sepsis-3 结局的 ECE 最低,为 0.05,提示与 SEP-1(ECE,0.07)和 ASE(ECE,0.06)相比,预测风险与观察风险之间的一致性更好(图1C)。决策曲线分析显示,与 ASE 定义相比,该模型在 SEP-1 和 Sepsis-3 结局定义下于一系列阈值概率范围内提供了更高的标准化净获益(图1D)。在研究期间未检测到时间性能漂移(补充材料1中的 eFigure 2)。
预测水平性能
与 ASE 相比,SEP-1 和 Sepsis-3 结局的预测水平模型性能更好。SEP-1 定义在8小时时间范围内取得了最佳的预测水平性能(AUROC,0.86;95% CI,0.86-0.87)(补充材料1中的 eFigure 3A)。预测后8小时内的 Sepsis-3 结局 AUROC 为0.84(95% CI,0.84-0.85)。当从每次预测起使用24小时时间范围时,Sepsis-3 显示出最高精确率(AUPRC,0.05;95% CI,0.05-0.05),而由于每次预测时间范围内脓毒症发病率较低导致的类别不平衡,所有模型均表现出较低的绝对精确率(补充材料1中的 eFigure 3B)。采用敏感性分析评估基于预测时所在单元类型的预测水平性能(补充材料1中的 eFigures 4-6)。时间范围为8小时的 Sepsis-3 结局在急诊科 AUROC 为0.90(95% CI,0.89-0.90),住院病房为0.82(95% CI,0.82-0.83),ICU 为0.76(95% CI,0.75-0.77)。
治疗开始前的性能
对于 SEP-1 结局,当将预测删失至血培养和静脉抗生素医嘱之前时,AUROC 出现小幅下降;然而,对于 Sepsis-3 或 ASE 结局,未观察到 AUROC 或 AUPRC 下降(图2)。对于 Sepsis-3 结局,将预测删失至首次乳酸医嘱之前使 AUROC 降至0.75(95% CI,0.75-0.76),同时使 AUPRC 升至0.38(95% CI,0.37-0.40)。
分类图和提前时间
与ASE和SEP-1定义相比,脓毒症模型在总体人群中以及按就诊类型分层后,在所有模型评分阈值下对Sepsis-3结局均具有更高的精确率(图3;补充材料1中的e表4和e图7)。在总体研究人群中,Sepsis-3结局的Youden左上阈值为9,其产生的精确率为11.4%(95% CI,11.1%-11.7%),召回率为82.4%(95% CI,81.8%-83.8%),假阳性率为19.3%(95% CI,19.2%-19.6%),中位提前时间为3.4小时(IQR,0.9-22.4小时),并且需要评估8.7次就诊(95% CI 8.5-9.0)以识别1个真阳性脓毒症结局(图4;补充材料1中的e表5)。SEP-1的PPV为6.8(95% CI,6.6-7.1),中位(IQR)提前时间为4.5(4.3-23.1)小时,ASE的PPV为5.9(95% CI,5.7-6.0),中位(IQR)提前时间为1.4(0.5-14.8)小时(补充材料1中的e表4)。
在阈值为9时,21.2%的就诊达到或超过该阈值。分层模型性能显示,根据就诊类型不同,Youden左上阈值也不同(补充材料1中的e图8-10)。例如,对于来自急诊科(ED)的入院,最佳平衡阈值为18,产生的精确率为19.5%(95% CI,18.8%-20.0%),召回率为69.4%(95% CI,68.1%-70.8%),需要评估5.1次就诊(95% CI,5.0-5.3),尽管35.7%(15 419/43 247)的就诊会达到该阈值。
讨论
这项诊断研究评估了某一厂商指定脓毒症模型的本地训练实例,发现该模型的性能会因所采用的脓毒症结局定义不同而存在显著差异。虽然该模型在其训练所依据的定义(Sepsis-3结局)上取得了良好的区分能力(AUROC,0.89;AUPRC,0.24),但在针对替代定义进行评估时,其性能稳健性较差。重要的是,脓毒症发病前的提前时间较短(Sepsis-3的中位数为3.4小时),且该模型显示出较高的假阳性率。这些发现既强调了机器学习模型用于脓毒症早期检测的潜力,也强调了其局限性,尤其是在跨异质性临床定义和诊疗环境应用时。
在按诊疗地点分层的亚组分析中,模型区分能力随着患者病情严重程度升高而下降,AUROC在急诊科最高,在住院病房和ICU中逐步降低。这一模式反映了风险压缩和临床异质性降低,即基线脓毒症风险普遍升高,区分性排序本质上更加困难。在急诊科,患者就诊涵盖了广泛的疾病严重程度谱,使模型能够更有效地区分发生脓毒症低风险与高风险的患者。相比之下,住院病房患者、尤其是ICU患者具有更高且更均一的基线风险,许多人表现出异常生理参数或早期器官功能障碍,压缩了预测风险的范围,并可能限制可达到的区分能力。这些发现提示,该模型的主要优势可能在于诊疗的较早阶段,在此阶段及时识别有风险的患者可能使更早干预成为可能,而在高病情严重程度环境中的性能则因残余不确定性降低而受到限制。
脓毒症定义的选择对模型评价和临床实用性具有重大影响。虽然Sepsis-3通常被认为是最具临床当代性的定义,但其开发目的是优化疑似感染患者的预后准确性,而非明确识别真正的脓毒症病例。17因此,与病历审查相比,其感染标准通常比ASE定义更敏感但特异性更低。32相反,ASE定义旨在通过聚焦于接受持续抗生素治疗并合并器官功能障碍的患者来提高特异性,使其更适合监测和流行病学研究。33与此同时,SEP-1定义仍是美国医院质量报告的规定标准,其基于沿用已久但仍广泛使用的全身炎症反应综合征标准和器官功能障碍。鉴于其不同的目的和患者人群,评估模型在这些定义下的性能对于理解可推广性和为不同临床与政策背景下的实施提供信息至关重要。
厂商对更新版脓毒症模型的内部验证使用Sepsis-3定义,在3个训练医疗系统中报告的就诊水平AUROC为0.84至0.88,而我们的研究中观察到的AUROC为0.89。厂商的研究结果显示,在敏感性阈值为0.60时,PPV范围为0.14至0.20,这与我们观察到的PPV为0.20一致。与通常在外部表现更差的静态模型(如脓毒症模型第1版)不同,脓毒症模型第2版是在该医疗系统的数据上进行本地训练的,这可能解释了其在我们的评价中具有可比性能。34
大多数既往研究关注的是原始脓毒症模型而非本地训练的模型。12,14,35 Wong等12报告,原始模型使用基于SEP-1的定义时,就诊水平AUROC为0.63,在阈值得分为6时敏感性为33%,PPV为12%。Cull等35发现,使用国际疾病统计分类第十版定义时AUROC为0.83。近期,Currey和Tarabichi16显示,更新版脓毒症模型使用Sepsis-3时达到AUROC 0.90,优于原始模型的AUROC 0.77。尽管厂商报告原始脓毒症模型的使用更为广泛,但过渡到更新版模型可能改善预测性能。
在Currey和Tarabichi16于安全网医院急诊科对更新版脓毒症模型评价的基础上,我们的研究将评估扩展至大型医疗系统内包括急诊科、住院病房和ICU在内的多样化临床环境。使用3种脓毒症定义(Sepsis-3、SEP-1和ASE)突显了模型在不同使用场景下的优势和局限性。我们进一步评估了模型时机与时间零点定义(纳入器官功能障碍和治疗)的比较,并量化了警报负担和假阳性率,为模型在临床决策支持和质量改进中的实用性提供了更全面的评价。
Kamran等10发现,当使用基于ASE和SEP-1标准的复合结局定义、仅限脓毒症治疗开始前的预测时,原始脓毒症模型的性能从基线AUROC 0.62显著下降至AUROC 0.47。然而,当仅在临床识别脓毒症之前的预测上进行评估时,我们发现模型性能在3种脓毒症结局定义中的任何一种上均无显著下降。
尽管与既往研究相比模型性能有所改善,更新后的脓毒症模型仍具有相对较差的校准度和较高的假阳性率。我们的决策曲线分析表明,该模型仅在较低阈值概率下提供净获益,此时假阳性率的影响最小。即使采用极少有患者能达到的高评分阈值,该模型的PPV也从未超过50%。仅基于模型评分的决策支持(在倾向于敏感性的阈值下)可能使最终发生脓毒症的小部分患者获益,但代价是增加了大多数未发生脓毒症患者的警报负担和过度治疗。
使用Sepsis-3结局定义将更新后的脓毒症模型与其他已发表的脓毒症预测模型进行直接比较存在困难,原因是患者人群不同且结局发生率各异。SepsisFinder模型(卡罗林斯卡学院)报告的结局发生率为9.7%,AUROC为0.95,AUPRC为0.19。36 DeepAISE模型(埃默里大学)报告在ICU环境中AUROC为0.90,结局发生率为5.6%。37然而,这两个模型均仅在回顾性数据上进行了评估,而非在前瞻性实施后进行评估。
模型在静默实施期间的统计性能并不一定等同于临床获益。虽然已有数千个脓毒症预测模型的报道,但显示临床影响的研究相对较少,且仅有1项研究显示了基于本文所研究模型的结局潜在改善。35,38,39,40在一项前后对照研究中,Cull等35报告在引入基于该脓毒症模型的临床决策支持警报后,脓毒症相关院内死亡率的比值降低了44%。然而,该研究存在较高的偏倚风险,因为它依赖账单编码来识别脓毒症队列,并且在质量改进工作期间临床意识的提高可能导致更轻微病例的检出增加。41仍需对更新后脓毒症模型的临床影响进行进一步研究。
已有报道利用Transformer和大型语言模型从非结构化来源(如医生记录和护理文书)中提取特征的新型脓毒症预测模型。42,43与主要依赖生命体征和实验室结果等结构化数据的传统机器学习模型不同,大型语言模型可以提取嵌入在自然语言中的临床相关信息,例如感染怀疑或精神状态改变的存在。纳入非结构化数据的未来版本脓毒症模型可能会改善性能。
局限性
本研究存在一些局限性。我们在美国东北部的一个单一医疗系统内评估了脓毒症模型。其他医疗系统可能因患者人口统计学特征或疾病负担不同而获得不同的模型性能。我们通过在不同临床环境(社区医院、学术医院和关键接入医院)以及不同人口统计学亚组中进行敏感性分析,减轻了这一局限性。本文研究的脓毒症模型仅是众多脓毒症预测模型中的1个;将其与其他模型进行直接比较超出了本研究的范围。最后,更新后的ASE结局定义已提交并正在审议中。我们的分析聚焦于现有的ASE定义,而非更新后的定义。
结论
这项关于本地训练的脓毒症早期检测模型的诊断研究发现其预测性能为中等,模型的区分度、精确度和提前预警时间因所应用的脓毒症定义而存在显著差异。尽管该模型在脓毒症发病前提供了适度的提前预警,但若无仔细的阈值选择和有针对性的实施策略,其高假阳性率可能限制临床实用性。
参考来源
- Dutta S, McMurry R, Tasi MC, et al. Performance of a Sepsis Prediction Model Across Different Sepsis Definitions. JAMA Netw Open. 2026. PMID: 41945342. doi:10.1001/jamanetworkopen.2026.5599
- 全文:PMC13058769(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13058769/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。