机器学习预测住院儿童关键事件
该回顾性队列研究纳入3家三级学术医院共135621例儿童住院(年龄<18岁),用年龄、单元位置、生命体征、实验室结果和既往合并症构建回归、XGB和深度学习模型,以2家医院为推导队列、第3家为外部测试队列。主要结局为任何生命体征或实验室结果观察后12小时内有创机械通气、血管活性药物给药或院内死亡。XGB模型(pCREST)表现最佳,外部测试C统计量0.86(95%CI 0.86-0.87),优于两个病房模型(0.82和0.70,P<.001);在80%敏感性下每报警数pCREST为6,两个病房模型分别为9和11。深度学习模型未改善性能,pCREST在急诊和ICU与单元特异性模型相当、在病房更优。
要点
- pCREST在外部测试队列预测12小时内关键事件的C统计量为0.86(95%CI 0.86-0.87),优于病房模型pCART的0.82和Bedside PEWS的0.70(均P<.001)。
- 在80%敏感性下,pCREST每报警数为6,pCART为9、Bedside PEWS为11,即pCREST分别减少3个和5个患者层面报警。
- pCREST在急诊和ICU与单元特异性XGB模型性能相当,在病房优于单元特异性模型。
- 深度学习和串联XGB-RNN模型在两个评估队列中均未比pCREST改善AUC;提示纳入纵向趋势未提供额外预测价值。
- 模型最重要的变量包括吸入氧分数、医院单元位置、心率、体温和呼吸频率;实验室中血小板计数、白细胞计数和血糖重要性较高。
适用人群与场景
- 3家三级学术医院(UC 2009-2019、Loyola 2006-2020、UW-Madison 2009-2021)收治的年龄<18岁儿科住院患者,覆盖急诊、病房和ICU。
- 排除出生相关就诊,包括新生儿ICU入院。
诊断标准与关键阈值
- 关键事件定义:任何病房、急诊或ICU的生命体征或实验室结果观察后12小时内出现有创机械通气、血管活性药物给药或院内死亡组成的二分类复合结局。
- 若患者在先前24小时内已接受机械通气或血管活性药物,则主要结局删失;手术室结局不计入,但手术室内机械通气或血管活性药物事件后24小时内的所有结局均删失。
研究设计与关键结果
- 回顾性队列研究,共135621例患者(平均[SD]年龄7[6]岁;60376[44.5%]女性);UC队列55059例中2541例(4.6%)、Loyola队列38913例中779例(2.0%)、UW-Madison外部测试队列41649例中2543例(6.1%)至少经历1次关键事件。
- 推导数据集共701817个12小时区块,其中3449个(0.5%)主要结局阳性、615391个(87.7%)阴性、82977个(11.8%)删失。
- pCREST(XGB)在时间验证队列AUC为0.89(95%CI 0.89-0.89),外部测试队列AUC为0.86(95%CI 0.86-0.87),均优于LR模型(时间验证0.83[95%CI 0.83-0.83],外部测试0.84[95%CI 0.84-0.84],P<.001)。
- 外部测试中pCREST优于Bedside PEWS(AUC 0.70[95%CI 0.70-0.70],P<.001)和pCART(AUC 0.82[95%CI 0.81-0.82],P<.001);内部测试中pCREST亦优于Bedside PEWS(0.67[95%CI 0.67-0.67])和pCART(0.79[95%CI 0.78-0.79]),均P<.001。
- 在80%敏感性下每报警数:pCREST为6,pCART为9,Bedside PEWS为11。
- pCREST在急诊和ICU与单元特异性模型性能相当,在病房优于单元特异性模型;深度学习模型(RNN和串联XGB-RNN)在两个评估队列中AUC均未优于pCREST。
证据类型、等级与局限
- 证据类型:回顾性队列研究,遵循TRIPOD+AI报告规范。
- 局限:研究为回顾性,数据元素收集可能存在局限,例如模型使用既往合并症数量作为特征,依赖电子健康记录中既往就诊诊断编码的完整性和准确性。
- 局限:pCREST实施前,未来工作应解决机器学习模型的伦理问题,如确保在相关患者群体中运行的公平性、数据安全,以及在床旁实施有效的可解释性算法。
- 局限:与既往工作类似,模型实施后患者结局评估和临床效用评价在广泛采用前也是需要的。
- 局限:选择关键事件作为结局可能未达到儿科医院恶化共识结局;其他医院恶化指标的验证仍是未来工作重点。
对床旁实践的改变
- 作者认为,pCREST输出的0-100分可用于入院初始风险评估或持续实时风险监测,各单元可设定阈值触发报警以早期识别恶化。
- 作者认为,pCREST分数可辅助分诊决策,如急诊患者收入病房或ICU、ICU患者能否转至较低 acuity 环境。
- 作者认为,单一pCREST风险评分可促进跨单元医护人员沟通,建立对患者风险的共享心智模型。
- 作者指出,在pCREST可在医院实施前,需进行外部验证(含或不含时间分割);模型使用医院单元位置作为患者 acuity 或复杂度的代理调整。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译11 节 · 点击展开
引言
住院儿童发生生理失代偿需要启动机械通气或使用血管活性药物会增加死亡风险。1,2,3,4,5,6 这些事件的存活者在出院后数月内仍面临长期功能或神经发育损害的风险。7,8,9,10,11,12 由于许多此类事件未被识别,13 早期识别高危儿童并及时干预对于改善预后是必要的。14,15
已开发风险预测模型用于检测住院儿童病情恶化的早期征象,并作为临床决策支持(CDS)工具的基础。然而,儿科医院的风险分层被分割在各单元特定的孤岛中,每个单元关注不同的结局。16 例如,儿科急诊科(ED)的工具主要预测分诊或脓毒症等状况。17 相比之下,儿科重症监护病房(ICU)的研究目标是估计死亡风险、18 器官功能障碍19,20 和复苏事件的风险。21 在儿科病房,已开发了床旁儿科早期预警系统(Bedside PEWS)、22,23 我们基于机器学习的儿科风险计算评估与分诊(pCART)工具24 以及其他评分25,26 来预测恶化风险。这些分散在不同医院单元的模型使临床医生面对针对不同结局的不同风险评分,而这些评分会随患者在医院内位置的变化而变化。16 此外,在其预期医院单元之外实施这些专用模型可能会降低其效用。27,28,29 总体而言,儿科医院采用分区化的风险分层方法,这可能导致碎片化诊疗,阻碍对儿童住院期间病情恶化的连贯评估。
本研究的目的是开发一个新模型,用于预测儿童住院期间任何生命体征或实验室结果后12小时内的关键事件,关键事件定义为有创机械通气、使用血管活性药物或院内死亡。我们假设,在多中心电子健康记录(EHR)数据上训练的机器学习模型将在外部验证中准确预测儿童的关键事件。
方法
本队列研究经各参与机构的机构审查委员会批准,并豁免知情同意,因为其被判定为最低风险。我们遵循个体预后或诊断多变量预测模型的透明报告 plus 人工智能(TRIPOD+AI)报告指南来报告我们模型的开发与评价。30
研究人群
我们对3个三级医疗中心所有儿科(年龄<18岁)病房和ICU入院患者进行了回顾性研究:芝加哥大学科默儿童医院(以下简称UC;2009-2019)、洛约拉大学罗纳德·麦克唐纳儿童医院(以下简称Loyola;2006-2020)和威斯康星大学麦迪逊分校美国家庭儿童医院(以下简称UW-Madison;2009-2021)。出生相关就诊,包括新生儿ICU入院,被排除。本研究数据提取自各医院电子健康记录(EPIC Systems)数据库。
结局与预测因素
主要感兴趣的结局是临界事件,定义为在病房、急诊科或重症监护室观察到生命体征或实验室结果后12小时内,有创机械通气、使用血管活性药物或院内死亡的二分类复合结局。1,2,31 如果患者在先前24小时内接受了机械通气或使用了血管活性药物,则主要结局被删失。本研究不考虑手术室中的结局。然而,删失逻辑仍然实施,即手术室中机械通气或血管活性药物事件后24小时期间内的所有结局均被删失。
仅使用病房、急诊科或重症监护室的观察数据用于模型推导和验证。模型变量包括年龄、患者位置(急诊科、病房或重症监护室)、生命体征、吸入氧分数(Fio2)、使用Alert-Verbal-Pain-Unresponsive量表的神经系统评估指标、既往合并症计数(分类为0、1或>1)以及标准实验室检查结果。完整的变量列表、分布以及所有站点入院时缺失值的百分比见补充材料1中的eTable 1。选择这些指标是因为它们在各单元中普遍存在、常规采集以及既往证据。24 合并症使用儿童复杂慢性病标准计算。32,33 Fio2的输送方式未作为变量纳入,原因是各站点编码存在固有不一致性,以及实践变化导致输送方式和记录随时间变化而增加的复杂性。使用描述性统计(年龄用t检验,住院时间用Wilcoxon秩和检验,分类变量用χ2检验)比较各站点发生主要结局与未发生主要结局的患者。
预测模型的推导
数据按地理位置分为推导队列(UC和Loyola)和留出的外部测试队列(UW-Madison)。我们进一步将推导数据纵向分为时间推导集(2017年及以前)和时间验证集(2017年以后)。与既往工作类似,24 我们使用离散时间生存分析框架创建正则化逻辑回归(LR)模型和极端梯度提升机(XGB)模型。34,35,36 我们的方法见补充材料1中的eFigure 1,并在补充材料1的eMethods和eTable 2中解释。选择12小时窗口预测临界事件是为了与既往工作保持一致。24,37 在评估模型性能时,时间验证队列和外部测试队列未被封锁。LR模型使用岭回归和最小绝对收缩和选择算子正则化方法进行正则化。
我们还创建了2个循环神经网络(RNN)模型,以探索深度学习模型在提前12小时预测关键事件方面是否表现良好。首先,我们创建了一个RNN,使用与非深度学习模型相同的变量作为输入,从而检验利用单个变量内的纵向信息是否能提高性能的可能性。其次,我们创建了一个单独的RNN,使用超参数优化后的XGB模型的输出以及与最近一次时间测量的差值作为输入(称为XGB-RNN串联模型)。这使我们能够检验风险评分的趋势是否可用于改善与风险评分相比预测关键事件的性能(补充1中的eMethods)。
关于超参数优化和处理缺失值的详细信息见补充1中的eMethods。作为基线模型,我们使用了改良版床旁PEWS(即仅使用生命体征测量值)和pCART。
统计分析
最终模型用于计算时间验证集和外部测试数据集中的预测概率。模型预测概率针对每次新的生命体征读数或实验室结果的观察生成。评估模型性能的主要指标是区分度,使用时间验证队列和外部测试队列上的受试者工作特征曲线下面积(AUC)进行评估。模型AUC(包括95%CI)使用非参数DeLong方法进行比较。38此外,我们评估了所有模型在时间验证数据和外部测试数据中的精确率-召回率曲线下面积。然后,我们通过绘制在急诊科、病房和ICU内不同灵敏度值下跨过选定警报阈值的观察百分比,分析了外部测试数据中表现最佳模型的效率曲线。我们还在外部测试队列中比较了表现最佳模型和pCART在不同模型阈值下的灵敏度和特异度。在外部测试队列中,我们还比较了XGB模型、pCART和床旁PEWS在不同灵敏度下检测真阳性所需的报警数量(NNA),计算使用每次住院的最大值,与先前工作类似。24 NNA计算为阳性预测值的倒数。在较高灵敏度下,警报总数会增加。然而,假阳性率也会增加,导致阳性预测值降低,进而使NNA增加。我们使用信息增益估计了表现最佳模型的整体变量重要性。重要性归一化到最重要的变量。变量重要性还在单患者实例中使用Shapley值进行评估,Shapley值衡量每个变量对单次观察预测的贡献,使用DALEX包计算。39,40
为确定表现最佳的全院模型在预测关键事件方面是否优于使用特定单元数据开发的模型,我们开发了3个特定单元的XGB模型(补充材料1中的eMethods)。最后,我们基于入院年份(COVID-19大流行前 vs 期间)、患者年龄和既往合并症数量,对表现最佳的全院模型在患者亚组中进行了敏感性分析。分析于2024年1月至2025年3月进行。所有分析均使用R软件版本4.4.0(R Project for Statistical Computing)和Python版本3.9.18(keras 3.7.0,tensorflow 2.18.0)进行。采用双侧P < .05阈值评估显著性。
结果
研究人群
我们的队列包括全部3个中心的135 621例患者入院(平均[SD]年龄,7[6]岁;60 376例[44.5%]女性)。在UC队列的55 059例患者中,2541例患者(4.6%)在住院期间经历了至少1次关键事件。在Loyola队列的38 913例患者中,779例患者(2.0%)在住院期间经历了至少1次关键事件。UW-Madison队列,即我们的外部测试数据集,包括41 649例患者,其中2543例患者(6.1%)经历了至少1次关键事件。推导数据集共有701 817个12小时区块,其中3449个(0.5%)主要结局为阳性,615 391个(87.7%)主要结局为阴性,82 977个(11.8%)为删失。表1比较了所有有和无主要结局患者的患者特征和住院结局。
模型性能
表2报告了模型在我们的时间验证和外部测试数据集上的性能。所有全院模型在预测结局方面均优于改良Bedside PEWS评分和我们先前开发的pCART模型。XGB模型优于LR模型(时间验证:AUC,0.89[95% CI,0.89-0.89] vs 0.83[95% CI,0.83-0.83];P < .001;外部测试:AUC,0.86[95% CI,0.86-0.87] vs 0.84[95% CI,0.84-0.84];P < .001)。XGB模型在内部(Bedside PEWS:AUC,0.67[95% CI,0.67-0.67];P < .001;pCART:AUC,0.79[95% CI,0.78-0.79];P < .001)和外部(Bedside PEWS:AUC,0.70[95% CI,0.70-0.70];P < .001;pCART:AUC,0.82[95% CI,0.81-0.82];P < .001)测试队列中亦优于2个以病房为重点的模型。此后,我们将此模型称为儿童关键事件风险评估与评分工具(pCREST)。深度学习模型(RNN和串联XGB-RNN)在两个评估队列中的AUC性能均未优于pCREST(表2)。pCREST模型在两个队列中的精确率-召回率曲线下面积方面均优于所有模型(补充材料1中的eTable 3)。
图1展示了pCREST最重要的前20个变量,按重要性降序排列。最重要的特征包括Fio2、医院单元位置、心率、温度和呼吸频率。血小板计数、白细胞计数和血糖测量在实验室值中显示出较高重要性。
Supplement 1 中的 eFigure 2 展示了可变重要性,以 Shapley 值表示,反映一名 16 岁患者在急诊科分诊、收入病房、随后转入 ICU 并发生危急事件之前,住院期间多个时间点的 pCREST 评分(以 0 至 100 之间的百分位风险表示)。Supplement 1 中的 eFigure 3 表明,pCREST 的效率曲线在所有单元中相似。pCREST 和 pCART 在不同评分阈值下的灵敏度和特异度指标见 Supplement 1 中的 eTable 4。pCREST、pCART 和 Bedside PEWS 在不同灵敏度下的 NNA 见 Figure 2。在大多数阈值特异性灵敏度指标上,pCREST 在全院范围内导致的 NNA 低于 pCART 和 Bedside PEWS。例如,在 80% 的示例灵敏度下,pCREST 分别比 pCART(6 vs 9)和 Bedside PEWS(6 vs 11)少产生 3 个和 5 个患者层面警报。
Supplement 1 中的 eTable 5 比较了 pCREST 与 3 个 XGB 模型的性能,后者在推导数据中使用医院单元特异性观察进行训练,并在外部测试数据中对应的单元特异性观察上进行评估。如所示,pCREST 的性能在急诊科和 ICU 中与单元特异性模型相当,但在病房中优于单元特异性模型。我们的亚组分析结果在 Supplement 1 的 eTable 6 至 8 中提供并解释。
讨论
在这项队列研究中,我们开发了一种新的机器学习模型 pCREST,用于预测儿童在住院期间任何生命体征或实验室结果观察后 12 小时内发生危急事件的可能性。pCREST 使用多中心数据推导,在时间验证和外部验证中,在区分度和其他临床相关指标方面优于其他模型。值得注意的是,pCREST 达到或超过了针对特定单元训练的机器学习模型的性能。全院范围内单一风险分层模型的可用性允许在患者整个住院期间进行连续风险监测,从而能够早期识别并及时救治有危急事件风险的儿童,并简化护理提供。
多项研究提出了风险预测模型,这些模型可整合到电子健康记录(EHR)内的临床决策支持(CDS)工具中,以识别处于恶化早期阶段的儿童并及时实施干预。例如,急诊科(ED)的机器学习模型主要侧重于辅助分诊相关决策。41,42,43 儿科重症监护病房(ICU)的风险分层模型侧重于预测死亡率或心脏骤停,44,45,46,47 而整合到CDS工具中的风险评分与心肺复苏事件发生率的降低相关。21 同样,病房模型主要通过识别恶化指征来预测ICU转入,24,26 随后在病房中实施实时风险分层与患者预后改善相关。48 尽管取得了这些进展,但模型在预期医院单元之外进行验证时,其性能已被注意到会下降。29 例如,我们在本研究中观察到pCART在预测病房外患者的关键事件方面表现不佳。鉴于缺乏普遍适用性的证据,当前早期识别恶化的范式被设定为适用于特定结局和特定医院单元,使患者面临碎片化护理的风险,而碎片化护理与不良结局相关。49,50 此外,彼此割裂的风险评估阻碍了卫生系统内的决策,系统管理者缺乏足够的信息来指导资源分配。16 过渡到连贯的、全院范围的模型(如pCREST),可以增强护理连续性,有可能改善儿童预后并提高医院工作流程的效率。
pCREST模型在提前数小时预测全院范围关键事件方面优于临床标准和机器学习模型。扩展到更先进的深度学习架构并未在时间验证队列和外部测试队列中改善模型的区分度。这些发现表明,与使用最近一次观察数据相比,纳入生命体征和实验室数据的纵向趋势并不能为识别有发生关键事件风险的住院儿童提供额外的预测价值。我们还发现,pCREST的性能与急诊科和ICU专用的机器学习模型相似,且优于病房专用模型。这一结果突显了pCREST能够推广应用于事件发生率、临床护理和工作流程各异的跨单元和跨科室患者。
pCREST的数值输出表明患者在未来12小时内发生关键事件的可能性,该输出随着电子健康记录(EHR)中记录的每一个新生命体征或实验室结果而生成。pCREST使用的变量包括年龄、常规采集的标准生理测量值、患者在院内的位置以及既往就诊的合并症,所有这些均可从EHR中轻松提取,不会阻碍前瞻性实施。pCREST的运算也不依赖于插补,因为它使用最近的观测值进行预测。为增强可解释性,pCREST的输出可缩放为0至100分,类似于我们在补充材料1的eFigure 2中的图示或我们对pCART的实施,48,51并可纳入临床实践。这些评分可为临床医生服务于多种目的。例如,它们可用于入院时的初始风险评估或持续实时风险监测。52每个单元可设定阈值,当越过阈值时触发警报,提示病情恶化的早期迹象,确保及时识别和救治有不良结局风险的患者。53此外,评分还可为分诊决策提供信息,例如是否将急诊科患者收入病房或ICU,或ICU患者能否转入较低 acuity 的设置。最后,卫生系统可利用单元级别的pCREST评分来优化医院资源配置。
单一pCREST风险评分的可用性可通过建立患者风险的共享心智模型,显著增强跨单元医疗从业者之间的沟通,使临床医生对患者健康状况达成更好的一致性。54多项研究强调了患者交接过程中有效沟通和标准化方案的重要性。50,55,56,57,58,59 pCREST评分可在这些项目中发挥关键作用,提供可指导团队间护理协调的疾病严重程度客观指标。
我们的变量重要性分析显示,Fio2、心率、体温和呼吸频率在预测儿科危重症方面最为重要。60,61,62,63患者的医院单元位置被视为另一个有影响力的变量。这进一步支持了我们的假设,即我们的模型使用医院单元作为根据患者 acuity 或复杂性进行调整的代理变量,使我们能够跨单元进行泛化。然而,入住ICU的原因可能是多因素的,并且可能因医院地点和时间而异,这表明在pCREST可在医院实施之前,进行外部验证(含和不含时间分割)的重要性。
局限性
本研究存在若干局限性。我们的研究本质上是回顾性的,在收集的数据元素方面可能存在局限性。例如,我们的模型使用既往合并症数量作为一个特征,这依赖于电子健康记录(EHR)中既往就诊所记录诊断编码的完整性和准确性。在实施pCREST之前,未来的工作应解决机器学习模型的伦理问题,例如确保在相关患者群体中运行的公平性、数据安全性,以及在床旁实施有效的可解释性算法。与我们先前的工作相似,48 在广泛采用之前,还需要对患者结局进行评估以及模型实施后临床效用的评价。此外,选择关键事件可能难以在整个儿科医院范围内就恶化结局达成共识。16 对其他医院恶化衡量指标的验证仍将是未来工作的重点。
结论
在这项回顾性队列研究中,我们开发并外部验证了一种名为pCREST的基于EHR的新型机器学习模型,用于预测住院儿童在医院急诊科、病房和ICU中的关键事件。我们的模型可用于在儿童的整个住院过程中无缝监测其健康状况,促进对病情恶化的早期识别和及时干预。
参考来源
- Strutz S, Liang H, Carey K, et al. Machine Learning for Predicting Critical Events Among Hospitalized Children. JAMA Netw Open. 2025. PMID: 40445617. doi:10.1001/jamanetworkopen.2025.13149
- 全文:PMC12125637(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12125637/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。