深度学习模型用于危重患儿实时死亡预测
该研究基于卷积神经网络开发并外部验证了儿科死亡风险预测工具PROMPT,用于PICU实时预测全因死亡。开发队列为Severance医院2011年1月至2017年12月的1445例患儿共1977次ICU入住,验证队列为Samsung医疗中心2016年1月至2017年11月的278例患儿共364次PICU入住。PROMPT仅使用入ICU时的年龄、体重及7项生命体征(收缩压、舒张压、平均压、心率、呼吸频率、SpO2、体温),在死亡前6-60小时的死亡预测AUROC为0.89-0.97,死亡前60小时预测AUROC在外部队列仍高于0.88,并优于PIM 3、GBDT和LSTM。作者认为该数据驱动的早期预警评分可能有助于及时识别病情恶化患儿。
要点
- PROMPT仅用7项生命体征加年龄和体重,预测死亡前6小时AUROC 0.965、AUPRC 0.831,死亡前60小时AUROC 0.887、AUPRC 0.565。
- 开发队列死亡前60小时预测:PROMPT AUROC 0.887,优于GBDT 0.831、LSTM 0.814和PIM 3 0.785。
- 在敏感度0.8时,PROMPT识别80%的24小时内死亡患者,假报警率7%(特异度0.931),为各指标中最一致准确。
- 外部队列验证结果与开发队列相似,模型在死亡前60小时预测AUROC仍高于0.88。
- 呼吸频率是相对重要性最高的输入变量,其次为收缩压和心率。
适用人群与场景
- 开发队列:2011年1月至2017年12月Severance医院(韩国首尔)医疗ICU收治的19岁以下患儿,共1445例、1977次ICU入住。
- 验证队列:2016年1月至2017年11月Samsung医疗中心(韩国首尔)PICU收治的278例患儿、364次PICU入住。
研究设计与关键结果
- 研究类型:双中心回顾性观察队列,使用卷积神经网络开发PROMPT并做外部验证。
- 开发队列1977次入住中死亡303例(15.3%),验证队列死亡率为9.6%,两队列在年龄、PIM 3、死亡率、ICU住院时长和纳入时间段上差异显著。
- 死亡前6小时预测最佳:AUROC 0.965、AUPRC 0.831;随时间窗延长至60小时性能略降但仍高。
- 开发队列死亡前60小时:PROMPT AUROC 0.887、AUPRC 0.565,优于GBDT(AUROC 0.831、AUPRC 0.419)、LSTM(AUROC 0.814、AUPRC 0.429)和PIM 3(AUROC 0.785、AUPRC 0.298);外部队列结果相似。
- 在敏感度0.8时,PROMPT识别80%的24小时内死亡患者,假报警率7%(特异度0.931),各指标中最为一致准确;两队列中PROMPT假报警均少于包括PIM 3在内的现有模型。
- 输入变量相对重要性:呼吸频率最高,其次为收缩压和心率;SpO2随饱和度升高至100%预测死亡率下降,但部分高SpO2病例因特征间相关性仍呈高死亡概率。
证据类型、等级与局限
- 证据类型:双中心回顾性观察队列研究,采用五折交叉验证(重复5次)及外部验证。
- 局限:作者指出无法确定结果对其他人群的普适性;回顾性设计无法确定模型在前瞻性环境中的表现;模型仍为基于人群的估计,未以前瞻性方式验证其对个体预后的效力;尽管预测性能高,但仅凭此知识不足以影响患者结局,仍需临床医生决定干预。
对床旁实践的改变
- 作者认为PROMPT可提供死亡前最长60小时的预警,使医生有更多时间干预以预防或减轻死亡。
- 作者认为一旦医生被提醒并做好死亡可能性准备,可更早启动治疗目标讨论和修订治疗计划,从而实现符合患者意愿的高价值PICU照护。
- 作者认为模型使用易于采集的数据,可能尤其适合资源相对有限环境中的床旁预后评估。
- 作者指出模型不告诉临床医生如何治疗恶化患者,但预测风险轨迹及时间与特征贡献可间接提供额外信息。
- 作者指出PROMPT仅依赖大多数医院EHR中通常可得的数据元素,无需自定义数据录入;加入实验室检查等参数预期可提升性能。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译13 节 · 点击展开
背景
住院儿童,尤其是儿科重症监护病房(PICU)等高强度医疗环境中的患儿,不可避免地易发生临床病情恶化。多种结局预测模型,如儿科死亡指数(PIM)和儿科死亡风险评分(PRISM),广泛应用于PICU [1, 2]。然而,这些严重程度评分基于PICU入院后早期采集的“快照”数值。这些静态评分无法随患者临床进展而调整,对个体患者的管理帮助甚微 [3, 4]。
既往研究表明,患者的急性恶化往往先于生理参数的细微变化 [5, 6],这促成了早期预警评分(EWS)的开发 [7]。准确且具有可推广性的风险分层工具可能有助于及时识别高风险患者,并促进更早的临床干预,从而改善患者结局 [8]。自引入以来,EWS经历了多次修改,其改良形式如今在综合医院中广泛使用 [9, 10]。然而,其主要目标人群通常局限于普通病房中相对健康的患者 [9, 11]或急诊科环境 [12],可能不适用于重症监护环境 [13]。
当前文献频繁呼吁开发多样化的重症监护预警评分 [14–16]。机器学习的快速发展,加之重症监护病房(ICU)中广泛患者监测所产生的丰富数据,为重症监护领域开发新的预测评分提供了前所未有的机遇 [17–19]。PICU数据分析中的挑战,包括病理多样性和复杂性 [20]以及年龄和发育阶段的广泛跨度,有望通过实施创新预测建模来解决 [18, 21]。
Curtis等人利用支持向量机算法通过时间序列趋势分析开发了心脏骤停预测模型,取得了优异的表现 [22]。此外,Zhengping等人采用梯度提升树学习了一个可解释模型,在PICU死亡率和无呼吸机天数预测方面表现出较强的性能 [23]。尽管上述研究成功应用了数据驱动分析,但受限于缺乏外部验证。为了在真实世界环境中实现实际应用,初步结果需要在数据元素、提取、处理和运行方面进一步优化,且误报警率需处于可接受水平。
本文描述了新工具——儿科死亡风险预测工具(PROMPT)的开发和评估,用于PICU中的实时死亡率预测。我们还评估了PROMPT在危重儿童临床护理中实际应用的适用性。
方法
研究人群和数据来源
我们使用了2011年1月至2017年12月期间入住Severance医院(韩国首尔)内科重症监护室的所有19岁以下患者的电子健康记录(EHR)数据。主要队列包含1445名患者,共计1977次ICU入住。为进行外部验证,我们使用了三星医疗中心(韩国首尔)提供的独立数据集,该数据集包含2016年1月至2017年11月期间278名患者的364次PICU入住数据。这些数据集的详细信息见附加文件1:表S1。所有数据均已匿名化,并获得了各医院机构审查委员会的豁免(分别为#4-2017-0060和#2019-09015-001)。
特征选择与数据处理
提取的数据包含静态特征集,如人口学和临床信息,以及时间特征,如带时间戳的生命体征。为构建死亡预测工具,我们采用了两个描述性特征——年龄和体重——以及七项生命体征:收缩压(SBP)、舒张压(DBP)、平均血压(MBP)、心率(HR)、呼吸频率(RR)、外周毛细血管血氧饱和度(SpO2)和体温(BT)。我们选择生命体征作为客观预测变量,因为它们不受临床情况影响而被常规且频繁地从所有患者中采集,且其数值很少受检查者影响。ICU患者的大多数生命体征由监护设备至少每小时自动测量一次,数值记录在EHR中。
以下清洗过程确保EHR数据可供分析且不包含错误。非数值被移除。此外,使用所选变量的生理可能值定义范围来消除离群值(附加文件1:表S2)。采用前向填充/后向填充方法进行插补。若一小时内存在多次测量,则使用最极端值。基于策略的预处理为自动化处理,与人工校正相比,平均覆盖所有数据的96.1%,准确率为97.5%。最后,为建模需要,每个变量均经标准化处理以符合各向同性高斯分布。
机器学习
主要结局为ICU全因死亡。对于此二分类结局,我们从所有在ICU死亡病例中提取正例,从所有存活病例中提取负例(附加文件1:图S1)。将死亡前6至60小时内的24小时生命体征窗口提取为正例,从存活者ICU住院期间随机选择的24小时生命体征窗口作为负例。为简化起见,每次入住仅选取单一实例,且采样的正例和负例在平均长度上被设定为相似以避免可能的偏倚(附加文件1:表S3)。
模型开发使用卷积神经网络(CNN)[24]进行,这是一类深度前馈人工神经网络,由交替的卷积层和子采样层组成,模拟动物视觉皮层的复杂性。卷积操作涉及将输入数据与卷积核相结合以形成变换后的数据。卷积层中的滤波器根据学习到的参数进行修改,以纳入对特定任务最有用的信息。该方法根据任务自动调整以确定最佳特征,并在图像特征表示学习中取得了巨大成功[25]。近期报道还证明了其在预测成人[26]和儿科人群[27]脓毒症以及心律失常[28]方面的实用性。我们的CNN详细架构(由两层一维卷积操作后接最大池化组成)已在补充材料中提供以确保可重复性(附加文件1:表S4)。在开发队列上采用五折交叉验证并重复五次来验证PROMPT的性能,随后进行外部验证以评估其泛化能力。
统计分析
我们将PROMPT的性能与其他标准机器学习算法进行了比较,如梯度提升决策树(GBDT)[29]、长短期记忆网络(LSTM)[30]以及目前广泛用于儿科重症监护病房(PICU)的儿科死亡指数3(PIM 3)[1]。模型性能基于判别能力进行评估,使用受试者工作特征曲线下面积(AUROC)——最常用的指标之一——以及精确率-召回率曲线下面积(AUPRC),由于关注结局为死亡,AUPRC的计算考虑了真阴性样本数量庞大的偏斜情况[31]。此外,对本研究中评估的所有预测工具还评估了灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)和准确率。
结果
数据集统计
如各队列的描述性统计所示(附加文件1:表S1),开发队列包含1977例患者就诊记录,其中识别出303例死亡(15.3%)。验证队列显示死亡率为9.6%。两个数据集在年龄、PIM 3、死亡率、ICU住院时间和纳入时间方面存在显著差异。
死亡预测性能
PROMPT在死亡预测方面与其他标准机器学习算法及PIM 3相比的性能指标总结于表1。预测死亡前6小时的性能最佳(AUROC 0.965,AUPRC 0.831),随着时间窗扩大至死亡前60小时,性能略有下降,但仍保持较高水平。在提前60小时检测死亡方面,PROMPT(AUROC 0.887,AUPRC 0.565)在开发队列中持续优于GBDT(AUROC 0.831,AUPRC 0.419)、LSTM(AUROC 0.814,AUPRC 0.429)和PIM 3(AUROC 0.785,AUPRC 0.298)(表1),微平均性能比较也显示了相同结果(附加文件1:图S2)。外部验证也发现了类似结果(表1)。
表2列出了各模型在灵敏度为0.8时关于特异度、PPV、NPV和准确率的其他配对比较指标。在开发队列中,PROMPT识别出80%将在24 h内死亡的患者,产生7%的误报(特异度=0.931),并且在所有指标中表现最为一致准确。按误报数量比较灵敏度显示,在两个队列中,PROMPT的误报均少于现有模型(包括PIM 3)(附加文件1:图S3)。
预测轨迹可视化
PROMPT通过多个预测模型生成平均死亡风险评分,这些模型由开发队列训练而成,用于预测前6、12、24、48和60 h内的死亡(示例见图1)。其中t为当前时间点,输入数据由两个描述性特征和[t − 24, t]范围内的生命体征组成,并转换为平均风险评分。在t + 1时间点重复相同程序以生成预测轨迹。滑动窗口(0至24 h)逐小时移动穿过时间序列,以生成ICU住院期间每个时间点的预测死亡率。
时间和特征贡献的指定
开发了一个解释模块,用于定量测量时间序列特征对死亡的贡献。每个带时间戳的生命体征均被替换为年龄相关均值,并根据预测死亡率的变化,生成每个特征的定量贡献(%)。此外,代数操作表明,每个时间点的贡献通过六个模块在做出预测中的重要性来捕获。这是因为池化操作导致时间关系丢失。因此,24 h数据被分为六个模块,并计算其对预测的贡献。随后应用平均滤波器对信号进行平滑。图2展示了一个死亡病例的示例,显示了每个时间点的测量贡献以及最关键时间点的特征贡献,还有24 h生命体征的线性趋势。
PROMPT的可解释性
通过在开发队列中总共363个测试实例上计算敏感性热图,绘制了个体特征重要性,以衡量各个输入变量的重要性(附加文件1:图S4)。敏感性定义为预测死亡率对输入变量的导数,输入变量的相对重要性经过归一化以满足和为一的约束。RR在所有其他特征中显示出最高的相对重要性,其次是SBP和HR。
个体条件期望图见附加文件1:图S5。这六个图展示了开发队列中的测试实例。预测死亡概率通过创建每个输入变量的变体同时保持所有其他特征不变来计算。对于血压,当压力值过低或过高时,预测死亡率倾向于增加,而当特征值落在生理范围内时则下降。在HR、RR和BT等其他生命体征中也观察到类似的趋势。在SpO2中,预测死亡率倾向于随着饱和度增加至100%而降低。然而,由于特征之间的相关性,识别出若干尽管SpO2很高但死亡概率也很高的实例。
讨论
在本研究中,我们基于CNN算法,使用包含常规生命体征的PICU数据集,开发并验证了一种针对性实时早期预警评分——PROMPT。利用少量变量,PROMPT在预测PICU患者死亡率方面实现了高性能,具有高灵敏度和高特异性。在预测能力方面,它优于传统严重程度评分系统PIM 3,以及使用GBDT和LSTM的其他模型。
ICU中现有的风险预测工具使用危重症病程早期(通常为入院后24小时内)的静态生理参数,以及其他组成部分(如年龄和诊断),来评估严重程度和死亡风险,以预测结局[32]。对于儿科人群,PIM和PRISM最具代表性[1, 2]。然而,普遍认为它们对于风险分层而言是较差的替代指标,不应作为个体治疗决策的依据[4, 33, 34]。通用严重程度评分最初开发和校准的目的是最大化对目标人群死亡风险评估的能力,而非用于针对这些人群中个体的临床决策[4]。此外,利用固定时间窗口内最差的值,而不考虑干预措施的结果,无法反映包括不同治疗反应在内的动态临床过程。因此,这些系统无法区分哪些患者发生特定急性状况的风险更高。在我们的研究中,PIM 3在死亡预测中辨别能力显著较低,证明了这一点。
基于时间序列监测数据的预测分析被引入[35, 36],其依据是生理特征在临床怀疑出现之前即先于患者急性恶化出现的证据[5, 6, 37]。可实时查询的电子健康记录(EHR)的广泛采用,促进了早期预警评分(EWS)的发展,使其能够识别需要干预的临床恶化患者[8, 38]。相应地,目前存在各种各样的不同工具,并在不同医院环境中与快速反应团队协同运作[9, 10, 39]。例如,床旁儿科早期预警评分(PEWS)在英国国家卫生服务体系中被用于检测病房中有急性恶化风险的患者,促进其及时升级至更高级别的照护[40, 41]。同样,许多其他EWS系统主要是在普通病房中开发和验证的[11, 40],其使用已扩展至急诊科[12, 42]和院前环境[43]。
ICU环境中,患者临床状况不稳定,在改善与恶化之间快速变化,需要细致的监测和临床支持。这促进了ICU早期预警系统的发展[18, 44, 45]。更先进的监测设备的开发导致传感器数据呈指数级增长。这一点,加上机器学习、人工智能技术和数据归档硬件的最新进展,促进了数据驱动的疾病特征和模式的发现[18, 36, 46–48]。然而,众多发育阶段、生理参数中与年龄相关的基线差异以及广泛的潜在病理多样性,给PICU患者数据的分析带来了独特挑战[20, 21]。此外,患者的生理数据持续受到临床干预的影响,如补充氧、容量复苏和血管活性药物使用,鉴于重症监护的核心原则是维持稳态[20]。由于生理数据的变化发生在一个由多个相互作用组分构成的复杂生物系统内,更复杂的深度学习模型(如自动学习特征的神经网络)已表现出优于传统机器学习的性能[49]。
我们的研究对PICU环境下死亡预测的现有文献做出了若干重要贡献。PROMPT利用个体不断变化的生命体征;采用CNN——一种主要用于图像分析的深度模型;在预测死亡方面实现了高准确性和判别能力。随着事件前的时间窗从6小时延长至60小时,预测性能略有下降,而这种早期识别的性能在验证队列中相对较低。尽管如此,PROMPT在两个队列中提前60小时预测死亡的AUROC均高于0.88。此外,与其他标准机器学习算法和PIM 3相比,它始终实现了更高的敏感性和特异性。
准确性和误报率是ICU环境中实际实施EWS时需要考虑的重要问题。由于敏感性和特异性相互影响,应权衡并优化EWS的性能与报警疲劳[50]。值得注意的是,PROMPT始终比PIM 3及其测试对照的其他算法提供更高的特异性。此外,即使报警数量较少,PROMPT仍保持比其他模型更高的准确性水平(附加文件1:图S3)。
在本研究中,PROMPT使用了七个生命体征以及患者入住PICU时的年龄和体重。该模型不需要任何自定义数据录入,完全依赖于大多数医院电子健康档案(EHR)中通常可获取的数据元素。纳入更多参数(如实验室检查)有望增强PROMPT的性能。然而,我们注意到,基于持续更新的生理监测数据的模型能够更好地及时预警即将发生的病情恶化。因此,仅使用从床旁监护仪传输的最基本和最常测量的重症监护数据流,有利于该模型在其他ICU中的更广泛采用。相对较低的数据需求、极少的手动数据录入要求以及基于EHR提取数据的自动化运行节省了额外的人力和成本,并可能减轻临床环境中的应用负担。
本研究存在若干局限性。首先,我们无法确定结果对其他人群的普适性。此外,回顾性研究设计无法确定模型在前瞻性环境中的性能。我们的模型仍然是基于人群的估计,因为我们未以前瞻性方式验证其用于个体预后判断的效力。此外,尽管PROMPT在检测和预测死亡方面表现优异,但仅凭这一知识不足以影响患者结局。需要临床医生的参与来确定临床干预措施并塑造以患者为中心的结局。
然而,考虑到PICU环境中的临床医生面临有限的临床资源,且医疗保健配给在某些方面已是现实,PROMPT可能具有惠及临床实践的潜力。如果能更早识别危重不良结局的风险,临床医生便可以更高的确定性来分配人力和其它医疗资源。我们的模型利用了易于采集的数据,因此可能特别适用于资源相对匮乏环境中的床旁预后评估。
此外,由于PROMPT的预测窗口最长为死亡前60小时,更早的预警可能为医生提供更多时间来干预和预防或减轻死亡。另外,一旦医生被警示并对死亡可能性做好准备,便有机会通过更早启动照护目标讨论和修订治疗计划,在PICU中实现符合患者偏好、高价值的照护。因此,我们未来的工作将聚焦于早期识别高危患者对临床相关结局的实际影响。
最后,我们想强调本模型的额外意义。尽管我们当前的模型并不能告诉临床医生如何精确治疗病情恶化的患者,但预测风险的趋势轨迹以及时间和特征贡献的标注有望间接提供额外信息。预测死亡率随时间变化的趋势,结合患者发生的事件或接受的特定干预,可能为临床医生提供直观的洞察,以了解个体病例中与有利或不利临床病程的潜在关联。
结论
在这项双中心回顾性研究中,我们验证了一个易于实施的基于深度模型的危重儿童实时死亡预测系统。利用标准重症监护实践中常规记录的七项生命体征,以及患者入住ICU时的年龄和体重,我们的结果表明,PROMPT在预测死亡前长达60小时的高死亡风险患者方面具有高灵敏度、特异度和判别能力。这种数据驱动的早期预警评分可能成为及时识别病情恶化患者的有效工具。
附加文件
附加文件1:补充图和表。(DOCX 980 kb)
参考来源
- Kim SY, Kim S, Cho J, et al. A deep learning model for real-time mortality prediction in critically ill children. Crit Care. 2019. PMID: 31412949. doi:10.1186/s13054-019-2561-z
- 全文:PMC6694497(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6694497/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。