病房临床恶化治疗推荐:机器学习模型的开发与验证
该研究使用来自4个健康系统的2480例经人工病历审查的普通病房临床恶化患者数据,训练多种机器学习模型预测10种常见挽救性治疗的需求。模型在3个健康系统训练,在第4个健康系统(622例)外部验证。结果显示,不同治疗预测难度差异大,抗心律失常药最易预测(平均AUROC 0.866,SD 0.012),抗凝药最难(平均AUROC 0.660,SD 0.065)。梯度提升机(XGB)在单个模型中表现最佳, stacking集成模型通常匹配或超过最佳单个模型。作者认为这些模型可与早期预警评分结合,为临床医生提供及时的治疗建议。
要点
- 在2480例病房恶化患者中,机器学习模型预测10种挽救性治疗需求的AUROC通常为0.7至0.9,抗心律失常药最易预测(平均AUROC 0.866,SD 0.012),抗凝药最难(平均AUROC 0.660,SD 0.065)。
- 梯度提升机(XGB)在单个模型中表现最佳,在5个任务上最优;弹性网络逻辑回归(LR)在2个任务上最优,单标签LSTM在2个任务上最优,多标签LSTM在1个任务上最优。
- stacking集成模型通常匹配或超过每个任务中表现最佳的单个模型,并显示出最佳的整体加权AUROC性能。
- 在测试集622例患者中,风险评分升高时未接受相应治疗的患者比例因治疗而异,抗心律失常药约20%,血管活性药近90%。
- XGB和LR校准良好,而LSTM模型校准较差。
适用人群与场景
- 来自4个健康系统(芝加哥大学医学中心、威斯康星大学麦迪逊分校医院、洛约拉大学医学中心、Endeavor Health旗下4家医院)的普通病房患者,年龄至少18岁,有临床医生记录,住院期间在内外科非ICU病房停留。
- 纳入标准:电子病历数据中eCART评分达到临床恶化风险升高阈值(前5%风险评分)且病历审查确认为真实恶化事件(而非假警报)的2480例次 encounters。
- 排除标准:威斯康星大学麦迪逊分校医院5例次因电子病历数据不可用被排除;3995例次经病历审查后排除非真实恶化事件,最终2480例次。
诊断标准与关键阈值
- 使用电子心脏骤停风险分诊评分(eCART)识别风险升高,该评分利用人口学特征、生命体征和实验室结果预测临床恶化(心脏骤停、ICU转移或死亡),阈值定义为前5%风险评分。
- 真实恶化事件由经过培训的审查员人工病历审查确认,假警报例如与患者下床相关的心率 spikes。
研究设计与关键结果
- 研究类型:多中心回顾性队列研究,使用人工病历审查建立金标准治疗标签;样本量2480例次 encounters,来自4个健康系统,其中训练集1858例次(3个健康系统),测试集622例次(洛约拉大学医学中心)。
- 干预与对照:无干预对照;比较弹性网络逻辑回归(LR)、梯度提升机(XGB)、长短期记忆(LSTM)模型和 stacking集成模型在10种治疗预测任务上的性能。
- 主要终点:AUROC。抗心律失常药平均AUROC 0.866(SD 0.012),输血0.823(SD 0.014),吸入支气管扩张剂0.805(SD 0.037),有创通气0.671(SD 0.042),血管活性药0.669(SD 0.031),抗凝药0.660(SD 0.065)。
- 关键次要终点:校准。XGB和LR校准良好,LSTM校准较差。
- 不良事件:未报告。
证据类型、等级与局限
- 证据类型:多中心回顾性队列研究,使用人工病历审查的金标准标签。
- 局限:原文未报告局限性。
对床旁实践的改变
- 作者认为,这些模型可与早期预警评分(如eCART)配对,为临床医生提供及时且可操作的治疗建议,以改善病房恶化患者的治疗及时性和适当性。
- 原文指出,在风险评分升高时,相当比例的患者未接受相应治疗,提示利用机器学习工具有可能减少治疗延迟。
- 原文指出,模型在前瞻性实施中的整合方式(如阈值 vs 概率评分、整合到快速反应系统、交付的时间和视觉方式)需要进一步研究,以解决警报疲劳和认知负荷等问题。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译23 节 · 点击展开
引言
背景
既往研究表明,医院病房内的临床恶化与发病率和死亡率增加相关[1-5]。病情恶化需要转入重症监护病房(ICU)的病房患者占ICU死亡人数的比例过高,其死亡率超过直接收入ICU的患者[36]。早期且适当的干预与急性生理恶化患者预后改善相关[7-11]。尽管已有这些认识,医疗延迟仍然常见并与死亡率增加相关[12-16],这促使人们开发新方法以改善对这一高危人群的医疗照护。
改善临床恶化患者干预措施的努力可分为2个领域:识别(即更早发现高危患者)和响应(即为应对恶化而采取的行动),也称为快速反应系统的传入支和传出支[17]。现有工作大多集中在识别方面,因为更早发现高危患者自然有助于更早干预;我们参考Mann等[18]的研究以了解与早期识别预警评分相关方法的近期综述。广义而言,这些方法识别通常先于恶化的生理变化,例如生命体征的变化[51920]。方法学差异很大,尽管近期许多工作集中于将先进机器学习(ML)方法与电子健康记录(EHR)整合以自动处理风险评分[192122]。实施此类早期预警系统的单中心和多中心研究已显示出对患者结局有前景的改善[2123-25undefinedundefined]。
尽管该系统识别支取得了进展,但分析如何应用自动化ML方法以类似地改善响应支的工作要少得多。识别是启动治疗的必要条件,但不足以确保患者及时接受最适当的治疗(或多种治疗)。这一点尤为重要,因为早期预警系统通常关注非特异性恶化风险,而不是监测脓毒症等特定综合征[26]。理想情况下,标记高危患者的早期预警系统还会提供数据驱动的治疗建议。建议可作为临床决策支持工具,既可强化临床医生的直觉,也可提示临床医生最初可能未考虑的治疗。在相关领域使用类似人工智能(AI)临床决策支持工具的临床医生已被证明优于支持性AI模型和临床医生判断各自的单独表现(例如,在病理学[27]和放射学[28]中)。
然而,与临床恶化早期预警评分相关联的治疗推荐机器学习(ML)模型尚未被开发,这在很大程度上是因为此类模型无法在没有大量额外临床医生输入的情况下,基于电子健康记录(EHR)数据进行适当训练。尽管EHR数据可以提供关于患者接受了哪些治疗的信息,但需要专家手动查阅病历,以评估他们接受(或未接受)的哪些治疗是适当的并且针对恶化的根本原因。没有病历审查,模型只能学习模仿现状,而无法提供金标准治疗推荐。这种经过病历审查的数据集很罕见,通常规模有限或仅限于单中心[29]。因此,目前尚不清楚临床医生可以期望普通病房临床恶化治疗推荐算法达到何种性能水平。此外,尚不清楚哪些类型的ML建模方法在这种情况下表现最佳。
贡献
在本研究中,我们训练了一组ML模型,用于预测临床恶化的普通病房患者的救命治疗。这些模型旨在通过为临床医生决策支持提供治疗建议,补充广义早期预警系统。我们依赖一个大型多中心数据集,其中的金标准治疗推荐通过手动病历审查建立[30]。这些模型为不同类型的治疗推荐设定了基准性能标准,我们讨论了所研究的各种ML模型类型的优缺点。
方法
研究队列
我们使用了一个由4000例经病历审查的患者就诊记录构建的研究队列,该队列最初由Churpek等[30]引入;我们在此重申该队列构建的关键方面。
就诊记录从4个卫生系统采样:芝加哥大学医学中心、威斯康星大学麦迪逊分校医院、洛约拉大学医学中心以及Endeavor Health内的4家医院。这些样本取自各卫生系统中符合文本框1所确立纳入标准的就诊记录总体。总体而言,这些就诊记录发生于2007年至2020年之间。
患者年龄至少为18岁;
该次就诊有临床医生诊疗记录(例如,入院病史和体格检查、出院小结)可用;
在该次就诊期间,患者被收入医院并在内科-外科(非重症监护病房)病房停留。
在4个卫生系统中,共有919,319次就诊符合纳入标准。与这些合格就诊相关的EHR数据使用电子心脏骤停风险分诊评分(eCART)进行评估,该早期预警评分利用人口统计学特征、生命体征和实验室结果来预测临床恶化(即心脏骤停、ICU转入或死亡)[19]。在这些合格就诊中,91,131次包含1次或多次eCART模型在普通内科外科(非ICU)病房达到临床恶化风险升高阈值(风险评分前5%)的情况。为简洁起见,我们将此事件称为风险评分升高。从每个卫生系统中随机抽取1000次至少有1次风险评分升高的就诊,由专家急性护理医师进行手动病历审查(共4000次)。在本研究中,威斯康星大学麦迪逊分校医院的5次就诊最终因EHR数据不可用而被排除,留下该卫生系统995次就诊,总计3995次。这3995次就诊通过病历审查进一步筛选,最终队列规模为2480次,筛选依据为在风险评分升高期间或之后存在真实恶化事件(即发生临床恶化而非假警报)。完整流程图见多媒体附录1。
伦理考量
本研究经各卫生系统的机构审查委员会(IRB)批准,并豁免知情同意。IRB批准编号如下:芝加哥大学生物科学部IRB #18-0447、威斯康星大学麦迪逊分校IRB #2019-1258、洛约拉大学医学中心IRB #215437和Endeavor Health IRB #11-0539。所有直接标识符在分析前均已去标识化,以确保隐私和保密性。参与者未因本数据分析获得报酬,因为这是一项回顾性分析,未与参与者进行直接接触。
测量指标
患者测量指标
我们建模中纳入的患者测量指标完整列表见多媒体附录2。建模中纳入了约50种测量类型。这些测量包括人口统计学信息(如年龄和性别)、生命体征(如心率和体温)以及实验室测量(如电解质和血细胞计数)。这些测量类型由专家共识选定为EHR中普遍可用的指标。这些测量用于构建我们建模中所使用不同算法的特征。有关测试模型中使用的特征的进一步描述,请参阅“特征工程”部分。
EHR还包含每位患者所接受治疗的信息。然而,该治疗信息未作为我们模型的输入纳入,仅用于评估目的(即评估患者何时或是否接受了经手动病历审查认定为救命的治疗)。我们选择将治疗排除在模型特征之外,以防止标签泄漏到数据集中。泄漏不仅可能人为夸大评估的模型性能,而且纳入治疗信息还会使当前治疗实践影响模型预测。
病历审查
从每个卫生系统中抽样的1000次就诊记录由各卫生系统内受过培训的审查员进行人工病历审查。完整的病历审查程序已在Churpek等人的研究中描述[30];我们在本研究中重申相关程序和结局。
首先,审查员评估升高的风险评分是否对应于真实的病情恶化事件或假警报(例如,由于患者起床导致的心率骤升)。在队列的3995次就诊中,2480次包含1个或多个真实病情恶化事件。对于这些病例,审查员记录了1种或多种最终被认为对患者病情恶化事件具有挽救生命作用的治疗。对于包含超过1个病情恶化事件的就诊,病历审查评估的是第一个此类事件。审查员使用了升高风险评分之前和之后的信息(例如,治疗开始后临床医生的记录,描述诊断检测结果和治疗反应)。挽救生命的治疗包括药物干预(如抗心律失常药或类固醇)和非药物干预(如输血或通气)。此外,尽管几乎所有患者在就诊期间的某个时刻接受了审查员认定为挽救生命的治疗(或多种治疗),但病历审查所记录的治疗并不限于患者实际接受的治疗。例如,如果患者在能够实施治疗之前死亡,该治疗在病历审查中仍被记录为挽救生命的治疗。病历审查过程未指定启动每项标注干预措施的最佳时间。由于我们的目标是在风险评分升高时评估机器学习治疗推荐算法的性能,所有病历审查标签的选择均使其在风险评分升高时实施是适当的。
标签与预测任务
对于每次就诊,病历审查过程确定了1种或多种对患者具有挽救生命作用的治疗。这些治疗作为我们预测建模的标签。我们考虑了病历审查所指示的10种最常见治疗,列于文本框2中。因此,预测问题是利用患者在风险评分升高时的电子健康记录(EHR)测量数据(经适当处理为模型特征)来预测患者对10种治疗类别中每一种的需求。该方法将问题设定为多标签预测(即,对每种治疗类型的预测并行进行),而非多分类预测(即,将治疗组合视为可能的标签,每次就诊仅分配1个标签)。
抗微生物药物(包括抗生素、抗真菌药和抗病毒药;n=300)
液体推注(n=231)
抗心律失常药(包括β受体阻滞剂和房室结阻滞剂,n=111)
利尿剂(n=93)
吸入性支气管扩张剂(包括雾化治疗和哮喘药物,n=79)
输血(n=60)
有创呼吸机(n=53)
血管活性药物(包括正性肌力药,n=49)
抗凝药(n=36)
类固醇(n=29)
测试的模型
模型类型
我们建模的一个主要目标是评估某些模型类型在不同治疗预测任务上是否表现出更好或更差的判别性能。因此,我们训练了传统的非深度学习预测模型,即弹性净逻辑回归(LR)和梯度提升机,以及深度学习时间序列模型,特别是一种称为长短期记忆(LSTM)模型的循环神经网络类型[31]。LR使用Scikit-learn实现[32],梯度提升机使用基于树的极端梯度提升(称为XGB)实现[33],LSTM使用PyTorch实现[34]。针对各种预测任务,我们评估了单标签和多标签LSTM。在单标签情况下,我们为每个预测任务训练了独立的LSTM(包括超参数调优);这与LR和XGB的过程一致,后者在每个模型中也原生仅考虑单一标签。在多标签情况下,我们训练了1个LSTM模型(即使用1组超参数),同时为所有10个治疗预测任务做出预测。
鉴于集成学习方法在众多医疗预测任务中的成功[3536],我们还在这一治疗推荐背景下评估了堆叠集成学习器的性能。堆叠,有时也称为后期融合,涉及从个体模型的输出中训练一个元学习器,有效地学习适当的分权重以分配给每个模型所做的预测[3738]。在本研究中,我们使用了弹性净LR元学习器,以个体模型的预测概率作为特征进行训练。
特征工程
虽然每种模型类型的特征依赖于同一组电子健康记录(EHR)测量数据,但模型的结构差异要求采用不同的特征工程方法。我们在此概述这些差异,并请读者参阅多媒体附录2中每种模型的完整特征列表和构建流程。
LR或XGB与LSTM模型之间特征的最大差异在于对时间信息的处理。LR和XGB不直接处理时间序列数据,因此需要创建一组单一特征来描述每次就诊。这些LR和XGB特征的第一部分是风险评分升高时每种EHR测量类型的最后可用值。XGB可以处理缺失特征值(例如,对于在风险评分升高之前某项值没有可用测量的个体),因此XGB模型使用保留缺失性的数据集特征化进行训练。LR无法容纳缺失测量值,因此我们为LR创建了一个单独版本的特征,用训练集中的中位数填补缺失值;这些LR和XGB特征集在其他方面完全相同。除了最后可用测量值外,我们还包括了风险评分升高前24小时内某些测量类型的一组时间汇总统计量(例如,最小或最大值、均值和标准差,以及给定时间间隔内的变化率)。这些量允许编码患者的近期时间信息,并已在先前关于早期预警评分的研究中被证明可改善这些模型的性能[20]。
相比之下,LSTM 模型设计用于处理每次就诊的时间测量序列。对于 LSTM,我们将原始时间序列数据重采样为均匀间隔。间隔长度(2、4 或 6 小时)是每个预测任务(即治疗类型)的可调超参数。无论间隔长度如何,均采用末值前推法对每个时间步的值进行重采样。如果重采样间隔内没有可用值,则从前一个重采样值前推。如果没有可用的前一个重采样值,则使用训练集中的中位数进行插补。重采样相对于风险评分升高时间进行,即以风险评分升高时间作为锚点,使用指定间隔长度从该时间点向后处理 EHR 数据。除重采样测量值外,我们 LSTM 模型中的一个可调超参数是使用插补布尔值(即当给定测量值被插补时取值为 1、当存在真实测量值时取值为 0 的特征)[39]。这使 LSTM 还能学习与缺失值相对于真实测量值相关的模式。
对于除 XGB 外的所有模型,我们使用训练集中观察到的最小值和最大值将特征重新缩放到区间 [0,1]。用于重新缩放的最小值和最大值特定于为每个模型构建的特征(即 LSTM 重采样时间序列特征中的值仅用于重新缩放 LSTM 特征,而不用于 LR 特征,反之亦然)。XGB 与尺度无关,因此未对这些模型进行变量缩放。
模型训练
来自 3 个卫生系统中包含恶化事件的就诊数据(芝加哥大学医学中心,483 次就诊;威斯康星大学麦迪逊分校医院,656 次就诊;以及 Endeavor Health,719 次就诊)被合并组成训练集(1858 次就诊)。第四个卫生系统 Loyola 大学医学中心的 622 次就诊被用作留出测试集。LR 与 XGB、LSTM 以及堆叠集成之间的结构差异要求略有不同的调参和训练程序,本研究将进一步描述。
除 LR 使用带插补的特征而 XGB 使用带缺失性的特征外,LR 和 XGB 遵循共同的拟合程序。LR 和 XGB 模型均有可调超参数(例如 LR 的正则化方法和 XGB 的提升轮数),并通过交叉验证进行评估。具体而言,最佳性能超参数通过在训练集的 3 折分层交叉验证重复 4 次期间进行网格搜索来确定。受试者工作特征曲线下面积(AUROC)被用作交叉验证评分指标 [40]。LR 和 XGB 的完整超参数范围及所选超参数集见多媒体附录 2 和多媒体附录 3。在通过网格搜索确定最佳性能超参数后,LR 和 XGB 模型在完整训练集上重新训练,并在测试集上进行评估。
LSTM 的训练略有不同,因为我们使用早停作为一种模型正则化形式;这意味着通过训练集的遍数被纳入超参数调优。具体而言,在同一重复 3 折分层交叉验证过程的每次迭代中,训练集中的 2 折用于模型训练,1 折用于验证。每次遍历训练数据后,我们在验证 encounter 上评估训练后模型的 AUROC。我们重复这一过程,直到连续 10 个 epoch 过去而当前 epoch 的验证 AUROC 未超过过去各 epoch 中观察到的最佳验证 AUROC。观察到的最佳 AUROC 被用作该次交叉验证迭代的评分值。我们记录了与观察到的最佳验证 AUROC 相关的 epoch 计数,并对重复交叉验证总共 12 次迭代取该值的均值,以获得该组超参数的调优 epoch 值。
除了调优常见超参数(如学习率或隐藏单元数)外,我们还探索了文献中各种其他 LSTM 结构的效果。例如,我们纳入了一个目标复制参数,使中间预测(即在达到 elevated risk score 之前的时间步上所做的预测)也能纳入模型的损失函数 [3641]。我们还纳入了使用通道级输入作为二元超参数的选项 [42];当使用该选项时,每个测量通道都通过一个额外的 LSTM,并具有其自身可调的超参数。这使模型能够在这些量在主 LSTM 模型中合并之前捕获各个测量流中的特定趋势。与 LR 和 XGB 一样,完整的超参数范围和所选值集见 Multimedia Appendix 2 和 Multimedia Appendix 3。由于 LSTM 训练比 LR 和 XGB 更耗时,我们使用 Optuna(Preferred Networks)[43]——一个使用贝叶斯优化来高效采样候选超参数的软件包——来协调 LSTM 超参数调优,而不是执行网格搜索。与 LR 和 XGB 一样,在确定表现最佳的超参数后,我们在完整训练集上重新训练模型,并在测试集上评估其性能。
由于我们的堆叠集成模型是弹性网络逻辑回归(LR)模型,它遵循与我们的单个LR模型相同的超参数调优过程。然而,为此堆叠模型构建训练数据集需要特别注意。回想一下,堆叠模型使用来自每个子模型(例如XGB)的加权预测来做出其预测。为了学习适当的权重,堆叠模型必须使用来自每个子模型的样本外预测进行训练。对于每个子模型,我们迭代地重建了一组完整的具有样本外预测的训练就诊记录;训练集被分为5折,每种亚模型类型在4折上训练(使用先前确定的最佳性能超参数),为剩余折生成样本外预测。遍历所有5折允许用样本外预测完整重建训练集。我们重复此过程5次,以生成适合重复交叉验证的数据集(5次重复的5折交叉验证)。我们使用这些样本外预测来执行超参数调优,并确定堆叠模型的最佳性能超参数。然后,我们使用最佳性能超参数在完整的样本外预测集上训练最终堆叠模型,并在测试集上评估堆叠模型的性能。
评估标准
我们对不同模型的主要评估标准是判别能力,使用AUROC进行评估。我们使用非参数自助法95% CI [44]来表示计算出的AUROC值的不确定性。作为次要指标,我们使用校准曲线和Brier评分评估模型校准,不确定性也使用自助法95% CI表示。最后,如Lundberg和Lee的研究[45]所述,使用Shapley加法解释(SHAP)值来提供模型可解释性结果。
结果
人口统计学信息
表1提供了研究队列人口统计学特征的摘要,包括按训练 site 和测试 site 的就诊记录分类。测试 site 的就诊记录来自一个独立的卫生系统,但显示出与用于形成训练集的3个卫生系统的就诊记录相似的人口统计学特征。
治疗开始时间
为了深入了解在测试 site 就诊记录中观察到的治疗开始实践,表2总结了在就诊记录特定时间段内接受每种治疗的患者比例。关于治疗开始时间的更多信息可在多媒体附录2中找到。虽然大多数患者在就诊期间的某个时间点接受了通过病历审查评估的救命治疗,但相当一部分患者在风险评分升高时未接受治疗。这种未治疗患者比例因治疗而异,从抗心律失常药的大约20%到血管活性药物的近90%不等。
模型性能
图1总结了所测试模型在10个预测任务中的判别性能,以AUROC评估;该总结包括将完整测试队列上的性能与在风险评分升高时未积极接受治疗的患者子集上的性能分开呈现。模型性能因模型类型和预测任务的不同而差异很大,AUROC通常在0.7至0.9之间。
表3总结了模型在每个预测任务中的判别性能,具体方法是对每种治疗方式按模型类型对AUROC性能取平均值。平均AUROC值分别呈现于完整测试中心队列和风险评分升高时未积极接受治疗的测试中心患者子集。平均AUROC的排序在这两个队列之间略有差异。总体而言,模型在抗心律失常药、输血和吸入性支气管扩张剂的预测上往往表现最佳,而在抗凝药、血管活性药物和有创通气的预测上表现最差。
表4总结了不同模型类型的相对性能。具体而言,模型性能通过跨任务的加权AUROC性能和模型的平均AUROC排名来评估。结果分别呈现于完整测试中心队列和风险评分升高时未积极接受治疗的测试中心就诊子集。虽然没有单个模型普遍优于其他模型,但XGB在跨任务中显示出最佳的加权AUROC。堆叠集成较单个模型提供了更好的性能,通常达到或超过表现最佳的单个模型的AUROC,并显示出最佳的总体加权AUROC性能。
图2显示了各建模方法在所有任务中汇总预测时的校准曲线。为进一步评估校准性能,我们在多媒体附录2中提供了Brier分数和任务特异性校准曲线。我们指出,我们未应用校准后处理技术,而是评估了方法的内在校准。经典机器学习方法往往校准良好,而长短期记忆网络(LSTM)显示出较差的校准。使用SHAP值评估的3种最常见治疗(抗菌药、液体推注和抗心律失常药)的全局特征重要性图,以及类固醇和抗凝药预测的病例评估,可在多媒体附录2的“特征重要性”部分找到。
讨论
主要发现
在这项开发并比较高危住院患者治疗推荐算法的多中心研究中,我们发现预测性能因模型类型和预测任务而显著不同,AUROC值通常为0.7-0.9。当按所有模型(包括集成模型)的平均AUROC进行评估时,我们观察到对抗心律失常药、输血和支气管扩张剂的预测具有最高的判别性能(平均AUROC分别为0.866 [SD 0.012]、0.823 [SD 0.014]和0.805 [SD 0.037]),并观察到对有创通气、血管活性药物和抗凝药的预测具有最低的判别性能(平均AUROC分别为0.671 [SD 0.042]、0.669 [SD 0.031]和0.660 [SD 0.065])。总体而言,XGB算法是表现最佳的单一模型类型,而所有模型类型的集成进一步提高了性能。然而,每个单一模型在至少1个预测任务中具有最佳的判别性能。测试中心队列中治疗启动的时间因治疗而异,且模型对于在风险评分升高时接受和未接受治疗的患者通常表现相似(抗凝药除外)。据我们所知,这些是已发表文献中首批使用金标准病历审查训练数据、在临床恶化风险评分升高时进行治疗预测的模型。这些模型可与早期预警评分结合使用,以增强临床决策并促进更早的挽救生命的治疗。
按治疗类型划分的预测性能
我们首先检查不同治疗类型之间的性能差异,其AUROC值范围约为0.7至0.9。抗心律失常药预测具有最高的AUROC,而抗凝药预测具有最低的AUROC,尽管其他几种治疗类型表现出与抗凝药预测相似的性能(利尿剂、有创通气和血管活性药物的平均AUROC均接近0.7)。性能差异的一个潜在促成因素可能是本研究中使用的结构化EHR数据中有用预测信号的存在(或缺失)。例如,心率的变化——这是我们模型中包含的结构化数据元素——通常提示患者需要抗心律失常药,而利尿剂等治疗依赖于我们未纳入的其他测量方式(例如,显示液体超负荷体征的胸部X线图像或体格观察)。为验证这一直觉,我们对3种最常见的治疗类型(抗菌药物、液体推注和抗心律失常药;多媒体附录2)进行了SHAP分析。我们发现每种治疗类型最重要的特征与临床直觉高度一致。例如,抗菌药物预测最重要的特征与体温、白细胞计数、心率和乳酸水平相关。液体推注预测最重要的特征与血压、电解质和心率相关。对于抗心律失常药预测,与心率相关的特征最为重要。
因此,我们预期当给定治疗类型最相关的患者属性包含在结构化EHR数据中(如生命体征和实验室值)时,我们的模型表现最佳。这自然推动未来为此类模型融合额外数据源以增强其判别性能。融合方法,特别是中间融合和晚期融合方法,已被证明可通过整合额外模态(如影像和临床笔记)来提高预测性能[4647]。特别是,专家混合框架在有效处理多模态数据方面显示出前景,即使某些模态缺失[48]。然而,更广泛地说,某些情况可能比其他情况更容易预测,例如由于患者表现变异性较低。即使没有额外输入模态,本文提出的模型也可作为有用的推荐来源,特别是如果临床医生了解哪些治疗推荐最为准确。
按模型类型的预测性能
我们发现没有单一算法在所有预测任务上均优于其他算法,且算法性能的排名顺序因任务而异。缺乏普遍优越的算法与近期比较基线模型(如LR)与梯度提升树(如XGB)及深度学习方法的文献一致[49]。然而,总体而言,XGB表现出最佳的单模型性能,在各任务中具有最高的加权AUROC,且在单个算法中具有最佳的平均AUROC排名。这也与近期文献一致,表明提升决策树在中等规模表格数据集的预测任务中往往优于其他建模方法[49-51]。然而重要的是,所有测试模型在至少1种预测类型中均为最佳单模型;XGB在5项任务上表现最佳,LR在2项任务上表现最佳,单标签LSTM在2项任务上表现最佳,多标签LSTM在1项任务上表现最佳。此外,虽然判别力是我们的主要评估指标,模型校准也是医疗推荐场景中的重要考量,因为它衡量预测概率是否反映观察到的结局频率[52]。本工作评估了测试方法的校准性能,未应用任何校正后处理技术。XGB和LR均显示出良好的校准,而LSTM方法校准较差。我们怀疑这部分是由于在所有任务上对LSTM使用类别加权以减少超参数调优的计算负担。此外,已知现代神经网络表现出较差的校准[53]。有多种方法可通过后处理改善模型校准,如Platt缩放或等渗回归[53-55]。然而,这些技术的最佳实践依赖于使用额外的留出数据,因此具有更好内在校准的模型类型在此数据稀缺环境中可能特别有价值。
鉴于各单一模型的表现各不相同,堆叠集成模型综合了每个单一模型的加权贡献,其表现往往优于单一模型,这并不令人意外。具体而言,该集成模型在4项个体预测任务上总体表现最佳,在各任务中具有最高的加权AUROC,在与单一模型并列排名时,其在各预测任务中的平均AUROC排名更高。在 tested 方法中,该集成模型也往往表现出最佳的校准。这一表现与现有文献一致,文献已表明集成方法在医学诊断中的优势[35]。然而,我们注意到,集成模型相对于单一模型的AUROC提升通常较为有限。因此,临床相关方需要评估,与实施像XGB这样的单一模型相比,性能的提升是否值得额外的实施或可解释性成本。例如,LSTM方法的超参数调优相比LR和XGB带来了显著更多的计算负担。此外,虽然我们侧重于确定不同方法的判别性能,未来工作需要考虑与每种治疗类型相关的误分类成本,以指导此类建模决策。
治疗启动时机
病历审查所确认的挽救性治疗,其启动时机因治疗类型而异。我们关注在风险评分升高前48小时内接受挽救性治疗的患者比例,因为这些治疗更可能是临床医生对相关病情恶化事件的反应。对于某些干预措施(如抗菌药物、抗心律失常药、支气管扩张剂和抗凝药),约75%的患者在风险评分升高前接受了相应治疗。然而,对于其他干预措施(如类固醇、液体推注、输血和血管活性药物),不到一半的诊疗记录显示治疗在风险评分升高前启动。因此,我们预期我们的模型对某些患者和病情的获益会与其他情况不同。例如,在某些情况下,模型强化了临床医生的直觉(即治疗已经启动),而在另一些情况下,模型会提示启动治疗。此外,几乎所有患者在诊疗过程中某个时点都接受了挽救性治疗,仅因治疗类型不同而略有差异。如前所述,及早启动适当治疗与患者预后改善相关[7-11],这进一步支持了AI决策支持工具在推荐挽救性治疗方面的潜在获益。
未治疗患者的预测性能
我们进一步评估了在风险评分升高时未接受每种治疗类型的测试站点患者子集的预测性能。如果患者在研究中的恶化事件风险评分升高前48小时内未接受所述治疗,则该患者被纳入该未治疗子集。我们注意到,跨算法和治疗类型的AUROC出现了小幅但几乎普遍存在的下降,通常小于0.05。这种效应在某些治疗类型中比其他类型更为明显。对这一现象有几种可能的解释。差异几乎可以忽略的病例,如血管活性药物,可能由几乎相同的研究人群来解释(即,由于接受此类治疗的患者极少,AUROC计算是在几乎相同的人群上进行的)。除这些情况外,我们预计性能下降的部分原因在于该患者子集的性质;通过排除临床医生已接受治疗的患者,我们推测剩下的是一个更难正确诊断和治疗的队列。因此,我们预期算法在这个更具挑战性的患者子集上专门评估时表现会更差。AUROC下降的另一个可能因素是通过某些EHR测量值存在的标签泄漏。由于某些治疗在EHR中有明确的标记物,一旦启动,模型就有可能利用这些量进行捷径学习[56]。抗凝药在整体队列和子集队列之间的性能下降最大,是这一效应的一个特别显著的例子;肝素治疗影响患者的部分凝血活酶时间,而这是模型使用的测量指标之一。如果训练好的模型学会依赖治疗代理指标的存在来进行预测,那么未治疗队列中缺乏这一信号很可能导致性能较差。最后,我们注意到类固醇预测在所有模型上于未治疗患者子集中评估时表现出反直觉的性能提升。对相关模型特征的SHAP分析与这些患者人群差异的交叉参照并未为这种判别性能的提升提供明确的解释(多媒体附录2)。我们怀疑这是类固醇具有最严重类别不平衡的伪影,使得阳性病例的随机变异比其他预测任务更为明显。
抗凝药预测的案例研究
我们重点介绍抗凝剂的预测,以说明所研究算法的2个重要性能趋势。首先,抗凝剂预测是一项多标签LSTM性能明显优于XGB的任务。虽然XGB总体上往往优于LSTM方法,但在这里我们看到了时间序列模型相对于非时间序列方法在某些预测任务中的潜在价值。由于LR和XGB本质上不是时间序列方法,这些方法需要手工制作的时间特征来捕获此类信息(例如,前一天某一测量类型的标准差)。对XGB模型测试集预测的SHAP分析(多媒体附录2)表明,抗凝剂预测最重要的3个协变量是时间汇总统计量(按降序排列):过去24小时心率的标准差、过去24小时体温测量值的斜率,以及过去24小时体温测量值的标准差。此外,对于最重要的特征,即24小时心率标准差,较高的值与阳性类别相关,提示这些患者的心率测量值经历了显著变化。因此,多标签LSTM观察到的更好性能可能归因于其能够直接从头时间序列数据中学习这些 measurement 的相关模式,而不是依赖于信息量较少的时间汇总统计量。
然而,抗凝剂也凸显了在这种相对低数据量的情况下使用数据需求量大、深度学习的方法可能存在的陷阱[57];虽然多标签LSTM在该治疗类型上表现最佳,但单标签LSTM表现最差。直接考虑时间序列数据可能允许更高容量的模型提取额外信息用于预测,但即使在我们模型训练中使用的各类正则化方法下,也可能因过拟合而导致较差的性能。这对于单标签LSTM尤其相关,因为我们为每个预测任务进行了专门的超参数调优。为此,我们观察到,在类别不平衡较少的预测任务中,单标签LSTM往往优于多标签LSTM,反之亦然。
部署考虑
虽然本研究的主要重点是为各种ML方法建立预测性能基准,但我们也讨论了与这些模型在现实世界中部署相关的几个重要点。首先,我们设想这些模型向临床医生提供建议以增强其决策,而不是让它们自身拥有决策权。然而,即使在这种推荐能力下,也有几个相关的实施考虑随之而来。
第一个考虑是此类模型对新人群和亚人群的预测性能。虽然本文中呈现的结果来自外部站点的模型验证,但本研究中纳入的所有4个站点均为美国区域内相似的学术卫生系统。需要进一步研究以评估模型在其他环境中的预测性能,例如社区医院或国际医院,在这些环境中不同程度的数据偏移可能会对性能产生有意义的影响[58]。即使在存在显著数据偏移的环境中,像本文中所训练的模型也可能为使用特定环境数据进行迁移学习提供有价值的基础[5960]。此外,需要额外研究来评估此类模型在特定患者亚人群中的性能,以评估与算法公平性相关的担忧[6162]。
第二,这些模型的前瞻性运行依赖于最低水平的院内数据基础设施,包括结构化电子健康记录(EHR)数据的实时可用性以及计算模型评分的能力[63]。虽然本文所述的学术医学中心 readily 具备此类基础设施,但在社区或国际医院环境中可能并非如此。此外,我们简要指出了如何增强这些推荐模型以纳入其他测量模态,例如影像或临床笔记;这些模态预计会改善模型性能,但在某些医院可能无法用于实时预测模型,从而导致高资源与低资源医院环境之间的性能差异扩大。
第三,需要大量额外研究来评估将这些治疗建议最有效地整合到临床工作流程中。虽然这些模型天然地与临床恶化早期预警系统(如eCART)的使用相关联,但治疗建议实际传递给临床医生的方式具有显著灵活性(例如,使用阈值 vs 概率评分、整合到其他快速响应系统要素中,或传递的时间和视觉方式)。人因学领域提供了与相关利益攸关方密切合作设计有效临床决策支持系统实施的原则性方法[64-66]。这些努力将成为未来工作的关键组成部分,以解决早期预警类系统的常见问题,如警报疲劳和认知过载。
最后,我们简要讨论临床决策支持系统在医疗决策中更广泛的伦理问题,例如与错误分类和临床医生依赖相关的问题。本研究的一个重要发现是不同治疗类别和模型类型之间预测性能的差异。未来工作的一个方面将是评估与每种治疗类型相关的假阳性和假阴性成本,以便在为基于阈值的模型评分提供依据时权衡取舍。由于错误启动治疗的成本在不同治疗之间可能存在显著差异,具有临床意义的模型性能水平预计会因治疗类型而异。这类考量可能促使对某些治疗类型使用更复杂的模型,而对其他治疗类型则不使用,即使这样做会带来更高的认证成本或投入。关于临床医生的依赖,我们强调,此类模型永远不能期望完全准确,并且在这个提出的框架中,临床医生对是否启动治疗负有最终责任。
局限性
我们强调并重申本研究的一些局限性。首先,我们的工作并未表明治疗推荐算法能改善患者结局,例如缩短治疗延迟和住院时间。这需要通过未来的前瞻性实施研究来评估,以确定使用我们的推荐算法是否能改善患者照护。我们预计前瞻性实施工作将提出重要的人为因素考量(例如,临床医生与临床决策支持之间的信任),而这些是本工作未涉及的。其次,尽管这是一个大型的、经过病历审查的数据集,但与通常用于训练医学机器学习(ML)模型的数据集相比,它仍然相对较小。这对于深度学习(即长短期记忆网络(LSTM))方法的性能而言是尤其重要的考量,因为该数据集可能太小,无法充分利用每次就诊时间序列数据中存在的额外信号。此外,尽管我们使用了多中心数据集,但纳入的站点均为美国中西部地区区域性相似的卫生系统;需要更多站点来评估这些结果对其他卫生系统的推广程度。最后,我们的工作主要关注所测试模型的判别性能和校准性能;我们未讨论不同治疗类型启动或错误启动的具体权衡。我们计划将这些因素纳入未来工作,因为它们有助于为建模决策中的权衡提供依据,并能够更全面地评估算法性能。
结论
本研究为一组常见治疗推荐任务提供了多种机器学习(ML)方法的基准区分度和校准性能。研究发现,推荐任务的难度因治疗类别而异,模型平均AUROC范围从约0.7(例如抗凝药或血管活性药)到接近0.9(例如抗心律失常药)。虽然没有任何单一模型在所有预测任务中统一优于其他所有模型,但XGB在各项任务中具有最佳的加权区分性能,并表现出良好的校准预测。结合经典机器学习和时间序列深度学习方法的集成模型,在每个预测任务的区分度和校准方面往往能够匹配或优于表现最佳的单一模型。观察到的性能表明,此类机器学习工具可与通用早期预警评分协同,作为有价值的临床决策支持,以改善病情恶化的普通病房患者的及时和适当治疗。
补充材料
参考来源
- Pulick E, Carey KA, Qyli T, et al. Treatment Recommendations for Clinical Deterioration on the Wards: Development and Validation of Machine Learning Models. JMIR AI. 2026. PMID: 41544252. doi:10.2196/81642
- 全文:PMC12810948(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12810948/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。