可解释机器学习分诊工具用于急诊入院后死亡率估计的开发与评估
该单中心回顾性队列研究基于新加坡一家三级医院2009至2016年急诊入院患者数据,用AutoScore机器学习框架开发了SERP-2d、SERP-7d和SERP-30d三个简易评分。SERP-30d在测试集中预测2天死亡AUC 0.821、7天死亡AUC 0.826、30天死亡AUC 0.823、住院死亡AUC 0.810,优于PACS、NEWS、MEWS、CART、RAPS和REMS。SERP仅纳入年龄、心率、呼吸频率、舒张压、收缩压等少数客观变量,计算简便,可作为急诊分诊时临床判断的辅助工具。
要点
- SERP-30d预测住院死亡AUC 0.810(95%CI 0.799-0.821),对短期和相对长期死亡风险均有较好区分能力。
- 三个SERP评分中,年龄、心率、呼吸频率、舒张压、收缩压为共同入选变量;SERP-2d和SERP-30d各纳入6个变量,SERP-7d纳入5个变量,评分总分约0至60分。
- 训练队列中2天死亡率为0.8%、7天为2.2%、30天为5.9%;2天死亡率低导致SERP-2d数据高度不平衡,而SERP-30d因包含全部2天和7天死亡病例而更可靠。
- SERP仅由客观变量构成,可由受过培训的医疗助理计算或整合入医院电子病历,无需专业医务人员,适合快节奏急诊环境。
适用人群与场景
- 纳入2009年1月1日至2016年12月31日在新加坡中央医院急诊就诊并随后入院的患者,共纳入急诊入院病例。
- 排除年龄小于21岁的患者,以及可能病历不完整的非公民患者。
- 研究场景为三级医院急诊科,仅纳入急诊入院患者,未纳入急诊非入院患者。
诊断标准与关键阈值
- SERP评分总分约0至60分,分值越高对应观察到的死亡率越高;原文未给出用于临床决策的具体阈值。
- SERP-30d纳入6个变量,SERP-7d纳入5个变量,三个评分共同入选变量为年龄、心率、呼吸频率、舒张压和收缩压。
- 原文未给出SERP评分的启动、停止或分层界值。
处置流程与药物剂量
- 原文未提及
红旗征与不能漏的情况
- 原文未提及具体红旗征或需要立刻处理的情况。
研究设计与关键结果
- 训练队列死亡率:2天0.8%、7天2.2%、30天5.9%。
- SERP-30d在测试集预测2天死亡AUC 0.821(95%CI 0.796-0.847)、7天死亡AUC 0.826(95%CI 0.811-0.841)、30天死亡AUC 0.823(95%CI 0.814-0.832)、住院死亡AUC 0.810(95%CI 0.799-0.821),优于PACS、NEWS、MEWS、CART、RAPS和REMS。
- 从26个候选变量中通过AutoScore筛选变量;加入更多变量后模型性能无明显提升。
证据类型、等级与局限
- 证据类型为单中心回顾性队列研究,遵循STROBE报告规范。
- 局限:数据基于常规收集的电子病历变量,未纳入社会经济地位等变量;单中心三级医院研究,不同机构中性能可能不同;仅纳入急诊入院患者,推广至全部急诊人群可能受限。
对床旁实践的改变
- SERP可作为急诊分诊时估算急诊入院患者2、7、30天死亡风险的客观辅助工具,与临床判断配合使用。
- SERP仅含客观变量,可由受训医疗助理计算或整合入电子病历,不增加专业医务人员负担。
- 原文指出SERP能否改善实际临床结局尚需前瞻性研究验证,且需确定合适的分层阈值,目前不能作为决策阈值使用。
- 适用人群为急诊就诊后入院、年龄≥21岁的患者;不适用于年龄<21岁者、非公民病历不完整者,以及急诊非入院患者(原文仅纳入入院患者)。
指南或共识出处
- 原文未引用具体指南或共识;提及的对照评分包括PACS、MEWS、NEWS、CART、RAPS和REMS。
全文中译12 节 · 点击展开
引言
急诊科(ED)的分诊,即决定是否收治入院及合适的医院照护级别,是一项复杂的临床判断,基于对患者可能的短期病程、医疗资源可用性及当地实践规范的默会理解。1,2 除分诊类别外,早期预警评分也用于识别存在不良事件风险的患者。其中一个例子是心脏风险评估分诊(CART)评分,3 该评分根据患者的生命体征计算得分,提示其发生心脏骤停、随后转入重症监护病房及死亡的风险。4
迄今为止,很少有研究5,6,7,8利用分诊时有限的可用数据,探讨普通急诊人群短期和长期死亡的变量。大多数急诊特异性评分针对特定疾病,例如用于感染和脓毒症的快速脓毒症相关器官衰竭评估,5,6 用于心脏疾病的CART,或用于老年人群的急诊科死亡预测。7,8 急诊科已采用若干通用评分,如改良早期预警评分(MEWS)和急性生理学与慢性健康状况评价(APACHE)II评分。然而,MEWS仅具有中等预测能力,曲线下面积(AUC)为0.71,9 而APACHE II需要分诊时无法获得的实验室变量。10 在快节奏的急诊环境中,评分工具需要准确且简便。
为满足适合急诊工作流程的风险工具需求,我们使用名为AutoScore的通用机器学习评分框架开发了急诊风险预测评分(SERP)。11 所得工具在测试集中与新加坡当前使用的分诊系统——患者病情分级量表(PACS)12 以及若干已有的早期预警或分诊评分进行了比较。
方法
研究设计与设置
我们对新加坡中央医院(SGH)急诊科就诊的患者进行了一项回顾性队列研究。新加坡是东南亚的一个城市国家,社会老龄化迅速13;目前约五分之一的新加坡人年龄在60岁或以上。14 SGH是新加坡最大、历史最悠久的公立三级医院。SGH急诊科每年接诊超过120 000人次,住院收治36 000人次。电子健康记录(EHR)数据取自Singapore Health Services并进行分析。本研究经Singapore Health Services集中机构审查委员会批准,鉴于研究的回顾性性质,获准豁免EHR数据收集和分析的知情同意。所有数据均已去标识化。本研究遵循加强流行病学观察性研究报告(STROBE)报告指南。15
研究人群
纳入2009年1月1日至2016年12月31日期间就诊于SGH急诊科并随后住院的所有患者。我们将这些纳入的就诊事件称为急诊入院。排除年龄小于21岁的患者。我们还排除了可能病历记录不完整的非公民患者。2009年1月1日至2015年12月31日期间的这些入院事件被随机分为2个不重叠的队列:训练队列(80%)和验证队列(20%)。2016年的入院事件被分配到测试队列。选择这种序贯测试设计是为了更符合未来应用场景,并评估人群漂移是否会影响模型性能。
结局
用于开发和测试该工具的主要结局为2天、7天和30天死亡率,分别定义为急诊入院后2天、7天和30天内的死亡。使用相应的主要结局开发了三种SERP评分,即SERP-2d、SERP-7d和SERP-30d。我们还测试了这些临床评分在次要结局上的性能,包括住院死亡率(定义为院内死亡)和3天死亡率(定义为入院时间后72小时内的死亡)。死亡记录从国家死亡登记处获取,并与电子健康记录(EHR)中的特定患者进行匹配。
数据收集与候选变量
我们通过SingHealth电子健康智能系统从医院EHR中提取数据。患者详细信息经去标识化处理,符合《健康保险携带与责任法案》法规。合并症从患者索引急诊入院前5年的医院诊断和出院记录中获取。它们提取自《国际疾病分类》第九版(ICD-9)和《疾病和有关健康问题的国际统计分类》第十版(ICD-10),16 这是全球范围内用于流行病学和临床目的的诊断工具。我们预先选择了入院前急诊科可获得的候选变量,以确保SERP在临床上实用且对急诊科患者的早期风险分层有效。候选变量包括人口学特征、管理变量、前一年的病史、生命体征和合并症。候选变量列表见Supplement中的eTable 1。合并症变量根据Charlson合并症指数定义。我们使用了Quan等17开发和更新的算法来实现Charlson合并症指数与ICD-9/ICD-10编码之间的关联。
统计分析
数据使用R软件3.5.3版(R Foundation for Statistical Computing)进行分析。初步分析于2020年10月完成,补充分析于2021年5月进行。研究人群的基线特征在全部3个队列(训练队列、验证队列和测试队列)中进行分析。在描述性汇总中,分类变量报告为例数(百分比)。对于连续变量,报告为均值(标准差)。在分析过程中,如果生命体征数值超出基于临床知识的合理生理范围,则该值被视为离群值并设为缺失值。例如,任何生命体征值低于0、心率高于300次/分、呼吸频率高于50次/分、收缩压高于300 mm Hg、舒张压高于180 mm Hg,或脉搏血氧饱和度测得值高于100%,均被视为离群值。随后,所有缺失值均使用训练队列的中位数进行插补。
我们实施了AutoScore,11一种基于机器学习的临床评分生成算法,以推导SERP评分模型。AutoScore结合了机器学习和逻辑回归,整合了多个数据处理模块,并自动化开发针对预定结局的简约稀疏评分风险模型。此外,它使用户能够快速、无缝地构建可解释的临床评分,这些评分可 easily 在临床实践中实施和验证。训练队列用于使用AutoScore框架生成初步的SERP模型。验证队列用于评估多个候选SERP模型以进行参数调优和模型选择。然后,我们基于测试队列计算最终SERP模型的性能指标。最后,我们使用主要结局进行模型推导,并应用主要和次要结局进行模型评价。实施细节和方法学描述在补充材料的eFigure 1和eMethods中详细阐述。
模型推导后,基于测试队列报告最终SERP评分的预测性能,其中应用自举样本计算95% CI。SERP的每个分解项均被分配一个评分,以反映对每个变量的扰动程度。然后将各单项评分相加,得出用于结局风险分层的汇总SERP评分。SERP的预测能力使用受试者工作特征(ROC)分析中的AUC进行衡量。敏感度、特异度、阳性预测值和阴性预测值在最佳阈值下计算,该阈值定义为ROC曲线上最接近左上角的点。还比较了不同阈值下计算的指标以评价预测性能。使用相同的测试队列,我们将3种SERP评分与PACS、MEWS、18国家早期预警评分(NEWS)、19 CART、3快速急性生理评分(RAPS)、20和快速急诊医学评分(REMS)21在本研究中估计多种死亡结局方面进行了比较。
结果
研究队列的基线特征
在2009年1月1日至2015年12月31日期间,共评估了280 833例次入院事件,其中训练队列224 666例次(患者平均[SD]年龄,63.60[16.90]岁;113 426[50.5%]为女性),验证队列56 167例次(患者平均[SD]年龄,63.58[16.87]岁;28 427[50.6%]为女性)。此外,2016年的42 676例次入院事件被纳入测试队列(患者平均[SD]年龄,64.85[16.80]岁;21 556[50.5%]为女性)(图1)。训练队列中观察到的死亡率在2天时为0.8%,7天时为2.2%,30天时为5.9%。族裔构成与人群常规相符(华人74.3%,马来人12.9%,印度人10.0%,其他2.8%)。共有39 548例次(17.6%)被分诊为PACS 1,128 644例次(57.3%)被分诊为PACS 2。表1显示,训练队列和验证队列的患者特征在年龄、性别、种族和族裔构成及其他特征方面相似。与训练队列和验证队列相比,测试队列的患者年龄略大,分诊为PACS 1的风险更高,患有痴呆、糖尿病和肾脏疾病合并症的人数更多。测试队列患者的死亡率也略低,过去一年急诊入院或手术次数更多。这一差异可能反映了人群变化和随时间推移医疗服务的改善。
所选变量与SERP评分
使用AutoScore从所有26个候选变量中筛选出最具判别力的变量(补充材料中的e表1)。基于验证集的简约图(即模型性能与复杂度的关系)用于确定变量的选择(补充材料中的e图2)。我们选择6个变量作为SERP-2d和SERP-30d的简约选择,而包含5个变量的SERP-7d在简约图中达到了良好的平衡。3个SERP评分均选择了5个变量,包括年龄、心率、呼吸频率、舒张压和收缩压。这些所选变量凸显了生命体征在急诊环境中对患者进行风险分诊的重要性。从补充材料中的e图2可以看出,当向评分模型中加入更多变量时,性能并未显著改善。
基于主要结局(2天、7天和30天死亡率)得出的SERP评分列于表2。由其纳入变量求和得到的所有3个评分范围均为0至约60。我们使用测试队列评估SERP评分的性能。补充材料中的e图3描绘了不同评分区间内发作事件的分布,其呈近似正态分布。对于SERP-2d和SERP-30d,大多数患者的风险评分在16至24之间,少数患者评分低于9或高于40。如补充材料中的e图4所示,在测试队列中,随着我们的风险评分升高,观察到的死亡率增加。就SERP的不同组成部分而言,当年龄小于30岁时,其相应风险(以分值量化)最低;当年龄大于80岁时,风险最高。同样,当报告的舒张压介于50至94 mm Hg之间时,相应风险最低,而当低于49 mm Hg时,风险最高。因此,SERP评分根据所关注的结局,对每个组成部分设有不同的分值。
性能评估
在测试队列中通过ROC分析评估的SERP评分和其他临床评分的性能报告于表3和图2。SERP在估计所有与死亡率相关的结局方面具有良好的判别能力。SERP-30d在短期和长期死亡率预测方面表现最佳,2天死亡率的AUC为0.821(95% CI,0.796-0.847),7天死亡率的AUC为0.826(95% CI,0.811-0.841),30天死亡率的AUC为0.823(95% CI,0.814-0.832),住院死亡率的AUC为0.810(95% CI,0.799-0.821)。补充材料中的e表2和e表3分别总结了SERP评分及其对照评分在30天和2天死亡风险估计方面的预测性能。
讨论
本队列研究基于2天、7天和30天死亡率开发了简洁且基于分值的SERP评分,用于对急诊入院后患者进行风险分层。与其他基于分值的临床工具(即PACS、NEWS、MEWS、CART、RAPS和REMS)相比,SERP评分在识别短期或长期诊疗期间死亡的患者方面更为准确。既往一项研究22使用在急诊科获得的基本人口学、管理学和临床信息等变量开发了住院死亡率模型。尽管该模型显示出良好的判别性能,但需要使用计算机并纳入19个变量来计算评分,限制了其适用性和可解释性。相反,SERP是一种加性、基于分值的分诊工具,使其简单、计算快速、透明且可解释。此外,SERP具有易于实施的优势,使其能够在不同的真实世界环境中广泛应用。
在3个SERP评分中,SERP-30d在短期(例如2天或3天)死亡率和相对长期(例如30天)死亡风险估计方面取得了令人满意的表现。SERP-30d表现出色可能存在若干原因。我们队列中的2天死亡率低至0.8%。因此,SERP-2d是基于高度不平衡的数据开发的,在预测建模中,多数类(存活组)样本的丰富程度可能会压倒少数类。作为对比,30天死亡率包含所有2天或7天死亡病例,且更为常见,发生率为5.9%,使SERP-30d评分更可靠、更准确。我们的结果再次证实了30天死亡率作为急诊科(ED)重要指标的价值。23,24,25 除生命体征外,SERP-30d评分还包括合并症,多项研究已证明其重要性。26,27,28,29 例如,Chu等26报告了患者合并症对短期和长期死亡率的贡献。在所有3个SERP评分中,年龄通过数据驱动过程被选为关键变量,这与关于年龄在ED患者中重要作用的证据一致。27,28,29
SERP评分可在ED分诊期间提供客观指标,以估计患者的死亡风险。尽管医生通常能够判断患者急性病情的严重程度和生命威胁,但其决策往往是主观的,并取决于个人经验和知识。在一项针对老年患者的研究30中,尽管医生能够在会诊期间估计30天死亡率,但他们每5例死亡中漏诊4例,灵敏度仅为20%。与急诊严重指数(Emergency Severity Index)31一样,一些分诊评分可能在风险估计方面表现更好,但需要一些主观变量。近期一些研究32,33,34强调了数据驱动的客观临床决策工具的作用,以帮助医生重新思考和重新评估ED的分诊流程。由于我们的SERP评分仅由客观要素组成,经过培训的医疗助理即可轻松计算,或将其整合到现有的医院电子健康记录(EHR)中,无需专业医务人员。因此,可以在不对ED工作负荷产生不利影响的情况下快速估计患者的死亡风险,这在快节奏的ED环境以及由全科医生而非急诊医学专科医生运营的其他异质性急诊照护系统中非常重要。鉴于我们的工具旨在作为会诊期间临床判断能力的辅助手段,这种风险分层工具 conceivably 可在医生计划收治患者并考虑可能适合该个体的服务级别时使用。
最终,最重要的未解问题是SERP能否在 actual 临床实践中改善结局。为解决这一问题,需要进行前瞻性研究以验证其真实世界的预测能力,并确定将ED人群分层为不同风险类别的适当阈值。此外,鉴于SERP作为一种简单且可解释的评分工具的优势,可进行进一步评估以评价评分实施中更为无形的方面。35,36 此类措施将包括确定SERP的长期可持续性、总体成本效益以及医生感知的可接受性。这些未来评估可能为SERP作为ED内决策的有效且准确工具提供支持。
优势与局限性
本研究具有若干优势。首先,基于机器学习的AutoScore11变量选择能够高效过滤冗余信息,从而获得稀疏解。Sanchez-Pinto等37也指出,变量选择在降低预测模型复杂性而不损害其准确性方面起着至关重要的作用,尤其是在面对从电子健康记录(EHR)中提取的大量候选特征时。38同样,Liu等39证明更多变量并不必然带来对不良心脏事件的更好预测。SERP的第二个优势是用于推导风险评分的数据集规模。该数据集是用于生成基于分诊模型的最大数据集之一,包含来自一家大型三级医院8年间超过300 000例急诊入院患者的队列。第三,SERP评分在测试队列中始终表现良好,即使在不断演变的临床环境中患者特征、结局患病率和临床实践发生变化的情况下也是如此。40
本研究也存在若干局限性。首先,本研究使用的数据集基于常规收集变量的EHR数据。因此,一些变量(如社会经济状况)未被用于SERP评分的开发。其次,由于这是一项在三级医院进行的单中心研究,SERP评分的性能在不同环境中可能有所差异。第三,我们的急诊科队列仅包括急诊入院患者,这可能在将这些评分应用于一般急诊人群时影响评分的可推广性。
结论
SERP是一种简约的基于分值的评分工具,用于急诊科患者的分诊。在这项队列研究中,SERP与现有分诊评分相比表现更好,并具有易于实施和急诊就诊时易于确定的优势。SERP评分有潜力在不同情况和医疗环境中广泛使用和验证。随着SERP在急诊分诊中的临床应用,未来可通过基于机器学习的AutoScore框架在各临床领域推导出更多量身定制的评分。
参考来源
- Xie F, Ong MEH, Liew JNMH, et al. Development and Assessment of an Interpretable Machine Learning Triage Tool for Estimating Mortality After Emergency Admissions. JAMA Netw Open. 2021. PMID: 34448870. doi:10.1001/jamanetworkopen.2021.18467
- 全文:PMC8397930(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8397930/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。