文献速递复苏、休克与脓毒症重症综合管理与镇静镇痛

人工智能算法预测院前急救中对重症监护的需求

Artificial intelligence algorithm to predict the need for critical care in prehospital emergency medical services.
PubMed 文献 · Scand J Trauma Resusc Emerg Med · 2020-03-04
一句话结论基于深度学习的AI算法利用院前急救信息预测重症监护需求,AUC 0.867,优于ESI、KTAS、NEWS和MEWS。

本研究为多中心回顾性队列研究,利用韩国国家急诊信息系统151家急诊科2014年1月至2016年12月的8,981,181例成人急诊就诊数据开发基于深度学习的AI算法,用于预测患者是否需要重症监护(入住ICU);并用两家医院2018年9月至2019年2月的2604份院前急救记录进行外部验证。AI算法预测重症监护的AUC为0.867(95%CI 0.864-0.871),优于急诊严重指数ESI(0.839)、韩国分诊 acuity 系统KTAS(0.824)、国家早期预警评分NEWS(0.741)和改良早期预警评分MEWS(0.696);AI+ESI集成模型AUC达0.923(95%CI 0.920-0.926),显著优于AI+KTAS(0.909)、单独AI及其他传统方法。作者认为该算法有望成为院前急救中快速识别高危患者、辅助精准决策的工具。

要点

  • AI算法基于年龄、性别、主诉、症状发作至到达时间、创伤和初始生命体征预测重症监护需求,外部验证AUC 0.867(95%CI 0.864-0.871)。
  • AI算法AUC 0.867优于ESI 0.839、KTAS 0.824、NEWS 0.741和MEWS 0.696。
  • AI+ESI集成模型AUC 0.923(95%CI 0.920-0.926),显著优于AI+KTAS 0.909(95%CI 0.906-0.912)、单独AI及其他传统方法。
  • 验证数据中重症监护患者占12.3%(319/2604),院内死亡占1.2%(30/2604)。
  • AI算法仅使用院前首次接触时的初始生命体征等简单变量,无需专家判断和医疗经验即可自动计算。

适用人群与场景

  • 成人患者(年龄≥18岁)经急诊医疗服务(EMS)就诊于急诊科。
  • 开发数据来自韩国国家急诊信息系统(NEDIS)中2014年1月至2016年12月就诊于151家急诊科的成人患者;验证数据为2018年9月至2019年2月两家医院经EMS就诊的成人患者院前急救记录。
  • 排除:到达时已宣告死亡者及数据缺失者。

诊断标准与关键阈值

  • 终点事件为需要重症监护(入住重症监护室)。
  • AI算法以年龄、性别、主诉、症状发作至到达时间、创伤、初始生命体征(收缩压、舒张压、心率、呼吸频率、体温)和意识状态为预测变量。
  • 评估AI算法连续评分时,固定敏感度为0.8。
  • 传统工具判定重症监护的阈值:ESI取1-2级、KTAS取1-2级、MEWS取3-14分、NEWS取5-20分。

研究设计与关键结果

  • 研究类型:多中心回顾性队列研究,非盲法,开发数据与外部验证数据完全分离。
  • 开发数据:NEDIS中151家急诊科共9,304,887次急诊就诊,排除323,696次(44,815次到达时已宣告死亡,278,881次数据缺失),最终纳入8,981,181例,其中511,342例(5.7%)接受重症监护,125,219例(1.4%)院内死亡。
  • 验证数据:两家医院2604份院前急救记录,排除124例(14例到达时已死亡,110例数据缺失),终点为319例(12.3%)接受重症监护,30例(1.2%)院内死亡。
  • AI算法预测重症监护的AUC为0.867(95%CI 0.864-0.871),优于ESI(0.839 [95%CI 0.831-0.846])、KTAS(0.824 [95%CI 0.815-0.832])、NEWS(0.741 [95%CI 0.734-0.748])和MEWS(0.696 [95%CI 0.691-0.699])。
  • 集成模型AI+ESI的AUC为0.923(95%CI 0.920-0.926),显著优于AI+KTAS(0.909 [95%CI 0.906-0.912])、单独AI算法及其他传统方法。
  • AI+ESI和AI+KTAS集成模型中,ESI/KTAS 1-2级直接判为重症,4-5级判为非重症,仅对3级患者应用AI算法评估。

证据类型、等级与局限

  • 证据类型:多中心回顾性队列研究(开发与外部验证)。
  • 局限:深度学习被认为是黑箱,难以完全理解模型如何预测重症监护;与传统方法(如XGboost或CatBoost可提供不确定性度量如95%置信区间)相比,深度学习难以量化不确定性度量,本文通过bootstrapping尽可能定量测量不确定性。
  • 局限:本研究仅在韩国两家医院进行,需要在更大规模人群或其他国家的EMS患者中验证模型。

对床旁实践的改变

  • 作者认为,基于深度学习的AI算法可利用院前急救信息准确预测患者对重症监护的需求,性能优于传统分诊工具和早期预警评分。
  • 作者认为,该算法有助于在院前急救中早期识别高危患者,并辅助决定转运途中的管理及选择目的地医院。
  • 作者认为,AI+ESI集成模型对ESI 3级患者应用AI算法可提高预测准确性,因为传统分诊工具在中间级别(如3级)准确性较低、重症与非重症患者混杂。
  • 作者认为,该算法预测变量简单,可通过可穿戴设备及患者或家属提供的信息获取,未来可能用于居家重症高危患者的日常监测和早期转诊。

提炼说明

  • 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:Scand J Trauma Resusc Emerg Med. 2020 Mar 4;28:17. doi: 10.1186/s13049-020-0713-4

引言

急诊医疗服务(EMS)的一个重要目标是根据患者状态提供适当的院前管理并转运至相关急诊科(ED)[1]。目前已开发出多种用于EMS的预后预测工具,但仅限于特定情况,如创伤[2]。尽管已有一些努力将现有的ED分诊工具和早期预警评分应用于EMS,但这些工具迄今表现不尽如人意[3]。

在EMS中,准确预测是否需要重症监护对于早期识别患者的脆弱性和高风险、以及在转运过程中决定最适当的管理方式具有重要意义[4]。如果预计患者需要重症监护,EMS技术人员必须绕过最近的初级ED将患者转运至高级ED[5]。准确的预后预测工具对于院前EMS技术人员与医院医务人员之间的沟通非常重要,有助于提供在线医疗指导和准备院内管理[6, 7]。

本研究的目标是开发并验证一种基于深度学习的人工智能(AI)算法,以准确预测EMS中患者是否需要重症监护。深度学习可以克服传统统计方法的局限性,近年来在多个领域(包括医学影像和结局预测)已达到最先进的性能[8–10]。据我们所知,本研究是首次使用AI算法预测EMS中的严重程度。

方法

研究设计与设置

这是一项多中心回顾性队列研究,非盲法研究。此外,研究在开发数据与外部验证数据之间完全分离。为建立AI算法,我们使用了韩国国家急诊科信息系统(NEDIS),该系统实时收集韩国151个ED的所有患者就诊信息。为对外部验证我们的模型,使用了就诊于两个ED的患者的EMS运行记录单。具体而言,EMS运行记录单包含EMS接触患者时间等信息。运行记录单以电子病历形式保存。验证数据集的样本量参照既往研究中使用的准确算法确定[11]。

数据包括年龄、性别、主诉、从症状发作到就诊(或EMS接触)的时间、创伤、初始生命体征(收缩压、舒张压、心率、呼吸频率和体温)以及精神状态;这些数据用作预测变量。本研究的终点为重症监护(入住重症监护病房)。为稳定训练,输入变量经z-score标准化处理。

世宗综合医院(2019–0212)和Mediplex世宗医院(2019–049)的机构审查委员会批准了本研究方案,并因实施不切实际且危害极小而豁免了知情同意的需要。

参与者选择

研究对象为就诊于ED的成年患者(年龄≥18岁)。从开发数据(NEDIS)中,我们选取了2014年1月至2016年12月期间就诊于ED的成年患者。此外,我们选取了2018年9月至2019年2月期间通过EMS就诊于两个ED的患者作为测试数据。我们排除了到院时已宣告死亡的患者以及数据缺失的患者,如图1所示。

图1 研究流程图。图例:ED:急诊科;EMS:紧急医疗服务 查看原图 ↗

基于深度学习的AI算法开发

为建立我们的算法,使用了开发数据(NEDIS)。为了对是否存在重症监护需求进行分类,我们使用了前馈网络(5个隐藏层、89个节点和批归一化[12, 13]),该网络使用softmax分类器训练输出。我们在每一层应用0.5的dropout率进行正则化,并使用修正线性单元作为激活函数。使用Adam优化器提高优化效率,同时基于监督学习使用交叉熵损失函数最小化预测损失。此外,我们使用TensorFlow(Google Brain团队,美国山景城)作为后端[14]。校准图和Brier评分见补充图。

AI算法性能测试及与传统方法的比较

我们将该算法在预测重症监护方面的性能与急诊严重程度指数(ESI)、韩国分诊与严重度系统(KTAS)、改良早期预警评分(MEWS)和国家早期预警评分(NEWS)进行了比较。ESI是一种全球使用的五级急诊科分诊算法,最初于1999年开发[15, 16]。它基于患者医疗问题的严重程度以及预计所需的资源数量。KTAS于2012年基于加拿大分诊与严重度量表开发,自2016年起在韩国作为分诊工具在全国范围内使用[11, 17, 18]。KTAS是一种五级急诊科分诊算法,考虑症状、疼痛和生理值。三名在急诊科临床实践超过5年的医务人员参与了本研究。他们根据测试数据中患者的EMS运行记录单信息确定ESI和KTAS等级。结果冲突时通过讨论决定。

MEWS是一种广泛用于预测严重程度和病情恶化的工具,使用收缩压、心率、呼吸频率、体温和精神状态计算[19]。NEWS在英国开发。它是一种常用的综合评分系统,考虑呼吸频率、氧饱和度、体温、收缩压、心率和精神状态[20]。MEWS和NEWS评分已被充分验证并在全球范围内使用。在既往研究中,已有一些努力将这些早期预警评分应用于紧急医疗服务[21]。我们根据EMS运行记录单的信息计算MEWS和NEWS评分。EMS运行记录单包含EMS首次接触每位患者时的数据。

我们仅使用划分出的测试数据对开发的算法进行了验证。性能指标采用受试者工作特征曲线下面积(AUC)、灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)和F1分数。AUC是一种常用的指标,显示灵敏度对1-特异度的关系[22]。基于既往研究,我们分别使用1–2级、1–2级、3–14分和5–20分来预测使用ESI、KTAS、MEWS和NEWS的危重症监护[11, 17–21]。在评估AI算法预测的连续评分时,我们将灵敏度固定为0.8。此外,我们使用自举法(10,000次有放回重采样)评估了95%置信区间[23]。我们使用R语言(R Development Core Team,奥地利维也纳)中的ROCR包进行这些分析。

结合AI算法与传统分诊工具

为开发高性能算法,我们将AI算法与传统分诊工具相结合。该方法称为集成[24]。如既往研究报道,ESI和KTAS的一个主要局限性是中间级别(如3级)患者的准确性下降。我们对每个ESI和KTAS的3级患者应用AI算法,并验证了两种集成模型(AI+ESI和AI+KTAS)的性能。为此,1级和2级患者被预测为危重症,而4级和5级患者被预测为非危重症。AI算法仅评估3级患者。

结果

在开发数据中,NEDIS共纳入了151家医院的9,304,887次急诊就诊。我们因排除标准排除了323,696次就诊:其中44,815次为到院时已宣告死亡,而278,881次就诊数据缺失。由于缺失变量,纳入与排除的研究对象之间未观察到预测变量的显著差异。因此,研究 subjects 包括8,981,181例急诊患者;511,342例最终接受危重症监护(5.7%),125,219例(1.4%)在医院死亡。

在测试数据方面,排除124例患者(14例到院时已死亡,110例数据缺失)后,使用来自两家医院的2604例患者对AI算法在EMSs中进行了验证,其终点为319例接受危重症监护(12.3%),其中30例在医院死亡(1.2%)。

开发数据和测试数据的基线特征见表1。这两组数据为完全划分,其特征存在显著差异。

如图2所示,AI算法的AUC为0.867(95%置信区间[0.864–0.871]),优于ESI(0.839)、KTAS(0.824)、NEWS(0.741)和MEWS(0.696)。此外,集成算法AI + ESI(0.923 [0.920–0.926])显著优于其他集成算法AI + KTAS(0.909 [0.906–0.912])、AI算法和其他传统方法。

表1 基线特征a 查看原表 ↗
图2 预测重症监护的受试者工作特征曲线 图例:*AI:人工智能;AUC:受试者工作特征曲线下面积;CI:置信区间;ESI:急诊严重度指数,KTAS:韩国分诊与急迫度系统;MEWS:改良早期预警评分;NEWS:国家早期预警评分;NPV:阴性预测值;PPV:阳性预测值。†该p值的备择假设为人工智能算法与其他预测方法之间存在差异。‡该p值的备择假设为结合人工智能与ESI的集成模型与其他预测方法之间存在差异 查看原图 ↗

讨论

本研究表明,人工智能算法能够准确预测院前急救环境中对重症监护的需求。

预测重症监护需求对于选择目的地急诊科以及在转运过程中提供适当处理非常重要[4, 5]。此外,准确预测预后和治疗的工具有助于院前急救技术人员与医院医务人员之间的沟通[6, 7]。然而,院前环境中的大多数分诊工具仅针对创伤患者开发,尚无覆盖所有急救情况的通用工具[2, 25]。尽管急诊科的传统分诊工具已被应用于预测院前环境中的重症监护需求[21, 26, 27],但其在预测预后方面表现不尽如人意。

本研究的重要发现是,基于深度学习的人工智能模型的预测性能优于传统分诊工具和评分系统。此外,三名急诊科医务人员参与了根据急救运行记录表决定分诊级别。有趣的是,人工智能算法的准确性优于专家医务人员的决策准确性。人工智能算法基于基本信息执行自动计算,不需要专家判断和医学经验。

深度学习无需先验知识来训练模型即可获得高性能;因此,这表明深度学习以某种方式自动学习输入变量之间的特征关系。在我们之前的研究中,我们开发了一种基于深度学习的人工智能算法,用于预测急诊科患者的重症监护需求[11]。从之前的研究中,我们发现逻辑回归等传统统计方法可能难以确定输入变量之间的关系[10, 28, 29]。由于使用了大量输入变量,输入的维数增加。这在某种程度上表明,需要人工进行特征提取过程,并应努力确定输入变量之间的关系。

同时,深度学习包括特征学习,其允许模型自动学习执行任务所需的输入变量之间的关系和特征[30]。如我们先前的研究所示,深度学习可用于理解特征之间的联系,并且优于传统方法和其他机器学习方法[9, 11, 31]。需要注意的是,在深度学习中,特征学习不是由人类设计的。由于这一过程自动演化,将更容易且更有效地识别高维数据中的复杂结构而不丢失信息,并将实现端到端学习,这需要很少的人工工程。最后,它可以轻松快速地应用于其他任务[30]。

此外,使用深度学习中一个众所周知的概念是数据量的重要性。数十年来大量数据的积累促进了深度学习性能的提升。同样,基于深度学习的模型性能在很大程度上取决于数据量。在本研究中,我们使用了NEDIS数据,其包含数百万条数据。我们认为,与其他方法相比,这种积累的数据量更适合深度学习。此外,我们仅使用了患者的初始生命体征(假设在转运过程中难以多次测量生命体征)。我们认为简单的DNN模型比LSTM更合适。因为LSTM是基于序列信息的。

防止过拟合到单一医院是一个重要问题。此外,验证模型是否过拟合到特定环境至关重要。因此,获取外部验证数据很重要。Wolpert在“没有免费午餐”定理中解释了这一点:如果在一种情况下优化,算法在其他情况下无法产生良好结果[32]。在本研究中,开发数据(ED)和测试数据(EMS)被完全分开。更具体地说,模型在外部数据集上进行了评估,可能避免在一种环境中过拟合。

传统分诊工具的一个主要局限性是其在中间级别的准确性较低[18, 33, 34]。如图3所示,在3级分诊中,人群混合了重症监护和非重症监护患者。如果能够区分3级患者,我们认为预测结果的准确性将会提高。因此,我们努力将该算法应用于3级患者。

在本研究中,我们开发了集成算法来评估3级患者,并确认AI+ESI算法具有更高的性能。有趣的是,专家意见(ESI级别)和AI算法的结合表现出更准确的性能。这些结果为其他医学领域的研究人员提供了解决问题的机会。例如,在先前泌尿外科的研究中,AI算法已被应用于预测前列腺活检结果和膀胱癌的无复发生存概率[35]。此外,在几项先前的研究中,已使用AI算法预测心血管疾病患者的院内和长期死亡率。

我们的研究存在若干局限性。第一,深度学习被认为是一个黑箱。尽管我们可以基于深度学习拟合AI算法,但难以完全理解模型如何预测危重症监护需求。此外,与传统方法(如XGboost或CatBoost可呈现不确定性度量,例如95%置信区间)不同,深度学习在量化不确定性度量方面难度更大。本文中,为描述不确定性信息,我们尝试通过自助法(bootstrapping)尽可能定量测量不确定性[23]。事实上,近期已有研究尝试解释深度学习和测量不确定性,这将是我们下一步的研究方向[36, 37]。第二,由于本研究仅在韩国的两家医院开展,因此有必要在更大规模人群或其他国家的院前急救(EMS)患者中验证该模型。

我们通过结合AI算法与传统分诊工具,开发了一种高性能算法。尽管存在若干局限性,深度学习在多个医学领域均取得了较高的预测性能。此外,深度学习算法的开发比机器学习方法更为简便。基于我们的方法和结果,其他研究者可针对其自身的患者群体和临床情境开发算法。此外,医学研究者可探讨深度学习在医学各领域的适用性和未来发展。例如,利用该算法,可在院前急救情境中预测患者对危重症监护的需求,并通过综合考虑预测的危重症监护需求和医院状况(如急诊科拥挤程度、重症监护病房(ICU)容量和危重症监护可用性)来优化转运目的地医院。此外,该算法中的预测变量简单,可通过可穿戴设备以及来自患者或其家属的信息获取。因此,对于患有严重基础疾病的患者,在其居家期间可每日监测其危重症监护需求,若出现病情恶化可更早转诊至医院。

图3 使用传统分诊系统的患者分布和性能 查看原图 ↗

结论

本研究中使用AI算法的分诊利用院前急救情境中的信息准确预测了患者对危重症监护的需求,且优于传统分诊工具和早期预警评分。结果显示了AI在院前急救中的潜力,其将成为识别高危患者并辅助日常实践中精准决策的有用且快速的工具。

补充信息

附加文件1. 补充材料。Brier评分和校准图。

参考来源

  1. Kang DY, Cho KJ, Kwon O, et al. Artificial intelligence algorithm to predict the need for critical care in prehospital emergency medical services. Scand J Trauma Resusc Emerg Med. 2020. PMID: 32131867. doi:10.1186/s13049-020-0713-4
  2. 全文:PMC7057604(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7057604/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。