文献速递重症综合管理与镇静镇痛

人工神经网络改进并简化重症监护死亡率预测:一项纳入217289例首次ICU入院的全国队列研究

Artificial neural networks improve and simplify intensive care mortality prognostication: a national cohort study of 217,289 first-time intensive care unit admissions.
PubMed 文献 · J Intensive Care · 2019-08-16
一句话结论在瑞典全国ICU队列中,基于入院1小时内参数的人工神经网络模型预测30天死亡率优于SAPS 3模型(AUC 0.89 vs 0.85),八参数简化模型即可达到SAPS 3同等性能。

该研究基于瑞典重症监护登记库2009-2017年217289例首次成人ICU入院(排除心胸外科ICU),用入院1小时内前瞻性记录的SAPS 3参数构建人工神经网络模型,并在独立测试集(n=36214)上验证。ANN模型预测30天死亡的AUC为0.89、Brier评分0.096,均优于SAPS 3的AUC 0.85、Brier评分0.109(AUC比较p<10^-15,Brier比较p<10^-5)。八参数ANN子集(年龄、意识水平、神经系统病因、心血管病因、癌症、体温、pH、白细胞)性能与SAPS 3相当(AUC 0.851,95%CI 0.845-0.857;Brier评分0.106,95%CI 0.106-0.107),且校准更优。ANN在按年龄校正死亡率方面优于SAPS 3,SAPS 3低估老年ICU人群死亡率、高估年轻人群死亡率。

要点

  • 在36214例独立测试集中,ANN模型预测30天死亡的AUC 0.89优于SAPS 3的0.85(p<10^-15),Brier评分0.096优于0.109(p<10^-5)。
  • 八参数ANN子集(年龄、意识水平、神经系统病因、心血管病因、癌症、体温、pH、白细胞)AUC 0.851(95%CI 0.845-0.857),性能与SAPS 3相当而校准更优。
  • ANN模型在高预计死亡率区间(0.7-1)校准误差小于SAPS 3,对最危重患者的30天死亡率预测更准。
  • ANN模型在按年龄校正死亡率上优于SAPS 3;SAPS 3低估老年ICU人群死亡率、高估年轻ICU人群死亡率。
  • ANN模型在所有主要ICU诊断中均优于SAPS 3,SAPS 3性能越差的诊断(如呼吸衰竭AUC 0.83提升至0.88)改善幅度越大。

适用人群与场景

  • 瑞典2009-2017年所有首次成人ICU入院,排除心胸外科ICU入院(因其使用不同评分系统),随访至少30天。
  • 中位年龄65岁(IQR 48-76岁),中位SAPS 3评分53(IQR 42-65),30天死亡率18.5%。

诊断标准与关键阈值

  • SAPS 3参数及30天死亡率取自瑞典重症监护登记库,生理参数和实验室检查在ICU入院1小时内前瞻性记录。
  • 预计死亡率按2016年瑞典最新校准计算,估计30天死亡率(原始SAPS 3模型估计院内死亡率)。
  • 意识水平:瑞典常用Reaction Level Scale(RLS85),研究中80%记录RLS85、20%记录GCS、2.5%两者均无;两者均转换为APACHE II的中枢神经系统(CNS)评分后输入ANN。

研究设计与关键结果

  • 全国队列研究:217289例首次成人ICU入院,随机1/6(n=36214)为测试集、5/6(n=181075)为训练集;测试集与训练集SAPS 3参数经多重检验校正后无差异。
  • ANN模型(AUC 0.89,Brier评分0.096)预测30天死亡率优于SAPS 3(AUC 0.85,Brier评分0.109),AUC比较p<10^-15,Brier评分比较p<10^-5。
  • 八参数ANN子集为性能优于SAPS 3的最小参数子集,参数按AUC重要性依次为年龄、意识水平、神经系统病因、心血管病因、癌症、体温、pH、白细胞;AUC 0.851(95%CI 0.845-0.857),Brier评分0.106(95%CI 0.106-0.107)。
  • ANN模型在高预计死亡率区间(0.7-1)校准误差小于SAPS 3;ANN模型在按年龄校正死亡率上优于SAPS 3,SAPS 3低估老年ICU人群死亡率、高估年轻ICU人群死亡率。
  • ANN模型在所有主要ICU诊断中均优于SAPS 3;呼吸衰竭SAPS 3 AUC 0.83、ANN 0.88,胃肠道出血SAPS 3 AUC 0.88、ANN 0.91。

证据类型、等级与局限

  • 证据类型:基于瑞典重症监护登记库的全国队列研究,含独立测试集验证。
  • 局限:作者指出所有神经网络模型的主要局限是可视作「黑箱」模型,即对单个参数如何贡献于预测知之甚少;该问题通过按参数对总AUC的贡献排序而有所缓解。

对床旁实践的改变

  • 作者认为,基于本研究,基于逻辑回归的预测模型应被放弃,取而代之的是人工神经网络等机器学习算法。
  • 作者鼓励重症监护登记库使用ANN模型进行短期死亡率预测,用于质量控制和科研。
  • 作者认为八参数ANN子集提示可用简单ANN模型替代SAPS 3模型,从而需要更少资源并提高登记成功率,这在新设全国ICU登记库时尤为理想。

提炼说明

  • 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译5 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:J Intensive Care. 2019 Aug 16;7:44. doi: 10.1186/s40560-019-0393-1

引言

入住重症监护室(ICU)时的结局预测是一项困难的任务,因为患者因多种不同严重程度的疾病而入ICU,此外患者在年龄和合并症方面也存在差异。在本研究中,我们探讨当前早期(入ICU 1小时内)ICU评分金标准——简化急性生理评分(SAPS 3)[1, 2]——是否可以通过人工神经网络(ANN)加以改进。

ANN是节点或人工神经元的集合,粗略地模拟大脑的神经元。每个连接或边,如同生物大脑中的突触,可以将信号从一个节点传递到另一个节点(见图1)。接收信号的节点对其进行处理,随后向外传导至其他相连节点。节点之间的信号通常为实数,每个人工神经元的输出通过其输入之和的某种非线性函数计算得出。人工神经元和边通常具有权重,权重随学习过程进行调整。权重增大或减小连接处信号的强度[3]。

计算速度的进步和高效算法的发展,使人工神经网络等机器学习技术在过去的十年中经历了复兴。机器学习的使用已被证明在广泛的医学领域中具有价值,从解读心脏磁共振成像以预测肺动脉高压的死亡率到检测皮肤癌[4, 5]。机器学习也被发现在危重症患者的预后预测中是一种有前景的技术,但仅结合24小时后可获得的数据并与急性生理与慢性健康评估(APACHE)模型进行比较。在2015年的一项研究中,Pirracchio等人发现机器学习技术的集成可以改善ICU预测[6]。类似地,在Kim等人[7]的研究中,作者使用不同的机器学习算法,根据ICU入住后24小时内收集的数据来估计ICU死亡率。

当前的ICU预测模型,如用于24小时内评分的APACHE、用于入院时或24小时后评分的死亡预测模型(MPM)以及SAPS 3 [8],均基于多变量逻辑回归模型。SAPS 3使用ICU入住前的合并症、ICU入住原因、生理参数以及ICU入住1小时内的实验室检查结果等特征来计算估计死亡风险(EMR)[1, 2]。SAPS 3已多次重新校准以改善其性能[9]。据我们所知,机器学习尚未被用于改善早期预后预测(在入院第一小时内前瞻性注册),也尚未利用国家重症监护登记处的大规模数据存储库。

本研究的目的是使用基于入院第一小时内前瞻性收集数据(用于SAPS 3预后预测)的ANN建模,改善ICU入住第一小时内30天死亡率的预后预测,并确定二十多个SAPS 3参数中能够保持与SAPS 3模型相同性能的最小可能子集。

图1 ANN。具有两个隐藏层和单神经元输出的人工神经网络(ANN)示意图 查看原图 ↗

材料与方法

我们从瑞典重症监护登记处(SIR)中识别出2009–2017年间所有首次成人ICU入住病例(排除心胸ICU入住病例,因其使用不同的评分系统),并进行了至少30天的随访。本研究使用了SAPS 3参数和30天死亡率。生理参数和实验室检查结果在入ICU 1小时内前瞻性记录,并根据2016年最新的瑞典校准计算估计死亡率比(EMR)。该计算估计的是30天死亡率,而原始SAPS 3模型估计的是院内死亡率[9]。在瑞典,常用反应水平量表(RLS85)代替更为广泛使用的格拉斯哥昏迷量表(GCS)。在所研究的入住病例中,80%记录了RLS85,20%记录了GCS,而2.5%两者均无记录。我们没有将GCS转换为RLS85,而是选择将两种量表均转换为APACHE II[10]所用的中枢神经系统(CNS)量表,然后在我们的ANN中使用CNS评分。SAPS 3参数的完整列表见表1。

为了选择合适的网络,我们使用两个隐藏层构建了200个单输出ANN,其中每层的节点数在5至400之间按对数采样。这些网络使用TensorFlow[11]构建,TensorFlow是由Google LLC(美国山景城)开发的基于Python的开源机器学习框架。为提高收敛性、训练速度和准确性,我们使用批归一化对每一层进行归一化,使其输出均值为零、方差为单位方差[12]。损失函数使用随机梯度下降(SGD)的Adam实现进行优化[13],学习率为0.001。做出这一选择是因为基于随机梯度下降的方法是目前优化ANN损失函数的最先进技术[14]。正则化通过按对数采样的权重衰减进行,衰减参数λ的范围为10−7至10−3。为增强特征选择能力并进一步改善正则化,使用了dropout,其中p在输入层按对数采样为5%至20%,在隐藏层为40%至60%[15]。网络训练100个epoch,批大小为512,隐藏层使用ReLU激活函数[14]。为找到所选网络,使用了五折交叉验证,得出我们网络的超参数:第一层158个节点,第二层67个节点,权重衰减为λ=5.04×10−6。Dropout率为0.073(输入层)和0.501(隐藏层)。数据被随机分为六部分,其中一部分留作独立验证用途(测试集)。简单均值和中位数替代在插补方面表现与更先进的方法(如自编码器[16])一样好。

为了评估ANN模型的性能,我们检查了受试者工作特征(ROC)曲线,该曲线在不同阈值设置下绘制了敏感度对1-特异度的关系。我们使用ROC曲线下面积(AUC)作为性能度量[17]。AUC的差异采用DeLong等人的方法进行检验[18]。此外,我们计算了Brier评分,它是衡量一组概率预测校准程度的指标;实际上,它是预测的均方误差[19]。Brier评分的差异采用50,000次置换的近似置换检验进行检验[20]。我们在测试集上使用ROC的AUC和Brier评分(用于校准误差)来评估我们的ANN模型。30天死亡率与EMR之间的比值是标准化死亡比(SMR),它是一种疾病调整的死亡率指标。SMR仅作为群体指标才有意义,因为个体SMR要么为0(如果该个体未存活),要么为,其中EMRi是个体i(存活者)的EMR。然而,定义个体(或局部)SMR的一种方法是使用平滑技术。我们对死亡率和EMR应用了局部多项式回归,使用R的loess函数的默认设置[21](然后在整个范围内均匀插值)。我们随后计算了平滑死亡率和平滑EMR的比值,以获得SMR的平滑(局部)估计[22]。对SMR的一种可能解释是,SMR越接近1,EMR对死亡率的预后预测越好。

表1 描述性统计 查看原表 ↗

结果

共识别出217,289例首次入院,其中1/6(n = 36,214)被随机分配至测试集,而5/6(n = 181,075)被随机分配至训练集。中位年龄为65岁(四分位距,IQR 48–76岁),中位SAPS 3评分为53(IQR 42–65),30天死亡率为18.5%。研究人群的基线特征,包括SAPS 3参数,见表1。在表1所示的所有参数中,测试集与训练集之间的SAPS 3参数(经多重检验校正后)无差异。所有性能计算均基于36,214例患者的独立测试集。我们的ANN模型在预测30天死亡率方面,在AUC(0.89 vs. 0.85,p <10−15)和Brier评分(0.096 vs. 0.110,p <10−5)上均优于SAPS 3模型(见图2和图3)。在图3中,我们看到ANN模型在高EMR范围(0.7–1)内的校准误差(即OMR与EMR之间的差异)有所减小。ANN模型相较于SAPS 3模型在不同主要ICU诊断中AUC的改善可见于表2。ANN模型在所有主要诊断中均优于SAPS 3模型。在我们的研究中,SAPS 3参数的八参数子集是达到优于SAPS 3模型性能的最小 subset。这八个参数为(按对AUC的重要性排序)年龄、意识水平、神经系统病因、心血管病因、癌症、体温、pH和白细胞。八参数模型的AUC为0.851(95% CI 0.845–0.857),Brier评分为0.106(95% CI 0.106–0.107)。在图4中,SMR显示为年龄(最重要的预后因素)的函数。与SAPS 3模型相比,ANN模型在校正死亡率(以年龄作为预后因素)方面更优,SAPS 3模型低估了老年ICU人群的死亡率。相反,SAPS 3模型高估了年轻ICU人群的死亡率。

图2 ROC。人工神经网络(ANN)模型和简化急性生理学评分(SAPS 3)模型的受试者工作特征(ROC)曲线显示曲线下面积(AUC)改善 查看原图 ↗
图3 校准。简化急性生理学评分(SAPS 3)模型和人工神经网络(ANN)模型的校准曲线(观察死亡率比(OMR)对预期死亡率比(EMR))显示,ANN模型在高EMR范围(0.7–1)内校准改善(Brier评分0.096 vs. 0.110,p <10−5) 查看原图 ↗
图4 年龄。测试集(n = 36,214)中简化急性生理学评分(SAPS 3)模型(左图)和人工神经网络(ANN)模型(右图)的标准化死亡率比(SMR)随年龄变化的函数。与SAPS 3相比,ANN模型在校正年龄作为预后因素(最重要的单一预后因素)方面更优。SMR以95%置信区间显示 查看原图 ↗
表2 基于测试集(n = 36,214)的SAPS 3模型和ANN模型在不同主要ICU诊断中的性能 查看原表 ↗

讨论

我们已经证明,一个设计良好的神经网络模型在使用入院1小时内获得的相同参数时,在预测30天死亡率方面可以优于SAPS 3模型。人工神经网络(ANN)模型在敏感性和特异性方面均更优,以受试者工作特征(ROC)曲线的曲线下面积(AUC)衡量(0.89 vs. 0.85,p <10−15),尤其是在校准方面(Brier评分0.106 vs. 0.093;p <10−5)。如图3所示,ANN模型在预测病情最严重患者的30天死亡率方面更好,具体而言是那些EMR非常高、超过0.70的患者。我们在图4中注意到,ANN模型在校正最重要的预后因素,即年龄方面更优。这一在检测非线性关系方面的单一改进很可能就是ANN模型性能提升的主要贡献因素。如表2所示,所提出的ANN模型相较于SAPS 3模型在AUC方面的改善因诊断不同而异。然而,值得注意的是,所提出的ANN模型在所有考虑的病例中均优于SAPS 3模型。从表中可以看出,SAPS 3模型表现越差,所提出的ANN模型的改善就越大。例如,在呼吸衰竭中,SAPS 3模型表现较差,AUC为0.83,使用ANN模型后提高至0.88。相反,在胃肠道出血中,SAPS 3模型表现良好,AUC为0.88,使用ANN模型后仅 marginally 提高至0.91。在我们的研究中,SAPS 3参数的八参数子集是取得优于SAPS 3模型性能的最小参数子集。这一发现提示,有可能使用简单的ANN模型替代SAPS 3模型,这将需要更少的资源,并增加成功登记的可能性,这在引入新的全国ICU登记系统时将是最理想的。可以与Granholm等人[23]进行一项有趣的比较,他们开发了一个七参数逻辑回归模型,使用入院前后最多24小时内登记的参数,用于一般ICU入住患者和严重脓毒症/脓毒性休克的90天死亡率预测,达到AUC 0.72(95% CI 0.71–0.74)。我们的八参数ANN模型使用入院1小时内登记的参数,达到AUC 0.85,清楚地表明机器学习在复杂数据方面的优越性。Pirracchio及其同事使用了公开可用的MMIC-II数据库,该数据库包含美国波士顿贝斯以色列女执事医疗中心24,508名ICU患者的数据[6]。他们使用了一种超级学习器算法,其表现至少与其12种算法中表现最好的算法相当——其中之一是ANN。他们的发现是随机森林算法表现最好,他们达到了交叉验证AUC 0.88(95% CI 0.87–0.89),而APACHE II达到0.82。在Pirracchio的研究中,他们可以获得SAPS II数据和APACHE II数据,两者均在入院最初24小时内登记(与仅使用第一小时数据的SAPS 3形成对比)。值得注意的是,AUC应该更高,因为使用24小时内获得的数据预测死亡率比使用ICU入院1小时内获得的数据要容易得多。Kim及其同事比较了一系列机器学习技术与APACHE III在识别ICU死亡率方面的表现,使用的是最初24小时内记录的数据,这使得他们的AUC难以与我们的研究进行比较[7]。他们使用15个参数达到AUC 0.87,与APACHE III相同,基于1998-2007年期间美国肯塔基大学医院23,446名ICU患者的数据。显然,我们仅使用入院第一小时数据的AUC 0.89优于依赖更多信息、使用最初24小时内记录数据的其他模型。还值得一提的是,其他一些研究报告的是训练数据而非测试数据上的AUC,这种做法应被劝阻,因为存在通过过拟合获得误导性AUC的潜在可能,因此在此不予讨论。

我们研究的主要局限,与所有神经网络模型一样,在于它们可被视为“黑箱”模型,即对于各个参数如何促成预测知之甚少。通过按各预测因子对总AUC的贡献进行排序,这一问题在某种程度上得到了缓解。然而,许多非线性问题的一个固有特征是,数据中发现的复杂交互作用不易表达和解释。我们认为,一个好的预测因子的主要目的就在于此:成为一个好的(死亡)预测因子。

ICU预后判断是一个持续的过程,并且由于患者层面数据量的不断增加,在未来十年内很可能会显著改善。基于本研究,我们认为应放弃基于逻辑回归的预测建模,转而代之以人工神经网络(ANN)等机器学习算法。

结论

在来自瑞典重症监护登记处的大规模数据集(217,289例入ICU)上,我们的ANN模型在重症监护患者30天死亡率的早期(入ICU 1小时内)预测中,在AUC和校准两方面均优于SAPS 3模型(使用相同数据)。我们的ANN模型的优越性还体现在,一个八参数ANN模型仍优于使用超过40个参数的SAPS 3模型。或许最重要的结果是,ANN模型在校正最重要的预后参数——年龄方面更为优越。因此,我们鼓励重症监护登记处使用ANN模型进行质量控制和研究中短期死亡率的预测。

参考来源

  1. Holmgren G, Andersson P, Jakobsson A, et al. Artificial neural networks improve and simplify intensive care mortality prognostication: a national cohort study of 217,289 first-time intensive care unit admissions. J Intensive Care. 2019. PMID: 31428430. doi:10.1186/s40560-019-0393-1
  2. 全文:PMC6697927(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6697927/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。