文献速递儿科与产科急症重症综合管理与镇静镇痛

机器学习分类器较儿童逻辑器官功能障碍-2评分改善死亡预测:模型开发与验证

A Machine Learning Classifier Improves Mortality Prediction Compared With Pediatric Logistic Organ Dysfunction-2 Score: Model Development and Validation.
PubMed 文献 · Crit Care Explor · 2021-05-17
一句话结论在四级医疗中心PICU回顾性队列中,随机森林模型预测PICU死亡的AUC 0.867,优于儿童逻辑器官功能障碍-2评分的0.761,但需外部验证后才能广泛部署。

本研究为回顾性研究,在四级医疗中心内科-外科PICU中纳入2013至2019年全部PICU患者,比较机器学习算法与儿童逻辑器官功能障碍-2评分预测PICU死亡的表现,使用相同变量。训练队列为2013至2017年10,194例患者记录,验证队列为2018至2019年4,043例患者记录。训练队列死亡率为3.0%,验证队列为3.4%。表现最佳的算法为随机森林模型,其AUC 0.867(95%CI 0.863-0.895)、精确率-召回率曲线下面积0.327(95%CI 0.246-0.414)、F1 0.396(95%CI 0.321-0.468),显著优于儿童逻辑器官功能障碍-2评分(AUC 0.761 [95%CI 0.713-0.810]、精确率-召回率曲线下面积0.239 [95%CI 0.165-0.316]、F1 0.284 [95%CI 0.209-0.360]),但在研究机构重新训练儿童逻辑器官功能障碍-2逻辑回归模型后差异缩小。随机森林模型校准度也优于儿童逻辑器官功能障碍-2评分,且重新训练后仍保持优势。作者认为更好的死亡风险估计可改善未来研究中疾病严重度的调整能力,但广泛部署前需外部验证。

要点

  • 在四级医疗中心PICU 2013至2019年患者中,随机森林模型预测PICU死亡的AUC为0.867(95%CI 0.863-0.895),优于儿童逻辑器官功能障碍-2评分的AUC 0.761(95%CI 0.713-0.810)。
  • 随机森林模型精确率-召回率曲线下面积为0.327(95%CI 0.246-0.414),F1为0.396(95%CI 0.321-0.468);儿童逻辑器官功能障碍-2评分对应为0.239(95%CI 0.165-0.316)和0.284(95%CI 0.209-0.360)。
  • 重新训练儿童逻辑器官功能障碍-2逻辑回归模型后,随机森林模型与儿童逻辑器官功能障碍-2评分的差异缩小,但随机森林模型校准度仍优于重新训练的儿童逻辑器官功能障碍-2模型。
  • 训练队列死亡率3.0%,验证队列死亡率3.4%;训练队列10,194例记录(2013至2017年),验证队列4,043例记录(2018至2019年)。
  • 作者认为更好的死亡风险估计可改善未来研究中疾病严重度的调整能力,但该方法广泛部署前需外部验证。

适用人群与场景

  • 2013至2019年入住四级医疗中心内科-外科PICU的全部患者,训练队列为2013至2017年10,194例患者记录,验证队列为2018至2019年4,043例患者记录。

研究设计与关键结果

  • 研究类型为回顾性研究,在四级医疗中心内科-外科PICU进行,纳入2013至2019年全部PICU患者,无干预。
  • 使用计算儿童逻辑器官功能障碍-2评分的相同变量,比较多种机器学习算法预测PICU死亡的表现;训练队列10,194例记录(2013至2017年),验证队列4,043例记录(2018至2019年)。
  • 训练队列死亡率3.0%,验证队列死亡率3.4%。
  • 表现最佳的算法为随机森林模型:AUC 0.867(95%CI 0.863-0.895),精确率-召回率曲线下面积0.327(95%CI 0.246-0.414),F1 0.396(95%CI 0.321-0.468)。
  • 儿童逻辑器官功能障碍-2评分:AUC 0.761(95%CI 0.713-0.810),精确率-召回率曲线下面积0.239(95%CI 0.165-0.316),F1 0.284(95%CI 0.209-0.360);随机森林模型显著优于儿童逻辑器官功能障碍-2评分,但在研究机构重新训练儿童逻辑器官功能障碍-2逻辑回归模型后差异缩小。
  • 随机森林模型校准度优于儿童逻辑器官功能障碍-2评分,且校准度仍优于重新训练的儿童逻辑器官功能障碍-2模型。

证据类型、等级与局限

  • 证据类型:回顾性研究。
  • 局限:原文未报告局限性。

对床旁实践的改变

  • 作者认为更好的死亡风险估计可改善未来研究中疾病严重度的调整能力,但广泛部署前需外部验证。

提炼说明

  • 本条依据论文摘要整理;摘要未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目;全文请点「阅读原文」。
英文原文(摘要)· 点击展开

OBJECTIVES: To determine whether machine learning algorithms can better predict PICU mortality than the Pediatric Logistic Organ Dysfunction-2 score.

DESIGN: Retrospective study.

SETTING: Quaternary care medical-surgical PICU.

PATIENTS: All patients admitted to the PICU from 2013 to 2019.

INTERVENTIONS: None.

MEASUREMENTS AND MAIN RESULTS: We investigated the performance of various machine learning algorithms using the same variables used to calculate the Pediatric Logistic Organ Dysfunction-2 score to predict PICU mortality. We used 10,194 patient records from 2013 to 2017 for training and 4,043 patient records from 2018 to 2019 as a holdout validation cohort. Mortality rate was 3.0% in the training cohort and 3.4% in the validation cohort. The best performing algorithm was a random forest model (area under the receiver operating characteristic curve, 0.867 [95% CI, 0.863-0.895]; area under the precision-recall curve, 0.327 [95% CI, 0.246-0.414]; F1, 0.396 [95% CI, 0.321-0.468]) and significantly outperformed the Pediatric Logistic Organ Dysfunction-2 score (area under the receiver operating characteristic curve, 0.761 [95% CI, 0.713-0.810]; area under the precision-recall curve (0.239 [95% CI, 0.165-0.316]; F1, 0.284 [95% CI, 0.209-0.360]), although this difference was reduced after retraining the Pediatric Logistic Organ Dysfunction-2 logistic regression model at the study institution. The random forest model also showed better calibration than the Pediatric Logistic Organ Dysfunction-2 score, and calibration of the random forest model remained superior to the retrained Pediatric Logistic Organ Dysfunction-2 model.

CONCLUSIONS: A machine learning model achieved better performance than a logistic regression-based score for predicting ICU mortality. Better estimation of mortality risk can improve our ability to adjust for severity of illness in future studies, although external validation is required before this method can be widely deployed.

来源:Crit Care Explor,查看原文。版权归原作者所有。

参考来源

  1. Prince RD, Akhondi-Asl A, Mehta NM, et al. A Machine Learning Classifier Improves Mortality Prediction Compared With Pediatric Logistic Organ Dysfunction-2 Score: Model Development and Validation. Crit Care Explor. 2021. PMID: 34036277. doi:10.1097/CCE.0000000000000426

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。