机器学习分析常规收集的重症监护病房数据:系统综述
该系统综述检索Web of Science和MEDLINE,纳入258篇用机器学习分析ICU常规收集数据的研究,旨在描述其应用目的、方法、数据集大小和预测准确性。最常见目的为预测并发症(77篇,29.8%)、预测死亡率(70篇,27.1%)、改进预后模型(43篇,16.7%)和分类亚组(29篇,11.2%);中位样本量488例(IQR 108–4099),211篇(81.8%)分析少于10000例患者。在169篇预测并发症、死亡率、住院时间或健康改善的研究中,161篇(95.2%)验证了预测,但仅10篇(6.2%)使用独立数据验证;97篇(60.2%)报告了AUC,中位AUC在1000–10000例研究中为0.83,在超过100000例研究中升至0.94。作者认为许多已发表研究样本量过小,不足以发挥这些方法的潜力,需要方法学和报告指南,尤其关于方法选择和预测验证,以增加对报告结果的信心并促进向临床常规应用的转化。
要点
- 258篇研究中仅10篇(6.2%)用独立数据验证预测,97篇(60.2%)报告AUC,报告验证的方法和完整性差异大。
- 中位样本量488例(IQR 108–4099),211篇(81.8%)分析少于10000例患者,作者认为多数研究样本量不足以发挥机器学习潜力。
- 中位AUC随样本量增加而升高:1000–10000例研究为0.83,超过100000例研究为0.94。
- 最常见机器学习方法为神经网络(72篇,42.6%)、支持向量机(40篇,23.7%)和分类/决策树(34篇,20.1%);2015年后最常见为支持向量机(37篇,29.6%)和随机森林(29篇,23.2%)。
- 仅23篇(13.6%)预测研究(169篇中)报告校准,其中21篇用Hosmer-Lemeshow统计量。
适用人群与场景
- 纳入标准:使用机器学习或人工智能(定义为任何形式的自动化统计分析或数据科学方法);分析全球任何医院患者标准护理路径中常规收集的数据;分析在ICU(定义为唯一功能为对单个或多个身体系统提供高级监测或支持的区域)收集的数据;发表在科学期刊或详细描述完整研究的会议论文集中;来自所有ICU的研究均符合条件,不限专科;对纳入患者年龄无限制。
- 排除标准:使用机器学习处理或理解医学图像的研究;聚焦文本挖掘的研究;分析新颖研究数据而非常规收集数据的研究;实施超出医院常规系统的额外数据收集技术的研究;基于普通内科病房、冠脉监护病房、手术室或麻醉后监护室、急诊科数据的研究;会议摘要和专有机器学习系统。
研究设计与关键结果
- 研究类型:系统综述,检索Web of Science和MEDLINE,无发表日期限制,仅纳入英文文章;共识别2450篇唯一论文,258篇符合纳入标准。
- 最常见研究目的:预测并发症77篇(29.8%)、预测死亡率70篇(27.1%)、改进预后模型43篇(16.7%)、分类亚组29篇(11.2%);中位样本量488例(IQR 108–4099),41篇分析超过10000例患者。
- 在169篇预测并发症、死亡率、住院时间或健康改善的研究中,161篇(95.2%)验证了预测;仅10篇(6.2%)用独立数据验证;97篇(60.2%)报告AUC,其中43篇(26.7%)同时报告准确性、敏感性和特异性;62篇(38.5%)报告这些指标但未报告AUC。
- 中位AUC在1000–10000例患者研究中为0.83,在超过100000例患者研究中升至0.94;仅12篇研究报告了机器学习与标准统计方法的AUC,其中11篇机器学习AUC高于标准统计方法,但差异似与样本量有关,AUC差异较大的4篇中有3篇基于少于1000例患者。
- 机器学习方法:神经网络72篇(42.6%)、支持向量机40篇(23.7%)、分类/决策树34篇(20.1%);2015年后发表的125篇(48.4%)研究中最常见为支持向量机37篇(29.6%)和随机森林29篇(23.2%)。
- 校准报告率低:258篇中30篇(11.6%)报告校准,169篇预测研究中23篇(13.6%)报告校准,其中21篇用Hosmer-Lemeshow统计量、1篇用Brier评分、1篇用图形方法。
证据类型、等级与局限
- 证据类型:系统综述;未对纳入研究进行偏倚风险评估,因为本综述为描述性目的,不旨在对不同研究的预测准确性估计的 validity 得出结论。
- 局限:可能遗漏了使用专有机器学习方法或未在检索文献数据库中同行评议发表的代码库的研究;研究为描述性,未评估偏倚风险,因此无法对研究间AUC差异的原因或机器学习预测算法与基于标准统计技术的预测性能差异得出稳健结论;未比较不同机器学习技术的性能;大多数分析限于预测并发症、死亡率、住院时间或健康改善的研究,未对其他类型研究得出定量结论。
对床旁实践的改变
- 作者认为许多已发表研究样本量过小,不足以发挥机器学习方法的潜力;实现大样本量需要持续发展数字基础设施以链接数据库并生成大临床人群数据集。
- 作者认为使用独立数据验证算法是量化机器学习算法在未来临床实践中可能性能并避免因变量选择和参数化导致过度乐观的最严格方法,但仅少数研究做到。
- 作者认为报告标准、批判性评估工具(如CONSORT、TRIPOD、PROBAST)可能提高该领域研究的实用性,例如避免基于小数据集的应用,并坚持在外部数据集上评估模型性能,或对使用内部验证的研究使用独立数据子集或适当程序以补偿统计过度乐观。
- 作者认为期刊和学术界应促进数据集获取和分析代码共享,以确保结果可重复并促进在新环境中评估区分度和校准。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译17 节 · 点击展开
关键信息
报告使用机器学习分析常规收集的ICU数据的论文发表数量正在迅速增加:在已识别的研究中,约有一半是自2015年以来发表的。
机器学习方法随时间发生了变化。神经网络正被支持向量机和随机森林所取代。
大多数已发表的研究分析的患者数据少于1000例。预测准确性随着样本量的增加而提高。
预测验证的报告情况参差不齐且不完整——很少有研究使用独立数据来验证预测。
方法学和报告指南可能提高对已报告研究结果的信心,从而促进研究结果向临床实践常规应用的转化。
背景
重症监护病房(ICU)面临着财务、床位管理和人员配置等方面的限制。鉴于这些限制的多维性和相互关联性,高效运营十分困难[1]。涵盖患者进入重症监护及整个重症监护过程各方面的高度详细数据现已被收集并存储在电子健康记录(EHRs)中。这些EHR中通常可获取的数据包括人口统计学信息、重复的生理测量值、临床观察、实验室检验结果和治疗干预措施。这些详细数据有望改善对死亡率、住院时间和并发症等结局的预测,从而改善患者护理和ICU资源管理[2–4]。
机器学习是人工智能(AI)的一种形式,其中模型从示例中学习而非依赖预编程规则。向“机器”提供任务的示例输入和输出,利用学习算法创建模型,以便能够解读新信息。机器学习方法可以基于从EHR中提取的大型结构化数据集提供准确的预测[5, 6]。机器学习方法学已取得快速发展,但许多方法仍需要大型数据集来建模复杂的非线性效应,从而改进使用标准统计方法开发的预测规则[6–8]。描述机器学习应用于常规收集数据的论文定期发表[7],但近期没有系统综述总结其特征和发现[9]。我们系统综述了关于使用机器学习分析常规收集的ICU数据的文献,重点关注应用目的、所使用的机器学习方法类型、数据集规模和预测准确性。
方法
系统综述设计、定义和纳入/排除标准
检索策略
候选文章通过检索 Web of Science 和 MEDLINE 确定。发表时间不受限制,但仅纳入以英文撰写的文章。使用两个以“AND”语句连接的检索式——一个用于捕捉人工智能的应用,另一个用于捕捉 ICU 环境。人工智能的检索使用以下术语:“Machine Learning”、“Artificial Intelligence”、“Deep Learning”、“Neural Network”、“Support vector machine”、“Prediction Network”、“Forecast Model”、“Data mining”、“Supervised Learning”和“Time series prediction”。人工智能应用的检索使用以下术语:“Cardiac Intensive Care Unit”、“CICU”、“ICU”、“Coronary Care”、“Critical Care”、“High Dependency”和“HDU”。检索词通过迭代过程制定,最初使用引文索引的主题词和文本词检索机器学习(例如分别为“Artificial Intelligence/or Machine Learning/”、“Pattern Recognition, Automated/”和“Machine learning.tw”、“Artificial intelligence.tw”、“Deep learning.tw”、“Supervised learning.tw”)。提取前 30 篇相关论文并挖掘特定术语(例如“Prediction network.tw”、“Support vector machine?.tw”、“Demand Forecasting.tw.”)。纳入这些术语后再次运行检索,并提取前 30 篇新的相关论文并挖掘特定术语。将这些术语纳入检索词以生成最终检索词列表(见附加文件 1)。综述论文被另行留存以进行单独分析。
纳入标准
符合条件的论文(1)使用机器学习或人工智能(AI),定义为任何形式的自动化统计分析或数据科学方法;(2)分析全球任何医院中作为患者标准护理路径一部分产生的常规收集数据;(3)分析在 ICU 中收集的数据,ICU 定义为唯一功能为对单个或多个身体系统提供高级监测或支持的区域;(4)发表在科学期刊或会议论文集中,且会议论文集详细描述了完整研究。来自所有 ICU 的研究均符合条件,不论专科。纳入患者的年龄不限。以下类型的研究被排除:(1)使用机器学习处理或理解医学图像;(2)侧重于文本挖掘的研究;(3)分析新的研究数据而非常规收集数据;(4)实施超出医院常规系统的额外数据收集技术的研究;(5)基于普通内科病房、冠脉监护病房、手术室或麻醉后监护室、或急诊室数据的研究;(6)会议摘要和专有机器学习系统。还检索了描述基于 ICU 数据的机器学习综述的论文。
研究选择
论文的详细信息已上传至EndNote X8(Clarivate Analytics,费城,宾夕法尼亚州,美国),并使用EndNote的重复识别工具去除了重复项。一位作者(DS)筛选了标题和摘要,并获取了被判断为可能符合本综述纳入标准的论文全文。基于阅读稿件全文对纳入资格的最终决定由一位作者(DS)做出,并由另外两位作者(BG和JS)对随机选取的一部分进行核查。分歧通过共识解决。附加文件提供了完整的参考文献目录(见附加文件2)。
综述流程与数据提取
需提取的研究特征及其定义和分类,是在研究了40篇符合纳入标准的论文后迭代确定的。我们提取了以下研究特征的信息:(1) 目的(分类为改进预后模型、亚人群分类、确定疾病的生理阈值、预测死亡率、预测住院时长、预测并发症、预测健康改善、检测异常值、减少报警、改进先前方法(附详情)及其他(附详情));(2) 机器学习类型(分类为分类/决策树、朴素贝叶斯/贝叶斯网络、模糊逻辑、高斯过程、支持向量机、随机森林、神经网络、超级学习器、未说明及其他(附详情))。所有使用的机器学习类型均被记录;(3) 数据集大小(分析的患者、发作次数或样本数);(4) 研究是否使用了公开可用的重症监护医学信息数据库II/III(MIMIC-II/III)的数据,该数据库包含2001年至2012年间在贝斯以色列女执事医疗中心接受治疗的约40,000名患者的去标识化健康数据[10];(5) 用于验证预测的方法(分类为独立数据、随机选取的留P法子集(记录P值)、k折交叉验证(记录k值)、随机选取的子集、其他(附详情)、无验证)。对于验证了多种机器学习技术结果的研究,我们记录了与最准确方法相对应的方法。对于将住院时长二分类以验证预测的研究,我们记录了下住院时长组中最高住院时长作为阈值;(6) 预测准确性的度量(受试者工作特征(ROC)曲线下面积(AUC):正确分类受试者的比例、敏感性和特异性)。报告的每种度量均被记录。当记录了多种机器学习技术的预测准确性度量时,我们记录了最准确方法的度量。对于多个结局,我们记录了与最长随访期结局相对应的度量。当使用多个验证数据集时,我们记录了最准确方法的度量;(7) 标准统计方法(如线性回归和逻辑回归)结果的报告情况。我们记录了方法和相应的准确性度量,当报告不止一个结果时使用上述相同规则。根据同行审稿人的建议,我们记录了论文是否报告了校准以及若报告了所使用的方法。
未对纳入研究进行偏倚风险评估,因为我们综述的目的是描述性的——目的并非对不同研究的预测准确性估计的有效性得出结论。所分析数据集的规模根据研究目的进行列表。分析仅限于使用机器学习预测并发症、死亡率、住院时间或健康改善的研究。根据机器学习类型列示数据集规模,根据预测结局列示验证方法,根据预测结局列示预测准确性指标。根据分析患者数量和预测结局绘制AUC分布图,并根据机器学习类型和发表年份绘制已发表论文数量图。
结果
合格研究的识别
通过Web of Science识别出2088篇论文,通过MEDLINE识别出773篇。去除重复后,筛选了2450篇独立论文的标题和摘要,其中2023篇被归类为不合格。在427篇进行全文审查的论文中,169篇被发现不合格,主要原因是未使用机器学习或未分析常规收集的ICU数据。因此,本综述共纳入258篇论文(图1)。其中63项(24.4%)研究使用了MIMIC-II/III数据。
机器学习在ICU中的应用目的
最常见的研究目的是预测并发症(77篇论文[占研究的29.8%])、预测死亡率(70篇[27.1%])、改进预后模型(43篇[16.7%])和分类亚人群(29篇[11.2%])(表1)。所有研究的中位样本量为488(IQR 108–4099)。仅6项研究(3项预测并发症、2项改进预后模型、1项预测死亡率)分析了超过100,000名患者的数据,而35项分析了10,000–100,000名患者的数据,其中18项(51.4%)试图预测死亡率。大多数研究(211项[81.8%])报告的分析患者数少于10,000名。大样本量(>10,000名患者)最常见于预测并发症、死亡率或住院时间的研究,以及旨在改进预后模型或风险评分系统的研究。在确定生理阈值或旨在检测虚假值的研究中,样本量通常少于1000。
所有进一步分析仅限于169项预测四种可明确定义结局类型中至少一种的研究:并发症、死亡率、住院时间和健康改善。在这169项研究中,45项(26.6%)使用了MIMIC-II/III数据,与所有结局中使用MIMIC-II/III数据的比例(63项[24.4%])相似。
机器学习类型
在预测并发症、死亡率、住院时间或健康改善的研究中,有12项(7.1%)预测了其中一种以上的结局类型(表2)。最常用的机器学习类型是神经网络(72项研究[42.6%])、支持向量机(40项[23.7%])和分类/决策树(34项[20.1%])。样本量中位数为863(IQR 150–5628)。超过一半的研究分析的患者数据少于1000例。机器学习类型与数据集大小之间没有强关联,尽管使用支持向量机和模糊逻辑/粗糙集的研究中样本量小于1000的比例最高。使用少于5篇论文的机器学习方法被合并归入“其他”类别:其中包括这些。不同预测研究类型所使用的机器学习方法数据可向作者索取。
使用ICU数据的机器学习研究自1991年起发表(图2)。最早的研究基于少于100例患者:首批基于超过1000例、10,000例和100,000例患者的研究分别于1996年、2001年和2015年发表。尽管研究规模随时间推移有所增加(在2017年和2018年发表的研究中,样本量中位数[IQR]为3464[286–21,498]),但基于少于1000例患者的研究近年来仍有定期发表。六项研究使用了超过100,000例患者的数据:2015年一项、2017年一项、2018年四项[2, 12–16]。
最早的机器学习研究均使用神经网络(图3)。使用其他机器学习方法的论文自2000年起有报道,其中支持向量机自2005年起有报道,随机森林自2012年起有报道。在258项研究中,125项(48%)发表于2015年及以后。这些研究中最常报道的机器学习方法为支持向量机(37项[近期研究的29.6%])、随机森林(29项[23.2%])、神经网络(31项[24.8%])和分类/决策树(27项[21.6%])。
验证方法
表3显示,在169项预测并发症、死亡率、住院时间或健康改善的研究中,161项(95.2%)对预测进行了验证。基于独立数据的验证很少(10项研究[6.2%])。最常用的方法分别是使用数据的随机子集进行k折交叉验证(71项[44.1%])和不进行k折交叉验证(71项[44.1%])。预测住院时间的研究最可能使用独立数据,最不可能使用k折交叉验证。按机器学习类型和预测结局划分的验证方法数据可向作者索取。
报告的预测准确性指标
在161篇量化其算法预测准确性的论文中,大多数报告了AUC(97篇[60.2%]),其中43篇(26.7%)论文还报告了准确率、灵敏度和特异度(表4)。62项研究(38.5%)报告了这些指标但未报告AUC。预测死亡率的研究最有可能报告AUC(47篇[69.1%])。预测并发症和健康改善的论文更倾向于仅报告准确率、灵敏度和特异度。所有18篇预测住院时间数值结局的论文均对其预测进行了验证:8篇(44.4%)报告了方差解释比例(R2)。有5篇论文报告了二分类住院时间的AUC:两篇以1天为界[17, 18],一篇以2天为界[19],一篇以7天为界[4],一篇以10天为界[20]。按机器学习类型和预测结局分类的报告预测准确性指标数据可应作者要求提供。
图4显示了所有预测研究以及预测死亡率或并发症的研究中,AUC按数据集大小的分布,其中10项使用外部验证的研究的AUC以单独数据点显示。最小研究(< 100例患者)的中位AUC较高,这可能反映了小样本内部验证产生的过度乐观。中位AUC随样本量从100至1000例患者、从100,000至1,000,000例患者增加而升高。仅有12项研究报告了机器学习方法和标准统计方法的AUC(图5)。除一项外,其余所有研究中机器学习AUC均超过标准统计方法的AUC。然而,差异似乎与研究规模有关:AUC差异较大的四项研究中有三项基于少于1000例患者。
报告校准度的论文比例较低:综述纳入的258篇论文中有30篇(11.6%),而在预测并发症、死亡率、住院时间或健康改善的169项研究中有23篇(13.6%)论文。在这23篇论文中,21篇报告了Hosmer-Lemeshow统计量[21],一篇报告了Brier评分,一篇使用了图形方法。
讨论
主要发现
使用机器学习分析常规收集的ICU数据的兴趣正在迅速增长:本综述中识别出的近一半研究发表于2015年以后。即使是在近期报告的研究中,样本量也往往太小,无法充分发挥这些方法的潜力。在使用机器学习预测可明确定义结局的研究中,最常用的方法是神经网络、支持向量机和分类/决策树。近期报告的研究最有可能使用支持向量机、随机森林和神经网络。大多数研究使用开发数据的随机子集来验证其预测,基于独立数据的验证鲜有报告。预测准确性的报告往往不完整,很少有研究将其算法的预测准确性与使用标准统计方法的预测准确性进行比较。
优势与局限性
我们使用了全面的文献检索,但可能遗漏了使用专有机器学习方法的研究,或未经过同行评审且未在所检索的文献数据库中发表的代码库。本研究为描述性研究,因此未对纳入研究的结果进行偏倚风险评估。因此,无法就研究间AUC差异的原因或机器学习预测算法与基于标准统计技术的预测之间的性能差异得出稳健的结论。尽管所使用的机器学习技术随时间推移有明显变化,但我们未比较不同技术的性能。本综述中纳入的大多数分析涉及预测可明确定义结局(并发症、死亡率、住院时间或健康改善)的研究:未对其他类型的研究得出定量结论。
结合文献背景的结果
上一项关于机器学习在ICU中应用的系统综述发表于2001年[9]。该综述指出了数据丰富的ICU环境对机器学习和人工智能的特别适用性。进一步的叙述性综述指出,在进行机器学习研究时,需要理解模型假设和验证预测的方法[21, 22]。本综述中的论文很少将机器学习的性能与使用标准统计技术(如逻辑回归)得出的预测性能进行比较。实证研究表明,标准统计技术产生的预测往往与使用机器学习得出的预测同样准确[23]。标准统计技术在输入、处理和输出方面可能具有更大的透明度:机器学习算法的“黑箱”性质可能使人难以理解不同预测变量的相对重要性及其对预测的贡献方式。这使得在发生错误时难以理解和纠正错误。因此,研究强调了机器学习算法进行透明推理的可取性[24]。本综述记录了近年来机器学习方法使用的演变,但这些研究在验证的实施和报告方面仍然存在持续的限制。
图4提示,基于小样本量并使用内部验证的研究高估了模型性能。尽管没有固定的最小数据集规模适用于机器学习应用,但这些方法要发挥其潜力并相较于标准统计分析提供明显优势,可能需要数十万患者的数据[25]。对于诸如院内死亡率之类的二分类结局,即使每个变量有超过200个结局事件,随机森林和支持向量机等方法也可能表现出不稳定和过度乐观[23]。然而,本综述纳入的大多数预测研究分析的患者数据少于1000例,这很可能太少,不足以发挥机器学习的威力[6, 7]。机器学习技术是数据饥渴型的,基于小样本量的研究更容易出现“过拟合”。实现大样本量将需要持续发展数字基础设施,使数据库之间能够链接,从而生成大规模临床人群的数据集[6, 16, 26]。迄今为止,由于对数据隐私和安全的担忧,真正的大型数据集(人群规模>100,000个体)一直难以生成。与具有编程和处理能力、能够从这些数据中提取多种信号的大型商业参与者共享这些数据则更加困难[27]。本综述仅有三篇论文涉及使用机器学习来识别数据错误[28–30]。错误在常规电子健康记录(EHR)数据中很常见[6],因此,数据集在分析前必须经过清洗。这是使用大型数据集时最重要的任务之一,若不实现自动化则无法完成。
意义
量化机器学习算法在未来临床实践中可能性能并避免因变量选择和参数化选择而产生过度乐观的最严格方法是使用独立数据验证算法[31]。然而,仅在少数研究中这样做了。在量化预测准确性的研究中,大多数使用其开发数据的随机子集来验证模型。由于此类测试数据集中的数据模式与训练数据集中的模式不存在系统性差异,它们可能高估模型性能。相当一部分研究未验证预测或报告ROC曲线下面积。研究很少讨论已开发的机器学习算法的实施情况以及它们是否改善了医疗质量。他们未报告可能克服AUC局限性的新性能指标,例如AUC对预测罕见事件时假阳性数量不敏感,以及它对假阳性和假阴性预测给予相同权重[32, 33]。
本研究的纳入论文通常侧重于区分度(区分将发生和不会发生结局的患者的能力)。很少有研究报告校准度(模型预测与实际结局之间的一致程度)。模型校准对未测量协变量的变化敏感,并且当模型用于与模型开发所用人群不同的人群时尤为重要。
报告使用常规收集的医疗保健数据的机器学习应用的标准,以及批判性评价工具,可能会提高该领域研究的实用性,正如随机试验(CONSORT)、多变量预测模型(TRIPOD)和预测研究中的偏倚风险(PROBAST)所见[34–39]。这些可能有助于编辑和同行审稿人,例如,通过避免基于小数据集的应用,并坚持在外部数据集上评估模型性能,或者对于使用内部验证的研究,使用单独的数据子集或适合补偿统计过度乐观的程序。为确保结果可重现,并促进在新环境中评估区分度和校准度,期刊和学术界应促进数据集的获取和分析代码的共享[40]。
结论
源自常规收集的ICU数据的非常大且详细的数据集的日益可得,以及对机器学习基于这些数据开发预测算法的潜在临床效用的广泛认识,正在导致该领域研究数量的迅速增加。然而,许多已发表的研究规模太小,无法利用这些方法的潜力。方法学、报告和批判性评价指南,特别是关于方法选择和预测验证的指南,可能会增加对报告发现的信心,从而促进研究结果向临床实践常规应用的转化。
附加文件
附加文件1:检索词。在“Ovid MEDLINE(R) Epub Ahead of Print, In-Process & Other Non-Indexed Citations, Ovid MEDLINE(R) Daily and Ovid MEDLINE(R) 1946 to Present”和“Web of Science”数据库中检索时使用的检索词。(DOCX 15 kb)
综述纳入论文的完整列表。所有检索到进行全文审阅的论文的完整参考文献列表。(DOCX 47 kb)
参考来源
- Shillan D, Sterne JAC, Champneys A, et al. Use of machine learning to analyse routinely collected intensive care unit data: a systematic review. Crit Care. 2019. PMID: 31439010. doi:10.1186/s13054-019-2564-9
- 全文:PMC6704673(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6704673/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。