开发临床决策支持工具以评估择期手术资源利用情况及其性能
结果显示预测性能较强,AUROC范围0.76-0.93,高风险和中风险分组敏感性设为95%,低风险分组阴性预测值99%。模型已整合到每日更新的Tableau仪表盘中,用于指导手术排程决策。
要点
- 模型设定中/高风险组敏感性为95%,低风险组阴性预测值约99%,旨在优先高估而非低估资源需求。
- 机械通气高风险组的阳性预测值为70%;出院至SNF高风险组的阳性预测值为22%,中/高风险组合并敏感性为95%。
- 预测变量中,年龄、既往门诊就诊次数、服务线和专科是持续预测因子,而临床检验信息未进入前5位重要变量。
- 该工具已整合至每日早上6点刷新的仪表盘,可查看未来30天排程手术的预测风险,已在2020年6月17日实施。
适用人群与场景
- 纳入2017年1月1日至2020年3月1日在DUHS 3家医院(Duke University Hospital、Duke Regional Hospital、Duke Raleigh Hospital)接受择期住院手术的患者,纳入标准为入院来源为「Surgery Admit Inpatient」且非经急诊入院。
- 排除周六或周日进行的手术,排除门诊手术(因很少涉及住院资源利用),排除急诊手术(如穿透伤剖腹探查)和已住院患者的紧急心血管干预。
- 模型适用于所有外科专科和所有年龄组,但构建和验证仅基于单一医疗系统数据,外部有效性有限。
诊断标准与关键阈值
- 住院时长(LOS)分为4类:少于2天、2至少于4天、4至少于7天、7天或更长;ICU停留时长分为0天、少于2天、2天或更多。
- 模型输出风险分类而非概率:高/中风险组设定敏感性95%(即捕捉95%的真实事件),低风险组阴性预测值约99%。
- 分类阈值基于交叉验证训练数据设定,以优化敏感性并兼顾阳性预测值,旨在优先高估而非低估风险。
处置流程与药物剂量
- 第一步:每日早上6点前,系统提取未来30天排程手术病例的必要临床信息至数据表。
- 第二步:分析脚本运行4个随机森林模型(住院时长、ICU停留、机械通气、出院至SNF),生成预测风险分类。
- 第三步:预测结果与其他临床信息整合至Tableau仪表盘,提供整体摘要、各结局日历视图和模型监测视图。
- 第四步:外科领导和围手术期协调人员查看个体病例和整体排程的风险预测,结合当前医院资源(床位、ICU、呼吸机、SNF容量)和社区COVID-19疫情,决定手术是否进行或推迟。
红旗征与不能漏的情况
- 模型设计为优先高估风险,低风险组阴性预测值约99%,但高风险组阳性预测值有限(机械通气70%,出院至SNF 22%),不能仅凭高风险分类直接取消手术。
- 模型不能替代外科医生决策,需结合社区COVID-19发生率、当前住院和ICU床位普查、积压病例和患者医疗必要性综合判断。
- 模型未整合当前资源可用性与未来资源需求的动态关系,不能提供最优资源分配方案。
研究设计与关键结果
- 中位住院时长2.3天(范围1.3-4.2天),6416例(15.2%)入住ICU,1624例(3.8%)接受机械通气,2843例(6.7%)出院至SNF。
- 预测性能:ICU需求AUROC=0.94,机械通气AUROC=0.92,出院至SNF AUROC=0.84,ICU长 vs 短停留AUROC=0.76;训练和测试数据AUROC范围0.76-0.93,校准良好。
- 分类性能:95.8%(2051/2141)的ICU停留被正确分类;95.1%(503/529)需机械通气患者被分入中/高风险组;94.9%(904/952)出院至SNF患者被分入中/高风险组。
- 机械通气高风险组阳性预测值70%,低风险组阴性预测值超过99%;出院至SNF高风险组阳性预测值22%,中/高风险组合并敏感性95%。
证据类型、等级与局限
- 证据类型为预后研究(预测模型开发与验证),遵循TRIPOD报告指南,使用随机森林算法,数据来自单一医疗系统的回顾性电子健康记录。
- 局限:模型仅在单一医院系统构建和验证,外部有效性有限;分析框架无法整合当前资源可用性与未来需求;输出为风险分类而非精确概率,旨在辅助而非替代临床决策;数据可能存在编码错误。
对床旁实践的改变
- 该工具可用于择期手术排程时评估患者术后资源利用风险(住院时长、ICU停留、机械通气、出院至SNF),帮助外科领导在资源紧张时期(如COVID-19疫情)决定手术是否推迟。
- 低风险分类阴性预测值约99%,可较安全地认为低风险患者不会需要高资源利用,但高风险分类阳性预测值有限,需结合其他临床因素综合判断。
- 工具已用于病例管理团队预规划出院至SNF的安排,但尚未用于实际病例优先级决策(因当地COVID-19疫情未达需要)。
- 不适用于急诊手术、门诊手术或已住院患者的紧急干预;不能替代外科医生对个体患者医疗必要性的判断。
指南或共识出处
- 原文未提及指南或共识出处;本文为研究论文,来源期刊为JAMA Network Open。
全文中译18 节 · 点击展开
引言
新型冠状病毒病2019(COVID-19)改变了医院和门诊外科诊疗服务的提供方式。随着医院为可能激增的需入院甚至可能需重症监护(ICU)停留的感染患者做准备,整个机构和卫生系统盘点了自身资源以应对不确定的需求。这包括估算不断波动的可用床位数、确保充足的个人防护装备和呼吸机、尽量减少人员短缺,以及制定防止院内感染的方案。全国各专科协会研究了国外同行的经验1,2,3,并与联邦和州机构共同发布了关于评估手术紧迫性的指南。4,5,6
因此,在2020年3月开始的感染第一波期间,许多医院——包括我们自己的医院——严格限制了择期手术。尽管很少有手术是完全可选的,但有些手术比其他更为紧迫。这包括关节置换术、整形与重建手术,甚至某些肿瘤切除术等。未纳入的手术示例包括急诊手术,如穿透性创伤的剖腹探查术,以及针对已入院患者的紧急心血管介入治疗。全国各专科协会发布了指南,以确定如何在不影响预后的情况下选择性推迟手术。7,8 随着本地区第一波COVID-19感染放缓,我们开始处理被推迟手术的积压问题,并重新开始实施这些手术。尽管如此,我们仍必须应对局部病例激增的可能性以及对医院资源的再度需求。
在卫生系统领导者和感染控制专家的参与下,我们的外科领导层提出了4个主要问题,综合起来可帮助确定如何以及何时可以实施择期住院手术。因此,对于外科患者:(1)他们将在医院停留多长时间?(2)他们是否需要ICU停留以及停留多长时间?(3)他们是否需要呼吸机?(4)他们是否可能被转至专业护理机构(SNF)?
这些问题是模块化的,适用于各专科,并代表了评估围手术期患者流程的各个障碍。虽然在决定是否实施手术时这些问题并非唯一需要考虑的因素——围绕医疗需求、总体积压和收入等问题也被纳入考量——但它们为理解这些排程决策在大流行期间对资源使用的实际后果提供了基础。
虽然临床决策支持(CDS)已渗透到医疗保健中,但用于预测资源利用的外科CDS工具很少。大多数工作是专科和/或手术特异性的9,或涉及比较有效性等问题。10,11 预测分析在提高手术室效率方面的作用已被吹捧用于当日人员配置和资源分配决策。12,13 然而,仍然需要一种可用于所有专科的CDS,以评估日益增加的手术量所带来的资源需求。
在这项预后研究中,我们介绍了为每一项上述限制条件开发预测模型的过程,以及该工具所依托的实施和访问平台。该平台使外科医生能够评估当前的手术排程、患者的临床特征以及执行这些手术所需的预测资源。该临床决策支持(CDS)系统使外科管理层能够评估即将到来的手术量,纳入有关当前医院资源使用情况的其他数据,并判定某台手术可以继续进行还是应当推迟。我们的总体研究问题是:我们能否利用历史数据开发一个适用于COVID-19大流行期间资源利用的CDS工具。
方法
我们在开发预测模型时遵循了多变量预测模型个体预后或诊断透明报告(TRIPOD)指南。本研究经杜克大学健康系统(DUHS)机构审查委员会宣布豁免,并免除知情同意,因为数据已去标识化。
环境
2020年3月,由于对COVID-19传播的担忧,DUHS削减了择期手术。至5月底,DUHS在更为有限的基础上恢复了这些手术。DUHS由3家医院组成——杜克大学医院,一所三级诊疗和一级创伤中心(共939张床位,88张ICU床位)——以及2家社区医院——杜克地区医院(共295张床位,22张ICU床位)和杜克罗利医院(共185张床位,15张ICU床位)。自2014年以来,DUHS使用统一的电子健康记录(EHR)进行住院和门诊病历查阅、实验室检查、药物和影像学检查的开具,以及使用Epic平台进行手术室排程。
利益相关者参与
在启动阶段,我们吸纳了代表关键群体的利益相关者,包括临床运营、麻醉科、重症监护、病例管理、外科医生以及医院或卫生系统管理层。每周会议包括与利益相关者进行重点讨论,以确定和完善模型的输入和输出。医院管理层利益相关者定期就输出结果和用户界面提供反馈。这一参与过程有力地指导了具有临床和运营影响力的CDS输出指标的选择。
数据
病例定义
我们提取了2017年1月1日至2020年3月1日期间在DUHS各医院接受择期住院手术患者的EHR数据。虽然EHR系统中没有对择期手术的正式标注,但我们纳入了所有入院来源为“手术住院收治”的手术。该分类适用于患者在手术后为接受住院术后护理而入院、且非经急诊科入院的手术。我们进一步排除了任何在周六或周日进行的手术。在门诊环境中进行的手术未被纳入,因为其很少涉及住院资源利用。
结局定义
我们试图预测每位患者的4项结局:总住院时间(LOS)、ICU住院时间、机械通气需求和出院至专业护理机构(SNF)。LOS确定为患者在医院停留的总小时数。ICU LOS确定为患者在ICU收治的总小时数(包括非连续天数)。由于LOS通常呈极端右偏分布,14,15,16在重症监护专家的参与下,将LOS和ICU LOS均划分为具有临床意义的有序分组(补充材料中的eFigure 1)。LOS分为少于2天、2至少于4天、4至少于7天以及7天或更长。ICU LOS分为0天、少于2天以及2天或更多。
预测变量的定义
我们提取了在手术日期之前即可获知的患者特异性和手术特异性数据。这些包括人口学特征、用药史、合并症以及医疗服务利用史(详见补充材料中的eTable 1)。不完整率高的变量(例如实验室值)被排除,最终共有44个独特预测变量。
统计分析
预测模型的开发
我们将数据随机分为训练集和测试集(分别为三分之二和三分之一)。我们考虑了不同的分析方法,包括正则化回归和有序回归,最终决定采用随机森林算法,因为其在训练数据上的表现及其对该分析任务的适用性(补充材料中的eAppendix)。17
我们开发了4个独立的预测模型(每个既定结局各一个)。每个随机森林生长至2000棵树。对于LOS,我们创建了一个多分类模型,预测处于所述4个类别中每一类的概率。对于ICU LOS,我们采用了2阶段方法。18,19,20首先,我们在二分类模型中建模是否需要ICU住院(是或否)。然后,在导致需要ICU住院的手术中,我们建模了第二个二分类模型,用于识别ICU LOS少于2天(短)和2天或更多。构建二分类模型以预测通气需求和出院去向(SNF)。
对于每个二分类模型(两部分ICU LOS模型、通气需求以及SNF出院去向),我们在交叉验证训练数据和独立测试数据中使用受试者工作特征曲线下面积(AUROC)、精确率召回率曲线下面积(AUPRC)和校准斜率评估总体模型性能。我们使用交叉熵损失和误分类损失评估LOS模型。
临床决策支持(CDS)规则的创建
为便于决策,我们针对每个结局生成了预测标签而非预测概率,因为此前发现此类分组对使用者更具可解释性。21 生成切点的方法多种多样。我们侧重于优化分类的灵敏度(捕捉到的真实事件百分比),以减轻对超出医院术后护理可用容量的担忧。因此,这些分类优先考虑对风险的高估而非低估。补充材料的eAppendix详细说明了我们如何设定模型分类阈值。简言之,我们将高风险或中风险组的灵敏度设定为95%(即大多数事件将落入较高风险组)。此外,为增强对所提出分类的信心,我们力求优化阳性预测值——即高风险组中真正发生事件的患者百分比。所有切点均基于交叉验证的训练数据创建,随后在预设测试集中检验这些切点的表现以评估模型性能。
统计分析在R 3.6版本中进行。随机森林模型使用ranger包拟合。22
可视化辅助工具
为辅助决策支持,我们将预测模型整合到Tableau仪表盘中。Tableau是一种交互式可视化工具,我们此前已描述过如何将其与电子健康记录(EHR)数据整合。23 每天早晨6点前,未来30天的预定手术病例被提取到一张数据表中,包含运行模型所需的临床信息。我们的分析脚本查询该表,生成预测结果,并将其连同其他临床信息输入仪表盘。我们创建了3类可视化:总体摘要、各结局的日历界面以及模型监测视图。这使外科医生和所有围手术期服务协调人员能够在其他即将到来的预定手术病例背景下,查看单个病例(即患者层面)的预测因子和预测结局。
结果
描述性统计
从2017年1月1日至2020年3月1日,我们在3所医院共识别出42 199例择期手术。表1呈现了3所医院的描述性统计。患者中位年龄为62岁(范围,49-71岁);42 199例患者中22 321例(52.9%)为女性。正如预期,我们社区医院的患者慢性病负担更高。24 最常实施的5种手术为膝关节置换术(n = 3539)、髋关节置换术(n = 3263)、肩关节重建术(n = 1227)、颈椎间盘切除术(n = 1162)和显微外科手术(n = 1112),占全部42 199例手术中的10 128例(24.0%)。中位住院时间(LOS)为2.3天(范围,1.3-4.2天),9.8%的患者LOS超过7天(补充材料中的eFigure 1)。在42 199例手术中,6416例(15.2%)涉及重症监护病房(ICU)住院,其中6416例患者中3208例(5.0%)需要在ICU停留超过2天。此外,42 199例患者中,1624例(3.8%)需要使用呼吸机,2842例(6.7%)被出院至专业护理机构(SNF)。
预测建模结果
在划分为训练集(n = 28 130)和测试集(n = 14 069)后,我们发现总体预测性能在训练数据(基于交叉验证)和测试数据中均相当强,且总体校准良好(补充材料中的eTable 4)。预测性能最强的模型为预测需要ICU入住(AUROC = 0.94)和需要呼吸机(AUROC = 0.92)。预测性能较强但略差的是出院至专业护理机构(SNF)(AUROC = 0.84)以及ICU住院时间长与短(AUROC = 0.76)。
利用训练数据结果,我们基于敏感度和阳性预测值针对每一项结局创建了决策规则阈值(补充材料中的eFigure 2、3和4)。对于住院时间(LOS)分类,5561例LOS为0至2天的患者中有37121例(66.9%),以及1291例LOS为7天或以上的患者中有786例(60.9)被正确分类(图1A;补充材料中的eTable 3)。对于ICU LOS,2141例有任何ICU入住的患者中有2051例(95.8%)被如此分类。此外,该模型正确分类了11 928例无ICU入住患者中的23 8052例(67.5%),以及689例ICU住院时间长的患者中的573例(83.2%)。仅ICU住院时间短者倾向于被错误分类(正确率10%),这反映了第二阶段模型较差以及希望采用具有更高敏感度的决策规则(图1B;补充材料中的eTable 2)。在需要呼吸机的患者中,95%被预测为高风险或中等风险,其中高风险组的阳性预测值为70%。低风险组的阴性预测值超过99%(图1C;补充材料中的eTable 2)。最后,对于出院至SNF,我们能够生成一项决策规则,高风险组的阳性预测值为22%,中等风险和高风险组合组达到所需的95%敏感度(图1D;补充材料中的eTable 2)。其他性能指标见补充材料中的eFigure 5和6。
预测变量的相对重要性
为评估哪些因素是重要预测变量以及在我们的仪表板中可视化哪些结果,我们检查了5个模型中每个模型排名前5的最重要变量(表2)。患者年龄和既往门诊就诊次数,以及特定服务线和专科分部,是更高资源利用的一致预测因素。我们指出,这些仅是我们认为重要的变量的排名,与传统统计学显著性指标无关。
仪表板
我们将预测模型整合到一个仪表板中,该仪表板显示下个月计划中的病例,并每天早上更新。图2显示了其中一个结局指标(住院时间(LOS))的日历视图。补充材料中的eFigure 7显示了主登录页面,图3显示了一个模型评估页面,可对模型性能进行实时、持续监测。这种交互性使决策者能够根据周、地点、服务线或手术分组来评估子样本。
讨论
为指导关于重新开始非急诊外科手术的决策,我们开发了一种新颖的临床决策支持(CDS)工具,用于评估计划病例高资源利用的风险。我们的工具识别出风险最高的病例,以避免超出医院承载能力。我们将该CDS整合到一个每日更新的仪表板中,可对即将到来的病例进行全局评估。我们相信,该工具结合对当前可用资源的了解——包括医院和重症监护室(ICU)床位总数、呼吸机使用情况以及区域熟练护理机构(SNF)承载能力——将帮助管理层决定某个病例应该继续进行还是推迟。
我们的CDS工具对4个结局指标进行预测:LOS、ICU LOS、是否需要呼吸机以及是否需要出院至SNF。总体而言,模型表现非常好,训练数据和测试数据中的AUC范围为0.76至0.93。然而,我们没有呈现预测概率,而是以具有已知性能特征的风险阈值来呈现预测结果。为防止低估资源需求以及将高风险患者错误分类为低风险患者,我们将低风险阈值设定为包含少于5%的有资源需求者。我们的低风险类别均具有较高的阴性预测值(约99%),使我们能够安全地认为被指定为低风险者实际上确实是低风险。
最具预测性的变量为人囗统计学、服务利用和手术相关因素。有趣的是,临床信息不在最重要的预测因素之列——尽管它仍是整体模型的一部分。这凸显了利用排程时可轻松获取的信息来开发强效CDS的能力。
我们建立了一个数据流流程,将预定病例的信息——包括预测的资源利用情况——整合到一个每天早上更新的仪表板中。虽然大多数传统的临床决策支持(CDS)一次只呈现1名患者的信息,但我们的显示方式使决策者能够更全面地审视患者整体情况。该CDS工具适用于我们的3家医院、所有外科专科以及所有患者年龄组。虽然不同专科可能具有不同的危险因素,25 但机器学习方法使模型能够找到适当的异质性程度。相比之下,许多先前关于资源利用的研究都是针对特定专科或特定操作的研究。26,27,28 我们的整合方法凸显了在社区感染风险导致资源严重短缺时期,围手术期决策如何能够融入医院对公共卫生的最终责任之中。
工具使用与进一步发展
该CDS工具及相关仪表板于2020年6月17日投入使用。由于我们当地的COVID-19情况,我们尚未需要就病例优先级做出决策。该工具使用最多的是我们的病例管理团队,使他们能够就哪些患者将出院至专业护理机构(SNF)进行预先规划。我们目前还在评估如何将该工具用于后COVID-19环境下的资源规划。
总体而言,我们将此视为一个持续学习的过程。自该工具启用以来,我们评估了替代建模方法,例如针对特定专科和特定年龄的模型。我们进行了修改,既加快了数据流流程,也修订了决策规则的各个方面,以更好地满足用户需求。我们在交互式可视化工具中创建了一个模型评估可视化界面,使用户能够评估风险模型的性能。这使我们——作为工具开发者——能够监测性能,并使工具用户能够对该CDS的质量建立信心。最后,我们正在研究如何将该工具与显示ICU收治人数和当地COVID-19情况的其他仪表板更紧密地整合。
局限性
本文描述的模型及其所支撑的临床决策支持系统(CDS)既提供了概念验证,也为其他机构提供了蓝图。然而,我们的方法并非没有局限性。首先,具体模型是使用单一医院系统生成的数据构建和验证的。这限制了其外部有效性,尽管我们假设该方法——使用相似的预测变量——在类似环境中(即三级学术医学中心)应具有可比的表现。此外,我们的分析框架无法从外科角度提供关于如何将当前资源可用性与未来资源需求最优整合的见解。前者受多种其他因素影响,包括社区、星期几和季节变化。为达到足以满足日常决策的精确度,我们确定临床有意义的分组(例如,延长住院时间和短与长重症监护室住院时间)优于预测概率。因此,尽管底层预测本质上是定量的,我们输出的表述旨在增强和辅助,而非替代外科医生实施手术的决定。因此,此类工具支持用于确定医院资源在任何给定日期或周内是否有不堪重负风险的系统;它需与社区背景COVID-19发生率、当前住院和重症监护室普查、对延迟病例的了解以及任何1名患者的医疗必要性结合使用。这凸显了做出此类决策的复杂性以及更好整合各种CDS工具的必要性。最后,我们的模型仅与可从病历中解读的信息一样精确。尽管患者层面数据易受错误指定和错误编码影响,我们设计了一种迭代方法,以便随着每天向前推进的决策和行动,预测可随新输入更新。
结论
我们提出的用于构建外科资源利用正式化CDS工具的框架,结合将电子健康记录(EHR)数据与仪表板整合的工作流程,具有高度可复制性。当各机构试图规划一条安全且可持续的通往新常态的道路时,这项工作说明了外科团队和医院领导层如何以数据驱动的方式做到这一点,从而生成一个学习型医疗保健环境。
参考来源
- Goldstein BA, Cerullo M, Krishnamoorthy V, et al. Development and Performance of a Clinical Decision Support Tool to Inform Resource Utilization for Elective Operations. JAMA Netw Open. 2020. PMID: 33136133. doi:10.1001/jamanetworkopen.2020.23547
- 全文:PMC7607444(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7607444/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。