基于电子健康记录的急性心肌梗死患者30天再入院风险预测模型的开发
本研究为回顾性队列研究,在VUMC(6163例)开发并外部验证于DHMC(4024例)5种机器学习模型(弹性净、LASSO、岭回归、随机森林、梯度提升),预测AMI住院患者30天再入院。内部测试集AUROC为0.686-0.704,外部验证AUROC降至0.558-0.655(参数模型)和0.606-0.608(非参数模型);校准最佳模型为LASSO,但外部验证校准百分比仅17.0%。结论认为模型可嵌入EHR利用常规数据,但跨机构部署需本地适配和持续更新。
要点
- 在VUMC开发集(6163例,30天再入院率15.1%)中,5种模型测试集AUROC为0.686-0.704,非参数模型梯度提升最高(0.704)。
- 外部验证于DHMC(4024例,再入院率10.2%)时,参数模型AUROC降至0.558-0.655,非参数模型为0.606-0.608,区分度普遍下降。
- 校准最佳模型为LASSO,VUMC测试集校准百分比31.64%,但DHMC外部验证校准百分比仅17.0%,提示跨机构校准差。
- 模型中反复出现的最强预测因子包括出院去向、年龄、医院评分、血红蛋白水平和肌钙蛋白水平。
- 模型可嵌入EHR利用常规收集数据,但原文指出几乎所有模型均需本地环境适配和持续更新才能达到临床效用和安全性。
适用人群与场景
- 纳入:2007年1月1日至2016年12月31日期间在VUMC因原发诊断AMI住院出院的所有住院患者,以及2011年4月2日至2016年12月31日在DHMC因AMI住院出院的对齐队列。
- 排除:非指数AMI住院的住院记录(VUMC排除4241例,DHMC排除2617例)以确保每例患者仅1次住院;排除出院前死亡患者(VUMC排除327例,DHMC排除244例)。
- 排除:从其他机构转入的患者不纳入(原文描述为「not transferred from another facility」)。
- 场景:住院出院后30天再入院风险预测,非急诊/ICU床旁实时决策场景。
诊断标准与关键阈值
- 再入院定义采用Centers for Medicare & Medicaid Services定义:指数AMI出院后30天内因观察或急性住院的再次住院,排除康复机构入院、养老院入院或计划性手术/操作入院。
- 结局 ascertainment 通过各医院行政数据库(包括收治医院所在州及周边州住院数据集)和Medicare claims链接,确保30天再入院完整捕获。
- 模型性能评估指标:AUROC、校准百分比(calibration belt跨越观察/期望1线的预测比例)、Brier评分;最佳模型定义为校准带内观察数最多的模型。
处置流程与药物剂量
- 原文未提及具体的床旁处置流程或药物剂量方案;本研究为风险预测模型开发,不涉及治疗干预。
红旗征与不能漏的情况
- 原文未提及
研究设计与关键结果
- 研究类型:回顾性队列研究,开发集VUMC 6163例唯一患者(平均年龄67岁,SD 13;男性4137例,67.1%;Black或其他种族1019例,16.5%;30天再入院933例,15.1%),外部验证集DHMC 4024例唯一患者(平均年龄68岁,SD 12;男性2584例,64.2%;30天再入院412例,10.2%;大部分为非西班牙裔白人)。
- 干预/方法:从行政编码、用药医嘱和实验室检查中考虑141个候选变量,开发5种机器学习模型——参数模型(弹性净、LASSO、岭回归)和非参数模型(随机森林、梯度提升),使用保留测试集评估AUROC、校准百分比和校准曲线带。
- 主要终点结果:VUMC测试集AUROC参数模型为0.686-0.695,非参数模型为0.686(随机森林)至0.704(梯度提升);DHMC外部验证AUROC参数模型为0.558-0.655,非参数模型为0.606-0.608。
- 校准结果:VUMC测试集校准百分比最高为LASSO(31.64%),其次为弹性净(30.24%),均使用默认超参数;DHMC外部验证校准百分比最高为LASSO(17.0%),使用优化超参数。
- 关键预测因子:模型中反复出现的最强预测因子为出院去向、年龄、医院评分、血红蛋白水平和肌钙蛋白水平。
证据类型、等级与局限
- 证据类型:回顾性队列研究(模型开发与外部验证),非RCT。
- 证据等级/推荐强度:原文未给出正式证据等级或推荐强度;研究遵循TRIPOD报告指南。
- 局限:外部验证站点存在数据质量限制,VUMC可用的候选预测变量在DHMC无法填充,限制了可用候选预测因子数量并影响模型评分性能;尽管使用OMOP通用数据模型和标准化变量定义,本地EHR映射差异仍限制外部验证站点数据可用性。
- 局限:多变量插补在实时生产环境中可能不可用,可能需要简单插补替代策略;临床实践部署需监测和本地重新校准。
- 局限:外部验证中LASSO和岭回归区分度差,岭回归、随机森林和梯度提升校准非常差,提示对开发数据过拟合。
对床旁实践的改变
- 本研究提示基于EHR的机器学习模型可用于AMI出院后30天再入院风险分层,但外部验证区分度下降(AUROC 0.558-0.655)且校准差(LASSO外部验证校准百分比17.0%),不能直接将VUMC模型阈值用于其他机构。
- 模型嵌入EHR可利用常规收集的结构化数据(人口学、用药医嘱、实验室检查),但需本地重新校准和持续监测后方可用于资源分配决策。
- 常见陷阱:仅关注AUROC而忽略校准;跨机构数据映射差异导致候选变量缺失;多变量插补在生产环境不可用。
- 适用人群:因AMI住院出院、非转院、出院存活的患者;不适用于出院前死亡或非指数AMI住院患者。
指南或共识出处
- 原文未提及具体的指南或共识名称作为推荐来源;研究遵循TRIPOD报告指南(Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis)。
全文中译11 节 · 点击展开
引言
在美国,冠状动脉心脏病导致约14%的死亡;每34秒发生一例急性心肌梗死(AMI),每84秒发生一例AMI相关死亡。1美国每年约有635 000人首次发生AMI,其中近一半在同一年内经历复发性AMI。1每5例AMI患者中有1例在出院后30天内再住院。1,2,3
2010年《患者保护与平价医疗法案》将医院再入院确定为修订按服务收费的医院报销制度和减少医疗保健支出的目标。4非计划再入院占医疗保险医院报销的17%,每年花费约174亿美元。5经历AMI的医疗保险受益人中约20%在出院后30天内再住院。6尽管质量改进举措和财务激励措施已使30天再入院率下降,但索引入院后的急诊就诊和观察性留院有所增加。7,8,9因此,再入院减少项目的成功尚不确定,凸显了识别可能受益于额外医疗保健资源以降低再入院风险的患者的需求。
风险预测模型对于促进高风险患者的有效资源分配和再入院预防很重要。4,5,10将预测模型嵌入电子健康记录(EHR)以支持临床团队使用的自动化再入院预测的机会日益增多,但挑战依然存在。11,12,13预测模型在不同EHR之间的可移植性通常有限10,11,12,原因包括机构之间患者病例组合的系统性差异、EHR数据存储方法的差异14,以及医疗保健系统内临床和数据实践随时间的变化。15解决可移植性的策略包括系统化的数据管理方法(例如,通用数据模型和交换格式)和模型维护。16,17
当前针对AMI后30天再入院开发的模型侧重于来自索赔数据或受限患者人群的风险因素,这限制了性能和部署。18许多研究使用医疗保险索赔数据(C统计量,0.63)或仅含结构化数据的州登记数据(C统计量,0.64-0.67)预测30天再入院,其区分度有限。18,19,20,21,22机器学习模型可以通过考虑变量交互作用和非线性来克服其中一些局限性;然而,模型输出的透明度有限。23然而,将此类模型纳入EHR、减轻手动计算负担以及仔细选择可理解的方法的能力已提高了临床可用性。24,25
在本研究中,我们试图通过分析从EHR收集并在通用数据模型内标准化的广泛数据集,并比较一组稳健的机器学习方法,来改进住院AMI患者的30天再入院风险预测。
方法
我们在范德堡大学医学中心(VUMC)开展了这项研究,该中心是位于田纳西州纳什维尔的一家大型三级医疗学术医院系统,其服务覆盖范围包括周边9个州。达特茅斯-希契科克医学中心(DHMC)是一家三级医疗机构,服务于新罕布什尔州及3个邻近州,被用作外部验证站点。初始纳入队列包括2007年1月1日至2016年12月31日期间所有以急性心肌梗死(AMI)为主要国际疾病分类第九版临床修订版(ICD-9-CM)或国际疾病统计分类第十版临床修订版(ICD-10-CM)诊断代码住院的全部10 731例患者,以及DHMC在2011年4月2日至2016年12月31日期间出院的住院患者对齐队列。数据分析于2019年1月4日至2020年11月15日期间进行。
随后我们排除了所有非索引AMI住院的患者住院记录(VUMC 4241例,DHMC 2617例),以确保每位患者仅保留1次住院记录,并排除了出院前死亡的患者(VUMC 327例,DHMC 244例)。最终队列为VUMC 6163例和DHMC 4024例唯一患者。为补充确定住院后30天再入院情况,队列与医疗保险提供者分析与审查住院索赔数据进行了链接。26
所有数据均在VUMC电子健康记录(EHR)StarPanel27,28和DHMC本地EHR中采集并汇总至临床数据仓库。各机构的源EHR数据被转换为观察性医疗结果合作组织(OMOP)通用数据模型。在VUMC,此工作由VICTR完成,并得到机构和美国国立卫生研究院临床与转化科学基金资助。在DHMC,此工作由研究团队完成。OMOP支持对使用不同术语和数据结构的编码数据变量进行标准化,并因其对临床数据的实用性而广为人知。17,29本研究中所有结构化数据字段均从各站点的OMOP实例中提取。
我们遵循了多变量预测模型个体预后或诊断透明报告(TRIPOD)队列研究报告指南。30本研究经VUMC和达特茅斯学院机构审查委员会以快速审查方式批准,并豁免知情同意。知情同意被豁免的原因是该工作无法在直接知情同意的情况下可行地完成,且经机构审查委员会判定本研究对参与者构成的风险极小。
候选预测因子
主要效应预测变量及其定义列于补充材料的eTable 1中,包括4个人口学变量、9个用药医嘱、86个给药变量、9个综合评分变量和33项实验室检查。变量使用ICD-9-CM、ICD-10-CM、现行操作术语和医疗保健通用操作编码系统代码进行定义,并在存在交叉映射的情况下,使用统一医学语言系统交叉映射将其转换为SNOMED-CT,以查询OMOP表。为了更公平地比较参数方法与非参数方法(后者能够自动评估交互项和非线性变量表示,而参数方法不能),我们使用前向和后向逐步逻辑回归评估一阶交互项,以α = .10作为保留交互项变量的阈值。候选预测变量的完整列表见补充材料的eTable 8。在VUMC生成的所有候选预测变量均在DHMC进行了复制。
结局
主要关注的结局是30天再入院。采用美国医疗保险和医疗补助服务中心的定义,再入院定义为自索引AMI出院后30天内因观察或急性住院的后续住院,并排除康复入院、养老院入院或计划性手术或操作入院。再入院的日期和原因来源于各医院的行政数据库,包括收治医院所在州及周边州的住院数据集以及Medicare理赔数据,确保完整确认30天再入院。VUMC和DHMC的结局推导方法相同。
缺失值
最终分析文件在VUMC包含37个有缺失值的变量,在DHMC包含30个。我们通过假设与插补技术相结合的方式处理这些问题。当数据为随机缺失且仅限于预测变量时,插补是必要的,多重插补可提供稳健的结果。31除实验室检查数据外,当电子健康记录数据中临床信息为空时,假定为阴性或不存在。对于实验室变量,使用SAS 9.4版(SAS Institute Inc)通过马尔可夫链蒙特卡罗方法创建20个插补数据集,假设所有插补变量服从多元正态分布。32缺失数据通过从条件多元正态分布中抽取获得。在样本量足够大时,即使正态性假设未完全满足,该方法通常也能产生可靠的估计。32
VUMC和DHMC的最终文件共包含241个变量,包括141个主效应、99个二阶项和1个结局。每个中心包含20个插补数据文件,VUMC有123 260个观测值,DHMC有80 480个观测值。拥有20个数据文件可以充分反映缺失值的不确定性,从而对变量对结局的影响具有信心。最终分析数据文件导入R 3.6.0版(R Foundation)用于机器学习开发和执行。
统计分析
模型开发
开发了五种机器学习模型,包括参数模型(弹性网络[EN]、最小绝对收缩和选择算子[LASSO]和岭回归[RR])和非参数模型(随机森林[RF]和梯度提升[GB])。最终模型从每种方法中表现最佳的模型中选择,评估方法包括在R中评估每种模型方法的默认超参数设置,以及对每个非参数模型的关键超参数特征进行网格搜索,使用R中的caret包以5折交叉验证确定超参数。caret包中的trainControl算法构建一个可能参数的网格,以优化用于最终模型的超参数。每个超参数最初列出的所有数字均为默认值。
参数模型的超参数包括α和λ。根据定义,α超参数对于LASSO固定为1,对于RR固定为0。使用caret包进行网格搜索后,EN的α设定为0.55。每个参数模型使用λ最小值和λ最小值1个SE两种方式进行评估。
RF的超参数为每次分裂时抽取的候选变量数(11.87)、观测样本量(n)、观测是否通过有放回方式抽取(是)、节点大小(1)、树的数量(500)和分裂规则(基尼不纯度、P值、随机)。33网格搜索的结果将树的数量改为1000,每次分裂时抽取的候选变量数改为7;其余超参数保留默认值。
GB的超参数为树的数量(100)、交互深度/每棵树的最大节点数(4)、树终端节点的最小样本数(10)、随机选择用于后续树的训练观测比例(0.5)、训练比例(1)和学习率(0.01)。网格搜索将树的数量优化为7、交互深度/每棵树的最大节点数优化为1、收缩参数优化为0.537。34
在部署每个机器学习模型之前,最终分析数据文件在20个插补数据集中各自随机分为三分之二训练集和三分之一测试集。参数模型在R中使用glmnet和caret包开发。35非参数模型使用RandomForest和gbm库。34,36
模型评估与评分
每个模型在完整训练集上使用10折交叉验证进行训练,重复5次。模型性能使用完整留出测试集确定。对每个模型的每个插补数据集(1-20),从测试集中计算受试者工作特征曲线下面积(AUROC)、95%CI和SE。使用Rubin指数对所有插补文件的AUROC、SE和95%CI进行合并,为每个不同的机器学习模型生成单一指标。研究了预测概率的各种阈值。对每个模型在训练集和测试集上使用校准曲线带和校准百分比(校准带穿过观测/期望1线的预测比例)评估校准。37我们报告这些校准结果用于模型比较。然后评估合并的Brier评分,这是一个结合区分度和校准性能的全局指标。38表现最佳的模型定义为校准带内观测数最多的模型。39
每个模型部署后,使用DHMC数据进行评分。模型在全量DHMC数据集上进行评分,使用默认超参数和优化超参数的模型。模型区分度采用合并AUROC评估,校准采用校准曲线带和校准百分比评估,方法如“模型评估”部分所述。
结果
在VUMC的6163例患者中,933例(15.1%)在30天内再入院,2026例(32.9%)为女性,4137例(67.1%)为男性,1019例(16.5%)为黑人或其他种族,大多数为西班牙裔。平均(SD)年龄为67(13)岁。在DHMC的4024例患者中,412例(10.2%)在30天内再入院,1440例(35.8%)为女性,2584例(64.2%)为男性,大多数为非西班牙裔和白人。平均(SD)年龄为68(12)岁。低细胞阈值限制了种族和民族数据的具体发布。补充材料中的表1和eTable 2呈现了各中心的额外患者特征。从OMOP转换变量中提取的人口学和临床变量列表见补充材料eTable 1,完整变量列表见补充材料eTable 8。
参数模型(EN、LASSO、RR)的最终特征分别以合并系数形式展示于补充材料eTable 3、eTable 4和eTable 5。尽管非参数模型(RF和GB)的参数无法以相同方式直接表示,我们纳入了合并RF和GB模型中常报告的feature(补充材料eTable 6和eTable 7)。
对于参数模型EN、LASSO和RR,测试集的AUROC水平在0.686至0.695之间;对于非参数模型,测试集的AUROC水平从RF的0.686至GB的0.704(表2)。表现最佳的EN、LASSO、RR和GB模型出现在默认超参数下,表现最佳的RF模型出现在优化超参数下。在外部验证队列中,表现最佳的参数和非参数模型出现在优化超参数下。参数模型的AUROC在0.558至0.655之间,非参数模型的AUROC在0.606至0.608之间(表2)。
对于VUMC测试数据的校准评估,表现最佳的模型为LASSO,其校准观察百分比最高(31.64%),EN紧随其后(30.24%),两者均使用默认超参数(图1)。外部验证队列中校准百分比最高的模型为使用优化超参数的LASSO(17.0%)。图2展示了两个队列中表现最佳LASSO模型的校准曲线。其他4个模型的额外校准曲线见补充材料eFigure 1和eFigure 2。对于VUMC,针对表现最佳LASSO模型测试了多个阈值下的敏感性、特异性、阳性预测值、阴性预测值和F1评分(表3)。在模型中反复位列最强预测因子的是出院地点、年龄、医院评分、血红蛋白水平和肌钙蛋白水平。
讨论
在本研究中,我们开发了基于电子健康记录(EHR)的机器学习风险预测模型,其在推导Site的性能优于既往发表的模型,同时保持了良好的校准。22,40,41,42此外,我们在一个独立Site对机器学习风险模型进行了外部验证,突出了在非推导Site保持充分校准所面临的挑战。我们选择LASSO作为最佳拟合模型是出于多个因素,因为AUROC之间无统计学显著差异,且我们主要关注校准图与对角线拟合线的接近程度。在各选项中,我们选择LASSO作为最优模型可能看似反直觉,因为它并未提供最高的AUROC,但它似乎代表了区分度与校准性能之间的平衡优先。我们希望稳健的校准评估成为风险模型开发的常态。39在外部验证队列中,LASSO和RR模型的区分度指标较差;然而,EN、RF和GB模型的区分度下降较少。然而,RR、RF和GB模型的校准非常差,提示对推导数据存在过拟合。
既往研究强调在这些模型使用过程中需要持续监测和更新,因为Site之间存在系统性数据收集差异,且临床实践随时间发生漂移。15,43尽管外部验证是风险模型的重要指标,但本研究强调,即使使用通用数据模型来对齐数据定义并在同一时间段内进行模型推导,向其他Site的可移植性仍可能受到影响。几乎所有的模型都可能需要适应当地环境并随时间持续更新,以实现临床效用和安全性。
已有若干出版物评估了心血管事件后的全因再入院,40,44,45 但针对急性心肌梗死(AMI)的研究较少41,46,47,48,49,且据我们所知,尚无 AMI 文献比较过基于自动化电子健康记录(EHR)映射风险因素构建的机器学习模型。Dodson 及其同事48 近期发表了 SILVER-AMI,这是一种在 3006 例 AMI 患者中训练和测试的集成模型,在验证人群中的 C 统计量为 0.63。在一项系统综述中,Smith 等41 识别了 11 项研究,涵盖 16 种不同的再入院模型(C 统计量中位数 0.65;范围 0.53-0.79)。在这 16 种模型中,一半采用了拆分队列或自举法形式的验证,仅 1 种模型在独立队列上进行了更广泛验证。Meddings 等40 研究中的 C 统计量为 0.79,但模型推导样本量较小(n = 833)。在 READMITS 中,Nguyen 等46 使用后向逐步参数选择和 5 折交叉验证对 876 例患者的 30 天再入院进行了研究;所得模型的区分度为 0.75。Hebert 及其同事45 开发了一种 AMI 特异性模型,最初报告的 AUROC 值为 0.76。然而,当使用历史队列对 2 年回顾性数据进行验证时,验证值降至 0.66。在 TRACE-CORE 队列中对增强版美国医疗保险和医疗补助服务中心模型预测 AMI 后事件进行测试,报告的 C 统计量为 0.62 至 0.65,但校准不佳。45
有必要同时比较校准度和区分度。既往文献表明,区分度在模型开发和验证过程中相对稳定可靠。然而,校准度随时间快速漂移,50 且即使在初始模型推导阶段,模型校准度也因特征可用性和样本量而高度变化,其变化范围似乎对 AUC 性能不敏感。15 因此,难以比较未包含校准指标的早期开发模型。
我们通过比较多种风险模型和候选变量池,扩展了该领域早期的研究。41,46,47 各模型的基本假设不同,并在参数模型和非参数模型之间存在差异。此类稳健比较近期已在预测建模中得到应用,但尚未广泛实践。15
局限性
本研究存在若干局限性。外部验证站点存在数据质量限制,导致在 VUMC 可用的候选预测变量无法在 DHMC 中填充。该因素限制了 VUMC 模型可用候选预测变量的数量,影响了其性能,进而影响了 DHMC 可用变量的质量,从而也影响了模型评分性能。尽管使用了通用数据模型、标准化变量定义和代码共享,本地 EHR 映射的细微差异仍限制了外部验证站点的数据可用性。未来研究可能有必要关注建立跨站点增强数据互操作性的方法。
此外,在临床实践中部署该模型存在局限性。在各站点之间不存在显著数据质量差异的情况下,使用基于OMOP通用数据模型的严格EHR映射变量可以将EHR结构化变量纳入自动化风险预测工具包。对缺失变量采用了多重插补,而该功能在实时生产环境中可能不可用;因此,可能需要采用简单插补的替代策略。此外,在临床实践中实施任何模型都需要进行监测以及针对本地环境进行潜在的重校准。
结论
在本研究中,我们开发并外部验证了一个源自EHR的再入院风险预测模型,用于因AMI住院的患者。我们在一个用于比较候选建模方法的框架内开发了这些模型,并选择了在候选方法中保持校准与区分度之间平衡的方法。该模型开发框架可有助于选择一个模型在EHR环境中部署,以支持优先分配有限资源以降低这些患者再入院的可能性的。
参考来源
- Matheny ME, Ricket I, Goodrich CA, et al. Development of Electronic Health Record-Based Prediction Models for 30-Day Readmission Risk Among Patients Hospitalized for Acute Myocardial Infarction. JAMA Netw Open. 2021. PMID: 33512518. doi:10.1001/jamanetworkopen.2020.35782
- 全文:PMC7846941(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7846941/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。