文献速递重症综合管理与镇静镇痛消化、代谢与肾脏急症

人工智能预测模型中的诊断编码与同次住院结局的标签泄漏

Diagnostic Codes in AI Prediction Models and Label Leakage of Same-Admission Clinical Outcomes.
PubMed 文献 · JAMA Netw Open · 2025-12-01
一句话结论在MIMIC-IV中仅用ICD编码预测住院死亡,AUROC高达0.976,但ICD编码是出院后才最终确定的,这种标签泄漏使模型无法用于实时临床预测。

该预后研究使用MIMIC-IV数据库(2008年1月1日至2019年12月31日)180 640例患者、422 534次住院数据,仅以ICD编码为特征构建住院死亡预测模型(逻辑回归、随机森林、XGBoost),在测试集AUROC分别为0.976(95%CI 0.973-0.980)、0.971(95%CI 0.967-0.974)、0.973(95%CI 0.968-0.977)。作者指出ICD编码在出院后才最终确定,将其作为同次住院预测特征构成时间标签泄漏,模型利用了预测时点不可获得的后见信息。定向文献综述发现,92项使用MIMIC进行同次住院预测的研究中37项(40.2%)将ICD编码作为输入特征。作者认为这是严重的方法学缺陷,会夸大模型性能并使其无法在实时临床中作出有用预测。

要点

  • 仅用ICD编码预测住院死亡的模型在测试集AUROC达0.976(逻辑回归)、0.971(随机森林)、0.973(XGBoost),作者认为这源于标签泄漏而非真实预测能力。
  • 逻辑回归中权重最高的编码包括硬膜下出血(OR 389.99;95%CI 28.79-5283.59)、心脏骤停(OR 219.58;95%CI 159.61-302.08)、脑死亡(OR 112.78;95%CI 13.42-947.70)、姑息治疗就诊(OR 98.04;95%CI 83.16-115.58)。
  • 随机森林与XGBoost特征重要性分析中,不复苏状态(随机森林第2位、XGBoost第1位)、急性呼吸衰竭(随机森林第4位、XGBoost第2位)、姑息治疗就诊(随机森林第1位、XGBoost第4位)为强预测因子。
  • 定向文献综述中,92项(92.0%)使用MIMIC的同次住院预测研究里37项(40.2%)将ICD诊断编码作为输入特征。
  • 作者建议模型开发者仅使用基于电子健康记录存储时间的数据,事先定义预测时点,并通过来源审查和临床或领域专家输入确认每个候选变量在该时点确实已知。

适用人群与场景

  • MIMIC-IV数据库(2.2版)中2008年1月1日至2019年12月31日在贝斯以色列女执事医疗中心入住ICU或急诊科的患者,共180 640例患者、422 534次住院,所有有ICD编码的住院均纳入,排除不足1%。
  • 研究队列平均(SD)入院年龄58.7(19.2)岁,53.0%为女性、47.0%为男性。

研究设计与关键结果

  • 研究类型为预后研究,使用MIMIC-IV公开去标识电子健康记录数据,按入院日期以70%训练、10%验证、20%测试划分数据集,并排除验证集和测试集中也在训练集有住院的患者。
  • 仅以ICD-9编码为特征(排除生命体征、实验室值和药物)构建住院死亡预测模型,测试集AUROC:逻辑回归0.976(95%CI 0.973-0.980)、随机森林0.971(95%CI 0.967-0.974)、XGBoost 0.973(95%CI 0.968-0.977)。
  • 逻辑回归中OR最高的编码为硬膜下出血(OR 389.99;95%CI 28.79-5283.59)、心脏骤停(OR 219.58;95%CI 159.61-302.08)、脑死亡(OR 112.78;95%CI 13.42-947.70)、姑息治疗就诊(OR 98.04;95%CI 83.16-115.58),所有编码经Benjamini-Hochberg校正后P<.05。
  • 随机森林与XGBoost特征重要性分析中,不复苏状态(随机森林第2位、XGBoost第1位)、急性呼吸衰竭(随机森林第4位、XGBoost第2位)、姑息治疗就诊(随机森林第1位、XGBoost第4位)为强预测因子;角膜浅表损伤在XGBoost中为第17位重要特征。
  • 定向文献综述于2024年11月20日至27日通过谷歌学术检索MIMIC-III和MIMIC-IV预测建模研究各50项,共100项;其中92项(92.0%)为同次住院预测,37项(40.2%)使用ICD诊断编码作为输入特征。
  • 数据集中住院死亡发生在8417次住院(2.0%);摘要报告8573例(4.7%)死于住院期间。

证据类型、等级与局限

  • 证据类型为预后研究加定向文献综述;遵循TRIPOD+AI和STROBE报告规范。
  • 局限:研究范围仅限于使用MIMIC-III和MIMIC-IV数据集的研究,未提供直接证据说明该问题在私立或其他机构数据集中是否或多常发生。
  • 局限:分析未考虑MIMIC与私立机构数据之间可能存在的编码实践、数据结构或文档差异。
  • 局限:虽然怀疑透明度较低的数据集中可能存在类似或更严重的问题,但无法进行实证检验,本研究没有支持该断言的研究发现。
  • 局限:将研究发现推广到MIMIC文献之外需要进一步研究。

对床旁实践的改变

  • 作者认为,在同次住院预测模型中将ICD编码作为特征可能是严重的方法学缺陷,会夸大性能指标并使模型无法在实时临床中作出有用预测。
  • 作者建议模型开发者仅使用基于电子健康记录存储时间的数据,而不是对数据可用性作假设或使用其他时间信息。
  • 作者建议事先定义预测时点,并对任何候选变量通过来源审查和临床或领域专家输入确认其在该时点确实已知。
  • 作者建议文章包含简短的变量可用性声明,说明每类变量的来源和时间假设,并解释这些假设如何与预期临床用途一致。
  • 作者认为,在评估使用透明度较低数据集和方法的研究时应提出疑问,因为标签泄漏在文档完善的MIMIC数据集中都如此常见。

提炼说明

  • 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:JAMA Netw Open. 2025 Dec 26;8(12):e2550454. doi: 10.1001/jamanetworkopen.2025.50454

引言

人工智能(AI)和机器学习模型在预测关键的同期住院结局(如院内死亡)方面已展现出令人瞩目的性能。1,2,3 部分模型使用国际疾病分类(ICD)诊断计费代码作为输入特征。由于ICD代码是在临床事件发生后录入电子健康记录(EHR)的,在住院过程中可能被修改,且仅在出院后才最终确定,将其纳入模型会引入数据泄漏,即在模型训练和评估过程中不当使用了部署临床环境中无法获得的信息。

已有多篇已发表的医疗保健机器学习模型示例通过依赖非预期特征而取得不切实际的性能,这一现象被称为捷径学习。4,5,6,7,8 在本研究中,我们专门考察了Davis等人9所述的时间标签泄漏问题,即模型输入在其实际可用之前就被使用。例如,设想一名因不明原因腹痛入院的患者。经过进一步评估,该患者被诊断为阑尾炎,发生感染性休克,并在数日后发生心脏骤停后死亡。在患者入院早期,仅能获得不明原因腹痛这一信息。然而,如果模型纳入了住院结束后才 subsequently 分配的所有ICD代码,它就不公平地利用了事后信息来预测死亡,从而获得具有欺骗性的高准确率。

本研究旨在说明看似准确的同期住院预测模型可能如何由泄漏所驱动,并量化这种泄漏在医疗保健机器学习文献中出现的频率。为考察与该问题相关的结局,我们进行了2项分析。首先,我们在预测住院死亡的模型中使用ICD代码,住院死亡是最常见的同期住院预测任务之一。其次,我们对已构建AI模型预测住院结局的研究进行了针对性文献综述,并确定了其中将同一住院期间的ICD代码作为输入特征的研究百分比。

方法

数据来源与研究人群

本预后研究使用了重症监护医学信息库IV数据库(MIMIC-IV)2.2版,10 这是一个公开可用的、去标识化的EHR数据库,收录了2008年1月1日至2019年12月31日期间在贝斯以色列女执事医疗中心入住重症监护病房(ICU)或急诊科的患者。MIMIC-IV数据库是一个大型、可自由获取的EHR资源,以去标识化形式发布,日期经过偏移处理,并按照《健康保险携带和责任法案》去标识化标准应用了其他去标识化保护措施。由于该研究仅使用去标识化数据,不涉及与个体的互动,不访问可识别的私人信息,也不进行干预,因此根据《通用规则》不构成人类受试者研究,故无需机构审查委员会审查或知情同意。MIMIC数据的访问遵循标准资质认证要求和数据使用协议。本研究遵循个体预后或诊断多变量预测模型的透明报告及AI(TRIPOD+AI)和加强流行病学观察性研究报告(STROBE)报告指南。

所有具有ICD编码的入院均纳入我们的研究,排除率低于1%。MIMIC-IV数据集将入院患者的种族和民族数据分类为亚洲人、黑人、西班牙裔、白人、其他或未知,本文报告这些数据仅用于描述目的。10 我们按照TRIPOD+AI指南11按入院日期将数据集划分为训练集(70%)、验证集(10%)和测试集(20%),排除验证集和测试集中同时也在训练集中有入院的患者。由于我们的队列跨越了美国从《国际疾病分类第九版临床修改版》(ICD-9-CM)向《国际疾病统计分类第十版临床修改版》(ICD-10-CM)的过渡(2015年10月1日),我们使用美国医疗保险和医疗补助服务中心的通用等价映射将所有ICD-10-CM诊断映射至ICD-9-CM,以统一跨年度的编码空间;我们以泄漏为研究重点的目标不需要ICD-10-CM额外的精细粒度。我们还移除了与其他ICD编码方差低(<0.0001)或协方差高(>0.8)的ICD编码。

ICD编码预测模型的开发与评估

我们仅使用ICD-9编码作为特征训练分类模型(逻辑回归、12 随机森林12 和XGBoost13),在验证集中调优超参数。我们选择这些模型是因为它们是常用分类器之一,在表格数据上表现优异,并提供模型解释方法。其他预测特征,如生命体征、实验室值和药物,被有意排除,以仅考察ICD编码驱动的标签泄漏的可能性。随后在留出的测试集上评估训练好的模型,使用受试者工作特征曲线下面积(AUROC)和平衡准确率评估性能。

定向文献综述

为评估该问题的普遍性,我们对使用MIMIC-III或MIMIC-IV的研究进行了定向文献综述。为此,我们于2024年11月20日至27日期间使用Google Scholar,采用2个搜索查询(不区分大小写):(1) prediction model machine learning mimic-IV OR mimic IV OR mimic 4 OR mimic-4 和 (2) prediction model machine learning mimic-III OR mimic III OR mimic 3 OR mimic-3。我们按每年引用次数对结果排序,以避免对近期发表研究的偏倚,并依次筛选,直到确定100项预测建模研究(MIMIC-III14 和MIMIC-IV10 各50项)。随后我们对文章进行人工审查,以(1)分类研究是否预测同一次入院期间的临床事件,以及(2)调查ICD编码是否被用作输入特征来预测同一次入院期间的结果。

统计分析

我们在逻辑回归模型中计算了ICD编码的比值比(OR)和P值,并应用Benjamini-Hochberg程序控制错误发现率,阈值为P < .05。对于随机森林和XGBoost模型,我们使用各库各自的默认标准(即基尼重要性和增益)评估特征重要性,以确定哪些ICD编码被认为对预测任务重要。分析于2024年12月18日至2025年1月14日期间进行,使用Python 3.10版本(Python软件基金会)及以下软件包:numpy 2.0.2版本;pandas 2.2.2版本;scikit-learn 1.4.2版本;scipy 1.13.0版本;shap 0.46.0版本;statsmodels 0.14.2版本;xgboost 2.0.3版本。完整源代码可在Github上获取。15

结果

基于ICD编码的预测模型

研究队列包括来自180 640名唯一患者的422 534次住院(入院时平均[SD]年龄为58.7 [19.2]岁;53.0%为女性,47.0%为男性;在MIMIC-IV中,3.5%被归类为亚裔,16.2%为黑人,5.9%为西班牙裔,67.2%为白人,4.1%为其他种族,3.3%为未知种族和民族)。院内死亡发生于8417次住院(2.0%)。在留出测试集中,所有3个模型均达到高预测性能,AUROC分别为0.976(95% CI,0.973-0.980)(逻辑回归)、0.971(95% CI,0.967-0.974)(随机森林)和0.973(95% CI,0.968-0.977)(XGBoost)(图1A;补充材料1中的eFigure)。这些结果甚至优于已在相同数据上训练的已发表模型,后者还纳入了来自EHR其余部分的许多额外预测特征。1,2

表列出了逻辑回归模型使用的OR最高的20个诊断编码。完整的逻辑回归特征结果见补充材料2中的eTable 2。经Benjamini-Hochberg程序校正后,所有编码均具有统计学显著性(P < .05)。急性诊断通常发生于住院期间,并在列表中占主导地位,如硬膜下血肿、深昏迷(OR,389.99;95% CI,28.79-5283.59);心脏骤停(OR,219.58;95% CI,159.61-302.08);脑死亡(OR,112.78;95% CI,13.42-947.70);以及姑息治疗就诊(OR,98.04;95% CI,83.16-115.58),所有这些均具有明显的高死亡风险。额外特征包括在该数据集中病例中比对照中更常出现的罕见诊断和症状。

随机森林和XGBoost模型的特征重要性分析(图1B)发现,不复苏状态的ICD编码(随机森林排名第2;XGBoost排名第1)、急性呼吸衰竭(随机森林排名第4;XGBoost排名第2)和姑息治疗就诊(随机森林排名第1;XGBoost排名第4)是死亡率的强预测因子。除了明显代表标签泄漏的ICD编码(例如脑死亡)外,角膜浅表损伤这一诊断是XGBoost模型第17重要的特征,其突出之处在于它并非急性诊断。这一异常可能与模型能够检测到临床医生专注于记录较轻的病情有关,这提示患者相对稳定,因此死亡风险较低。

图1. 预测院内死亡率的模型预测性能与特征重要性A,阴影表示95%置信区间(CI)。AUROC表示受试者工作特征曲线下面积;cl,闭合性;gen noncv ep w/o intr ep,未提及难治性癫痫的全身性非惊厥性癫痫;glen cav/nck,肩胛盂腔与肩胛颈;NEC,坏死性小肠结肠炎;NOS,未另行指定;tubr necr,肾小管坏死。 查看原图 ↗
表. 逻辑回归模型中的前20个特征 查看原表 ↗

文献综述

图2概述了我们的研究筛选过程。我们从最初140篇引用MIMIC的文献中审查了100项构建预测模型的研究,并按年均被引次数降序排列(完整列表见补充材料1中的eTable 1)。16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115 在这些文章中,92篇(92.0%)报告构建了针对同一次住院期间结局的预测模型,17,18,19,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,62,63,64,65,67,68,69,70,71,72,73,74,75,76,77,78,79,82,83,84,85,86,87,88,89,90,91,92,94,95,96,97,98,99,100,101,102,103,104,105,106,107,109,110,111,112 其中,37篇(40.2%)使用ICD诊断编码作为输入特征。17,21,22,26,30,34,35,38,40,41,42,43,47,49,50,58,59,60,68,70,71,75,78,83,84,87,90,92,97,98,99,102,103,107,109,111,115

图2. 目标文献筛选与综述概述筛选过程包括检索和过滤引用重症监护医学信息库III(MIMIC-III)或MIMIC-IV的研究、构建预测模型、进行同次住院预测以及使用国际疾病分类(ICD)编码作为输入特征。 查看原图 ↗

讨论

这项预后研究发现,机器学习医疗保健文献中的一个特定问题可能是同次住院预测模型中存在数据泄漏,这与将诊断编码作为输入特征纳入有关。这些编码仅在出院后才最终确定,为模型提供了预测时无法获得的事后信息。这种做法导致两个不同且严重的问题。第一,临床医生在临床诊疗后记录在电子健康记录(EHR)中的编码不能用于在该次诊疗期间指导实时临床决策。第二,这些编码中的一部分(例如,用于住院死亡率的脑死亡)记录了与所预测结局高度相关的事件。这一问题凸显了一个更广泛的担忧,即用回顾性数据训练的机器学习模型存在歪曲其在实际临床护理中价值的风险。如果这些模型不考虑实时临床工作流程的现实情况,它们在研究中的成功将不会转化为患者结局的有意义改善。

MIMIC-III和MIMIC-IV均明确警告,不要使用某次住院的ICD编码来预测同一次住院的结局。在MIMIC-III中,ICD-9编码来源于患者出院时,14而MIMIC-IV则说明诊断是由经过培训的专业人员在审阅已签署的患者记录后确定的。10这些数据集不提供ICD编码变更或更新的审计日志,而只提供最终的ICD诊断集合。鉴于尽管有这一明确指导,ICD编码在基于MIMIC的研究中仍被广泛使用,我们怀疑,关于私立机构数据的出版物——尤其是那些不共享源代码的出版物——可能更容易受到标签泄漏的影响。

研究者在训练模型时力求尽可能充分地利用现有知识,并且有理由预期某些诊断在入院后不久即为临床医生所知(例如骨折、烧伤)。部分信息可能从患者住院期间可获得的患者记录或医生问题列表中获取。编码常常从既往就诊延续而来,例如慢性病或合并症如糖尿病和高血压,这些可以安全地假定为已知。然而,MIMIC中某次住院以ICD编码形式呈现的诊断是在出院后明确推导出来的。在其他数据集中,如果这些ICD编码带有时间戳并来源于问题列表,则可能可以在不使用标签泄漏的情况下使用ICD编码。然而,鉴于这些编码用于计费目的且代表的是临床思维而非患者状态,仍存在相当大的局限性。3

本研究中的两项分析范围均仅限于MIMIC数据集。然而,已有数千项研究将MIMIC数据库10,14的数据用于各种任务,包括本研究中识别出的纳入ICD编码用于同次住院预测任务的部分。虽然无法对私立或机构数据集量化这一问题,但我们怀疑类似问题在透明度较低、记录不那么详尽的数据集分析中可能至少同样普遍。MIMIC数据库有详尽的描述,包括详细的出版物、完善的文档以及分析示例代码。机构和私立数据集通常透明度较低且不允许可重复性,这反映了医疗保健机器学习研究中更广泛的挑战。9在一个明确定义且明确描述了ICD编码性质的数据集中,标签泄漏如此频繁地发生,这在评估使用透明度和方法较差的数据集的研究时应引起质疑。

解决时间标签泄漏问题的一种方法是仔细检查输入特征,确保这些特征在预测时确实可用,由于数据生成的复杂性,这在医疗保健领域可能是一个具有挑战性的问题。例如,入院时标志似乎是判断ICD编码能否用于同次入院预测的一种简单方法。实际上,美国医疗保险和医疗补助服务中心指出,“在分配ICD-10-CM编码之后,应将[入院时]指示符分配给那些已被编码的病症。”116有许多表面时间戳的例子,由于记录方式滞后于临床现实,这些时间戳实际上只是信息已知时间的不完美替代指标。因此,我们的建议是确保模型开发者仅使用基于电子健康记录(EHR)存储时间的数据,而不是对可用性做出假设或使用其他时间信息。模型开发者可以通过基于EHR存储时间的患者时间线来可视化时间的流逝,以模拟预测模型的临床部署。研究团队与临床领域专家以及信息技术人员和信息学专家合作,理解临床数据中不同时间戳的含义,这一点至关重要。我们建议事先定义预测时间点,并对任何候选变量,通过来源审查和临床医生或领域专家的意见来确定该变量在该时刻是否确实已知。我们还建议文章包含一个简短的变量可用性声明,说明每个变量类别的来源和时间假设,并解释这些假设如何与预期的临床用途相一致。

针对可部署预测模型的计费用ICD编码的实用性存在争议,但至少研究人员需要谨慎确保这些编码在需要进行预测之前是可用的。确保编码可用可能只需要使用既往入院的编码,这仍然需要确保这些编码在与付款方的任何裁定过程中未被编辑,或从带时间戳的问题列表中获取这些诊断。然而,MIMIC数据库既不包含问题列表的时间戳也不包含其编码。这一错误的频率表明研究人员需要更仔细地阅读第三方数据集的文档。虽然无法估计这一问题在私有机密数据集中发生的频率,但我们认为这一频率也表明需要预测模型开发者与涵盖完整数据生成(临床医生)和准备(如信息学专家和数据仓库团队)过程的专家更深入地合作。

局限性

本研究存在一些局限性。研究范围仅限于使用MIMIC-III和MIMIC-IV数据集的研究。我们的研究结果提示该文献子集中存在明显问题,但未提供直接证据说明该问题在使用私有或其他机构数据集的研究中是否存在或发生频率如何。此外,本分析未考虑MIMIC与私有机构数据之间可能存在的差异,后者可能具有不同的编码实践、数据结构或文档记录。虽然我们怀疑由于透明度较低的数据集本身透明度较低,其中可能存在类似或更大的挑战,但无法对此进行实证检验。因此,本研究未包含支持该断言的研究结果。将我们的研究结果推广至基于MIMIC的文献之外需要进行进一步研究。

结论

这项针对MIMIC-IV数据库中患者数据的预后研究发现,将ICD编码作为同次住院预测模型的特征可能是一种严重的方法学缺陷,会夸大性能指标并使模型无法实时做出临床有用的预测。我们的文献综述发现这种做法很常见。应对这一挑战对于推进医疗保健中可信赖的人工智能至关重要。

参考来源

  1. Ramadan B, Liu MC, Burkhart MC, et al. Diagnostic Codes in AI Prediction Models and Label Leakage of Same-Admission Clinical Outcomes. JAMA Netw Open. 2025. PMID: 41632159. doi:10.1001/jamanetworkopen.2025.50454
  2. 全文:PMC12743287(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12743287/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。