ICD10与时代变迁对电子病历类风湿关节炎算法的影响
研究比较了2010年基于自然语言处理和机器学习开发的类风湿关节炎(RA)算法在更新数据(含ICD10、新RA治疗和新电子病历系统)中的表现。金标准RA病例平均年龄65.5岁,78.7%为女性,74.1% RF或抗CCP抗体阳性。更新后算法在95%特异性下阳性预测值为91%,与2010年的91%相同,而仅用ICD规则(≥3个RA ICD代码)的阳性预测值为54%。
要点
- 2010年RA算法在更新数据中保持与2010年相似的性能特征。
- 在95%特异性下,2010算法与更新版本的阳性预测值均为91%。
- 仅用ICD规则(≥3个RA ICD代码)的阳性预测值为54%,2010年为56%。
核心结论
- 2010年RA算法用更新数据验证后性能特征与2010年数据相似。
- 2010算法持续优于基于规则的方法,但后者阳性预测值随时间保持稳定。
研究设计与样本
- 从两个大型学术中心电子病历中提取有≥1个RA国际疾病分类(ICD)代码的受试者数据构建数据超市。
- 通过随机审查数据超市中200名受试者及仅含RA ICD10代码的100名受试者确定金标准RA病例。
- 比较三种算法在原始2010年数据与更新数据中的性能:已发表的2010年RA算法、纳入ICD10 RA代码和新DMARDs的更新算法、仅用ICD代码(RA ICD代码≥3)的已发表算法。
主要发现
- 金标准RA病例平均年龄65.5岁,78.7%为女性,74.1% RF或抗环瓜氨酸肽(anti-CCP)抗体阳性。
- ≥3个RA ICD代码的阳性预测值为54%,2010年为56%。
- 在95%特异性下,2010算法和更新版本的阳性预测值均为91%,2010年为94%(95% CI:91, 96%)。
- 在仅有ICD10数据的受试者中,更新版2010 RA算法的阳性预测值为93%。
关键数值与推荐
- ≥3个RA ICD代码的阳性预测值为54%(2010年数据为56%)。
- 在95%特异性下,2010算法和更新版本的阳性预测值均为91%,2010年数据为94%(95% CI:91, 96%)。
- 仅有ICD10数据时,更新版2010 RA算法的阳性预测值为93%。
临床怎么用
- 在电子病历数据更新至ICD10及新治疗背景下,2010年RA算法仍可保持稳定性能用于RA病例识别。
- 基于ICD代码≥3的规则方法阳性预测值较低但稳定,可作为备选。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
OBJECTIVE: The objective of this study was to compare the performance of an RA algorithm developed and trained in 2010 utilizing natural language processing and machine learning, using updated data containing ICD10, new RA treatments, and a new electronic medical records (EMR) system. METHODS: We extracted data from subjects with ≥1 RA International Classification of Diseases (ICD) codes from the EMR of two large academic centres to create a data mart. Gold standard RA cases were identified from reviewing a random 200 subjects from the data mart, and a random 100 subjects who only have RA ICD10 codes. We compared the performance of the following algorithms using the original 2010 data with updated data: (i) a published 2010 RA algorithm; (ii) updated algorithm, incorporating ICD10 RA codes and new DMARDs; and (iii) published algorithm using ICD codes only, ICD RA code ≥3. RESULTS: The gold standard RA cases had mean age 65.5 years, 78.7% female, 74.1% RF or antibodies to cyclic citrullinated peptide (anti-CCP) positive. The positive predictive value (PPV) for ≥3 RA ICD was 54%, compared with 56% in 2010. At a specificity of 95%, the PPV of the 2010 algorithm and the updated version were both 91%, compared with 94% (95% CI: 91, 96%) in 2010. In subjects with ICD10 data only, the PPV for the updated 2010 RA algorithm was 93%. CONCLUSION: The 2010 RA algorithm validated with the updated data with similar performance characteristics as the 2010 data. While the 2010 algorithm continued to perform better than the rule-based approach, the PPV of the latter also remained stable over time.
引用
- Huang S, Huang J, Cai T, et al. Impact of ICD10 and secular changes on electronic medical record rheumatoid arthritis algorithms. Rheumatology (Oxford). 2020. PMID: 32413107. doi:10.1093/rheumatology/keaa198
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。