利用机器学习算法在电子健康记录中识别狼疮患者
本研究利用电子健康记录(EHR)数据,通过惩罚逻辑回归生成数据驱动的机器学习算法来识别系统性红斑狼疮(SLE)患者,并在内部和外部队列中验证。在特异性97%时,机器学习编码算法对确诊SLE的阳性预测值为90%、敏感性64%,对确诊/可能SLE分别为92%和47%;外部验证中确诊/可能算法PPV为94%、敏感性60%。已发表的基于规则算法的PPV范围为45-79%,迁移效果不佳。
要点
- 机器学习编码算法在特异性97%时对确诊SLE的PPV为90%、敏感性64%。
- 外部验证中确诊/可能SLE算法在特异性97%时PPV为94%、敏感性60%。
- 已发表基于规则算法在本EHR中PPV仅45-79%,迁移性较差。
核心结论
- 机器学习SLE算法在内部和外部验证中表现良好。
- 基于规则的SLE算法在本EHR中迁移效果不佳。
- 应用算法识别SLE患者时需考虑EHR特征、临床实践及研究目标对敏感性和特异性的要求。
研究设计与样本
- 从EHR中随机选取至少1个SLE ICD-9/10编码的受试者,通过病历审查依据1997 ACR或2012 SLICC分类标准确定确诊和可能SLE金标准。
- 从训练集中利用自然语言处理提取编码和叙述性概念,使用惩罚逻辑回归生成算法以分类确诊或确诊/可能SLE。
- 在内部和外部队列中进行验证,并测试已发表基于规则算法(预设ICD-9编码、实验室检查和药物组合)的性能。
主要发现
- 在特异性97%时,机器学习编码算法对确诊SLE的PPV为90%、敏感性64%;对确诊/可能SLE的PPV为92%、敏感性47%。
- 外部验证中,在特异性97%时,确诊/可能SLE算法的PPV为94%、敏感性60%。
- 添加NLP概念未改善性能指标。
- 已发表基于规则算法在本EHR中的PPV范围为45-79%。
关键数值与推荐
- 金标准基于1997 ACR或2012 SLICC分类标准。
- 机器学习编码算法在特异性97%时对确诊SLE的PPV为90%、敏感性64%,对确诊/可能SLE的PPV为92%、敏感性47%。
- 外部验证中确诊/可能SLE算法在特异性97%时PPV为94%、敏感性60%。
- 已发表基于规则算法的PPV范围为45-79%。
临床怎么用
- 在EHR中识别SLE患者时可考虑使用机器学习算法,但需根据研究目标选择敏感性和特异性。
- 基于规则算法在不同EHR中迁移性有限,应用前应本地验证。
- 添加NLP概念未提升性能,编码算法可能已足够。
局限性
- 本研究未报告机器学习算法的完整特征(如AUC)及外部验证的样本量。
- 已发表基于规则算法的性能仅在本EHR中测试,未评估其他EHR。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
OBJECTIVE: To utilize electronic health records (EHRs) to study SLE, algorithms are needed to accurately identify these patients. We used machine learning to generate data-driven SLE EHR algorithms and assessed performance of existing rule-based algorithms. METHODS: We randomly selected subjects with ≥ 1 SLE ICD-9/10 codes from our EHR and identified gold standard definite and probable SLE cases by chart review, based on 1997 ACR or 2012 SLICC Classification Criteria. From a training set, we extracted coded and narrative concepts using natural language processing and generated algorithms using penalized logistic regression to classify definite or definite/probable SLE. We assessed predictive characteristics in internal and external cohort validations. We also tested performance characteristics of published rule-based algorithms with pre-specified permutations of ICD-9 codes, laboratory tests and medications in our EHR. RESULTS: At a specificity of 97%, our machine learning coded algorithm for definite SLE had 90% positive predictive value (PPV) and 64% sensitivity and for definite/probable SLE, 92% PPV and 47% sensitivity. In the external validation, at 97% specificity, the definite/probable algorithm had 94% PPV and 60% sensitivity. Adding NLP concepts did not improve performance metrics. The PPVs of published rule-based algorithms ranged from 45-79% in our EHR. CONCLUSION: Our machine learning SLE algorithms performed well in internal and external validation. Rule-based SLE algorithms did not transport as well to our EHR. Unique EHR characteristics, clinical practices and research goals regarding the desired sensitivity and specificity of the case definition must be considered when applying algorithms to identify SLE patients.
引用
- Jorge A, Castro VM, Barnado A, et al. Identifying lupus patients in electronic health records: Development and validation of machine learning algorithms and application of rule-based algorithms. Semin Arthritis Rheum. 2019. PMID: 30665626. doi:10.1016/j.semarthrit.2019.01.002
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。