文献速递血栓与止血

机器学习自然语言处理识别静脉血栓栓塞症:系统综述与Meta分析

Machine learning natural language processing for identifying venous thromboembolism: systematic review and meta-analysis.
PubMed 文献 · Blood Adv · 2024-01-01

本系统综述与Meta分析纳入2023年5月前发表的研究,评估机器学习自然语言处理(ML-NLP)在电子健康记录中识别静脉血栓栓塞症(VTE)诊断的性能。13项研究纳入系统综述,其中8项进入Meta分析,合并敏感度0.931(95%CI 0.881-0.962)、特异度0.984(95%CI 0.967-0.992)、阳性预测值0.910(95%CI 0.865-0.941)、阴性预测值0.985(95%CI 0.977-0.990)。所有研究至少满足21项NLP改良TRIPOD条目中的13项,质量尚可;表现最佳的模型使用向量化而非词袋法,并采用卷积神经网络等深度学习技术。研究间存在显著异质性,仅4项在外部队列验证了模型。

要点

  • ML-NLP识别VTE的合并敏感度0.931、特异度0.984、阳性预测值0.910、阴性预测值0.985。
  • 表现最佳的模型使用向量化而非词袋法,并采用卷积神经网络等深度学习技术。
  • 研究间存在显著异质性,仅4项研究在外部队列验证了模型。

核心结论

  • ML-NLP在电子健康记录中识别VTE诊断表现出较高的合并敏感度、特异度、阳性预测值和阴性预测值。
  • 研究间存在显著异质性,仅4项研究在外部队列验证了模型,需进一步标准化ML研究以推动该技术走向实际应用。

研究设计与样本

  • 系统综述与Meta分析,检索2023年5月前发表的使用ML-NLP识别电子健康记录中VTE诊断的研究。
  • 四位评审员筛选全部稿件,排除仅使用规则法NLP的研究。
  • Meta分析评估每项研究中针对肺栓塞和/或深静脉血栓形成评估的最佳模型性能。
  • 采用DerSimonian and Laird法随机效应模型计算合并敏感度、特异度、阳性预测值和阴性预测值及置信区间。
  • 采用改编的TRIPOD工具评估研究质量;13项研究纳入系统综述,其中8项有数据进入Meta分析。

主要发现

  • 合并敏感度0.931(95%CI 0.881-0.962),特异度0.984(95%CI 0.967-0.992),阳性预测值0.910(95%CI 0.865-0.941),阴性预测值0.985(95%CI 0.977-0.990)。
  • 所有研究至少满足21项NLP改良TRIPOD条目中的13项,显示质量尚可。
  • 表现最佳的模型使用向量化而非词袋法,并采用卷积神经网络等深度学习技术。
  • 研究间存在显著异质性,仅4项研究在外部队列验证了模型。

关键数值与推荐

  • 合并敏感度0.931(95%CI 0.881-0.962)。
  • 合并特异度0.984(95%CI 0.967-0.992)。
  • 合并阳性预测值0.910(95%CI 0.865-0.941)。
  • 合并阴性预测值0.985(95%CI 0.977-0.990)。
  • 所有研究至少满足21项NLP改良TRIPOD条目中的13项。

临床怎么用

  • 原文未据此给出推荐。

局限性

  • 研究间存在显著异质性。
  • 仅4项研究在外部队列验证了模型。
  • 需进一步标准化ML研究以推动该技术走向实际应用。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

Venous thromboembolism (VTE) is a leading cause of preventable in-hospital mortality. Monitoring VTE cases is limited by the challenges of manual medical record review and diagnosis code interpretation. Natural language processing (NLP) can automate the process. Rule-based NLP methods are effective but time consuming. Machine learning (ML)-NLP methods present a promising solution. We conducted a systematic review and meta-analysis of studies published before May 2023 that use ML-NLP to identify VTE diagnoses in the electronic health records. Four reviewers screened all manuscripts, excluding studies that only used a rule-based method. A meta-analysis evaluated the pooled performance of each study's best performing model that evaluated for pulmonary embolism and/or deep vein thrombosis. Pooled sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) with confidence interval (CI) were calculated by DerSimonian and Laird method using a random-effects model. Study quality was assessed using an adapted TRIPOD (Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis) tool. Thirteen studies were included in the systematic review and 8 had data available for meta-analysis. Pooled sensitivity was 0.931 (95% CI, 0.881-0.962), specificity 0.984 (95% CI, 0.967-0.992), PPV 0.910 (95% CI, 0.865-0.941) and NPV 0.985 (95% CI, 0.977-0.990). All studies met at least 13 of the 21 NLP-modified TRIPOD items, demonstrating fair quality. The highest performing models used vectorization rather than bag-of-words and deep-learning techniques such as convolutional neural networks. There was significant heterogeneity in the studies, and only 4 validated their model on an external data set. Further standardization of ML studies can help progress this novel technology toward real-world implementation.

来源:Blood Adv,查看原文。版权归原作者所有。

引用

  1. Lam BD, Chrysafi P, Chiasakul T, et al. Machine learning natural language processing for identifying venous thromboembolism: systematic review and meta-analysis. Blood Adv. 2024. PMID: 38522096. doi:10.1182/bloodadvances.2023012200

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。