文献速递医学教育与科研方法流行病学与生物统计

系统综述检索策略报告质量差且不可复现:一项横断面元研究

Systematic review search strategies are poorly reported and not reproducible: a cross-sectional metaresearch study.
PubMed 文献 · J Clin Epidemiol · 2023-12-03

该横断面可重复性研究随机抽取2021年11月MEDLINE收录的100篇系统综述,评估其检索策略的可重复性。结果显示仅1篇系统综述的检索可完全重复,22次(4.9%)数据库检索报告了全部6项PRISMA-S条目,47次(10.4%)检索结果数可复现至原结果数的10%以内。作者认为系统综述检索报告质量差,需多方共同改进。

要点

  • 100篇系统综述共包含453次数据库检索,仅22次(4.9%)报告了全部6项PRISMA-S条目。
  • 仅47次(10.4%)数据库检索可复现至原结果数的10%以内,6次检索结果数差异超过1000%。
  • 仅1篇系统综述提供了足以完全复现检索的必要细节。

核心结论

  • 系统综述的检索报告质量差,仅1篇系统综述的检索可完全重复。
  • 纠正这一问题需要作者、同行评审人、期刊编辑和数据库提供方多方共同应对。

研究设计与样本

  • 横断面可重复性研究,随机抽取2021年11月MEDLINE收录的100篇系统综述。
  • 主要结局指标为所有数据库检索均可复现的系统综述百分比,操作化为满足6项PRISMA-S条目且所有数据库检索结果数在原结果数10%以内。

主要发现

  • 100篇系统综述文章共包含453次数据库检索。
  • 仅22次(4.9%)数据库检索报告了全部6项PRISMA-S条目。
  • 47次(10.4%)数据库检索可复现至原检索结果数的10%以内。
  • 6次检索的原报告结果数与复现结果数差异超过1000%。
  • 仅1篇系统综述文章提供了足以完全复现检索的必要细节。

关键数值与推荐

  • 关键报告条目包括数据库名称、多数据库检索、完整检索策略、限制与限定、检索日期和总记录数。
  • 可复现的操作化标准为满足6项PRISMA-S条目且所有数据库检索结果数在原结果数10%以内。

临床怎么用

  • 原文未据此给出推荐。

局限性

  • 原文未报告局限性。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

OBJECTIVES: To determine the reproducibility of biomedical systematic review search strategies. STUDY DESIGN AND SETTING: A cross-sectional reproducibility study was conducted on a random sample of 100 systematic reviews indexed in MEDLINE in November 2021. The primary outcome measure is the percentage of systematic reviews for which all database searches can be reproduced, operationalized as fulfilling six key Preferred Reporting Items for Systematic reviews and Meta-Analyses literature search extension (PRISMA-S) reporting guideline items and having all database searches reproduced within 10% of the number of original results. Key reporting guideline items included database name, multi-database searching, full search strategies, limits and restrictions, date(s) of searches, and total records. RESULTS: The 100 systematic review articles contained 453 database searches. Only 22 (4.9%) database searches reported all six PRISMA-S items. Forty-seven (10.4%) database searches could be reproduced within 10% of the number of results from the original search; six searches differed by more than 1,000% between the originally reported number of results and the reproduction. Only one systematic review article provided the necessary search details to be fully reproducible. CONCLUSION: Systematic review search reporting is poor. To correct this will require a multifaceted response from authors, peer reviewers, journal editors, and database providers.

来源:J Clin Epidemiol,查看原文。版权归原作者所有。

引用

  1. Rethlefsen ML, Brigham TJ, Price C, et al. Systematic review search strategies are poorly reported and not reproducible: a cross-sectional metaresearch study. J Clin Epidemiol. 2023. PMID: 38052277. doi:10.1016/j.jclinepi.2023.111229

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。