探索指南间建议一致性:基于COVID-19胸部影像诊断与管理指南的方法学案例研究
本研究提出一种方法学路径,以世界卫生组织(WHO)COVID-19胸部影像指南的7条建议为参考建议,从22部相关指南中识别出89条相关建议,其中44条与参考建议的PICO匹配,仅8条(18%)与参考建议一致。该方法学路径包括定义参考指南与相关指南、构建PICO、评估PICO匹配及建议一致性等步骤。
要点
- 多数相关指南对WHO胸部影像建议的PICO匹配度低,89条中仅44条PICO匹配、8条一致。
- 参考建议的PICO匹配相关建议中位数7条(范围0-13),一致建议中位数1条(范围0-4)。
- 相关指南方法学质量AGREE II总体得分中位数21%(范围6-72),编辑独立性领域最低。
核心结论
- 按该详细方法学路径,参考建议与相关指南建议间仅较低比例的建议一致,44条PICO匹配建议中8条(18%)一致。
- 因参考建议未报告评估所需信息,无法评估建议不一致的原因。
- 作者认为该路径需进一步测试与验证,尤其本项目的案例研究性质未能在更大范围测试。
研究设计与样本
- 方法学案例研究:定义参考指南(WHO COVID-19胸部影像快速建议指南)及7条参考建议,检索相关指南并识别相关建议。
- 构建每条建议的PICO要素(人群、干预、对照、背景、目的),评估PICO匹配(完全匹配、部分匹配、不匹配)及建议一致(强度与方向)。
- 纳入22部相关指南共89条相关建议,使用AGREE II评估相关指南方法学质量,两名评审独立重复评估。
关键影像表现/征象
- 89条相关建议中43条部分匹配、仅1条完全匹配参考建议,参考建议6无任何PICO匹配建议。
- 7条参考建议中位12条相关建议(范围3-20)、中位7条PICO匹配建议(范围0-13)、中位1条一致建议(范围0-4)。
- 22部指南含中位4条相关建议(范围1-7)、中位2条PICO匹配建议(范围0-6)、中位0条一致建议(范围0-4)。
诊断标准与关键数值
- 44条PICO匹配建议中8条(18%)与参考建议一致(方向与强度相同)。
- 36条不一致建议中28条(78%)方向相同但强度不同,8条(22%)方向不同。
- 参考建议的强度仅1条明确报告且与参考建议不一致。
临床应用与阅片要点
- 该方法学路径可帮助使用者探索指南间建议的一致性,尤其适用于存在参考建议时先定义参考建议、检索相关指南并构建PICO。
- 在部分匹配建议中,至少一个PICO要素较参考建议更宽或更窄,相关指南通常未明确报告这些要素。
- 指南使用者面对不一致建议时,部分不一致可能由PICO要素不匹配解释,另一可能为证据到决策因素或指南制定过程差异及利益冲突等隐藏因素。
局限性
- 作者指出该路径需进一步测试与验证,尤其案例研究性质未能在更大范围测试。
- 相关指南报告质量差,未明确报告建议强度,需根据所用术语推断建议强度。
- 因指南对驱动建议强度与方向的因素报告差,无法探索建议不一致的原因。
- AGREE II得分分布变异有限,无法检验方法学质量差是否与建议不一致相关。
全文中译16 节 · 点击展开
引言
随着2019冠状病毒病(COVID-19)大流行成为全球重大威胁,指南制定者通过制定针对一系列相关主题的快速指南予以应对。证据综合与指南相关群体发起了多项行动,以应对该疫情并支持卫生决策者管理大流行[1, 2]。
作为应对措施的一部分,许多指南组织针对相同主题制定了推荐意见。因此,决策者不得不面对不一致的推荐意见,即针对同一问题但提供不一致指导的推荐意见。最近一项比较COVID-19患者重症监护治疗指南推荐意见的研究报告称,在预防性使用抗生素方面存在相互冲突的推荐意见,在氧疗使用方面的推荐意见存在显著差异[3]。另一项关于儿童COVID-19管理指南的范围综述报告称,不同指南之间存在异质性推荐意见[4]。
用于COVID-19诊断和管理的胸部影像学正是一个典型例子。本组作者负责协调制定世界卫生组织(WHO)关于胸部影像学用于COVID-19诊断和管理的指导文件[5]。我们遵循了WHO的标准流程,其中包括早期对推荐意见所需解决的问题进行优先排序的工作。
作为WHO指南制定准备工作的组成部分,我们检索了相关指导文件。主要目的是确保WHO项目不会重复其他指南小组已完成的工作,即不会针对相同的问题。另一个目的是了解影响“相关推荐意见”(即相关指导文件中的推荐意见)制定的因素。这将有助于我们确保WHO指南制定小组在制定和最终确定其自身推荐意见时涵盖所有相关问题。在WHO指导文件制定完成后,我们回头将我们的推荐意见与先前识别的相关推荐意见进行比较。完成这一比较需要开发一种方法学方案。
本研究的目的是描述一种用于探讨不同指南间推荐意见一致性的方法学方案,及其在WHO关于胸部影像学用于COVID-19诊断和管理推荐意见这一案例中的应用。
方法
我们基于文献综述[6, 7]、作者间的讨论以及在将其应用于WHO关于胸部影像学用于COVID-19诊断和管理的推荐意见时进行的迭代修订,起草了该方法学方案。
方法学方案
该方法如图1所示,并在后续章节中详细描述。简言之,在确定“参考指南”(即WHO指导文件)和“参考推荐意见”后,我们检索了“相关指南”并识别出“相关推荐意见”。然后,我们构建了相关推荐意见和参考推荐意见的PICO(更多细节见“构建PICO”小节)。这使我们能够评估每条相关推荐意见的PICO与参考推荐意见对应PICO的匹配程度(即评估两条各自推荐意见的PICO匹配程度)。最后,我们评估了PICO匹配的推荐意见之间的一致性,并探讨了任何不一致的原因。作为该探讨的一部分,我们评估了相关指南的方法学质量。
参考指南和参考推荐意见
该快速建议指南遵循了WHO指南制定手册[8]中概述的流程,并如“COVID-19诊断和管理中胸部影像的使用:WHO快速建议指南”[5]所述。该指南包括六个问题(两个诊断问题和四个管理问题),产生了七条推荐意见。相应的推荐意见于2020年5月制定并定稿。这些推荐意见被称为参考推荐意见。
相关指南和相关推荐意见
合格的指南或指导文件为指南制定组发布且涉及胸部影像用于COVID-19筛查、诊断或管理的文件。我们排除了以下文件:社论或观点文章;由个人制定的;或专门针对心脏检查的胸部影像、影像结果报告或感染预防和控制措施的文件。我们纳入了以任何语言发表的文件。
为识别可能合格的指南,我们于2020年4月使用Google和Google Scholar进行了非系统性检索,使用指南、指导、COVID-19、胸部影像和放射学等词。我们还检索了相关组织的网站,咨询了内容专家,并筛查了纳入指南的参考文献列表。
两名评价者独立并重复评估了指南的合格性。他们通过讨论解决分歧。对于每部相关指南,我们提取了以下信息:指南名称、语言、指南制定组、组类型以及国家/地区。
我们从相关指南中纳入了所有“相关推荐意见”,即表面上与七条参考推荐意见之一相匹配的正式声明。所有合格性方面的疑难均在资深研究者的帮助下解决。
构建PICO
我们构建了推荐意见的PICO,因为指南中未明确陈述推荐意见的PICO和/或PICO未能充分代表推荐意见。
两名评价者独立构建了WHO参考推荐[5]及其相关推荐的PICO,即识别PICO中的“人群”、“干预”、“对照”、“环境”和“目的”要素。我们认为前三个要素是构建PICO的必要组成部分;仅当最后两个要素作为推荐的一部分被纳入时,我们才将其纳入。对PICO构建的任何分歧均通过讨论解决,或在资深研究者的帮助下解决。在构建PICO时,我们应用了以下规则:
如果未明确说明对照,我们将其视为“无干预”;
除非另有说明,我们根据WHO定义[9]将“疑似”视为有症状的个体;
我们认为“筛查”针对无症状个体,而“诊断”针对有症状个体;
我们区分“筛查”(随机筛查)与针对性筛查(筛查疑似或确诊COVID-19患者的接触者);
我们将模糊要素视为不匹配;
我们为推荐中纳入的每个亚组构建了独立的PICO。
PICO的匹配
两名评价者独立评估每个相关推荐所构建的PICO是否与相应参考推荐所构建的PICO相匹配。对这些PICO比较的任何分歧均通过讨论解决,或在资深研究者的帮助下解决。该过程分两步进行:先匹配PICO的要素,再匹配整个PICO,如下所述。
首先,我们评估相关PICO问题的要素是否与参考PICO问题的要素相匹配。匹配时考虑的要素为人群、干预、对照、环境和目的。我们评估五个要素中每一个是完全匹配、部分匹配还是不匹配:
“完全匹配”意味着要素相同,忽略所用术语的任何差异;
“部分匹配”意味着相关推荐的PICO要素与参考推荐的PICO要素相似,但特异性较低或较高(定义更窄或更宽)。
“不匹配”意味着PICO要素不符合上述要求。
当参考推荐中说明了环境和/或目的,而相关推荐中未说明时,我们判定其为特异性较低。
我们使用颜色编码表示匹配程度如下:“绿色”表示完全匹配,“黄色”表示部分匹配(“浅黄色”表示特异性较低,“深黄色”表示特异性较高)。
然后我们评估相关PICO是否与参考PICO相匹配。当五个要素中至少有一个为“不匹配”时,我们认为PICO为不匹配。当所有要素均为“完全匹配”时,我们认为PICO为“完全匹配”。在所有其他情况下,我们认为PICO为“部分匹配”。我们将完全匹配或部分匹配的PICO称为“匹配”。
评估推荐的一致性
对于这一步,我们仅考虑所构建的PICO与参考推荐的PICO“完全匹配”或“部分匹配”的推荐。我们比较每条推荐与其参考推荐在推荐强度和方向方面的一致性,以评估一致性。我们根据所使用的措辞推断相关推荐的推荐强度。我们将以下措辞解释为提示强推荐:recommend(推荐)、indicate(表明)、should(应该)和must(必须);将以下措辞解释为提示条件性推荐:envisage(设想)、consider(考虑)、advised(建议)、could(可以)和may(可能)。此外,我们检查了指南中使用的其他措辞,以更好地解读其术语使用。
我们尝试按照图1中的方法学思路评估PICO匹配(部分或完全匹配)推荐中出现不一致的原因。在部分PICO匹配的推荐中,我们探讨不一致是否可由与PICO要素相关的原因或与证据到决策(EtD)因素相关的原因来解释。在完全PICO匹配的推荐中,由于PICO要素不存在差异,我们仅关注与证据到决策(EtD)因素相关的原因。关于这些原因的更多细节见表1。
评估指南的方法学质量
我们使用指南研究与评价(AGREE)II工具评估至少包含一条相关推荐的相关指南的方法学质量[10]。两名评价者(SY、FJ)分别独立地对每部指南重复应用AGREE II工具。然后,他们比较各自的结果,并在差异达到3分或以上时解决分歧。
综合分析
我们以叙述性和表格两种形式总结与匹配和一致性评估相关的数据。分类变量报告百分比,连续变量报告中位数及范围。对于指南的方法学质量,我们按照AGREE II工具手册计算标化领域得分,得分范围为0至100%。该工具的六个领域如下:范围和目的、利益相关者参与、制定的严谨性、表述的清晰性、适用性和编辑独立性。
结果
我们识别出73份可能符合“相关指南”资格的文档。在去除重复项(n = 5)后,我们排除了36份文档,原因如下:属于社论或观点陈述(n = 19)、由个人制定(n = 2)、或未涉及使用胸部影像进行COVID-19筛查、诊断或管理(n = 15)。我们纳入了由26个指南制定组发布的32部相关指南。纳入指南的流程图见图2。S1表描述了这32部指南的特征:88%由专业学会制定,63%为英文。
PICO的构建与PICO匹配
从32篇相关指南中,22篇至少有一条相关推荐,共有89条相关推荐。S2表显示了每条参考推荐构建PICO及匹配相关推荐的结果。表2显示了这22篇指南中相关推荐和PICO匹配推荐的分布。在89条相关推荐中,43条与参考推荐部分PICO匹配,仅1条与参考推荐完全PICO匹配。我们未发现参考推荐6有任何PICO匹配推荐。
参考推荐1是唯一具有完全和部分PICO匹配相关推荐的推荐。完全PICO匹配的推荐来自指南#26,其要素与参考推荐相同(P:疑似COVID-19感染且无症状的患者,I:影像学检查,C:无影像学检查)。另一方面,部分PICO匹配的推荐来自指南#9,其要素比参考推荐更宽泛(P:轻症或无症症状患者)或更狭窄(I:CT扫描,C:无CT扫描)。
七条参考推荐的相关推荐中位数为12条(范围3–20),PICO匹配推荐中位数为7条(范围0–13)(表3)。22篇指南中相关推荐中位数为4条(范围1–7),PICO匹配推荐中位数为2条(范围0–6)。
推荐之间的一致性
在44条PICO匹配推荐中,8条(18%)与其参考推荐一致(相同强度、相同方向)。在36条不一致推荐中,28条(78%)方向相同但强度不同,8条(22%)方向不同。完整详情见S3表。推荐强度仅在一条推荐中被明确报告,且与参考推荐不一致。
七条参考推荐的一致性推荐中位数为1条(范围0–4),而22篇指南的一致性推荐中位数为0条(范围0–4)。
我们试图评估推荐之间不一致的原因,然而参考推荐未报告评估相关推荐中EtD因素所需的信息。
指南的方法学质量
表4显示了22篇至少有一条相关推荐的相关指南在AGREE II工具六个领域的方法学质量评估结果。评分最低的领域为#6“编辑独立性”,中位数为0%(范围0–63)。评分最高的领域为#4“表述清晰性”,中位数为63%(范围19–100)。一篇指南的总评分为72%,其余所有指南的总评分均为47%或以下,总评分中位数为21%(范围6–72)。评分分布的变异性有限,使我们无法探讨一致性是否与指南的方法学质量相关。
讨论
本研究旨在描述一种方法学方法,用于探讨各指南推荐意见之间的一致性,并将其应用于世界卫生组织(WHO)关于胸部影像学用于COVID-19诊断和管理的推荐意见这一案例。我们从22部相关指南中共识别出89条相关推荐意见。按照详细的方法学方法,我们发现,在89条相关推荐意见中,有43条与某一条参考推荐意见部分匹配,仅有一条完全匹配。在这44条推荐意见中,有8条与某一条参考推荐意见一致。在考虑这7条参考推荐意见时,它们的中位数是12条相关推荐意见(范围3–20)、中位数7条PICO匹配的推荐意见(范围0–13)以及中位数1条一致的推荐意见(范围0–4)。由于缺乏关于EtD因素的信息,我们无法评估不一致的原因。
这是首个探讨不同指南之间COVID-19推荐意见一致性的研究。本研究的一个优势是采用了一种详细的方法学方法,解决了若干挑战,例如缺乏明确的PICO问题。尽管该方法具有表面效度和内容效度,我们认为它需要进一步测试和验证,尤其是本项目的“案例研究”性质不允许我们在更大范围内测试该方法。此外,相关指南的报告质量较差,使我们无法充分测试该方法。具体而言,这些指南没有明确报告推荐意见的强度,我们不得不根据所用术语推断其强度。同时,由于对驱动推荐意见强度和方向的因素报告较差,我们无法探讨不一致的原因。
不一致的一个潜在原因是指南的方法学质量较差,这体现在其在AGREE II工具上的评分。遗憾的是,评分分布的变异性有限,使我们无法检验这一假设。其他评估COVID-19指南质量的研究也报告了较低的评分[3, 11–13]。例如,一项研究发现,COVID-19实践指南的方法学质量较差(AGREE II总体评分均值为30%),报告质量也较差(所有方面的总体报告率均值为33%)[11]。值得注意的是,本研究的参考指南在方法学(72.8%)和报告质量(83.8%)方面获得了最高的总体评分[11]。
Alper等人系统评估了截至2018年4月发表的八部高血压管理指南中建议的“一致性”[6]。作者得出结论,不一致率“很高”:在68条建议中,32%在方向和强度上一致,27%在方向上一致但强度不一致,41%在方向上不一致。与我们的研究不同,研究者没有“参考指南”或“参考建议”。因此,他们不得不创建一个“参考标准”来比较建议。为此,他们使用了类似于构建PICO的方法,使用“PIC规范”。然而,他们没有评估建议之间PICO元素的匹配程度。此外,他们也没有探讨建议之间“不一致”的原因。最近一项研究使用与Alper等人相同的方法评估了东南亚高血压建议的一致性[7]。他们发现与国际知名临床实践指南(CPG)的不一致率很高。
寻求关于胸部影像用于COVID-19诊断和管理指导的指南使用者将面对不一致的建议。部分不一致可能由建议背后不匹配的PICO元素解释。在部分匹配的建议中,匹配建议的至少一个PICO元素比参考建议的相应PICO元素要么更不具体,要么更具体。遗憾的是,这些元素通常未被明确报告。另一个可能的解释是EtD因素,因为可能考虑了不同的因素、同一因素可能使用了不同的证据,或基于同一因素的相同证据作出了不同的判断。也有可能不一致既不能由PICO元素也不能由EtD因素解释,而可能是由于指南制定过程的差异或“隐藏因素”如利益冲突[14]。
我们的研究,特别是所提出的方法学方法,可以帮助他人探索跨指南建议的一致性。在不存在“参考建议”的情况下,过程中早期步骤之一需要是选择或制定这样的参考建议。指南小组需要更明确地说明驱动其建议的因素,例如通过使用证据到决策的方法。
未来研究应进一步检验所提出的方法学方法并根据需要加以完善。此外,评估实际实践与WHO建议的比较将是有意义的,可利用一项关于放射科当前在COVID-19患者管理方面实践的调查,该调查大约在WHO建议制定同期进行[15]。
补充信息
(DOCX)
点击此处获取补充数据文件。
蓝色:参考建议,绿色:完全匹配,浅黄色:部分匹配——较不具体,深黄色:部分匹配——更具体。
(DOCX)
点击此处获取补充数据文件。
灰色:参考建议,红色:强烈反对,红色:有条件反对,浅绿色:有条件支持,深绿色:强烈支持。
(DOCX)
点击此处获取补充数据文件。
我们感谢世界卫生组织的Maria del Rosario Perez博士和Emilie van Deventer博士在整个研究过程中给予的支持。
2022年12月19日
PONE-D-22-31128探讨各指南推荐意见的一致性:一种拟议的方法学途径及案例研究PLOS ONE
尊敬的Akl博士:
感谢您将稿件投稿至PLOS ONE。经仔细考虑,我们认为该稿件具有一定价值,但目前尚未完全符合PLOS ONE的发表标准。因此,我们邀请您提交稿件的修订版,以回应审稿过程中提出的问题。
请于2023年2月2日23:59前提交修订稿。如果您需要更多时间完成修订,请回复此邮件或联系期刊办公室(plosone@plos.org)。准备好提交修订稿后,请登录https://www.editorialmanager.com/pone/,选择“Submissions Needing Revision”文件夹以找到您的稿件文件。
提交修订稿时请包括以下内容:一封逐点回应学术编辑和审稿人所提问题的回复信。您应将该信作为单独文件上传,标注为“Response to Reviewers”。
一份标注修改的稿件副本, highlighting对原版本所做的更改。您应将其作为单独文件上传,标注为“Revised Manuscript with Track Changes”。
一份不带修订痕迹的修订稿清洁版本。您应将其作为单独文件上传,标注为“Manuscript”。
如果您希望修改资金披露信息,请在投稿信中附上更新后的声明。重新提交图件文件的指南见本函末尾审稿人意见下方。
如适用,我们建议您将实验室方案存入protocols.io,以提高结果的可重复性。Protocols.io会为您的方案分配独立标识符(DOI),以便将来可独立引用。有关说明请参见:https://journals.plos.org/plosone/s/submission-guidelines#loc-laboratory-protocols。此外,PLOS ONE提供发表经同行评审的实验室方案文章(Lab Protocol articles)的选项,该类文章描述托管于protocols.io的方案。有关共享方案的更多信息请阅读https://plos.org/protocols?utm_medium=editorial-email&utm_source=authorletters&utm_campaign=protocols。
我们期待收到您的修订稿。
此致敬礼,
Erik Loeffen,医学博士、哲学博士
学术编辑
PLOS ONE
期刊要求:
提交修订稿时,我们需要您满足以下附加要求。
1. 请确保您的稿件符合PLOS ONE的格式要求,包括文件命名要求。PLOS ONE格式模板可在以下网址找到
https://journals.plos.org/plosone/s/file?id=wjVg/PLOSOne_formatting_sample_main_body.pdf 和
https://journals.plos.org/plosone/s/file?id=ba62/PLOSOne_formatting_sample_title_authors_affiliations.pdf
附加编辑意见:
感谢这项研究,它很有趣,但确实需要一些改进才能适合在PLOS One发表。具体而言,请密切关注审稿人提出的建议。此外:1)你的方法基于什么?现有研究?小组共识?你如何知道这些方法是可靠的?2)请省略PICOstructed这一术语,它暗示这是一个已确立的概念,但实际上只是构建了一个PICO,请按其本来面目称呼它;3)为什么表2中使用了绿色和浅绿色,而正文中写的是绿色和黄色(用于部分符合)?4)尽管讨论中有所提及,但我认为在解释一致性时未考虑指南的质量是一个错失的机会。了解更高质量的指南是否显示出更大的一致性将很有价值。特别是因为大多数指南已经进行了GRADE分级(如作者所述),这可能适合用于本研究。我建议作者重新考虑纳入这一点,尽管这不是发表的否决条件,但它将使结果对整个科学界更有价值。
祝好运,我很乐意看到修订版。
[注:HTML标记如下。请勿编辑。]
审稿人意见:
审稿人对问题的回答
致作者的意见
1. 稿件在技术上是否可靠,数据是否支持结论?
稿件必须描述一项技术上可靠的科学研究,数据须支持结论。实验必须严格进行,具备适当的对照、重复和样本量。结论必须基于所呈现的数据适当得出。
审稿人#1:否
审稿人#2:是
**********
2. 统计分析是否适当且严格地进行?
审稿人#1:不适用
审稿人#2:是
**********
3. 作者是否完全提供了稿件中 findings 所依据的所有数据?
PLOS数据政策要求作者完全无限制地提供稿件中所述 findings 所依据的所有数据,极少数例外情况除外(请参阅稿件PDF文件中的数据可用性声明)。数据应作为稿件或其补充信息的一部分提供,或存入公共存储库。例如,除汇总统计量外,均值、中位数和方差度量背后的数据点也应可用。如果公开共享数据存在限制——例如参与者隐私或使用第三方数据——则必须予以说明。
审稿人#1:是
审稿人#2:是
**********
4. 稿件是否以可理解的方式呈现并用标准英语撰写?
PLOS ONE不对已接受的稿件进行文字编辑,因此提交文章的语言必须清晰、正确且无歧义。任何排版或语法错误应在修订时纠正,因此请在此处注明任何具体错误。
审稿人#1:是
审稿人#2:是
**********
5. 致作者的审稿意见
请使用提供的空间解释您对上述问题的回答。您还可以包括对作者的额外意见,包括对重复发表、研究伦理或发表伦理的关切。(如果您的审稿意见超过20,000个字符,请作为附件上传)
审稿人#1:感谢邀请我审阅这篇探讨一种用于检查特定临床场景中指南推荐意见之间一致性的方法的稿件。这是一个有趣的选题;指南推荐意见之间的不一致常被认为是临床实践中指南采纳的障碍,探讨指南推荐意见的这一方面很重要。我确实有一些意见供作者考虑,大致可分为研究的定位与可推广性,以及方法学的清晰性。
本研究的定位与可推广性。作者旨在开发一种方法学路径,用于检查某一特定临床问题的指南推荐意见之间的一致性,并将其应用于一个案例研究(COVID-19患者的胸部影像检查),但看起来更像是相反的情况;即检查COVID-19患者胸部影像检查推荐意见之间的一致性,而该方法可能可推广至其他临床场景。作者能否更详细地探讨如何将其推广至其他临床场景,从而将本研究定位为一种新方法学而非案例研究?
关于可推广性,作者指出,由于新型SARS病毒(COVID-19)导致形势快速演变且证据(高质量或其他)稀缺,COVID-19大流行期间制定的指南与其他指南不同。您能否探讨该方法如何应用于COVID-19指南背景之外的指南?
最后,作者能否探讨该方法学路径在利用指南推荐的治疗管理患者方面的实用性?如果指南使用者使用所提出的方法发现指南之间的推荐意见不一致,他们该怎么做?他们应遵循哪些推荐意见,以及这将如何指导临床诊疗(或改善诊疗)?
方法。作者使用了什么指南定义?指南有不同的定义和术语(例如,指南、路径、立场声明),了解作者用于确定纳入指南的操作性定义对读者会有帮助。同样,作者是否考虑使用AGREEII工具评估纳入指南的质量?了解指南的质量可能为一致性及推荐意见不一致的原因提供更多洞见,作者已指出这是本研究的局限性。总体而言,这两个问题涉及对纳入指南在制定和范围方面可比性的担忧;作者能否说明指南在AGREEII各领域的可比性,以帮助读者了解这些指南在制定推荐意见方面的可比程度?
作者能否更详细地描述其检索策略,以帮助读者了解其识别潜在合格指南的方法?同样,纳入排除标准是什么?
次要意见:
标题——可以更具信息性,说明所使用的具体指南/推荐意见。
选择该主题作为案例研究的理由是什么?
全文有一些 minor 语法错误。
审稿人#2:感谢您将此文投稿至PLOS ONE。作为审稿人收到此文,我很高兴。
我有以下问题,我认为需要在发表前予以解决:
统计分析应根据最近发布的指南进行报告:
Blackstone EH and Weisel RD. 本刊发表论文的结论应由适当的统计分析支持。J Thorac Cardiovasc Surg. 2014;148:2479.
Huebner M, Vach W, le Cessie S. 对初始数据进行系统化分析是良好的研究实践。J Thorac Cardiovasc Surg. 2016;151:25-7.
Wasserstein RL, Lazar NA. 美国统计协会关于p值的声明:背景、过程与目的。The American Statistician. 2016;70:2, 129-133.
Greenland S, Senn SJ, Rothman KJ, et. al. 统计检验、P值、置信区间与效能:误读指南。The American Statistician. 2016;70:2. Suppl 1:1-12.
McMurry TL, Hu Y, Blackstone EH, Kozower BD. 倾向评分:在《胸心血管外科杂志》中的方法、考量与应用。J Thorac Cardiovasc Surg. 2015;150:14-9
Winger DG, Nason KS. 胸外科中的倾向评分分析:何时、为何以及如何做的介绍。J Thorac Cardiovasc Surg. 2016;151:1484-7.
Bagiella E. 工具变量的使用(与误用)。J Thorac Cardiovasc Surg. 2015;150:460.
Bagiella E, Karamlou T, Chang H, Spivack J. 临床研究中的工具变量方法。J Thorac Cardiovasc Surg. 2015;150:779-82.
Rajeswaran J, Blackstone EH. 患者报告结局及其适当统计分析的重要性。J Thorac Cardiovasc Surg. 2015;150:461-2.
正文中存在拼写错误。请彻底检查文章。
稿件应根据作者须知进行报告。
祝您的文章顺利,并再次感谢您的投稿。
**********
6. PLOS作者可选择公开其文章的同行评审历史(这是什么意思?)。如果公开,这将包括您的完整同行评审意见及任何附件文件。
如果您选择“否”,您的身份将保持匿名,但您的评审意见仍可能被公开。
您是否希望在此次同行评审中公开您的身份?有关此选择的信息,包括撤回同意,请参阅我们的隐私政策。
审稿人#1:是:Khara Sauro
审稿人#2:否
**********
[注:如果审稿人意见以附件文件形式提交,它们将附在此电子邮件中,并可通过投稿网站访问。请登录您的账户,找到稿件记录,并检查“查看附件”操作链接。如果此链接未出现,则没有附件文件。]
在修改您的投稿时,请将您的图文件上传至预检分析与转换引擎(PACE)数字诊断工具,https://pacev2.apexcovantage.com/。PACE有助于确保图符合PLOS要求。要使用PACE,您必须先注册为用户。注册免费。然后,登录并导航至“上传”选项卡,您将在那里找到有关如何使用该工具的详细说明。如果您在使用PACE时遇到任何问题或有任何疑问,请发送电子邮件至figures@plos.org联系PLOS。请注意,支持信息文件不需要此步骤。
2023年2月2日
尊敬的Chenette博士和Loeffen博士:
感谢您提供机会,使我们能够修改稿件以供《PLOS One》考虑发表。学术编辑和审稿人的评论和建议帮助我们提高了稿件质量。请注意,为回应学术编辑和第一审稿人关于严格评价所纳入指南质量的要求,我们不得不招募Farah Jaber博士协助完成该任务,我们以双人重复方式进行了该工作。基于她的贡献,Jaber博士符合ICMJE的作者资格标准。
请在以下页面中找到我们对各项建议的详细逐条回复。我们将乐意回应您或审稿人可能提出的任何进一步评论或建议。
此致敬礼,
Elie A. Akl,医学博士,公共卫生硕士,哲学博士
内科系
贝鲁特美国大学
P.O.Box 11-0236 / CRI (E15)
Riad-El-Solh Beirut 1107 2020
贝鲁特 – 黎巴嫩
电话:+ 961 1 374374
电子邮件:ea32@aub.edu.lb
学术编辑和审稿人的评论以粗体字显示,我们的回复以常规字体显示。正文摘录以斜体字显示,修改处以下划线标出。我们已标明稿件中进行修订的章节。
学术编辑:
感谢您开展这项研究,它很有意思,然而确实需要一些工作才能适合在PLOS One发表。具体而言,请密切关注审稿人提出的建议。
回复:感谢您提供机会。我们已仔细处理审稿人提出的所有建议。
此外:
1)您的方法基于什么?现有研究?小组共识?您如何知道这些是否可靠?
回复:我们的方法学方法基于对现有文献的回顾以及通过作者间讨论达成的小组共识。我们在方法部分增加了以下内容:
“我们基于文献回顾、作者间讨论以及在将其应用于WHO关于COVID-19诊断和管理胸部影像学建议时的迭代修订,起草了方法学方法。”
虽然该方法具有表面效度和内容效度,但我们认为它需要进一步测试和验证。我们已在讨论部分澄清了这一点。
虽然该方法具有表面效度和内容效度,但我们认为它需要进一步测试和验证,尤其是该项目的“案例研究”性质不允许我们在更大规模上测试该方法。
2)请省略PICOstructed一词,它暗示这是一个已确立的概念,然而它只是构建一个PICO,请按其本来面目称呼它,
回复:我们已从文中省略该词,现在表述为“构建了一个PICO”。
3)为什么表2中使用了绿色和浅绿色,而正文写的是绿色和黄色(用于部分匹配)?
回复:感谢您指出这一点。我们已修改表2的颜色,使其与正文一致。
“绿色表示完全匹配的PICO,黄色表示部分匹配的PICO,红色表示不匹配的PICO。”
4) 尽管在讨论中有所提及,我认为在解释一致性时未考虑指南质量是一个错失的机会。了解更高质量的指南是否显示出更高的一致性将是有价值的。特别是因为大多数指南已经按照作者描述进行了GRADE分级,这可能适合用于本研究。我建议作者考虑纳入这一点,尽管这不是发表的否决条件,但会使结果对整个科学界更有价值。
回复:我们感谢学术编辑和审稿人#1提出的这一点。因此,我们现在使用指南研究与评价评估(AGREE)II工具对相关指南进行了批判性评价。
随后,我们在方法学部分添加了以下文字:
“作为该探索的一部分,我们评估了相关指南的方法学质量。”
我们在方法部分末尾添加了一个题为“评估指南的方法学质量”的小节:
“我们使用指南研究与评价评估(AGREE)II工具来评估至少有一条相关推荐意见的相关指南的方法学质量。两名评价者(SY,FJ)独立且重复地对每份指南应用AGREE II工具。然后他们比较结果,并在差异达到3分或以上时解决分歧。”
我们还在“综合”小节中添加了以下内容:
“各领域标准化得分按照AGREE II工具手册计算,得分范围为0至100%。该工具的六个领域如下:范围和目的、利益相关者参与、制定的严谨性、表述的清晰性、适用性和编辑独立性。”
我们在结果部分添加了一个题为“指南的方法学质量”的小节:
“表4显示了22份至少有一条相关推荐意见的相关指南在AGREE II工具六个领域的方法学质量评估结果。标准化得分最低的领域是第6领域‘编辑独立性’,中位数为0%(范围0-63)。标准化得分最高的领域是第4领域‘表述的清晰性’,中位数为63%(范围19-100)。虽然一份指南的总评分为72%,但所有其他指南的总评分均为47%或以下,总评分的中位数为21%(范围6-72)。得分分布的变异性有限,使我们无法探讨一致性是否与指南的方法学质量相关。”
我们在讨论部分添加了以下文字:
“不一致的一个潜在原因是指南的方法学质量较差,正如其在AGREE II工具上的评分所表明的那样。不幸的是,得分分布的变异性有限,使我们无法检验这一假设。其他评估COVID-19指南质量的研究也报告了较低的评分[3,8-10]。”
审稿人#1:
感谢您邀请我审阅这篇稿件,该稿件探讨了一种用于检查特定临床场景下指南推荐意见之间一致性的方法。这是一个有趣的课题;指南推荐意见之间的不一致常被认为是临床实践中指南采纳的障碍,探讨指南推荐意见的这一方面非常重要。我确实有一些意见供作者考虑,大致可归类为研究的定位与可推广性,以及方法学的清晰度。
回复:感谢您的积极评价和关注。
本研究的定位与可推广性:
作者旨在开发一种方法学途径,以检查针对某一特定临床问题的指南推荐意见之间的一致性,并将其应用于一个案例研究(COVID-19患者的胸部影像检查),但实际情况似乎恰恰相反;即检查COVID-19患者胸部影像检查推荐意见之间的一致性,而该方法可能可推广至其他临床场景。作者能否更详细地探讨如何将其推广至其他临床场景,从而将本研究定位为一种新方法学而非案例研究?
回复:感谢您提出这一点。这是一个相关且有价值的视角,我们已在方法部分开头添加以下文字予以体现:
“我们基于文献综述、作者之间的讨论以及在将其应用于WHO关于胸部影像检查用于COVID-19诊断和管理的推荐意见过程中进行的迭代修订,起草了该方法学途径。”
据此,我们对标题作了小幅修改,改为:
“一种基于案例研究提出的方法学途径”
我们还修改了研究目的,改为:
“描述一种探讨跨指南推荐意见一致性的方法学途径及其在WHO关于胸部影像检查用于COVID-19诊断和管理的推荐意见案例中的应用。”
关于可推广性,作者指出,COVID-19大流行期间制定的指南与其他指南不同,原因是形势迅速演变,且由于新型SARS病毒(COVID-19)导致证据(无论高质量与否)稀缺。您能否探讨该方法如何应用于COVID-19指南背景之外的指南?
回复:感谢您的意见。该方法学途径是在COVID-19指南中开发并应用的。然而,我们认为它也可以应用于不同的临床背景,因为其步骤并非针对COVID-19特有,且适用于任何健康主题(即识别参考指南和相关指南、识别参考推荐意见和相关推荐意见、构建PICOs、匹配PICOs、评估推荐意见的一致性及不一致的可能原因)。具有相关目标的方法学(例如我们在讨论中提及的Alper等人的方法)使用了与我们相似的步骤,并已应用于不同主题(例如高血压的治疗)。同时,如前所述,我们承认该方法需要在不同背景下进一步检验。
最后,作者能否探讨这种方法学途径在按照指南推荐进行管理的患者中的实用性?如果指南使用者使用所提出的方法发现指南之间的推荐不一致,他们该怎么办?他们应遵循哪些推荐,以及这如何指导临床诊疗(或改善诊疗)?
回复:感谢提出这一有趣的观点。该方法的主要目的是评估推荐之间的一致性,但并非专门让使用者在临床诊疗情境中选择遵循哪些推荐。对于后一目的,使用者可以考虑多种因素,例如推荐与临床问题的相关性、指南的质量以及指南的时效性。
方法。作者使用了什么指南定义?指南有不同的定义和术语(例如,指南、路径、立场声明),了解作者用于识别纳入指南的操作性定义对读者会有帮助。
回复:审稿人提出了一个重要观点。我们没有将“指南”的定义限于文献中(例如,医学研究所)所定义者,因为我们的研究是在大流行早期阶段进行的,当时发表了各种定义的指导文件。然而,我们考虑了由指南制定组(而非个人)发布的文件,这些文件就所讨论的主题(即,用于COVID-19筛查、诊断或管理的胸部影像学)提供正式声明。
同样,作者是否考虑使用AGREEII工具评估纳入指南的质量?了解指南的质量可能为推荐的一致性及不一致的原因提供更多见解,作者已将此指出为当前研究的局限性。总体而言,这两个问题都涉及对纳入指南在制定和范围方面可比性的担忧;作者能否说明指南在AGREEII各领域间的可比性,以帮助读者理解这些指南在制定推荐方面的可比程度?
回复:我们感谢学术编辑和审稿人#1提出的这一点。因此,我们现在使用指南研究与评价(AGREE)II工具对相关指南进行了批判性评价。
随后,我们在方法学途径小节中增加了以下文字:
“作为该探索的一部分,我们评估了相关指南的方法学质量”
我们在方法部分末尾增加了一个题为“评估指南的方法学质量”的小节:
“我们使用指南研究与评价评估(AGREE)II工具评估至少含有一条相关推荐意见的相关指南的方法学质量。两名评价者(SY、FJ)分别对每部指南独立且重复地应用AGREE II工具。随后他们比较各自结果,并在差异达到3分或以上时解决分歧。各领域标准化得分按照AGREE II工具手册计算,得分范围为0至100%。该工具的六个领域如下:范围与目的、利益相关者参与、制定的严谨性、表达的清晰性、适用性和编辑独立性。”
我们在结果部分新增了一个小节,标题为:“指南的方法学质量”
“表4显示了22部至少含有一条相关推荐意见的相关指南在AGREE II工具六个领域的方法学质量评估结果。标准化得分最低的领域是第6领域‘编辑独立性’,中位数为0%(范围0-63)。标准化得分最高的领域是第4领域‘表达的清晰性’,中位数为63%(范围19-100)。虽然有一部指南的总分为72%,但所有其他指南的总分均为47%或以下,总分的中位数为21%(范围6-72)。得分分布的变异性有限,使我们无法探讨一致性是否与指南的方法学质量相关。”
我们在讨论部分新增了以下文字:
“不一致的一个可能原因是指南的方法学质量较差,这一点可由其在AGREE II工具上的评分作为证据。遗憾的是,得分分布的变异性有限,使我们无法检验这一假设。其他评估COVID-19指南质量的研究也报告了较低的得分[3,8-10]”
作者能否更详细地描述其检索策略,以帮助读者理解其识别可能符合条件指南的方法?同样,纳入标准是什么?
回复:感谢您的意见。我们并未进行系统检索来识别可能符合条件的指南。鉴于在此类紧急情况下,指南通常发布在指南制定组织的网站上,我们使用指南、指导、COVID-19、SARS-CoV、胸部影像学、放射学等词语检索了Google和Google Scholar。我们还检索了相关组织的网站,咨询了内容专家,并筛查了纳入指南的参考文献列表。
我们进一步澄清了我们的检索如下:
“为识别可能符合条件的指南,我们于2020年4月使用Google和Google Scholar进行了非系统性检索,使用指南、指导、COVID-19、SARS-CoV、胸部影像学和放射学等词语。我们还检索了相关组织的网站,咨询了内容专家,并筛查了纳入指南的参考文献列表。”
我们在“相关指南和相关建议”部分明确了我们的纳入标准。纳入标准为:由指南制定小组发布、涉及 COVID-19 筛查、诊断或管理的胸部影像学的指南或指导文件。而排除标准为:社论或观点文章;由个人制定;或专门涉及心脏检查的胸部影像学、影像学结果报告或感染预防和控制措施。
次要意见:
标题——可以更明确地说明所使用的具体指南/建议。
回复:感谢您的建议。我们已将标题修改为以下内容:
“探索关于 COVID-19 诊断和管理胸部影像学指南之间建议的一致性:基于案例研究提出的方法学路径”
选择该主题作为案例研究的理由是什么?
回复:选择该主题的理由是,作者团队负责协调世界卫生组织(WHO)关于胸部影像学用于 COVID-19 诊断和管理指南的制定工作,其中指南制定的准备工作包括检索相关指导文件。完成后,我们回过头将我们的建议与先前识别的相关建议进行比较,这涉及方法学路径的开发。我们在引言部分阐明了这些要点。
全文有一些轻微的语法错误。
回复:谢谢。我们已更正全文中的错误。
审稿人 #2:
感谢您将本文投稿至 PLOS ONE。作为审稿人收到此文,我很高兴。祝您的文章顺利,再次感谢您的投稿。
回复:感谢您的正面反馈。
我有以下问题,我认为需要在发表前予以解决:
统计分析应按照近期发表的指南进行报告:
• Blackstone EH and Weisel RD. The conclusion of papers published in the Journal should be supported by an appropriate statistical analysis. J Thorac Cardiovasc Surg. 2014;148:2479.
• Huebner M, Vach W, le Cessie S. A systematic approach to initial data analysis is good research practice. J Thorac Cardiovasc Surg. 2016;151:25-7.
• Wasserstein RL, Lazar NA. The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70:2, 129-133.
• Greenland S, Senn SJ, Rothman KJ, et. al. Statistical Tests, P-values, Confidence Intervals, and Power: A Guide to Misinterpretations. The American Statistician. 2016;70:2. Suppl 1:1-12.
• McMurry TL, Hu Y, Blackstone EH, Kozower BD. Propensity scores: Methods, considerations, and applications in the Journal of Thoracic and Cardiovascular Surgery. J Thorac Cardiovasc Surg. 2015;150:14-9
• Winger DG, Nason KS. Propensity-score analysis in thoracic surgery: When, why, and an introduction to how. J Thorac Cardiovasc Surg. 2016;151:1484-7.
• Bagiella E. Use (and misuse) of instrumental variables. J Thorac Cardiovasc Surg. 2015;150:460.
• Bagiella E, Karamlou T, Chang H, Spivack J. Instrumental variable methods in clinical research. J Thorac Cardiovasc Surg. 2015;150:779-82.
• Rajeswaran J, Blackstone EH. Patient-reported outcomes and importance of their appropriate statistical analyses. J Thorac Cardiovasc Surg. 2015;150:461-2.
回复:感谢您提供这些参考文献。我们的综合仅限于以叙述和表格形式总结与匹配和一致性评估相关的数据。我们仅报告了分类变量的百分比以及连续变量的中位数和范围。由于我们没有进行任何统计检验来决定是否拒绝假设,这些参考文献与我们的综合不太相关。我们进一步详细说明了我们的综合如下:
“我们以叙述和表格形式总结了与匹配和一致性评估相关的数据。我们报告了分类变量的百分比以及连续变量的中位数和范围。对于指南的方法学质量,我们根据AGREE II仪器手册计算了缩放领域得分,得分范围为0至100%。该仪器的六个领域如下:范围和目的、利益相关者参与、制定的严谨性、表达的清晰性、适用性和编辑独立性。”
文本中存在拼写错误。请彻底检查文章。
回复:谢谢。我们在整篇稿件中更正了这些错误。
稿件应按照作者须知进行报告。
回复:感谢您提出这一点。我们已按照PLoS One的要求对稿件进行了格式化。
提交的文件名:Response to Reviewers.docx
点击此处获取补充数据文件。
2023年6月26日
探索关于COVID-19诊断和管理胸部影像学指南推荐意见的一致性:基于案例研究提出的方法学方法
PONE-D-22-31128R1
尊敬的Akl博士:
我们很高兴地通知您,您的稿件已被科学评审认为适合发表,一旦满足所有未完成的技术要求,将被正式接受发表。
在一周内,您将收到一封详细说明所需修改的电子邮件。这些修改完成后,您将收到正式的接受函,您的稿件将被安排发表。
正式接受后不久将发送付款发票。为确保流程高效,请登录编辑管理系统 http://www.editorialmanager.com/pone/,点击页面顶部的“更新我的信息”链接,并仔细检查您的用户信息是否为最新。如果您有任何与账单相关的问题,请直接通过 authorbilling@plos.org 联系我们的作者账单部门。
如果您的机构设有新闻办公室,请通知他们您即将发表的论文,以帮助最大化其影响力。如果他们准备新闻材料,请尽快通知我们的新闻团队——不迟于收到正式接受函后48小时。您的稿件将处于严格的新闻禁令之下,直至发表之日美国东部时间下午2点。如需更多信息,请联系 onepress@plos.org。
此致敬礼,
Hanna Landenmark
专职编辑
PLOS ONE
附加编辑意见(可选):
审稿人意见:
审稿人对问题的回复
致作者的意见
1. 如果作者已充分回应您在上一轮审稿中提出的意见,且您认为该稿件现在可以发表,您可以在此处表明,以跳过“致作者的意见”部分,在“致编辑的保密意见”部分填写您的利益冲突声明,并提交您的“接受”推荐。
审稿人#2:所有意见均已处理
**********
2. 稿件在技术上是否可靠,数据是否支持结论?
稿件必须描述一项技术上可靠的科学研究,其数据支持结论。实验必须严谨进行,具有适当的对照、重复和样本量。结论必须基于所呈现的数据适当得出。
审稿人#2:是
**********
3. 统计分析是否适当且严谨地进行?
审稿人#2:是
**********
4. 作者是否已完全提供稿件中研究发现所依据的所有数据?
PLOS数据政策要求作者完全提供稿件中所述研究发现所依据的所有数据,不设限制,极少数例外情况除外(请参阅稿件PDF文件中的数据可用性声明)。数据应作为稿件或其补充信息的一部分提供,或存放于公共存储库中。例如,除汇总统计量外,均值、中位数和方差度量背后的数据点也应可用。如果公开共享数据存在限制——例如参与者隐私或使用第三方数据——则必须予以说明。
审稿人#2:是
**********
5. 稿件是否以可理解的方式呈现,并以标准英语书写?
PLOS ONE不对已接受的稿件进行文字编辑,因此投稿文章的语言必须清晰、正确且无歧义。任何排版或语法错误应在修订时更正,因此请在此处注明任何具体错误。
审稿人#2:是
**********
6. 给作者的审稿意见
请使用提供的空间解释您对上述问题的回答。您也可以包括给作者的其他意见,包括对重复发表、研究伦理或出版伦理的关切。(如果您的审稿意见超过20,000个字符,请作为附件上传)
审稿人#2:(无回复)
**********
7. PLOS作者可以选择发表其文章的同行评审历史(这是什么意思?)。如果发表,这将包括您的完整同行评审意见及任何附件文件。
如果您选择“否”,您的身份将保持匿名,但您的审稿意见仍可能被公开。
您是否希望在此同行评审中公开您的身份?有关此选择的信息,包括撤回同意,请参阅我们的隐私政策。
审稿人#2:否
**********
2023年7月20日
PONE-D-22-31128R1
探索关于COVID-19诊断和管理的胸部影像学指南之间建议的一致性:基于案例研究提出的方法学方法
尊敬的Akl博士:
我很高兴通知您,您的稿件已被认为适合在PLOS ONE上发表。恭喜!您的稿件现已交由我们的制作部门处理。
如果您所在的机构设有新闻办公室,请立即告知他们您即将发表的文章,以帮助最大化其影响力。如果他们准备新闻材料,请在接下来的48小时内通知我们的新闻团队。您的稿件将在出版日期美国东部时间下午2点之前处于严格的新闻禁运状态。如需更多信息,请联系onepress@plos.org。
如果我们可以提供其他帮助,请发送电子邮件至plosone@plos.org。
感谢您向PLOS ONE投稿并支持开放获取。
此致,
PLOS ONE编辑部工作人员
代表
汉娜·兰登马克博士
专职编辑
PLOS ONE
引用
- Yaacoub S, Chamseddine F, Jaber F, et al. Exploring the concordance of recommendations across guidelines on chest imaging for the diagnosis and management of COVID-19: A proposed methodological approach based on a case study. PLoS One. 2023. PMID: 37498898. doi:10.1371/journal.pone.0288359
- 全文:PMC10374079(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10374079/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。