指南与共识骨肌技术与安全US

使用AGREE II工具对成人肌肉骨骼超声指南质量的严格评价:EuroAIM倡议

A critical appraisal of the quality of adult musculoskeletal ultrasound guidelines using the AGREE II tool: an EuroAIM initiative.
指南 / 共识 · Insights Imaging · 2017-07-28

该研究旨在评价已发表的成人肌肉骨骼超声(MSK-US)指南的质量。2016年6月至7月在线检索并纳入5部指南,由4名独立评审者使用AGREE II工具盲法评分,第5名评审者计算各领域得分及评审者间一致性(ICC)。结果显示,5部指南中4部总体质量为「平均」,领域1(范围与目的)得分最高(总分=71.1%±18.7%),领域6(编辑独立性)得分最低(总分=26.3%±19.3%),评审者间一致性很好(ICC范围0.932-0.956)。结论认为,MSK-US指南质量经AGREE II评价为低至平均,编辑独立性领域最为关键,未来指南制定时应予以更多关注。

要点

  • 5部MSK-US指南中4部总体质量为平均,仅EULAR指南为低质量(总分35.9%±20.6%)。
  • 领域1(范围与目的)得分最高(总分71.1%±18.7%),领域6(编辑独立性)得分最低(总分26.3%±19.3%)。
  • 评审者间一致性很好,ICC范围0.932-0.956。

核心结论

  • 经AGREE II工具评价,MSK-US指南的总体质量范围为低至平均。
  • 编辑独立性领域最为关键,未来制定指南时应给予更多关注。

研究设计与样本

  • 研究为指南质量评价研究,于2016年6月至7月通过PubMed、EMBASE、Google和Wiley Online Library检索MSK-US指南,最终纳入5部。
  • 由4名独立评审者(MSK-US及科研经验4至14年)使用AGREE II工具盲法评分,第5名独立评审者计算各领域得分及评审者间一致性(ICC)。
  • AGREE II工具包含23个条目,分为6个领域,每个条目按7分制评分(1=强烈不同意,7=强烈同意)。
  • 总体质量分级标准:5个及以上领域得分>60%为高质量,3或4个领域得分>60%为平均质量,≤2个领域得分>60%为低质量。
  • 领域得分分级:良好(≥80%)、可接受(60-79.9%)、低(40-59.9%)、极低(<40%)。

诊断标准与关键数值

  • 5部指南发表于2001年至2014年,4部达到平均质量水平(3或4个领域得分>60%)。
  • ESSR「Clinical indications for musculoskeletal ultrasound」总分最高(66.2%),EULAR指南总分最低(35.9%±20.6%)。
  • 领域得分范围从8.3%(EULAR指南领域6最低值)至87.5%(ESSR「Clinical Indications for Musculoskeletal Ultrasound」领域1最高值)。
  • 领域4(呈现清晰度)总分为73.9%±11.2%,领域1(范围与目的)总分为71.1%±18.7%,领域6(编辑独立性)总分为26.3%±19.3%。
  • 评审者间一致性ICC:ESSR技术指南0.956(95%CI 0.917–0.979),ESSR临床指征指南0.932(95%CI −0.872-0.968),EULAR指南0.936(95%CI −0.879-0.970),AIUM指南0.944(95%CI −0.895-0.974),ACR–AIUM–SPR–SRU联合指南0.941(95%CI −0.889-0.972)。

临床应用与阅片要点

  • 原文未据此给出推荐。

局限性

  • AGREE II工具并非旨在评价指南的所有方面,不评价指南推荐与所报告证据之间的一致性。
  • AGREE II不评价科学和临床内容,这是多种评价工具共有的局限性。
  • 本评价的4名评审者在MSK-US和指南评价方面经验不同,可能使结果产生偏倚;但使用平均分及事先的AGREE II培训应减少了该局限性的影响。
  • 纳入评价的指南数量相对较低,因此需要更多时间以确认质量改善趋势。
全文中译6 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2017 Jul 28;8(5):491–7. doi: 10.1007/s13244-017-0563-4

引言

超声(US)目前被认为是评估多种肌肉骨骼疾病的首选一线影像学方法[1, 2]。近年来超声技术的进步提高了对影响上肢和下肢肌腱、韧带、肌肉和神经的广泛肌肉骨骼疾病的诊断准确性[1, 3–7]。超声的其他优势包括无创性,尤其是作为一种无辐射的检查方式,以及超声系统的广泛可及性和低成本[8, 9]。基于这些原因,肌肉骨骼超声(MSK-US)的使用在全球医生中迅速增加[1]。

与此同时,MSK-US的广泛使用提出了对“循证”推荐意见的需求,以帮助医生在日常工作中判断何时更适合使用超声以及如何实施技术上正确的超声检查。事实上,合理使用超声检查对于提高诊断准确性以及减少不必要的检查数量至关重要[1, 10]。基于这些原因,近年来已制定了一些指南,其推荐意见包括MSK-US检查的适应证、应评估的解剖部位或结构,或MSK-US适用的最重要临床情况[1, 11–14]。此类指南通常由医学机构或专门工作组制定,在临床实践中发挥关键作用,并在医疗过失诉讼案件中作为参考[10],因为它们应基于最高级别的证据提供推荐意见。这种证据通常通过对系统检索的原始研究和荟萃分析进行严格筛选和评估来获得[15, 16]。然而,根据指南制定的方法学,质量可能存在差异。因此,评估指南制定所依据的方法至关重要[17, 18]。

目前已开发了多种质量评价工具用于评估指南。其中,指南研究与评价评估工具第二版(AGREE II)已被报道为一种可靠、国际通用且经过验证的工具[19]。

欧洲医学影像评估网络(EuroAIM)是欧洲生物医学影像研究所的联合倡议,其启动目的是增加医学影像合理使用的证据[15, 20]。近期,EuroAIM将其活动重点放在评估不同诊断影像领域的指南上[21]。在肌肉骨骼放射学方面,EuroAIM与欧洲肌肉骨骼放射学会(ESSR)建立了一个联合项目[21],MSK-US被列为关注主题之一。

本研究旨在使用AGREE II质量评价工具评估当前针对成人的MSK-US指南的质量。

材料与方法

2016年6月至7月期间,我们使用PubMed、EMBASE、Google和Wiley在线图书馆进行了肌肉骨骼超声(MSK-US)指南的文献检索,关键词如下:“肌肉骨骼超声”、“肌肉骨骼超声检查”、“指南”、“适应证”、“官方立场”及其扩展词。检索到指南后,对其参考文献进行筛选以纳入更多论文。我们从检索结果中排除了那些并非主要聚焦于MSK-US的论文,例如关于特定疾病影像学的指南,其中超声仅在更全面评估的背景下被描述。纳入标准如下:全文以英文发表;由国家或国际医学机构发布的指南;主要聚焦于使用超声评估肌肉骨骼疾病的指南;指南可能包含关于MSK-US解剖技术的推荐意见;指南必须主要针对成人人群(年龄>18岁)。

指南质量评价通过AGREE II工具在官方专用在线平台进行[19]。AGREE II方案由23个不同条目组成,分为6个领域:领域1=“范围和目的”(条目1-3);领域2=“利益相关者参与”(条目4-6);领域3=“制定的严谨性”(条目7-14);领域4=“表述的清晰性”(条目15-17);领域5=“适用性”(条目18-21);领域6=“编辑独立性”。这六个领域之后还有两个附加条目(“总体评估”),包括“指南整体质量的评分以及该指南是否会被推荐用于实践”。表1显示了所有AGREE II条目的详细描述[19]。

四位独立评审者(CM、BB、DO、AC)具有4至14年MSK-US和科研经验,对每部指南进行评分。评审者由EuroAIM工作组从ESSR超声分委会成员中选定。所有评审者此前均已通过在线平台提供的用户手册接受了AGREE II评分系统的培训;此外,评审者还被要求完成两个专门开发的在线培训工具,以帮助用户有效应用该工具。根据指导工具,每个条目按7分制评分,范围从1分(强烈不同意,即未提供相关信息)到7分(强烈同意,即报告质量卓越)。最终领域得分通过将该领域内所有条目的得分相加,并将总分换算为该领域最大可能得分的百分比来计算[可通过http://www.agreetrust.org/about-the-agree-enterprise/introduction-to-agree-ii/scoring-the-agree-ii/获取]。

表1 AGREE II结构概要及各领域条目详细列表(引自参考文献15) 查看原表 ↗

数据分析

为便于分析,每位评审者的评价结果取平均值;各领域的平均值报告于结果中。评审者评分之间的一致性采用组内相关系数(ICC)计算,定义如下:<0.20,差;0.21–0.40,一般;0.41–0.60,中等;0.61–0.80,好;0.81–1.00,很好。与既往研究相同,每条指南的总体质量采用各领域最终评分60%的阈值进行评价[22, 23]。高质量定义为5个或以上领域评分>60%,中等质量定义为3或4个领域评分>60%,低质量定义为≤2个领域评分>60%。此外,计算指南及领域的总分(以均数±标准差,SD表示)。领域评分分类为好(≥ 80%)、可接受(60–79.9%)、低(40–59.9%)或极低(<40%),与既往类似论文一致[24]。数据提取、收集和评分由第五位独立评审者(LMS)完成,其具有14年肌肉骨骼超声(MSK-US)及科研经验,使用Microsoft Excel® 2016电子表格进行。ICC计算使用SPSS软件(版本24,IBM,Armonk,NY,USA)完成。

结果

我们的文献检索策略共识别出206篇论文,其中5篇符合我们的纳入标准[1, 11–14]。纳入本研究的MSK-US指南的特征见表2。发表年份范围为2001年至2014年。

表3总结了各领域的总分以及总体质量的最终判定。每条指南的详细评分及评审者意见报告于补充表1至表5。5条指南中有4条达到中等质量水平,即有3或4个领域评分高于60%。其中,Klauser等[1]代表ESSR发表的“肌肉骨骼超声临床适应证”获得最高总分(66.2%)。仅Backaus等[14]代表EULAR发表的“风湿病学肌肉骨骼超声指南”质量水平为低,仅有两个领域评分>60%,总分为35.9% ± 20.6%。Martinoli[11]代表ESSR发表的“肌肉骨骼超声:技术指南”是评分变异性最大的指南,SD为29.7%,而EULAR发布的风湿病学指南[14]变异性最低(SD = 20.6%)。

领域评分范围介于8.3%(最低值,EULAR指南[14]领域6)和87.5%(最高值,ESSR“肌肉骨骼超声临床适应证”[1]领域1)之间。当比较各指南同一领域的评分时,“表述清晰性”(领域4)和“范围与目的”(领域1)获得最高结果,领域总分分别为73.9% ± 11.2%和71.1% ± 18.7%。总分最低的领域为“编辑独立性”(领域6),总平均分为26.3% ± 19.3%。

领域1(“范围与目的”)的总平均分为71.1%,变异性中等(SD = 18.7%)。ESSR“肌肉骨骼超声临床适应证”[1]获得最高评分(87.5% = 好),而EULAR指南[14]评分为“极低”,为38.9%。

领域2(“利益相关者参与”)的总平均得分为57.5%,变异性最低(标准差(SD)= 9.1%)。在该领域内,AIUM指南[12]得分最高(63.9% = 可接受),而EULAR指南[14]得分最低(41.7% = 极低)。

领域3(“制定的严谨性”)的平均得分次低(32.7%),且总体变异性较高(SD = 25.5%)。这种变异性与领域得分最高的指南(ESSR“肌肉骨骼超声临床适应证”[1],总分74.5%)与Martinoli[11]的技术指南(最终领域得分为9.9%,“极低”)之间的显著差异有关。

领域4(“表述清晰性”)的总体平均得分为“可接受”,平均分73.9%。质量得分变异性为3.6% SD。ESSR“肌肉骨骼超声临床适应证”[1]得分最高(87.5% = 良好),而EULAR指南[14]得分最低(61.1% = 可接受)。

领域5(“适用性”)的平均质量得分为46.3%,变异性中等(SD = 9.3%)。指南得分从ACR–AIUM–SPR–SRU[13]联合指南的最高值63.5%(可接受)到Martinoli[11]技术指南的最低值30.2%(极低)不等。

总体而言,得分最低的领域为领域6(“编辑独立性”),平均得分26.3%。该领域变异性第二大,SD接近20%。与其他领域一样,这种变异性受最高与最低领域得分差异的影响。ESSR“肌肉骨骼超声临床适应证”[1]得分最高,为58.3%,仍被视为“低”。相反,EULAR指南[14]得分为8.3%(极低),为所有领域中最低值。

观察者间变异性范围分别为:ESSR“肌肉骨骼超声:技术指南”[11]为0.956(很好;95%置信区间,0.917–0.979);ESSR“肌肉骨骼超声临床适应证”[1]为0.932(很好;−0.872-0.968);EULAR指南[14]为0.936(很好;−0.879-0.970);AIUM指南[12]为0.944(很好;−0.895-0.974);ACR–AIUM–SPR–SRU联合指南[13]为0.941(很好,−0.889-0.972)。

表2 纳入分析的MSK-US指南一般特征 查看原表 ↗
表3 根据AGREE II的MSK-US指南领域得分平均值汇总 查看原表 ↗

讨论

我们的主要发现是,对MSK-US指南的AGREE II评价显示中等结果,五部指南中有四部的总体质量为“一般”,许多领域得分为“低”或“极低”。此外,尽管六个领域间存在高度变异性,但“良好”的领域得分(即百分比高于80%)仅出现三次。考虑领域内得分时,变异性在某种程度上较小,领域2(利益相关者参与)的SD最低。

这些结果的原因之一可能是,四项指南[11–14]主要是技术性指南,大多或仅涉及肌肉骨骼超声(MSK-US)检查的实际操作(例如,如何定向探头、摆放患者体位、显示肌腱)。因此,其目的是提供技术教育,而非关于该主题的文献证据。在此背景下,AGREE II工具评估的并非所有领域都可能与此类推荐意见相关。然而,AGREE II开发者明确指出,该工具“可应用于任何疾病领域的指南,针对医疗保健连续体中的任何环节”,因此也为技术性指南的评估提供了可能性。值得注意的是,ESSR“肌肉骨骼超声的临床适应证”[1]是一项基于德尔菲过程的指南,该过程在全面审查相关文献后进行,旨在提供关于MSK-US在身体不同部位使用的证据程度的临床适应证。这或许可以解释为何该指南是总体得分最高的指南。然而,排除技术性指南后,我们承认关于MSK-US的临床指南数量相对较少。

质量最高的领域是“表述清晰性”(领域4)和“范围与目的”(领域1),两者得分均超过70%。尽管在我们的评估中不那么明显,但这与先前使用AGREE II工具评估其他指南的论文具有可比性,无论主题如何[23–26]。这些特定领域得分如此之高的原因仍不清楚[23]。一种可能的解释可能是,领域1和领域4包含指南的基本部分,这些部分不易省略,例如目标、所针对的健康问题以及指南适用的人群。因此,指南制定者在撰写论文时可能更关注这些部分。

编辑独立性(领域6)在所有指南中得分均为“非常低”,但ESSR论文“肌肉骨骼超声的临床适应证”除外,其最终得分为“低”。因此,这是得分最差的领域(26.3%)。Armstrong等人在最近对骨质疏松症指南的评估中也报告了类似情况,领域6得分最低(45%)[23]。该领域的得分在其他几项研究中也很低[24, 25, 27, 28],仅有少数例外[26]。关于“编辑独立性”的评估,AGREE II考虑了两个与资助机构或潜在作者的利益冲突相关的条目,这些利益冲突可能影响了指南内容[19]。为满足AGREE II标准,应明确声明资助机构的利益未影响最终推荐意见;同时,所有指南作者均应披露所有利益冲突。据评审者称,所有指南均未充分报告此信息,尤其是EULAR论文,其得分低于10%。这一方面仍然至关重要,因为已有研究表明,指南作者之间的利益冲突非常普遍,并可能影响最终推荐意见的质量[23, 29–31]。因此,显然需要特别关注该领域的质量,尤其是对于那些包含诊断技术或药物推荐意见的指南。

根据AGREE II工具,从2001年到2012年,MSK-US的总体质量评分出现了大幅提高,但从2012年到2014年则未出现 such 提高。与2001年发布的EULAR指南[14]相比,2012年发表的ESSR论文[1]在最终总分上提高了约30%。我们的结果与Kung等人2012年的一篇综述[32]不同,该综述发现在此前二十年中医学指南的改善非常小。另一方面,Armstrong等人2016年发表的一篇论文显示,随着时间推移质量改善具有相似数值[23]。然而,所评估的指南数量相对较少,因此需要更多时间才能确认这一趋势。

重要的是,所有被评估指南的观察者间一致性都非常好;因此,所有评审者对所给出的评分相当一致。事实上,所有评审者的意见在某种程度上是一致的,这一发现进一步证实了评审者对AGREE II评价系统的信心。

本研究存在局限性,其中一些是AGREE II系统本身固有的。事实上,该工具并非旨在评估指南的所有方面。首先,AGREE II不评估指南推荐意见与所报告证据之间的一致性程度[24]。此外,AGREE II不评估科学和临床内容,这是若干评价工具共有的局限性[33]。最后,本次评价的四名评审者在MSK-US和指南评价方面的经验不同,可能使结果产生偏倚。然而,使用平均分以及先前关于AGREE II工具正确使用的培训应已减轻这一局限性的影响。

总之,我们的研究表明,根据AGREE II评价,MSK-US指南的总体质量为中等。就总体评分而言,领域6(编辑独立性)最为关键;因此,应重视这些方面,以制定偏倚风险较低的推荐意见。

电子补充材料

ESM 1(DOCX 20 kb)

(DOCX 20 kb)

(DOCX 20 kb)

(DOCX 20 kb)

(DOCX 20 kb)

引用

  1. Messina C, Bignotti B, Tagliafico A, et al. A critical appraisal of the quality of adult musculoskeletal ultrasound guidelines using the AGREE II tool: an EuroAIM initiative. Insights Imaging. 2017. PMID: 28755330. doi:10.1007/s13244-017-0563-4
  2. 全文:PMC5621989(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5621989/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。