培训能否提高应用柏林影像学定义诊断ARDS的准确性和评分者间一致性?一项多中心前瞻性研究
该多中心前瞻性评分者一致性研究纳入中国24个ICU的286名重症医师,独立判读ARDS定义工作组制定的12张胸片(一致、不一致、模棱两可各4张),培训前后各一次。培训后总体诊断准确性由42.0%升至55.3%(p<0.001),但总体一致性(0.450 vs 0.461)、Fleiss κ(0.133 vs 0.178)和ICC(0.219 vs 0.276)均无显著改善。结论认为柏林影像学定义的判读准确性和一致性均差,培训集胸片仅可作为开发未来培训材料的示例,需进一步研究更有效的方法。
要点
- 培训后总体诊断准确性仅从42.0±14.8%升至55.3±23.4%,仍大于半数判读错误,床旁单凭胸片判读ARDS不可靠。
- 培训前后评分者间一致性均差且无改善:Fleiss κ 0.133 vs 0.178(p=0.405),ICC 0.219 vs 0.276(p=0.470)。
- 一致类别胸片判读准确性最高,模棱两可类别最低;模棱两可类别培训后特异度无变化(0.824 vs 0.823,p=0.883)。
- 作者认为该12张胸片培训集只能作为示例,未来培训材料应纳入更多胸片并由有经验的放射科医师确认诊断。
- 作者建议培训课程应同时针对初级和高级重症医师,并采用多层面策略(更多迭代培训、更多样本、放射科医师参与、互动学习甚至神经网络和深度学习)。
适用人群与场景
- 中国危重症临床试验协作组24个ICU中工作的重症医师,最终分析286名(住院医师41.3%、初级主治医师35.3%、高级主治医师23.4%)。
- 排除标准:知晓研究计划(参与设计或构思)、3个月内计划轮转出ICU、既往已阅过这12张胸片。
诊断标准与关键阈值
- 以ARDS定义工作组(the panel)对12张胸片的判读为参考标准(一致4张、不一致4张、模棱两可4张)。
- 参与者对每张胸片选择「一致」(符合柏林定义ARDS)、「不一致」(提示其他疾病)或「模棱两可」(病因不确定)。
研究设计与关键结果
- 研究类型:多中心前瞻性评分者一致性研究,24个ICU,286名重症医师,判读12张胸片,培训前后各一次。
- 培训后正确判读胸片数从5.0±1.8张增至6.6±2.8张(平均差1.6,95%CI 1.2–2.0,p<0.001),总体准确性从42.0±14.8%升至55.3±23.4%(平均差13.3%,95%CI 10.2–16.5%,p<0.001)。
- 诊断准确性:一致类别最高、不一致类别中等、模棱两可类别最低(p<0.001);培训后模棱两可类别准确性改善更明显(p=0.024)。
- 模棱两可类别培训后敏感度从0.219±0.245升至0.387±0.339(p<0.001),特异度无变化(0.824±0.153 vs 0.823±0.168,p=0.883)。
- 评分者间一致性:总体一致性0.450(95%CI 0.397–0.504)vs 0.461(95%CI 0.387–0.504),p=0.792;Fleiss κ 0.133(95%CI 0.058–0.207)vs 0.178(95%CI 0.086–0.270),p=0.405;ICC 0.219(95%CI 0.122–0.449)vs 0.276(95%CI 0.159–0.525),p=0.470。
- 记忆测试补充调查:24名未参与实验的重症医师对24张胸片总体准确性51.9±9.8%,既往阅过与未阅过胸片准确性无显著差异(55.2±14.9% vs 48.6±14.9%,p=0.165)。
证据类型、等级与局限
- 证据类型:多中心前瞻性评分者一致性研究。
- 局限:阅片数量与Meade研究的778张相比相当少;研究情境非真实临床场景(无系列胸片);记忆效应不能完全排除。
对床旁实践的改变
- 作者认为该12张胸片培训集应仅视为示例,可用于开发纳入更多胸片并由有经验放射科医师确认诊断的最终培训材料。
- 作者认为培训课程应采用多层面策略,包括更多迭代培训、更多样本胸片及判读指导(尤其不一致或模棱两可类别)、放射科医师参与教学、互动学习方式甚至神经网络和深度学习。
- 作者认为培训课程应同时针对初级和高级重症医师。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译11 节 · 点击展开
背景
1994年发表的欧美共识会议(AECC)对急性呼吸窘迫综合征(ARDS)的定义[1]已被广泛采用。然而,该定义的局限性已被认识到,例如通过胸部X线识别与肺水肿一致的双侧浸润影时观察者间可靠性较差[2–5]。更新的柏林定义修改了先前的影像学标准,不仅要求双侧浸润影,还要求排除胸腔积液、肺叶/全肺萎陷或结节[2]。目前尚不清楚该修改是否提高了胸部X线判读的可靠性。最近,Bellan及其同事在一项国际多中心前瞻性队列研究中报告,重症医学科医师在满足ARDS标准时仅能识别34.0%的ARDS[6]。尽管ARDS漏诊率高的确切原因可能是多方面的,但胸部X线的不恰当判读应引起关注。
为了提高评估者间可靠性,ARDS定义工作组(“专家组”)制定了一套胸部X线片,判定为与ARDS诊断一致、不一致或模棱两可[3]。这些胸部X线片能否提高ARDS诊断的准确性这一问题尚未解决。
因此,我们进行了一项前瞻性研究,以检验专家组制定的培训材料对重症医学科医师按照柏林定义诊断ARDS时胸部X线判读准确性和一致性的影响。
方法
胸部X线片来源
我们使用了专家组为ARDS诊断制定的12张胸部X线片[3];这些X线片被分为一致(n = 4)、不一致(n = 4)和模棱两可(n = 4)三类,且未提供任何附加临床信息。
研究方案
本研究在中国危重症临床试验协作组(CCCCTG)的24个重症监护病房(ICU)中进行了为期3个月的研究。在参与ICU工作的所有重症医学科医师均符合研究入选条件。排除标准为:知晓研究计划(即参与研究设计和/或构思)、计划在3个月内(即研究结束时)轮转离开ICU、以及既往审阅过这12张胸部X线片。
带有说明的调查问卷通过电子邮件发送给参与ICU的联系人,然后分发给所有参与的重症监护医师,要求他们在提供知情同意后1小时内独立完成问卷。参与者被告知了研究目的,但不了解具体方法学,包括后续培训和2个月后的第二次调查。问卷包含专家组提供的全部12张胸部X线片。此外,问卷末尾还附有ARDS的柏林定义(包括影像学诊断标准)以供澄清。参与者报告的反应为“一致”(表示胸部X线片符合ARDS的柏林定义)、“不一致”(表示影像学异常提示ARDS以外的其他疾病)和“不确定”(表示对所观察到的影像学异常的确切原因不确定)。同时还记录了应答者的特征数据,包括年龄、性别、教育状况、ICU类型、职务、工作经历及任何其他专业背景。所有问卷均在1周内完成并通过电子邮件返还给主要研究者。
收到完成的问卷后,主要研究者向每个ICU的联系人发送了一封电子邮件。该邮件包含参考文献及补充材料(包括专家组的12张X线片)[3],以及基于上述材料的影像学解读原则和理由的培训幻灯片。所有材料均由主要研究者翻译成中文以便更好地理解。翻译的准确性通过回译进行了验证。每个ICU的联系人还被要求在收到邮件后1周内参加培训课程。培训课程持续至少1.5小时,期间联系人使用培训幻灯片讲解诊断理由,随后进行深入讨论以对全部12张X线片达成共识。
2个月后,所有参与者被要求完成第二份问卷,其中包含相同的12张胸部X线片,但顺序不同。问卷还记录了应答者的年龄、性别和职务,以便将胸部X线片的解读与同一应答者进行匹配。
研究方案经首都医科大学附属复兴医院机构审查委员会批准,并已在ClinicalTrials.Gov注册(NCT0170466)。
用于测试应答者记忆的补充调查
在完成上述实验后,我们进行了另一项调查,以区分记忆效应与对单张胸部X线片的真实解读。从所有参与的ICU中便利抽样选取了24名未参与上述实验的重症监护医师。向这些参与者发送了一封包含相同12张胸部X线片的电子邮件,参与者对所调查的目的不知情。两个月后,向这24名重症监护医师发送了另一封电子邮件,其中包含相同的12张胸部X线片和12张不同的胸部X线片。参与者被问及以下问题:“您以前是否审阅过这张胸部X线片?”每位重症监护医师对每张胸部X线片回答“是”或“否”。
统计分析
专家组作出的影像学诊断被用作“金标准”[3]。参与的重症监护医师报告相对于“金标准”的准确性通过总体准确性(即诊断正确的胸部X线片百分比)、各诊断类别(即一致、不确定和不一致)的敏感度和特异度进行评估[7]。具体而言,在计算各诊断类别(例如一致)的敏感度和特异度时,将其他两个类别(即不确定和不一致)的数据合并并作为一个诊断组处理。Youden's J统计量按敏感度+特异度-1计算,用于比较诊断的总体性能[8]。所有参与的重症监护医师之间的评定者间一致性通过总体一致率、机会校正一致率(Fleiss's kappa)[9]以及双向随机模型的组内相关系数(ICC)[10]进行评估。
两组比较采用Student's t检验和Mann–Whitney U检验,组数>2的比较采用使用F统计量的单因素方差分析。多重比较采用Bonferroni事后检验。组间ICC的比较采用Fisher提出的Z检验[11]。分类变量以其所来源组的百分比报告,并酌情采用卡方检验或Fisher精确检验进行比较。
我们还比较了按年龄、性别、职务、专业学位、行医年限、ICU类型、ICU工作年限及其他专业背景分类的不同亚组之间对ARDS胸部X线片的诊断准确性和评定者间一致性。
在考察受访者记忆的补充研究中,我们报告了总体准确性,并比较了重症监护医师以前审阅过和未审阅过的胸部X线片的准确性。
结果
参与的重症监护医师的特征
24个参与的ICU中共有400名重症监护医师,110名被排除在研究之外。排除原因包括计划在ICU外轮转(n = 66)、知晓研究设计(n = 24)、以前审阅过该组12张胸部X线片(n = 18)、拒绝参与(n = 1)以及原因不明(n = 1)。此外,来自两家医院的4名重症监护医师未对第二次调查作出回复,因此最终分析纳入286名参与者。
在286名受访者中,中位年龄为32.5岁,男性163名(57.0%)(表1)。住院医师118名(41.3%),初级主治医师101名(35.3%),高级主治医师67名(23.4%)。超过60%的受访者在综合ICU工作,约40%没有重症监护以外领域的背景。受访者在重症监护实践中的中位工作年限为5年(范围0至23年)。
急性呼吸窘迫综合征(ARDS)影像学诊断的准确性
培训前,286名参与研究的重症监护医师在5.0 ± 1.8张胸部X线片上做出正确诊断,包括2.3 ± 1.1张一致、0.9 ± 1.0张不确定和1.9 ± 1.1张不一致的结果。培训后,正确诊断的胸部X线片数量仍然较低,尽管增加至6.6 ± 2.8张(平均差为1.6,95%置信区间[CI]为1.2至2.0,p < 0.001),包括2.9 ± 1.1张一致、1.6 ± 1.4张不确定和2.2 ± 1.2张不一致的胸部X线片(表2,图1和图2)。该结果对应于总体准确性从42.0 ± 14.8%提高至55.3 ± 23.4%(平均差为13.3%,95% CI为10.2至16.5%,p < 0.001)。特别是,我们观察到分别有156名(54.5%)、50名(17.5%)和80名(28.0%)参与研究的重症监护医师的总体诊断准确性增高、不变和降低。
在三个类别中,诊断准确性以一致类别最高,不一致类别中等,不确定类别最低,如正确诊断病例数、诊断准确性和Youden J统计量所示(p < 0.001)(表2)。这一结果在培训前后均成立,例外之处在于培训前不确定类别和不一致类别的Youden J统计量相似(p = 0.593)。此外,诊断准确性的改善在不确定类别中更为显著(p = 0.024;事后检验显示不确定类别与不一致类别之间存在显著差异)(表2)。
对于一致和不一致类别,培训后诊断敏感性和特异性均显著提高。相比之下,对于不确定类别,尽管培训后敏感性显著提高(0.219 ± 0.245 vs. 0.387 ± 0.339,p < 0.001),但特异性保持不变(0.824 ± 0.153 vs. 0.823 ± 0.168,p = 0.883)(表2)。亚组分析提示,高级医师(即具有更多年医学或重症监护实践年限者)表现出边缘性但具有统计学显著性的更好诊断准确性。此外,上述诊断准确性的改善在所有亚组中均一致,包括按年龄、性别、职称、专业学位、医学实践年限、ICU类型、ICU实践年限和其他专业背景划分的亚组(附加文件1:表S1)。
ARDS影像学诊断的评定者间一致性
286名参与研究的重症监护医师之间的评定者间一致性较差。比较培训前和培训后结果发现,培训对评定者间一致性没有任何影响,总体一致性(0.450 [95% CI,0.397至0.504] 对 0.461 [95% CI,0.387至0.504],p = 0.792)、Fleiss kappa值(0.133 [95% CI,0.058至0.207] 对 0.178 [95% CI,0.086至0.270],p = 0.405)和ICC(0.219 [95% CI,0.122至0.449] 对 0.276 [95% CI,0.159至0.525],p = 0.470)的变化均无统计学意义。任何亚组之间的评定者间一致性均无统计学显著差异。此外,我们观察到培训后任何亚组的评定者间一致性均无改善(附加文件1:表S2)。
用于测试受访者记忆的补充调查
总体准确性,即受访者正确识别全部24张胸部X线片的准确性,为51.9 ± 9.8%,先前已审阅的12张胸部X线片组与先前未审阅的12张胸部X线片组之间无显著差异(55.2 ± 14.9% 对 48.6 ± 14.9%,p = 0.165)。
讨论
据我们所知,这是第一项探讨新提出的柏林ARDS影像学定义可靠性的研究。我们发现,即使使用专家组制定的一套胸部X线片进行培训后,ARDS影像学诊断的准确性仍然较差,尽管基于总体准确性和Youden J统计量观察到显著改善;培训未改变评定者间一致性。
既往仅有两项研究报告了应用AECC ARDS影像学标准时的评定者间变异性 [4, 5]。Rubenfeld等报告,21名专家审阅28张随机选取的胸部X线片时,评定者间一致性为中等(kappa 0.55)[4]。Meade等也发现,未接受正式共识培训的重症监护医师可达到中等水平的一致性(kappa 0.72至0.88)[5]。在认识到上述局限性的同时,专家组保留了胸部X线片上与肺水肿一致的双侧渗出影作为ARDS的定义标准,但他们明确指出上述异常不能完全由胸腔积液、肺叶/肺塌陷或结节/肿块解释 [2]。专家组期望通过纳入一套胸部X线片来提高评定者间信度,并呼吁评估基于柏林影像学标准的病例识别的可靠性 [3]。
我们的研究与既往研究不同。首先,我们使用了由专家组判定为“金标准”的12张胸部X线片;这种方法使我们能够评估诊断准确性,而由于缺乏“金标准”,既往研究无法进行这一评估[4, 5]。专家组由积极参与制定ARDS柏林定义[2]的国际ARDS专家组成。因此,专家组就12张参考胸部X线片的影像学诊断所达成的共识可能代表现有最佳判断。此外,专家组期望通过使用该培训材料使ARDS的影像学诊断实现标准化。其次,由于ARDS的诊断和将患者纳入临床试验的决定通常由临床医生在床旁作出,我们认为我们的研究样本(来自多家机构的286名参与重症监护医师)可能比既往研究中所用样本更能代表常规临床实践中的评分者间变异性,既往研究中评分者间一致性是在国际专家或少数重症监护医师之间评估的[4, 5]。我们还纳入了处于不同培训阶段的重症监护医师,使我们能够探讨此类培训对改善程度的影响。
然而,我们研究的主要结果令人失望,即使在培训之后,ARDS影像学诊断的准确性也仅略高于50%。这一发现提示,即使有了新的ARDS定义和培训材料,用于ARDS的胸部X线片判读仍然存在问题。正确判读胸部X线片的能力被认定为欧盟[12]和中国大陆[13]重症监护医学国际培训项目的核心能力之一;该能力只有在阅读数百张正常和异常胸部X线片[14]或参加培训课程[15]后才能获得。因此,期望重症监护医师在仅复习12张胸部X线片后其胸部X线片判读的总体技能即获得显著改善,似乎并不现实。专家组制定的这12张胸部X线片集应仅被视为示例,可作为制定最终培训材料的基础,最终培训材料应包括更大的一组经经验丰富的放射科医师确认诊断的胸部X线片。此外,视觉检查以外的方法可能值得进一步研究。例如,Herasevich等报告,基于胸部X线片判读结果与动脉血气值的实时查询进行的ARDS电子筛查显示出极好的敏感性96%和中等特异性89%[16]。
我们发现,重症监护医师在识别与ARDS一致的胸部X线片方面显著优于识别与ARDS不一致或模棱两可的胸部X线片。既往研究已证明,肺不张、胸腔积液、血管重分布以及遮挡肺实质的覆盖监测设备被专家视为问题所在[4],并可导致胸部X线片判读困难且常常具有误导性。因此,如果有更广泛的培训材料、且更侧重于上述困难,则可能进一步改善诊断准确性和评分者间一致性。
由于除肺保护性通气策略外缺乏特异性治疗,我们的研究结果在急性呼吸窘迫综合征(ARDS)管理中的临床意义仍不确定。然而,提高诊断准确性以及关于ARDS影像学判读的评估者间一致性,对于在临床研究中纳入更同质的患者人群至关重要。因此,在设计相关培训课程时,多方面的策略可能很重要。此类策略应包括但不限于:更多迭代系列的培训课程、更多样本胸片及 accompanying 的影像学判读指导(尤其是不一致或模棱两可的类别)、纳入放射科医师作为讲师、采用互动式学习方法,甚至神经网络和深度学习。此外,我们的研究结果强烈提示,这些培训课程应同时针对初级和高级重症监护医师。
我们的研究存在若干局限性。首先,与Meade[5]评估的778张胸片相比,本研究所审阅的胸片数量相当少。然而,这些是唯一具有专家组共识判断、可被视为“金标准”的可用胸片。此外,我们研究中大量的参与者可能部分克服了这一局限。其次,本研究实施的情境并非真实临床场景。例如,无法获得系列胸片;此类系列胸片对于 delineating 胸腔积液或覆盖监测设备的遮蔽效应可能很重要。然而,许多ARDS临床试验通常排除ARDS病程超过36或48小时的患者[17–20];通常,在这一短时间窗口内仅有一到两张胸片可用。最后,记忆效应不能完全排除,因为参与者在验证调查中审阅了同一组胸片。总体诊断准确性提高而评估者间一致性未提高的事实,也可能提示记忆效应的可能性。然而,补充调查的结果尽管使用了不同的研究人群,并不支持上述假设。同样值得注意的是,即使考虑到上述混杂因素,培训后的诊断准确性和评估者间一致性仍然较差。
结论
我们的结果表明,即使在使用专家组开发的12张胸片集进行培训后,ARDS影像学诊断的准确性和评估者间一致性均较差。因此,这组胸片应仅被视为一个示例,可用于未来培训材料的开发。需要进一步研究以探索更有效的方法来提高ARDS影像学判读的准确性和评估者间信度。
参考来源
- Peng JM, Qian CY, Yu XY, et al. Does training improve diagnostic accuracy and inter-rater agreement in applying the Berlin radiographic definition of acute respiratory distress syndrome? A multicenter prospective study. Crit Care. 2017. PMID: 28107822. doi:10.1186/s13054-017-1606-4
- 全文:PMC5251343(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5251343/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。