印度医师培训:按WHO方法判读儿童胸片
该研究在印度培训29名医师(15名放射科医生和14名儿科医生)使用WHO Chest Radiography in Epidemiological Studies方法判读儿童胸片,培训3天,前后各测试60张胸片。培训后平均分提高9.6%(95%CI 5.0-14.1%,P<0.001),达到≥80%正确判读主要终点肺炎的比例从69.2%升至92.3%(P=0.003),放射科医生与儿科医生培训后成绩无统计学差异(P=0.43)。
要点
- 培训后儿科医生与放射科医生对主要终点肺炎的判读达标率相同(均为12/13)。
- 阅片时应重点识别终点实变、轮廓征和胸腔积液,这三者是主要终点肺炎的关键特征。
- 判读主要终点肺炎需综合评估轮廓征、胸腔积液或终点实变,并确认最终分类。
关键影像表现/征象
- 主要终点肺炎的影像定义基于终点实变、轮廓征和胸腔积液,判读时需分别评估左右半胸并确认最终分类。
- 培训后对终点实变的正确判读达标率提高80.8个百分点(P<0.001),轮廓征达标率在儿科医生中从0%升至61.5%(P=0.01)。
- 胸腔积液判读在培训前已有超过90%的参与者达标,培训后进一步改善。
- 其他浸润影的判读在培训前后无统计学显著变化。
诊断标准与关键数值
- 认证标准:培训后测试中正确判读主要终点肺炎(有/无)或不可判读的图像比例≥80%。
- 培训后全体参与者平均正确判读率为90.9%(SD 6.4%),92.3%(24/26)达到认证标准。
- 培训前儿科医生平均分75.9%(SD 10.9%),放射科医生86.8%(SD 7.3%),差异有统计学意义(P=0.006)。
- 培训后儿科医生平均分提高16.0个百分点(95%CI 9.3-22.7%,P<0.001),放射科医生平均分变化无统计学意义(P=0.13)。
- 轮廓征培训前平均分:放射科医生79.9%(95%CI 77.1-82.7%),儿科医生67.7%(95%CI 62.0-73.3%),差异有统计学意义。
临床应用与阅片要点
- 判读儿童胸片主要终点肺炎时,应系统评估终点实变、轮廓征和胸腔积液,并分别记录左右半胸。
- 非放射科医生经过规范化培训后可达到与放射科医生相近的判读水平,适合参与多中心研究阅片。
- 培训应侧重终点实变和轮廓征的客观测量方法,而非泛泛讲授主要终点肺炎。
- 其他浸润影的判读一致性历来较低,不宜作为研究主要终点。
局限性
- 单中心培训研究,样本量较小(29名参与者),结果外推需谨慎。
- 培训效果评估仅基于测试图像,未报告实际研究阅片中的长期表现。
- 部分图像因绝大多数参与者判读错误而被事后排除,可能影响评分一致性。
全文中译13 节 · 点击展开
引言
根据2017年全球疾病负担估计,全世界每分钟有一至两名儿童在五岁生日前死于肺炎[1]。印度每年有近20万名儿童死于下呼吸道感染,比任何其他国家都多[1, 2]。在下呼吸道感染中,由肺炎链球菌引起的细菌性肺炎是印度及其他低收入和中等收入国家乃至全球5岁以下儿童的重要死亡原因[3, 4]。引入肺炎球菌结合疫苗和降低家庭空气污染共同使1990年至2017年间全球下呼吸道感染死亡率降低了约15%[1]。印度最近在全球疫苗免疫联盟(Gavi,一个致力于全球公平获取疫苗的公私合作项目)的协助下将肺炎球菌结合疫苗纳入其通用免疫规划[5],政府还持续支持液化石油气补贴项目以应对家庭空气污染[6]。
世界卫生组织(WHO)于1997年制定的儿童胸部X线片分类方法已被应用于细菌性结合疫苗的效力和效果研究,以及近年来儿童下呼吸道感染的流行病学研究[7–16]。该方法旨在识别具有较高细菌病因概率的胸部X线片,重点针对肺炎链球菌和流感嗜血杆菌,并优先考虑观察者间可靠性和特异性[8, 15]。基于该方法的判读仅供研究使用,不适用于临床[15]。为协助研究人员使用WHO方法,WHO于2016年启动了“流行病学研究中的胸部X线摄影”项目,以明确标准化定义并开发开放式培训和支持工具[17]。
建立了一个胸部X线片判读小组,以支持印度两个研究项目,这两个项目旨在评估肺炎球菌结合疫苗效力和估计液化石油气对儿童肺炎的效果[18, 19]。修订后的WHO“流行病学研究中的胸部X线摄影”定义及培训和支持工具经调整后用于2019年5月在印度阿格拉进行的为期3天的培训。我们这项研究的目标有两个方面。首先,我们试图描述该方法并分享用于培训印度胸部X线片判读者的材料。其次,我们旨在评估该培训项目的效果。
材料与方法
世界卫生组织胸部X线片判读培训
29名医生参加了2019年5月3日至5日举行的培训,所有人均在印度各地执业。其中15名医生为放射科医生,14名为儿科医生。我们寻求一个具有地理代表性的专家判读小组,并具备较强的本地领导能力。因此,参与者通过有针对性的询问招募,既考虑其在印度的地理位置,也优先考虑在印度知名医疗机构担任领导职务者。为给参与者提供会议背景,我们在培训前一周分享了可选的背景阅读材料。鼓励但不要求参与者完成阅读[8, 17]。
培训目标有三方面:(1)使用世界卫生组织(WHO)方法(如下所述)达到预定的认证要求;(2)了解研究项目的技术要求和预期工作流程;(3)讨论研究项目的质量保证程序。为适应具有多种医学背景、专业经验和学习风格的成年参与者,整体培训方法力求参与性和主动性,混合采用大组和小组会议以及个别会议。所有会议均由WHO流行病学研究中的胸部放射摄影成员(E.D.M.、J.D.C.)共同主持。
培训前考试
所有参与者在听取有关相关研究项目总体背景和目标的介绍性报告后,完成了一项培训前考核。该培训前考核由60张世界卫生组织(WHO)流行病学研究胸部X线摄影图像和WHO参考胸部X线片组成,这些图像此前已由专家小组裁定,并确定专家小组对相关发现具有高度一致性,包括原发性终点肺炎、其他浸润、两者均无或无法判读。高度一致性在WHO流行病学研究胸部X线摄影图像集中定义为专家小组间一致性>66%,而在WHO参考图像中未明确界定。选择60张图像时兼顾了图像分类具有代表性分布的需求与合理的考核时长。WHO放射学定义见表1。为与考核后测试保持一致——该测试旨在检验参与者正确识别伴有和不伴有原发性终点肺炎图像的能力——我们有意为每次测试选择了一种图像分布,其中约半数图像为原发性终点肺炎阳性,基于多种特征(即轮廓征、胸腔积液或终点实变)符合该分类。考核参与者被允许参考由E.D.M.设计的决策支持工具,但该工具尚未正式向参与者介绍。参与者独立完成培训前考核。考核形式允许参与者有1分钟时间对每张图像进行分类。我们在暗室中将胸部X线摄影图像显示在投影屏幕上,但参与者如愿意也可查看图像或自己的笔记本电脑屏幕。我们要求阅片者根据表1对每一侧胸腔的发现分类及整体图像质量提供判读。结论由程序逻辑根据参与者对评估表(表2)上每个问题的回答并依照表1中的标准得出,且阅片者对每张图像予以确认。例如,如果参与者选择该图像具有终点实变和其他浸润(无论哪一侧胸腔),则系统会提示参与者确认其最终分类为“伴有其他浸润的原发性终点肺炎”。因此,我们的考核和教学重点均集中于识别或排除终点实变、轮廓征和胸腔积液,以及这些特征如何与主要的原发性终点肺炎分类相关联。前后肋计数仅在培训前考核中10%的图像上被要求进行,且未计入培训前测试的评分。
培训
在培训前考核之后,联合主持人回顾了WHO方法学的理论背景。除了采用更适合成人的更具互动性的小组参与式教学方法外,培训内容本身是基于较新的WHO流行病学研究中的胸部X线摄影工具以及可追溯至最初WHO胸部X线摄影工作组的较旧工具设计的。这些工具包括带标注和不带标注的图像,标注突出了胸部X线摄影图像上的关键发现,以及简化了图像关键特征的卡通绘图(图1)。胸部X线摄影图像的选择确保了高质量和低质量图像的代表性,以及具有一系列符合主要终点肺炎或其他浸润标准的特征的图像。重要的是,与培训前测试类似,我们还将用于教学的胸部X线摄影图像池限制为仅在WHO流行病学研究中的胸部X线摄影阅片专家之间确定具有高度一致性的发现的图像[17]。本培训的一个探索性组成部分包括向参与者介绍一种计数前肋和后肋的方法,以可能将双侧过度充气作为研究项目的另一特征纳入。培训中使用的肋骨计数指南和教学材料见表2及以下超链接。联合主持人介绍了决策树,这些决策树是作为参考辅助工具开发的,供胸部X线摄影阅片小组成员在培训期间和培训后解读X线片时使用(见以下超链接)。电子数据录入系统被设计出来,并作为本培训的一部分向参与者介绍,如先前所述。该表格见表2。
请参见https://who-cres.mcri.edu.au/resources/training-material/ 获取基于本工作开发的培训材料。
培训后考核
会议以培训后考核结束。该考核的结构与培训前测试相似,但包含了另一组60张用于判读的胸部X线片。与培训前考核类似,这些图像也是从世界卫生组织流行病学研究中的胸部X线摄影项目及原世界卫生组织工作组判读的X线片库中选取的,这些图像在主要终点肺炎存在与否方面具有高度一致性。参与者须根据世界卫生组织流行病学研究中的胸部X线摄影标准正确判读至少80%的图像,方能获得认证并继续为研究项目判读图像。若参与者对主要终点肺炎存在与否的二分类判读或图像是否不可判读的判读与参考小组的判读一致,则该判读被视为正确。参与者不要求正确判读其他浸润影,因为该分类在判读者之间历来一致性较差,且不是两个研究项目的目标。未强制要求计数前肋和后肋,参与者认证亦不考虑此项。所有参与者在会议结束时均获得了参会证书。在所有培训后考核评分完毕后,同时满足培训认证要求的参与者会收到一封注明其达成该成就的证书邮寄件。
研究计划
我们评估了培训参与者在培训前和培训后考核中的表现。我们关注的主要结局是培训前与培训后考核之间测试成绩的平均变化,以及在≥80%的测试图像中正确识别主要终点肺炎(存在 versus 不存在)的参与者比例。主要终点肺炎是相关研究项目所关注的影像学结论,也是在既往研究中判读者间可靠性良好的终点。如我们所描述的,主要终点肺炎和不可判读结论是由编码逻辑构建的。我们还关注不同人员类别(放射科医师或儿科医师)之间的结果是否存在差异。次要结局包括正确识别主要终点肺炎的子特征,如胸腔积液、轮廓征和终点实变,以及其他浸润影的分类和肋骨计数(前肋和后肋)。≥80%的通过阈值是预先确定的,与世界卫生组织流行病学研究中的胸部X线摄影建议一致。
我们使用配对t检验评估培训前和培训后考试中参与者平均得分的差异,包括总体和各干部组内,并使用Student t检验评估放射科医师和儿科医师参与者之间从考试前到考试后结果的平均百分点变化是否存在差异。McNemar卡方检验用于检验考试前后通过分数≥80%的参与者比例是否存在差异,包括总体和各干部组内。Pearson卡方检验用于评估各干部组之间在培训前考试和培训后考试中总体通过分数≥80%的参与者百分比是否存在差异。所有统计分析均使用SAS(版本9.4;SAS Institute, Inc., Cary, NC)进行。
结果
29名参与者中有26名(89.7%)完成了培训前和培训后考试,并被纳入分析。尽管两项测试最初均有60张图像,但不到10%的参与者正确分类了培训前测试中的1张图像和培训后测试中的2张图像。这些图像在事后被认为存在问题,并被排除在评分之外。11名儿科医师和4名放射科医师提供了其工作经验信息,儿科医师报告解读胸部X线片的平均经验为15年,放射科医师为14年。
培训前考试
总体而言,69.2%(18/26)的受训者在培训前考试中达到80%或更高的分数(图2)。仅46.2%(6/13)的儿科医师在培训前测试中达到80%或更高,而放射科医师为92.3%(12/13)(P=0.01)。总体平均培训前分数为81.4%(标准差[SD] 10.7%),儿科医师的平均分数比放射科医师低10.8个百分点(75.9% [SD 10.9%] vs. 86.8% [SD 7.3%];P=0.006)(图3,在线补充材料1)。胸腔积液、轮廓征、终点实变和其他浸润的分数总结于图4和图5。总体上和各干部组内超过90%的参与者正确分类了≥80%的图像是否存在胸腔积液(图4)。另一方面,两个干部组在分类轮廓征、终点实变或其他浸润方面表现不佳。没有儿科医师在这些特征上正确分类≥80%的图像(图4)。放射科医师(79.9% [95%置信区间(CI):77.1–82.7%])和儿科医师(67.7% [95% CI:62.0–73.3%])在轮廓征方面的平均培训前测试分数存在显著差异,但在其他表现方面无差异。
培训后考核
在培训后考核中,92.3%(24/26)的全体受训者得分达到80%或以上(图2)。所有参与者在培训后考核中正确分类图像的平均百分比为90.9%(SD 6.4%)。各组之间在任何征象的平均培训后评分均无统计学差异。26名参与者中有4人在培训后考核中成绩退步,其中2人降至80%阈值以下。
培训前与培训后考核比较
通过考核的参与者百分比从培训前测试的69.2%提高至培训后测试的92.3%(P=0.003)(图2)。这一改善归因于儿科医师通过培训后考核的比例较培训前考核大幅增加(46.2个百分点)(P=0.03)。在所有参与者中,培训前与培训后测试之间的平均评分提高了9.6个百分点(95% CI:5.0–14.1个百分点)(P<0.001)(图3,在线补充材料1)。尽管放射科医师的平均评分在培训前与培训后测试之间无统计学改善(P=0.13),但儿科医师的平均评分提高了16.0个百分点(95% CI:9.3–22.7个百分点;P<0.001)。对终点实变正确分类≥80%图像的参与者比例在培训前与培训后测试之间提高了80.8个百分点(P<0.001)(图4)。在两个组别中均观察到相似的改善模式。此外,在培训前考核中得分低于80%的8名参与者中,有7人(87.5%)通过了培训后考核。虽然对轮廓征正确分类≥80%胸片的参与者比例也有所增加,但这一改善仅在儿科医师中具有统计学意义(0% vs. 61.5%,P=0.01)。平均考核评分在胸腔积液和终点实变方面总体及在两个组别内均有改善,而轮廓征仅在儿科医师中改善(图5)。对于其他浸润影,无论是在总体还是在各组别内,通过考核的参与者百分比和平均评分在培训前与培训后测试之间均未观察到统计学显著变化。
肋骨计数的总体测试结果请参见在线补充材料2。按参与者分列的肋骨计数测试结果可参见在线补充材料3(前肋)、4(后肋)和5(总体)。
讨论
我们为世界卫生组织(WHO)儿童胸部X线片标准化判读开发了一套培训课程,以支持印度的两项研究。我们的研究结果显示,在正确识别终点实变和轮廓征方面有显著改善,这两者都是原发性终点肺炎影像学定义的关键特征,此前尚未有报道。按照WHO流行病学研究胸部X线摄影项目的建议,我们认为,如果阅片者在≥80%的图像中正确识别出原发性终点肺炎的存在或不存在,即可视为已成功完成影像学定义的标准化。虽然在基线时达到该标准的放射科医师(12/13)多于儿科医师(6/13),但经过培训后,达到该标准的儿科医师和放射科医师人数相同(均为12/13)。同样,与儿科医师相比,放射科医师在培训前原发性终点肺炎和轮廓征的平均得分更高,但这一差异在培训后的测试得分中并未持续存在。这些发现提示,未来的培训应考虑将教学和标准化工作的重点放在终点实变和轮廓征上,并强调两者的客观测量方法,而不是像以往那样更广泛地聚焦于原发性终点肺炎。
在二十年间,WHO儿童胸部X线片判读方法学已被用于具有里程碑意义的儿科研究,包括细菌结合疫苗的效力与效果研究,以及低收入和中等收入国家的下呼吸道感染流行病学研究[7, 9, 11–13, 16]。这些研究结果影响了低收入和中等收入国家关于下呼吸道感染疫苗引入的全球政策,以及儿科下呼吸道感染治疗指南。近期,WHO流行病学研究胸部X线摄影工作组完善了该方法学,并推出了一套 contemporary 教学工具,其中包括数百张由专家判读的胸部X线片图像,按一致性水平分类并为教学目的进行了标注[17]。为提升应用该方法学研究的严谨性,WHO流行病学研究胸部X线摄影工作组建议,此类研究除报告阅片小组在研究实施期间的持续表现外,还应评估并报告胸部X线片阅片小组培训的有效性[17]。我们的研究结果显示,我们的培训应用并改编了WHO流行病学研究胸部X线摄影的图像和教学工具,取得了成功。超过90%的参与者通过了培训后认证考试,培训后平均总测试得分在几乎所有方面均较培训前得分有所提高,而且在两组接受类似培训后,放射科医师与儿科医师之间的培训前测试结果差异消失了。
研究在很大程度上侧重于分析阅读小组在研究项目实施期间应用世界卫生组织(WHO)胸片方法的表现,而非任何培训方法本身。最初的WHO放射学工作组包括20名参与者,由儿科医生和放射科医生混合组成,他们开发了判读方法,随后将其应用于222张胸片以生成参考判读结果[8]。儿童肺炎病因研究(PERCH)描述了由18名医生(9名放射科医生和9名儿科医生)组成的阅读小组的培训情况,但未报告培训的有效性[20]。在PERCH研究中,所有阅读者参加了为期两天的面对面培训[20]。培训结束时,阅读者完成了一项培训后考试,考试使用20张参考图像,这些图像从先前描述的222张WHO放射学工作组参考图像库中随机选取[8, 20]。为获得认证,阅读者须正确分类全部20张图像中的至少50%,包括≥66%的主要终点肺炎图像和≥66%的无终点实变、其他浸润或胸腔积液的图像[20]。如果阅读者未达到这些阈值,则接受补救培训并使用另一组不同的20张图像进行评估,直至达到阈值[20]。孟加拉国最近一项肺炎球菌结合疫苗有效性研究描述了由8名成员(6名放射科医生和2名儿科医生)组成的阅读小组的为期两天培训,但未报告培训的有效性[10]。作者还描述并报告了研究期间实施的每半年一次的再标准化培训及额外质量控制程序[10]。与PERCH类似,这项孟加拉国肺炎球菌结合疫苗有效性研究分析了阅读小组在研究期间的表现[10, 20]。为了在此基础上进一步研究,我们既描述了我们的培训,也分析了其有效性,不仅针对主要终点肺炎的分类,还在更细粒度层面分析了为主要终点肺炎分类提供依据的特征(即终点实变、胸腔积液、轮廓征)。我们的阳性结果表明,未来采用WHO胸片方法的研究应考虑模仿此培训方法,尤其是我们采用的小组互动方法以及客观评估。两者均有助于识别已有知识并针对个体学习风格进行定制,以优化培训效果。
除了报告在终点实变、轮廓征、胸腔积液和其他浸润影方面的培训有效性外,我们还按儿科医生和放射科医生干部对表现进行了分层。世界卫生组织流行病学研究中的胸部X线摄影小组细化了原始的世界卫生组织定义,通过增加可测量的尺寸维度来提高终点实变和轮廓征特征的客观性[17]。我们的结果表明,经过培训后,儿科医生和放射科医生在原发性终点肺炎分类方面的表现没有差异。此外,我们的分析表明,培训教会了参与者有效应用细化的终点实变和轮廓征定义。具体而言,儿科医生和放射科医生在应用终点实变标准方面均有改善,而儿科医生在轮廓征图像分类方面的改善程度大于放射科医生。虽然放射科医生的胸腔积液分类有所改善,但其基线表现已经很高。另一方面,无论干部类别如何,培训均未改变参与者对其它浸润影分类的总体低表现。总之,这些结果表明,不仅修订后的世界卫生组织流行病学研究中的胸部X线摄影终点实变和轮廓征标准可以被成功应用,而且在充分培训后,那些不太可能像放射科医生那样频繁解读胸部X线的儿科医生也能学会像放射科医生一样有效地应用这些方法。我们相信,这些细化的、更客观的终点实变和轮廓征定义将是提高应用该方法学研究有效性和可重复性的关键。这些结果支持对这些特征采用更客观的测量标准。视可用性而定,未来专家组由非放射科医生组成时也可能同样有效。未来的培训可根据参与者构成决定对不同影像学特征给予更多侧重。
本研究存在若干局限性。第一,大多数低收入和中等收入国家的儿科医生和放射科医生稀缺,我们的发现可能不适用于由非儿科医生和非放射科医生组成的专家组。应对此类专家组开展类似研究,我们的结果应在此背景下解读。第二,培训前和培训后考试以及培训期间使用的胸部X线图像均为在原发性终点肺炎分类方面具有高专家一致性的图像。在低收入和中等收入国家研究中收集的图像质量以及阅片专家组之间的一致性将更具变异性。因此,关键是在使用该方法学的研究项目全程监测阅片者的表现,按需提供补救措施并开展复训。最后,世界卫生组织方法学不适用于临床诊疗,任何试图将该方法扩展至临床应用的工作均超出我们的预期范围。
根据我们的经验,我们还有其他几项对未来阅片小组培训的建议。未来的培训应考虑增加中期评估,以更好地了解参与者的进展,从而使培训更能适应学习需求。我们的培训为3天,参与者普遍建议未来培训限制为2天。其他胸部影像学方法如肺部超声最近已在低收入和中等收入国家的儿科研究中有所报道,并具有前景[21]。我们建议使用肺部超声等较新方法的研究项目,如果其工作包含阅片小组,应采用类似的培训方法。
结论
结果表明,我们使用修订后的WHO流行病学研究中的胸部X线摄影定义和改编工具的培训方法是成功的。我们建议未来使用WHO胸部X线摄影方法或其他类似影像学方法的研究考虑仿照此方法设计其培训。
补充信息
培训参与者对胸部X线摄影中主要终点肺炎存在或缺失判读的测试前和测试后表现(DOCX 20 kb)
(PNG 101 kb)
正确判定肋骨计数的平均测试分数和95%置信区间。高分辨率图像(TIFF 549 mb)
(PNG 123 kb)
前肋计数的测试分数。高分辨率图像(TIFF 549 mb)
(PNG 215 kb)
后肋计数的测试分数。高分辨率图像(TIFF 549 mb)
(PNG 119 kb)
前肋和后肋的测试分数(所有肋骨计数均正确作答)。高分辨率图像(TIFF 549 mb)
引用
- McCollum ED, Higdon MM, Fancourt NSS, et al. Training physicians in India to interpret pediatric chest radiographs according to World Health Organization research methodology. Pediatr Radiol. 2021. PMID: 33704543. doi:10.1007/s00247-021-04992-2
- 全文:PMC8266794(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8266794/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。