全球急诊医学专科培训评估框架的共识构建
国际急诊医学专科培训项目数量增加,但缺乏统一评估方法。国际急诊医学专科培训联盟与国际急诊医学联合会成立工作组,对40个项目中的32个(80%)进行需求调查并做范围综述。结果显示评估形式差异大:18个(56%)仅用非正式评估,11个(34%)使用结构化工具,其中仅2个(18%)使用经验证工具,仅3个(27%)纳入海外合作方书面反馈。工作组据此提出评估原则与示例框架,建议评估与项目能力目标对齐并纳入多方视角。
要点
- 调查40个国际急诊医学专科培训项目,32个(80%)回复;30个(94%)近3年有培训学员。
- 18个(56%)项目仅对学员做非正式评估;27个(84%)通过定期会议讨论目标与进展。
- 11个(34%)项目使用某种结构化评估,其中仅2个(18%)使用经验证工具。
- 仅3个(27%)项目纳入其他国家合作方的正式书面反馈。
- 工作组建议各项目制定与自身能力目标对齐的结构化评估,并纳入多方利益相关者视角。
适用人群与场景
- 全球急诊医学专科培训项目及其学员,包括整合于急诊医学住院医师培训中的较短项目和住院医师后的1–2年项目。
- 国际急诊医学专科培训联盟成员项目为北美基于全球急诊医学的专科培训项目。
处置流程与药物剂量
- 推荐各专科培训项目制定核心通用能力及与项目重点相关的特定能力清单,并在学员评估中定期评价这些能力的达成情况。
- 推荐全球急诊医学专科培训项目将课程映射到逻辑关联的课程要素、应达成能力和 attainment 测量,以展示学员在培训中的进展。
- 推荐包含学位课程或正式课程的项目审查必修课程大纲,映射其如何帮助完成培训。
- 推荐各项目使用共同框架中的原则开发或调整评估框架,以描述学员进展并明确需要额外培训的领域。
- 建议全球急诊医学专科培训项目考虑以跨领域方式整合多方利益相关者视角于课程设计或审查、能力优先排序及现场学员评价中。
- 推荐各项目分享评估框架并定期比较以识别培训缺口,并考虑对既往毕业生进行定期调查,将毕业后自评技能与培训期间评估结果对比。
- 建议对学员至少每年评估两次,理想情况下每季度评估一次其既定能力的达成情况。
- 较短项目可 readily 使用更通用的评估工具,如引言中概述的工具(CUGH框架、Douglass等全球健康里程碑、IFEM 10步评估框架、Health Education England工具包)。
研究设计与关键结果
- 研究类型为共识构建过程,包括对国际急诊医学专科培训联盟40个项目的简要调查(32个回复,80%)和范围综述;工作组由国际急诊医学专科培训联盟成员与国际急诊医学联合会教育委员会成员组成。
- 30个项目(94%)报告近3年培训过全球急诊医学专科培训学员;18个(56%)仅报告非正式评估;27个(84%)报告定期会议评估学员;11个(34%)报告使用任何形式的结构化评估,其中仅2个(18%)使用经验证工具(改编自普通儿科和急诊医学住院医师选修评估工具)。
- 仅3个(27%)项目报告纳入其他国家同事和合作伙伴对学员现场表现的正式书面反馈。
- 评估方法差异大:14个(44%)仅使用口头沟通,7个(22%)使用某种书面评估但无特定工具,11个(34%)描述某种结构化工具。
- 工作组基于调查和综述结果制定了一套指导全球急诊医学专科培训评估的原则及示例评估框架(表1为研究型全球急诊医学专科培训示例评估框架)。
证据类型、等级与局限
- 证据类型为共识构建过程,包括需求评估调查和范围综述;范围综述仅纳入公开可用的英文框架。
- 局限:共识方法受工作组成员经验和偏见的限制;尽管试图纳入全球视角和框架,但50%的第一作者来自美国机构,北美机构视角可能更多被反映。
- 局限:用于确定当前实践的简要调查仅发送给北美的全球急诊医学专科培训项目;对所有可能具有国际培训成分的项目进行调查在后勤上被认为不可行,且担心这些项目性质的变异性会影响简要调查结果。
- 局限:为减轻偏倚,参考了英国用于全球培训中和研究生 placement 的评估框架(如Health Education England)。
- 局限:如同所有实践调查,社会期望偏倚可能导致受访者对其评估频率的报告比实际更乐观。
对床旁实践的改变
- 调查显示多数项目仅用非正式评估、少数使用结构化工具,提示床旁/项目层面可参照工作组建议建立与能力目标对齐的结构化评估,而非仅靠定期会议口头讨论。
- 工作组建议将评估整合于课程设计中,而非简单叠加于项目之上;并明确评估应覆盖教学和现场工作两个领域。
- 工作组建议纳入现场合作方(包括其他国家伙伴)的正式书面反馈,以增强社会问责和伙伴关系。
- 工作组建议通过定期比较评估框架和对既往毕业生调查进行现实检验,以提供评估框架效度的信息。
- 原文未据此给出针对急诊/ICU床旁临床处置的推荐。
指南或共识出处
- 国际急诊医学专科培训联盟(IEMFC)与国际急诊医学联合会(IFEM)教育委员会工作组共识文件,发表于BMC Emergency Medicine。
- 文中引用:国际急诊医学联合会急诊医学专科培训评估框架;全球健康大学联盟跨专业全球健康能力框架;Douglass等全球健康里程碑;Health Education England国际健康项目工具包。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「红旗征与不能漏的情况」,故未列出这些栏目。
全文中译13 节 · 点击展开
背景
全球急诊医学(GEM)是一个处于全球健康(GH)与急诊医学(EM)交叉领域的亚专科[1]。该亚专科经过多年有机发展,涵盖了世界各地广泛的医学和公共卫生活动,包括:在不同环境中开发和实施急诊照护系统,从低资源环境到甚至一些尚未建立正式急诊照护的高资源环境;在尚未正式设立急诊医学作为公认医学专科的地方发展急诊医学;复杂紧急情况下的医疗照护;以及推动全球急诊照护科学与实践的研究[2]。
GEM活动的广泛范围也涵盖多样化的技能——研究技术、项目管理、后勤保障、公共卫生培训——这些技能并未常规纳入大多数急诊医学培训项目。因此,已开发出专科培训项目,以便对有兴趣将GEM作为职业的个人进行有针对性的指导和培训。
GEM培训在时长和结构上差异很大,从整合入较长急诊医学住院医师培训的经历(这在全球许多急诊医学住院医师培训时间较长的地方很常见),到住院医师培训结束后为期1–2年的毕业后培训项目(如北美的情况,那里的住院医师培训限于3–4年)。一些GEM专科培训项目包含相关科学的硕士学位(如公共卫生、流行病学、教育学)[3]。
虽然这些多样化项目的具体评估需求可能在细节上有所不同,但专科培训项目主任们普遍认同,需要对GEM学员和专科培训项目进行结构化评估,以确保毕业生和培养他们的项目的一致性和质量。此外,通过公认框架进行的一致评估,可以通过提供对GEM专科培训中所取得成果的共同理解,更好地为GEM专科培训毕业生在寻求国际卫生机构或学术界职业时定位。
基于这一广泛共识,国际急诊医学专科培训联盟(IEMFC)——一个由北美GEM专科培训项目组成的联盟——的专科培训项目主任们旨在制定一个评估专科培训学员的共同框架。大家认识到,虽然各国培训形式不同,但评估原则对全球GEM项目是共同的。大家还一致认为,此类评估应与世界各地从事类似培训的同事协调制定。因此,成立了一个工作组,包括IEMFC成员以及国际急诊医学联合会(IFEM)教育委员会成员,共同制定GEM培训评估的共同框架。
本文的目的是综述当前使用的评估方法,考虑GEM专科培训评估所需的共同要素,展示如何利用这些共同要素为具有不同重点领域的GEM专科培训项目开发评估工具的示例,并提出基于共识的建议。本文进一步将评估与GEM专科培训的核心课程要素对齐,并将其与文献中可用的资源相关联。最后,讨论了专业素养和社会问责背景下的评估。
共识过程
IEMFC邀请了20位全球急诊医学(GEM)领域的国际领袖组成一个工作组,旨在界定GEM fellowship培训的核心要素。受邀专家被分为四组,包括课程、教学与学习、评估以及行政管理。由该专家小组五名成员组成的工作组被赋予任务,即提出一个针对GEM学员的评估框架,该框架应:a)纳入培训的核心要素;b)评估正式教学内容以及实地工作;c)适用于目前存在的广泛项目类型。
对当前全球健康学员评估框架进行了范围性背景综述,以识别此类框架的核心要素。该综述纳入了用于研究生和毕业后培训的评估工具,但仅限于公开可得的英文框架。此外,参考了IFEM急诊医学专科培训评估框架[4, 5],以指导本GEM fellowship框架的制定。
此外,向所有当前和以往的IEMFC项目(共40个)发送了一份简要调查,以评估其当前对学员的评估方法。该简要电子Qualtrics调查(Qualtrics,Provo,UT,USA)通过电子邮件向最后列出的fellowship主任发送征集。一周后向所有未回复者发送了跟进电子邮件,以促使其完成调查。该简要的4问题调查确定了项目在过去3年内是否有学员以及他们如何对学员进行评估。对于报告对GEM fellow进行正式评估者,发送了一份跟进调查,询问其是否使用了既定评分量表以及评估是否纳入了其他国家合作方的正式反馈。(附录1 – IEMFC调查)。工作组成员在一年内每季度通过视频会议会面,讨论范围综述和简要调查的结果,并讨论拟议评估框架的要素。综述和调查的结果与工作组成员作为GEM fellowship主任和教育者的经验相结合,以生成拟议的评估框架。(表1 – 基于研究的GEM Fellowship样本评估框架)。
IEMFC调查结果
收到32个国际急诊医学奖学金(IEMFC)项目的回复(80%)。除两个项目外,其余项目均回复称在过去3年内培训过学员(94%)。并非所有项目每年都积极招收学员(平均每年IEMFC奖学金仅有15–20名申请者),且已指示各项目仅在近3年内有学员时予以回复。大多数项目(27个,84%)通过定期会议讨论目标、目的和进展,而4个(13%)项目表示通过与学员的临时会议进行评估,1个项目(3%)仅描述了培训结束时的总结性报告。评估方法差异很大:14个(44%)项目仅使用口头交流,7个(22%)使用某种形式的书面评估但无特定工具,而11个(34%)项目描述了某种形式的结构化评估工具。在使用结构化工具的项目中,仅2个(18%)使用了经过验证的工具,这些工具改编自普通儿科和急诊医学住院医师选修轮转评估工具。仅3个(27%)报告纳入了来自其他国家同事和合作伙伴对全球急诊医学(GEM)学员在现场表现的正式书面反馈。
范围综述结果
范围综述得出了若干不同的全球健康学员评估方法(不特定于急诊医学或已完成急诊医学专科培训的学员)。为创建与GEM奖学金相关的框架,分析其中一些方法以识别共同要素十分重要,这些要素可能有助于制定针对GEM奖学金量身定制的评估框架。
全球健康大学联盟(CUGH)提出了跨专业全球健康能力框架[8],项目主任可将其改编用于GEM奖学金(表2)。假定那些作为GEM奖学金一部分接受专门培训的人员将处于该框架的III级或IV级。
Douglass等人进一步改编了CUGH框架,为急诊医学学习者建立了全球健康里程碑[9]。通过他们的工作,CUGH的每个领域被进一步细化,详细描述了从新手到专家级从业者的具体能力。这项工作为GEM奖学金提供了极好的资源,可用于为其毕业生设定预期熟练程度水平。
此外,国际急诊医学联合会(IFEM)有一个10步评估框架,应用于IFEM普通急诊医学培训核心课程的总体教学[4, 5](表3)。这10项最佳实践原则也可用于指导GEM奖学金培训(作为急诊医学亚专科)中评估策略的制定。
此外,英格兰健康教育署[10]发布了一套工具包,用于评估和收集通过参与国际健康项目获得的知识和技能证据(表4)。它提供了一个从出发前到返回后的反思性作品集,以记录奖学金经历。各部分直接关联到英国国家医疗服务体系(NHS)知识与技能框架的核心要素,这些要素已映射到医学再认证所需的领域:领域1——知识、技能和表现。
领域2——质量保证。
领域3——沟通、合作与团队协作。
该工具包为任何全球急诊医学(GEM)经历提供了一套最低标准的证据档案,用于评估和督导,足以对仅持续数月的短期GEM项目进行评估而无需进一步正式考核。然而,对于全长GEM fellowship(1–2年),可能需要与课程框架相关的更广泛的评估。
工作组成员普遍认为,虽然各项目本质上差异很大,但所有项目除野外经历外,都应提供全球公共卫生和项目发展领域的知识。以IFEM课程评估框架为指导,我们提出一个GEM fellowship评估框架,用以指导知识获取以及野外经历中的专业素养和社会问责[3, 4, 11, 12]。
胜任力框架及从新手到专家的进阶
虽然已有GEM课程的核心课程要素建议[2, 13],但此类fellowship尚无统一课程[14]。随着时间推移,GEM fellowship的进一步发展和专业化可能促使各项目选择这些建议要素的子集,并在其特定重点领域内扩展其细节和范围。
无论项目选择将这些核心课程要素整合采用还是加以调整以创建新的组合,随后都应对其应用评估框架,以衡量受训者在达到这些胜任力方面的表现以及项目在提供培训方面的表现。
田野工作是任何GEM fellowship的组成部分。虽然野外经历的形式各不相同,但在实地实施所学经验的实践经历是成为一名GEM专业人员的基础。
侧重于任务完成而非胜任力达成的“打勾框”式评估方法不能充分评估受训者/fellow的实际表现[15]。越来越多地采用“里程碑”方法,即在多个领域确定不同成就水平并追踪受训者的进展[16]。该流程最近已针对GEM学习者进行了进一步阐述[9],但尚未应用于GEM fellowship。
建议——建议每个fellowship项目制定一份核心通用胜任力清单以及与该项目特定重点(如研究、人道主义健康等)相关的特定胜任力清单,并在对受训者的评估中定期评价这些胜任力的达成情况。
课程映射
为了评估学员在专科培训期间的进展,课程要素应映射到其所支持/促进的核心胜任力。2015年,Kwan等[4]使用逻辑框架方法[18],对研究生医学教育认证委员会(ACGME)[17]和加拿大皇家内科医师与外科医师学院医师胜任力框架(CanMEDS)[11]的课程要素和评估方法进行了详细的映射过程。虽然并非强制性要求,但逻辑框架方法(log frame)允许将专科培训的目标和目的映射到既定的成果、学习活动和评估(实现课程成果和胜任力),进而映射到监测和评价[18]。
课程成果也被映射到指标,使项目负责人能够设计与其课程中定义的成果和标准相匹配的评估方案。
课程、胜任力和评估工具应保持一致,以真实反映学员的表现[4, 19, 20]。在GEM培训环境中,选择合适的评估方法带来了自身的挑战[8, 15, 21–24]。建议——GEM专科培训应将其课程映射到逻辑关联的课程要素、需要达成的胜任力以及成就衡量标准,以展示学员在培训项目中的进展。
研究生学术资格
全球范围内GEM培训差异很大,从短期体验到正式的2年项目不等。大多数较长的项目将研究生学术资格(例如公共卫生硕士)作为专科培训的一部分。对已修课程的审查可以有助于对GEM胜任力进行教学评估(例如低收入国家的核心公共卫生主题、研究设计、数据分析、监测与评价等)[3, 11, 12]。建议——包含学位项目或课程形式正式教学培训的GEM专科培训应审查必修课程的教学大纲,以映射其如何帮助完成培训。
评估方法和评估的风险等级
每个项目都需要决定如何对GEM专科培训学员实施评估。IEMFC调查的结果表明,虽然大多数项目报告定期与学员会面以审查其在培训中的进展,但只有少数项目使用任何类型的结构化工具来指导此类评估。其结果是学员在培训中取得了什么成就缺乏明确性。建议:每个GEM专科培训项目应使用这些共同框架中概述的原则来开发或调整评估框架,该框架能够描述学员在项目中的进展特征,并能够明确学员在培训结束前可能需要额外培训以达到胜任力的领域。
利益相关者参与和评估结果的汇总
世界卫生组织(WHO)将医学院校的社会问责定义为“有义务将其教育、研究和服务活动导向解决其受权服务的社区、地区和/或国家的优先健康关切”[25]。将社会问责纳入全球急诊医学(GEM)奖学金的评估框架,涉及考虑多个“社区”的优先事项,包括:GEM奖学金在其现场体验中工作的合作社区、GEM专业人员与之合作的机构(例如国际组织、非政府组织(NGO)、部委),以及许多GEM毕业生将在其GEM研究和项目发展的职业生涯中归属的学术急诊医学社区。每个这些社区的优先健康关切可能不同,每个GEM奖学金可以调整其评估中社会问责的要素,以反映其所侧重培训的类型,同时保持尊重合作社区及其关切的核心要素。
具有社会问责性的GEM奖学金的目标应是培养能够与当地利益相关方有效合作以确定优先事项并解决健康关切的研究员。个体层面的问责需要一个工具来帮助区分新手和专家从业者。基于个体研究员活动对社会问责进行评估在任何评估项目中都是必须的。
缺乏与所在国主办机构合作的现场评估限制了社会问责。通常,身处一线的人员最能对该环境中受训者的表现发表意见。此外,将当地合作伙伴纳入受训者评估可加强伙伴关系,并进一步促进伦理平衡的项目开发和联合研究。
作为其评估框架设计的一部分,GEM奖学金应具体概述其所努力服务的各个社区的观点如何被纳入,以及这些社区的哪些代表将为受训者评估做出贡献。建议——将社会问责纳入GEM培训可以多种方式进行。GEM奖学金应考虑以跨领域的方式这样做,在课程设计或审查中整合各利益相关方的观点,优先考虑能力以及现场对受训者的评价。社会问责要素的映射示例见图
质量改进
除了提供一种客观的方法来评估受训者在培训过程中的进展外,评估框架还可以为GEM项目主任提供有价值的信息,用于评估和改进其培训项目。当这些工具联合开发时,它们可以为GEM项目的教师提供关于同事项目中提供的教学内容和教学方法的见解,并为每位项目主任提供完善其各自项目教育内容的机会。此外,随着时间的推移,对项目受训者的评估结果,结合其他信息(例如对以往毕业生的调查),可以为项目的课程开发和质量的改进工作提供参考。建议:GEM奖学金项目应共享其评估框架并定期进行比较,以识别其培训项目内容中的差距。此外,各项目应考虑对往届毕业生实施定期调查,将毕业生在作为GEM专业人员工作后对自身技能的评价与培训期间的评估结果进行比较。这种现实检验将为评估框架随时间推移的有效性提供重要见解。
GEM奖学金项目评估框架提案
在可能的情况下,有效的评估方案应整合到课程设计中,而不是简单地叠加在项目之上[19, 26–30]。评估可分为两个主要领域——教学和实地工作。GEM奖学金项目应能够在这两个领域对受训者提供有意义的结构化评估。
预计每个奖学金项目都会提供一份明确阐述其目标和在奖学金结束时所需达到的能力的声明。这些成果应映射到具体的能力指标,这些指标可能来源于其他已发表的能力标准[2, 13]。此类声明的一个示例为:“我们相信,完成我们奖学金项目的学员已具备……所需的知识、技能和专业态度(能力)”。
以此“使命声明”为指导,GEM奖学金项目可以全新开发其课程,也可以将现有课程映射为与受训者应达到的具体能力相对应的离散元素。新项目应在设计评估框架的同时进行课程设计,而现有项目在制定所述能力达成指标时必然需要考虑其现有课程。(基于研究的GEM奖学金项目的课程与评估框架示例见表1。)
大多数GEM奖学金项目的期限为1至2年,我们建议每年至少对受训者进行两次评估,理想情况下每季度一次,评估其所述能力的达成情况。虽然定制化的评估框架最适合此类项目,但较短的项目(如整合到急诊医学研究生项目中的项目)可以直接使用更为通用的评估工具,如引言中所述的那些工具[9, 10]。许多工具已针对类似经历进行了开发和验证,将为这些短期全球健康经历提供足够的结构化评估。
建议:GEM奖学金应采用结构化流程来界定培训的关键要素,确定其关注的社区群体,并明确对受训者的评估将如何以及由谁进行。关于此类结构化流程应如何设计的建议见
局限性
与所有共识流程一样,我们制定共识框架的方法受制于工作组成员的相关经验和偏倚。尽管我们努力纳入全球范围内的观点和框架,但北美机构的观点可能得到了更多体现,因为50%的主要作者来自美国机构。此外,用于确立GEM奖学金评估当前实践的简要调查仅发送给了北美的GEM奖学金项目。我们认为,对所有可能包含国际培训成分的GEM项目进行调查在后勤上不切实际,此外还担心这些项目性质的可变性会影响简要调查的结果。为减轻这一偏倚,我们参考了英国用于全球在训和研究生阶段安置的评估框架(如Health Education England)。最后,与所有实践调查一样,社会期望偏倚可能导致受访者对其评估频率的报告比实际情况更为乐观。
结论
GEM奖学金项目在数十年间有机发展,涵盖了多种不同的重点领域。此类项目源于对传统急诊医学(EM)培训中通常无法获得的专业技能的明确需求。缺乏对GEM受训者的标准化评估已被认为是制约以下方面的局限:证明这些项目的影响力,以及证明其毕业生的胜任力和有效性。GEM培训领域的领导者已认识到,制定此类评估是提升GEM专业化水平的关键一步。尽管这些项目的侧重点各不相同,但创建评估框架是一个可实现的目标,所有项目都应将其纳入培训计划。采用上文概述的方法,GEM项目可以对其受训者实施合理的评估。
参考来源
- Jahn HK, Kwan J, O'Reilly G, et al. Towards developing a consensus assessment framework for global emergency medicine fellowships. BMC Emerg Med. 2019. PMID: 31711428. doi:10.1186/s12873-019-0286-6
- 全文:PMC6849247(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6849247/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。