基于模拟器的产科超声能力评估工具的有效性证据:一项多中心研究
这项多中心研究纳入三个中心的89名超声操作者(新手21名、有经验受训者44名、专家24名),按教育与心理测试标准收集产科超声能力评估工具(OUCAT)的有效性证据。OUCAT共123个条目,其中117个能有效区分新手与专家(P<0.05);内部一致性Cronbach's α为0.978,评分者间信度XY为0.868、MC为0.877、DT为0.937(P<0.001),重测信度为0.732(P=0.001)。专家得分显著优于有经验受训者,有经验受训者显著优于新手(70.3±10.7 vs. 39.8±15.0 vs. 20.5±10.6,P<0.001);对比组法确定的及格/不及格水平为45分,新手、有经验受训者和专家的通过率分别为0%(0/21)、31.8%(14/44)和100%(24/24)。
要点
- OUCAT共123个条目,其中117个能有效区分新手与专家(P<0.05)。
- 评分者间信度XY为0.868、MC为0.877、DT为0.937(P<0.001),重测信度0.732(P=0.001)。
- 对比组法确定的及格/不及格水平为45分。
核心结论
- 基于模拟器的OUCAT在评估产科超声技能方面表现出良好的信度和效度。
研究设计与样本
- 多中心研究,纳入三个中心(XY、MC、DT)的89名超声操作者,包括新手21名、有经验受训者44名和专家24名,依据教育与心理测试标准收集OUCAT的有效性证据。
诊断标准与关键数值
- OUCAT共123个条目,其中117个能有效区分新手与专家(P<0.05);内部一致性Cronbach's α为0.978;评分者间信度XY为0.868、MC为0.877、DT为0.937(P<0.001);重测信度0.732(P=0.001);对比组法确定的及格/不及格水平为45分。
临床应用与阅片要点
- 专家得分显著优于有经验受训者,有经验受训者显著优于新手(70.3±10.7 vs. 39.8±15.0 vs. 20.5±10.6,P<0.001);新手、有经验受训者和专家的通过率分别为0%(0/21)、31.8%(14/44)和100%(24/24)。
局限性
- 原文未报告局限性。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
英文原文(摘要)· 点击展开
PURPOSE: To collect validity evidence for a simulator-based obstetric ultrasound competency assessment tool (OUCAT).
METHODS: 89 sonographers from three centers (XY, MC, DT), including novices (n=21), experienced trainees (n=44), and experts (n=24), participated in the competency assessment. Validity evidence of OUCAT was collected according to Standards for Educational and Psychological Testing. Content validity was ensured by reviewing guidelines and reaching expert consensus. The response process was ensured via training raters. Internal structure was explored through internal consistency, inter-rater reliability, and test-retest reliability. Relations to other variables were explored by comparing OUCAT scores of sonographers with different experience. Evidence for consequences was collected by determining the pass/fail level.
RESULTS: OUCAT included 123 items, of which 117 items could effectively distinguish novices from experts (P<0.05). The internal consistency was represented by the Cronbach's α coefficient (0.978). The inter-rater reliability was high, with XY being 0.868, MC being 0.877, and DT being 0.937 (P<0.001). Test-retest reliability was 0.732 (P=0.001). The performance of experts was significantly better than experienced trainees, and the performance of experienced trainees was significantly better than novices (70.3±10.7 vs. 39.8±15.0 vs. 20.5±10.6, P<0.001). The pass/fail level determined by contrast group method was 45 points. The passing rate of novices, experienced trainees and experts was 0% (0/21), 31.8% (14/44), and 100% (24/24), respectively.
CONCLUSION: Simulator-based OUCAT exhibits good reliability and validity in assessing obstetric ultrasound skills.
UNLABELLED: ZIEL: Erhebung von Validitätsnachweisen für ein simulatorbasiertes Tool zur Beurteilung der Ultraschallkompetenz in der Geburtshilfe (OUCAT).
MATERIAL UND METHODEN: 89 Sonografen aus 3 Zentren (XY, MC, DT), darunter Anfänger (n=21), erfahrene Auszubildende (n=44) und Experten (n=24), nahmen an der Kompetenzbewertung teil. Der Validitätsnachweis für OUCAT wurde gemäß den Standards für pädagogische und psychologische Tests ermittelt. Die inhaltliche Validität wurde durch die Überprüfung von Richtlinien und die Erzielung eines Expertenkonsenses sichergestellt. Der Antwortprozess wurde durch die Schulung von Bewertern sichergestellt. Die interne Struktur wurde durch interne Konsistenz, Inter-Rater-Reliabilität und Test-Retest-Reliabilität untersucht. Die Relationen zu anderen Variablen wurden durch den Vergleich der OUCAT-Scores der Sonografen mit der unterschiedlichen Erfahrung untersucht. Der Nachweis von Konsequenzen wurde erfasst, indem das Pass/Fail-Level bestimmt wurde.
ERGEBNISSE: OUCAT umfasste 123 Elemente, von denen 117 effektiv zwischen Anfängern und Experten unterscheiden konnten (P<0,05). Die interne Konsistenz wurde durch den Cronbachs-α-Koeffizienten (0,978) dargestellt. Die Inter-Rater-Reliabilität war hoch: XY lag bei 0,868, MC bei 0,877 und DT bei 0,937 (p<0,001). Die Test-Retest-Reliabilität betrug 0,732 (p=0,001). Die Leistung von Experten war signifikant besser als die von erfahrenen Auszubildenden, und die Leistung von erfahrenen Auszubildenden war signifikant besser als die von Anfängern (70,3 ±10,7 vs. 39,8 ±15,0 vs. 20,5 ±10,6; p<0,001). Das durch die Kontrastgruppenmethode ermittelte Pass/Fail-Level betrug 45 Punkte. Die Quote für Bestehen betrug bei Anfängern 0% (0/21), bei erfahrenen Auszubildenden 31,8% (14/44) und bei Experten 100% (24/24).
SCHLUSSFOLGERUNG: Das simulatorbasierte OUCAT zeigt eine gute Reliabilität und Validität bei der Bewertung von Ultraschallfähigkeiten in der Geburtshilfe.
引用
- Zhao Y, Zhou P, Zhu W, et al. Validity evidence for simulator-based obstetric ultrasound competency assessment tool: a multi-center study. Ultraschall Med. 2023. PMID: 37402406. doi:10.1055/a-2122-6746
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。