互动式专项培训项目中放射科住院医师使用VI-RADS评分解读膀胱MRI的学习曲线
本研究纳入3名膀胱MRI经验不足的放射科住院医师,在3个月内分4批盲法评估200例膀胱MRI,并在2个月后复评首批50例,共250次评估,期间提供互动式专项培训。培训后与参考标准的一致性kappa从0.481–0.555升至0.695–0.852;以VI-RADS≥3为肌层侵犯截断值,敏感度84–89%、特异度91–94%、AUC 0.89–0.90。结论认为互动式专项教育项目使读者诊断能力随时间显著提高,约100–150例后总体改善。
要点
- 以VI-RADS≥3为肌层侵犯截断值,三名住院医师敏感度84–89%、特异度91–94%、AUC 0.89–0.90。
- 培训后同一批病例的VI-RADS评分一致性kappa由0.481–0.555升至0.695–0.852。
- 平均评估时间由第1批5.21±1.12分钟降至第5批3.52±0.69分钟。
核心结论
- 互动式专项教育项目使住院医师使用VI-RADS评分解读膀胱MRI的诊断能力随时间显著提高,约100–150例后总体改善。
研究设计与样本
- 观察性研究,纳入2018年1月至2021年7月200例连续膀胱MRI患者,前瞻性入组。
- 3名来自两家机构的放射科住院医师(第1年2名、第4年1名),膀胱MRI经验均少于20例。
- 3个月内盲法评估200例,分4批每批50例,2个月记忆消退期后复评第1批,共250次评估。
- 参考标准为1名有10年膀胱MRI经验、累计使用VI-RADS评分阅读500例膀胱MRI的泌尿生殖放射学专家。
- MRI采用3-T扫描仪(GE Discovery 750),3.5%检查因3-T禁忌(如起搏器)改用1.5-T扫描仪(Siemens Avanto)。
关键影像表现/征象
- 典型病例为67岁男性膀胱顶带蒂肿瘤延伸至右侧壁:冠状位T2WI肌层清晰连续,轴位T2WI肌层似中断,矢状位T2WI肌层改变可疑。
- 该病例DWI/ADC示肌层无中断并见「inchworm sign」,DCE示肌层完整及内层征,均提示非肌层浸润性膀胱癌。
- 该病例首批被无经验读者误评为VI-RADS 3和4,第5批复评时正确评为VI-RADS 2;TURBT后T分期为高级别T1尿路上皮癌。
诊断标准与关键数值
- 以VI-RADS≥3为肌层侵犯截断值,三名读者总体敏感度84–89%、特异度91–94%。
- 三名读者总体AUC为0.89(95%CI:0.84,0.94)至0.90(95%CI:0.86,0.95)。
- 培训前(第1批)与培训后复评同一批病例(第5批)的kappa:读者1由0.555升至0.852,读者2由0.522升至0.695,读者3由0.481升至0.794。
- 第1批与第4批kappa:读者1为0.555与0.739,读者2为0.522与0.712,读者3为0.481与0.737。
- 图像质量最低(IQ1)时kappa为读者1 0.503、读者2 0.508、读者3 0.603;图像质量最佳(IQ3)时为读者1 0.739、读者2 0.726、读者3 0.713。
临床应用与阅片要点
- 作者不推荐在缺乏MRI基础知识尤其是膀胱MRI知识的情况下阅读膀胱MRI。
- 作者认为应保证每名阅读膀胱MRI的放射科医师有可接受的阅片量(据其结果100例)并正确理解VI-RADS标准。
- 作者建议可将100–150例作为达到学习目标的截断值。
- 图像质量影响诊断表现:图像质量高时住院医师与专家的一致性更高,平均总体kappa由低图像质量的0.547升至高质量图像的0.726。
局限性
- 研究未探究结果的病理学印证。
- 各批次间存在异质性,因纳入的是连续患者,各VI-RADS评分病例数未在各组间均匀分布。
- MR图像由三级转诊中心的高性能3 Tesla MRI扫描仪采集,可能影响结果的可重复性。
- 3名受试者均接受了培训,未设对照组,可能为偏倚来源。
- 由于COVID-19大流行,所提培训项目在受训者日常工作中的适用性目前部分受限。
全文中译14 节 · 点击展开
引言
膀胱癌(BCa)是第10位最常见的恶性肿瘤,全球每年约有550,000例新发病例和200,000例死亡[1],并且在所有肿瘤中具有最高的每患者终生经济负担,主要归因于住院护理相关费用[2]。
近年来,磁共振成像(MRI)已被证明是膀胱癌诊断和分期的可靠且准确的工具。特别是,膀胱影像报告和数据系统(VI-RADS)评分[3]的开发旨在为膀胱MRI的采集、判读和报告提供系统化、标准化的方法,以区分肌层浸润性膀胱癌与非肌层浸润性膀胱癌,目标包括减少各中心之间的结果异质性。有趣的是,除了高诊断性能外,VI-RADS评估评分在专家和经验不足的放射科医生之间均显示出显著的评估者间一致性[4–10]。随着放射学技术的快速发展,医学院和住院医师培训项目必须采用新的学习方法,以实现放射学课程交付的实质性变革。事实上,应高度重视判读者的教育和肿瘤影像学经验。迄今为止,大量关于前列腺MR成像的研究显示诊断性能因判读者专业水平而异[11]。尽管如此,住院医师和专科培训医师的最佳培训课程仍不明确。经过专门判读者培训后前列腺MRI判读随时间的学习曲线尚未得到广泛研究;然而,培训后肿瘤检测准确性总体有所提高[12–23]。迄今为止,与前列腺MRI不同,尚无研究探讨学习项目对使用MRI和VI-RADS评分进行膀胱癌分期准确性的作用。
本研究的目标是确定放射科住院医师在互动式专门培训项目中使用VI-RADS评分判读膀胱MRI的学习曲线。
材料与方法
患者人群和研究设计
本观察性研究经我院机构审查委员会和伦理委员会批准。所有患者均为前瞻性入组,并被告知本研究的探索性性质,且签署了书面知情同意书。本研究符合良好临床实践指南,并与最新版《赫尔辛基宣言》中规定的伦理原则一致。分析了2018年1月至2021年7月期间200例连续接受膀胱MR成像患者的机构数据。影像检查前因肌层浸润性膀胱癌(MIBC)接受术前全身治疗的患者被排除。研究设计流程图见图1。
MR成像技术
所有患者均采用相同的MRI方案,使用3-T扫描仪(通用电气医疗,Discovery 750);由于在3-T磁场下与医疗设备(如心脏起搏器)不兼容,一小部分检查(3.5%)使用1.5-T扫描仪(西门子,Avanto)采集。按照VI-RADS指南[3],采集方案包括形态学多平面T2加权成像(T2WI),根据病灶位置在三个平面(轴位、冠状位和矢状位)上进行;扩散加权成像(DWI)在轴位平面上采集,使用多个b值(b = 100–800–2000),用于生成表观扩散系数(ADC)图;动态对比增强(DCE)图像在轴位平面上采集,采用脂肪抑制(3D T1梯度回波),在钆基对比剂注射前后进行,时间分辨率为8秒。必要时给予肌内注射解痉剂以减少膀胱壁运动伪影,并嘱患者在检查前30分钟饮水500–1000 mL以获得充分的膀胱充盈。
阅片者、图像判读与参考标准
来自两个不同机构的三名放射科住院医师,分别处于培训第一年(M.L.P.、A.D.)和第四年(M.C.S.),对体部MRI有一般性了解但膀胱MRI判读经验极少(总计少于20例),担任阅片者。他们在3个月期间以四个等分子集(批次)独立评估了200例连续检查,每个子集50例。经过2个月的记忆消除期后,第一子集被重新评估,共计250次评估。所有检查均匿名化处理,阅片者对临床信息不知情,包括患者的主诉体征和症状、既往影像学检查、膀胱镜检查史及肿瘤活检结果。
图像分析采用VI-RADS评估评分进行,首先评估形态学T2W图像,然后评估DWI/ADC图序列,最后评估DCE图像。当发现多于一个病灶时,所提供的总体VI-RADS评分对应于VI-RADS分类最高的病灶,或在评分相同的情况下对应于体积最大的病灶。此外,记录评估时间、置信度等级和图像质量。评估时间对应于判读检查及形成评分思维过程所花费的时间,四舍五入至最接近的分钟。置信度等级按照5点李克特量表记录(补充表1)。此外,要求阅片者根据基于机构特定算法的T2WI、DWI和DCE诊断质量标准,按3点量表对图像质量进行评分(补充表2)。由一位具有10年膀胱MRI经验的泌尿生殖系统影像学专家(V.P.)进行判读,其使用VI-RADS评分的累计膀胱MRI判读经验为500例,该判读结果被视为参考标准(RS)。
专项培训项目中的教育干预
该专项培训项目为期3个月。在阅读第一批病例之前,为读者提供了关于膀胱MRI的概述讲座,随后对来自影像归档与通信系统(PACS)的5个病例进行了复习和解读。还为读者提供了额外的学习材料,包括关于这些主题的最新且有见解的文章。在第1批和第2批之间的时间段内,一位经验更丰富的住院医师就VI-RADS评估评分进行了教学讲座,重点讲解每个评分类别的评估。在第2批和第3批之间,一位具有四年泌尿生殖系统MRI经验的住院医师提供了一次互动课程,涉及对读者在第一批中发现具有挑战性和/或评分不一致的病例进行复习。最后,在最后两批之间,一位膀胱MRI专家进行了晚期膀胱癌影像学展示,并附有影像学与病理学相关性。每节课均鼓励提问以帮助读者学习。在记录每批病例评分后,向读者展示参考标准报告,以复习评估错误的病例并进一步改善其学习过程。
统计分析
使用数量和百分比(VI-RADS评分)以及均值和标准差(GC、ET和IQ)来描述性统计,总结总体、每批和每位读者的VI-RADS评分类别分配、置信度分级(GC)、评估时间(ET)和图像质量(IQ)。通过绘制平均一致性(即每批正确评估的比率),为三位读者构建了学习曲线。采用Cohen kappa统计量对三位读者两两之间各VI-RADS评分进行读者间一致性分析。通过受试者工作特征曲线分析评估每位读者的诊断性能。总体和每批AUC值基于单一VI-RADS评分以及将VI-RADS转换为高于或低于截断值3(病例分为< 3 vs ≥ 3)用于评估肌肉侵犯性而获得。计算总体和每批敏感性和特异性以评估每位读者每批的表现。所有假设检验均以p < 0.05表示差异有统计学意义。分析使用SPSS 27版(IBM)进行。
结果
人群队列包括200例患者,其中73.5%为男性,26.5%为女性(男:女比 = 3:1),中位年龄为70岁(IQR 62–77)。在200次检查中,13次(6.5%)无可识别病灶。在其余187次(93.5%)由专家放射科医师分配VI-RADS评分并被视为参考标准的检查中,13次(6.5%)为VI-RADS 1,101次(50.5%)为VI-RADS 2,13次(6.5%)为VI-RADS 3,25次(12.5%)为VI-RADS 4,35次(17.5%)为VI-RADS 5。各读者及每个评估子集的总体VI-RADS评分分布总结于表1。
学习曲线
三位阅片者在VI-RADS评分上随时间的学习曲线见图2。阅片者与参考标准之间VI-RADS评分一致的平均比率从第1批的65%急剧提高至第2批的82%。在后续批次中,病例评估显示轻度改善,至第5批达到87%。阅片者与参考标准之间VI-RADS一致性的kappa系数也呈现相同的上升趋势(表2)。因此,对于子集1和子集4,阅片者1的k分别为0.555和0.739,阅片者2为0.522和0.712,阅片者3为0.481和0.737。同一组患者的训练前评估(子集1)与训练后评估(子集5)之间的k系数差异分别为:阅片者1从0.555升至0.852,阅片者2从0.522升至0.695,阅片者3从0.481升至0.794。
诊断准确性
每位阅片者在单项VI-RADS评估分类评分、膀胱癌肌层浸润性检测(以VI-RADS ≥ 3为截断值)以及无病灶识别方面的表现,基于总体评估(表3)和逐批评估(补充表3–9)进行测量。以VI-RADS ≥ 3为截断值,三位阅片者的灵敏度范围为84%至89%,特异度范围为91%至94%。AUC范围为0.89(95% CI:0.84,0.94)至0.90(95% CI:0.86,0.95)。图3显示了三位阅片者检测肌层浸润性膀胱癌的受试者工作特征曲线。
评估时间
阅片者平均评估时间随后续批次评估而缩短,从子集1的5.21 ± 1.12 min降至子集5的3.52 ± 0.69 min(表4和图4)。在子集1与子集4/5之间、子集1与子集2之间以及子集2与子集3之间,平均评估时间差异有统计学意义(p < 0.001),而子集3与子集4之间(p = 0.32)及子集4与子集5之间(p = 0.45)无统计学意义。对于阅片者1,任何连续子集之间的评估时间均无显著变化(p ≥ 0.106)。对于阅片者2,子集1与子集2之间及子集2与子集3之间(p < 0.001)以及子集3与子集4之间(p = 0.03)评估时间有统计学显著下降,而子集4与子集5之间无差异(p = 0.656)。对于阅片者3,子集1与子集2之间及子集2与子集3之间评估时间有统计学显著缩短(p < 0.001),而子集3与子集4之间(p = 0.258)及子集4与子集5之间(p = 0.93)无差异。
置信度分级
随着后续批次被评估,平均置信度分级从子集1的3.31 ± 0.93提高至子集5的4.21 ± 0.69(表5和图5)。子集1与4/5之间以及子集1与2之间的平均置信度分级差异有统计学意义(p < 0.001)。其余连续子集之间的平均置信度分级无差异(p ≥ 0.294)。对于读者1,任何子集之间均未发现显著差异(p ≥ 0.58)。对于读者2和3,子集1与2之间的置信度分级显著提高(分别为p < 0.001;p = 0.044),其他连续子集之间无差异(分别为p ≥ 0.216;p ≥ 0.438)。
图像质量
当图像质量为最低时(IQ1),读者与参考标准之间的总体VI-RADS评分一致性为中等(读者1 k = 0.503;读者2 k = 0.508;读者3 k = 0.603;p < 0.001)。当图像质量评分为最佳时(IQ3),总体VI-RADS评分一致性为较高,分别为(读者1 k = 0.739;读者2 k = 0.726;读者3 k = 0.713;p < 0.001)。k统计量和图像质量的结果见表6。总体质量评估评分的汇总见补充表10。图6展示了一例在第1批次中被错误分类而在第5批次中被正确评分的病例示例。
讨论
不同研究表明,阅读者的教育和培训是肿瘤影像学及培养未来放射科医生的关键因素[11]。尽管如此,尚无证据表明互动式学习项目对膀胱MRI阅读者表现及VI-RADS评分的影响。本研究旨在评估学习曲线,并确定三名放射科住院医师在作为专门互动培训项目一部分使用VI-RADS评估评分解读膀胱MRI时的表现,该项目将200例膀胱MRI病例分为四组。在各子集之间,提供了正面授课、专门病例回顾和辅导课程,随后对第一组病例(第5批)进行最终再评估。
我们观察到,在经过前两批培训(100例)后,住院医师的VI-RADS评分与经验丰富的放射科医生之间的一致性显著增加,从65%急剧提高至82%,随后进入平台期;阅读者2在第3批中改善出现下降,可能是由于第2批中与参考标准(RS)一致的病例数量较多;通过重新审查阅读者2的第2批病例,我们注意到被评为低质量的病例数量非常少(n = 5),这可能解释了如此高的一致性比率。膀胱MRI结果的急剧改善可能与教育干预有关,该干预侧重于提供VI-RADS评估评分的一般信息。
在一致性分析中,观察k系数时也发现了这一趋势,其从第1批的平均0.519改善至第5批的0.801。这些结果可能提示,提供VI-RADS标准概述并结合一定样本量的病例(100–150例)可能产生可接受的结果,凸显了该报告和数据系统在膀胱MRI解读标准化方法方面的优势。这与ESUR/ESUI共识声明一致,该声明将100例监督病例确定为在进行独立报告以检测临床显著前列腺癌之前所需的前列腺MRI最低病例数[24]。
尽管后续子集的趋势较慢且较低,住院医师的学习曲线仍持续上升,说明需要更高级和更长期的培训。与我们的经验不同,Rosenkrantz等人未报告在接受持续反馈的阅读者组中使用PI-RADS v. 2.0解读前列腺MRI有显著改善[12]。一项更近期的研究发现,在线课程显著提高了使用PI-RADS评分在MRI上检测前列腺癌的敏感性[25]。
关于整体膀胱MRI和VI-RADS评分的诊断性能,我们在评估肌层侵犯可能性(VI-RADS 1-2 vs 3-4-5)方面发现了有希望的结果。事实上,使用VI-RADS ≥ 3作为截断值,在三名阅读者中,总体敏感性范围为84%至89%,总体特异性范围为91%至94%。总体AUC范围从0.89(95% CI:0.84,0.94)至0.90(95% CI:0.86,0.95),从第1批的最低AUC 0.82(95% CI:0.69–0.95)到第5批的0.96(95% CI:0.89–1.00)。在类似报告中,两个研究组证明在互动培训课程后检测前列腺癌的AUC更高(从0.52至0.66;p < 0.001)[15],且指标前列腺癌的检出率更高(从74.2%至87.7%;p = 0.003)[14]。
关于评估时间这一对当今高负荷放射科尤为重要的议题,两名第一年培训的住院医师在完成前150例后平均判读时间显著缩短(平均总评估时间:子集1为5.21分钟,子集5为3.52分钟;p < 0.001)。另一项研究也观察到类似结果,作者发现当读者接受反馈后,平均读者评估时间从子集1–2的95.2–99.0秒显著降至子集3–4的66.1–65.8秒(p < 0.001)[12]。然而在我们的研究中,如前所述,这一趋势仅在第一年住院医师中观察到,提示无论先前是否接触过膀胱MRI,对MR成像的一般性接触可能带来更短的评估时间。因此,第四年住院医师在培训项目中未表现出平均时间框架的差异,这提示特定的膀胱MRI培训与评估时间缩短之间并无关联。
考虑到读者的信心等级,我们的结果得出了与Garcia-Reyes等相同的结论,他们发现前列腺MRI在教育前后评估中有显著改善(在1至5分制上从3.75升至4.22)[14]。在我们的研究中,平均总体信心从子集1的3.31升至子集5的4.21(5分制)。报告信心,特别是在评估肿瘤侵犯固有肌层可能性方面的信心,至关重要,因为它可以显著改变并指导患者的治疗管理。我们指出,在整个研究中,无论按子集还是总体结果,VI-RADS评分3(不确定病例)的百分比均低于或等于11%,这可能使该系统区别于其他-RADS [26],后者中指定的不确定病例数量更高,对膀胱癌影像具有强烈的临床影响。
尽管这与培训项目的效果并不直接相关,但图像质量明显影响放射科医师的诊断表现。这一点在我们的研究中得到证实,我们发现当图像被认为是高质量检查时,住院医师与经验丰富放射科医师之间的一致性更高。这可能影响了学习过程的结果,因为平均总体k系数从0.547(低图像质量)升至0.726(高图像质量)。我们假设,专业知识可能在质量较差的检查中尤其具有优势,但这一论点有待进一步研究。
这些发现对膀胱MRI判读的受训者教育具有若干意义。本研究证明了在缺乏既往经验或培训的情况下判读膀胱MRI的风险,因此我们不建议在缺乏MRI基础知识、尤其是膀胱MRI知识的情况下判读检查。应努力确保每位判读膀胱MRI的放射科医师拥有可接受的判读例数(根据我们的结果为100例),并对VI-RADS标准有恰当理解。放射学课程可通过纳入膀胱MRI培训加以改进,有助于使用VI-RADS标准进行标准化管理,并为膀胱癌患者带来更具价值导向的服务。
承认以下局限性:第一,我们未研究结果的病理学印证;第二,观察到批次间存在一定异质性,因为我们纳入的是后续患者,且未在各患者组中均匀分配相同数量的各VI-RADS评分;第三,MR图像是在三级转诊中心使用高性能3 Tesla MRI扫描仪采集的,这可能对我们研究结果的可重复性产生不利影响;第四,我们的三名受试者接受了培训,且未设立对照组,这可能是偏倚来源。最后,由于COVID-19大流行,所提议培训项目在受训者日常工作中的适用性目前部分受限。然而,该项目中包含的大多数活动可以很容易地在在线学习平台上组织。
总之,一项关于膀胱MRI和VI-RADS评分的互动式专门阅片者教育项目与阅片者诊断性能随时间显著提高相关。在100–150例病例后观察到总体改善,这可作为达到学习项目的 cut-off 值提出。这些发现可能为提高和塑造未来的专科培训项目和放射学课程提供有益经验。
补充信息
ESM 1(DOCX 38 kb)
引用
- da Silva MC, Pecoraro M, Pisciotti ML, et al. The learning curve in bladder MRI using VI-RADS assessment score during an interactive dedicated training program. Eur Radiol. 2022. PMID: 35366122. doi:10.1007/s00330-022-08766-8
- 全文:PMC8976109(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8976109/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。