推广用于前列腺MRI质量评估的PI-QUAL评分:ESOR Nicholas Gourtsoyiannis教学奖学金项目结果
本研究评估了前列腺MRI质量培训讲座对参与者应用PI-QUAL评分能力的影响。16名不同背景的参与者评估了20例来自不同设备和场强的前列腺MRI图像质量,培训后平均AUC从基线0.59(95%CI 0.50-0.66)显著提升至0.96(0.92-0.98),提升0.37(0.21-0.41,p<0.001)。
要点
- PI-QUAL评分1分表示所有序列低于诊断质量最低标准,3分表示至少两个序列联合达到诊断质量,5分表示所有序列均为最佳诊断质量。
- 培训前平均AUC为0.59(95%CI 0.50-0.66),培训后为0.96(0.92-0.98),提升0.37(0.21-0.41,p<0.001)。
- 经验丰富参与者(阅片>100例)培训前AUC 0.57(0.47-0.67),培训后0.98(0.95-0.99),提升0.41(0.30-0.50,p<0.001)。
核心结论
- 专门的教学课程(讲座加实践工作坊)显著提高了参与者应用PI-QUAL评分评估前列腺MRI检查质量的能力。
- PI-QUAL评分可被不同背景和经验的参与者理解和应用,有望在临床中评估前列腺MRI的整体价值。
研究设计与样本
- 本研究为教学干预前后自身对照的预试验,共纳入16名参与者(放射科医生、泌尿科医生、物理师和计算机科学家),评估了20例来自不同设备和场强的前列腺MRI检查。
- 参考标准为PI-QUAL评分开发者之一(F.G.)给出的PI-QUAL评分。
- 所有MRI检查包括T2加权、扩散加权和动态对比增强序列,于2018年11月至2021年9月期间采集,未使用直肠内线圈。
- MR设备分布:西门子8/20(40%)、通用电气6/20(30%)、飞利浦6/20(30%);1.5T检查11/20(55%),3T检查9/20(45%)。
诊断标准与关键数值
- PI-QUAL评分1分:所有MR序列均低于诊断质量最低标准;3分:至少两个MR序列联合达到诊断质量;5分:所有序列均为最佳诊断质量(所有临床显著病灶均可被纳入和排除)。
- 培训前队列参考标准:5/10(50%)扫描为PI-QUAL 2,1/10(10%)为PI-QUAL 3,3/10(30%)为PI-QUAL 4,1/10(10%)为PI-QUAL 5。
- 培训后队列参考标准:2/10(20%)扫描为PI-QUAL 1,1/10(10%)为PI-QUAL 2,5/10(50%)为PI-QUAL 4,2/10(20%)为PI-QUAL 5。
- 非经验参与者(培训前阅片<100例)培训前AUC 0.62(95%CI 0.47-0.76),培训后0.93(0.86-0.98),差异0.31(0.20-0.38,p<0.001)。
- 经验丰富参与者(培训前阅片>100例)培训前AUC 0.57(95%CI 0.47-0.67),培训后0.98(0.95-0.99),差异0.41(0.30-0.50,p<0.001)。
临床应用与阅片要点
- 作者认为,同步讲座与实践工作坊相结合的教学形式可教育和提高PI-QUAL在前列腺MRI中的应用。
- 作者建议未来类似课程应受到鼓励,并认为PI-QUAL评分应在临床中推广使用以评估前列腺MRI的整体价值。
- 作者指出,PI-QUAL入门材料设计用于临床医生以及参与前列腺MR图像采集的物理师、计算机科学家和放射技师。
局限性
- 本研究为预试验,参与者和MR检查数量少,但为更大规模研究提供了动力。
- 参考标准基于单一阅片者(尽管在PI-QUAL图像质量评估方面经验丰富)给出的评分;未来研究应纳入至少两名专家的阅片结果作为参考标准。
- 可能存在「一刀切」的局限性,参与者背景多样,未来或可考虑根据不同类型群体的经验和需求定制PI-QUAL评估。
- 教学后极高的AUC并不反映评估前列腺MR图像的真实经验,真实经验需要在阅片大量前列腺MR扫描后才能获得。
- 需要进一步研究以了解对提高高质量诊断性前列腺MR检查采集的影响。
全文中译14 节 · 点击展开
引言
前列腺磁共振成像(MRI)检查必须具有高质量,才能实现准确解读。诊断质量低的检查会增加MRI决策的不确定性[1]。在此背景下,前列腺影像报告和数据系统(PI-RADS)标准2.0版和2.1版被制定出来,其中包括一套获取高质量前列腺MRI的最低技术要求[2, 3]。此外,两个专家小组倡导建立标准化的质量标准,用于评估前列腺MRI的图像质量[4, 5]。
前列腺影像质量(PI-QUAL)评分是首个使用客观技术标准结合图像主观视觉标准来评估图像质量的标准化评分系统[6]。
PI-QUAL评分为1意味着所有MR序列均低于诊断质量的最低标准,PI-QUAL评分为3表明检查具有足够的诊断质量(因为至少两个MR序列综合起来具有诊断质量),PI-QUAL评分为5意味着所有序列均具有最佳诊断质量(即所有临床显著病灶均可被纳入诊断 AND 被排除诊断)(表1)。
阅片者培训和经验在前列腺MRI中的重要性既符合直觉,也在文献中显而易见[7, 8]。随着前列腺影像检查量的增长,世界各地中心正在执行越来越多的检查。许多机构首次开展此项检查,在此项检查方面缺乏丰富经验。需要专门的影像站点和人员努力来确保高质量。
审阅前列腺MR检查的第一步是对其质量进行严格审查。在当前的前列腺癌诊疗路径中,许多患者就诊时已在其他机构完成过前列腺MR检查[9]。因此,泌尿科医师、肿瘤科医师及其他未接受过正式放射学培训的人员必须能够判断检查的总体质量及由此产生的诊断报告。部分男性可能需要在决定治疗前重复MR检查。因此,评估前列腺MR检查质量的能力是治疗前列腺癌临床医师的一项关键技能。
由欧洲放射学院(ESOR)设立的Nicholas Gourtsoyiannis教学奖学金,面向希望通过授课和开展互动式工作坊来提升教学和培训技能的放射科医师。2021年度,该奖学金授予了两个独立的前列腺MRI项目。
我们在此报告第二个项目的结果,该项目聚焦于如何利用教育干预来理解和应用PI-QUAL评分以评估前列腺MRI图像的质量[6]。
我们的假设是,使用PI-QUAL评分进行图像质量评估的专门培训将显著提高具有不同经验水平和培训背景的参与者判断图像充分性的能力。
材料与方法
2021年奖学金获得者(F.G.)是一位对泌尿生殖系统影像学特别感兴趣的顾问放射科医师,在前列腺MRI方面经验丰富(即每年报告超过2,500例前列腺MR扫描),同时也是PI-QUAL评分的开发者之一[6]。
第二次教学奖学金于2022年1月10日至1月16日在美国马萨诸塞州波士顿的哈佛医学院/布莱根妇女医院举行(图1)。
设置与参与者
研究参与者来自放射科和外科/泌尿科,具有不同水平的前列腺MRI经验和培训背景(但均与前列腺癌诊断的MR路径相关)。参与的唯一先决条件是具备前列腺MRI解剖学的一般知识,并且在课程之前接触过前列腺多参数MR图像。
所有参与者均不了解PI-QUAL评估程序的具体内容及其应用方法。
MR检查
所有MR检查均包括T2加权、弥散加权和动态对比增强序列,需要指出的是,这些检查并不总是完全符合PI-RADS建议(即技术细节),反映了不同中心前列腺MRI实施方式的异质性[9]。扫描于2018年11月至2021年9月期间进行,未使用直肠内线圈。所有MR检查和图像均已事先匿名化并上传至专用DICOM查看器。所有参与者审阅了所有病例集,并对磁体厂商、场强及所有临床数据设盲。
由于奖学金期间实施的机构限制(在COVID-19奥密克戎变异株快速传播后),教学课程在美国波士顿现场进行,但决定同时通过视频会议平台举办讲座和工作坊,以便参会者远程参加讲座和工作坊。
教育干预的具体内容:
图2显示了该周教学奖学金每个步骤的框架。
第1天和第2天(教学前病例审阅)
在讲座前两天,参与者被要求独立审阅一组不同的前列腺MR扫描。他们填写了一份由课程主任(F.G.)为本项目专门制作的评分表(图3),在表中评估三个序列(即T2加权成像、弥散加权成像和动态对比增强序列)各自的质量。他们还被要求说明是否会因图像质量差而重复扫描。未给予进一步指示或指南,参与者仅依赖其既往前列腺MRI知识。虽然我们记录了时间,但参与者可以按照自己的节奏解读扫描。评分表在讲座和工作坊之前被回收并整理。
第3天(讲座+实操工作坊)
所有参与者参加了讲座(1小时),随后进行了问答环节(30分钟),鼓励他们提问以加深对该主题的理解。
讲座框架
该讲座的题目为:“前列腺MR与图像质量:是时候改进了”,由两个模块组成:模块1——前列腺MRI:介绍(i)不同的MR序列,(ii)前列腺解剖结构,以及(iii)前列腺癌在MRI上的表现
模块2——回顾目前已有的探讨前列腺MRI质量问题的论文,并使用最近发表的入门指南[10]讲解PI-QUAL评分
实践操作工作坊框架
该工作坊的题目为:“PI-QUAL评分:从理论到实践”,在讲座之后进行,包括实践操作培训,以使参与者熟悉PI-QUAL评分系统。在工作坊期间(持续约1小时),复习并集体讨论了来自培训前队列的5例扫描。参与者学习了如何使用专用评分表(图4)和PI-QUAL入门指南[10]来评估图像质量并评定PI-QUAL评分。
第4天和第5天(教学后病例复习)
所有参与者被要求使用PI-QUAL评分表独立评估一组新的10例病例的图像质量。在工作坊结束时,他们的结果被汇总用于分析。
临床队列和参考标准
本研究纳入的所有患者均签署了书面知情同意书,同意将其图像用于研究和教学目的。本研究无需机构审查委员会批准,因为扫描来自不同中心的不同MR系统和MR供应商,并由一名未参与研究且无临床背景的研究助理随机选取。
课程主任给出的质量评估被用作评估参与者在课程前后表现的参考标准。
统计分析
主要结局为教学前后检测次优和最佳图像质量(按PI-QUAL 1-3 vs PI-QUAL 4-5分层)的平均曲线下面积(AUC)的变化。
专用评分表中给出的教学前评分(即图像质量不合格 vs 图像质量合格)被二分为PI-QUAL 1-3 vs PI-QUAL 4-5。
受试者工作特征(ROC)曲线基于广义线性混合模型,以参与者和病例ID作为随机效应。该方法推广了Obuchowski-Rockette方法[11],并由Liu等[12]描述。
对于每条ROC曲线和AUC值,95%置信区间(CI)通过条件自助重采样(B = 50,000个样本)计算。
精确p值通过置换方法计算,以避免任何分布假设或渐近近似,p < 0.05被认为具有显著性。
所有统计分析均在R v. 4.1.3(R Foundation for Statistical Computing)中完成。
结果
共有十六名参与者完成了研究。共纳入来自二十名不同患者的总共二十次扫描。图像分析环节包括干预前组10例和干预后组10例。表2列出了参与者的背景及其在前列腺MRI方面的经验水平。
MR检查在设备和场强方面各不相同:8/20(40%)例患者使用Siemens®扫描仪扫描,6/20(30%)例使用General Electric®扫描仪,6/20(30%)例使用Philips®扫描仪。
二十项研究中有十一项(55%)在1.5 T上进行,9/20(45%)项研究在3 T系统上进行。
表3显示了教学前和教学后队列中每次扫描的MR设备和系统、磁体及PI-QUAL评分(根据参考标准)。
PI-QUAL评分
在教学前队列中,根据每份PI-QUAL评分表中报告的参考标准(补充表1),5/10(50%)次扫描的PI-QUAL评分为2,一次(10%)扫描的PI-QUAL评分为3,3/10(30%)次扫描的PI-QUAL评分为4,仅一次(10%)扫描的所有序列均达到最佳诊断质量(即PI-QUAL 5)。
在教学后队列中,根据每份PI-QUAL评分表中报告的参考标准(补充表2),2/10(20%)次扫描的PI-QUAL评分为1,一次(10%)扫描的PI-QUAL评分为2,5/10(50%)次扫描的PI-QUAL评分为4,2/10(20%)次扫描的PI-QUAL评分为5。
教学前后评估图像质量的准确性
图像质量评估(次优 vs 最优)的平均AUC从教学前(0.59;[0.50-0.66])到教学后(0.96 [0.92-0.98])有显著改善,改善了0.37 [0.21-0.41](p < 0.001)。图5a中呈现的ROC曲线总结了教学课程前后评估图像质量的平均准确性水平(按PI-QUAL 1-3 vs PI-QUAL 4-5分层)。
我们还评估了教学前后按经验分层的图像质量评估AUC。鉴于参与者的背景不同,将其分为无经验参与者(即在课程前阅片< 100次前列腺MR扫描)和有经验参与者(即在课程前阅片> 100次前列腺MR扫描)。
对于无经验参与者,教学前AUC为0.62 [0.47-0.76],教学后AUC为0.93 [0.86-0.98],差异为0.31 [0.20-0.38](p < 0.001)。
对于有经验参与者,教学前AUC为0.57 [0.47-0.67],教学后AUC为0.98 [0.95-0.99],差异为0.41 [0.30-0.50](p < 0.001)。
图5b(教学前)和5c(教学后)所示的ROC曲线是这些结果的直观呈现。
每位参与者在课程后给出的PI-QUAL评分见表4,图6展示了两个前列腺MR检查示例(一个来自教学前队列,一个来自教学后队列)及其相应的PI-QUAL评分(根据参考标准)。
讨论
在我们的研究中,我们已表明,一门专门教授如何应用PI-QUAL评估前列腺MRI质量的教学课程对具有不同临床背景和前列腺MRI专业水平的放射科医生和非放射科医生均有用,范围从拥有超过30年前列腺MR报告经验的放射科医生到课程前仅看过少数前列腺MR检查的泌尿科医生和计算机科学家。
我们提供干预措施以教育多元化受众的总体目标已被证明是成功的。
PI-QUAL能够被参与者理解和应用,我们希望其在临床中用于评估前列腺MRI的整体价值时能作出重要贡献。
特别是,在课堂教学和实际操作研讨会之后,参与者评估图像质量(次优 vs 最优)的平均准确率显著提高。
除前列腺外,人们已做出大量努力来改善其他器官的MR图像质量,包括心脏[13]、肝脏[14]、脑[15]和乳腺[16],因为放射科医生应熟悉高质量MRI的要求,并努力达到预期标准以提高患者质量和安全性。
已有研究表明,专门的教学课程能提高阅片者在MRI中的表现[17, 18]。该技术在前列腺癌中的广泛使用导致每个序列的图像质量高度可变,如果扫描未以最高标准采集,临床决策可能会受到影响[3]。
欧洲泌尿生殖放射学会(ESUR)和欧洲泌尿外科学会-泌尿影像分会(ESUI)的共识报告指出了前列腺MRI实施中的巨大不一致性[4]。
在这项初步研究中,评估图像质量的研究参与者具有不同的背景和不同水平的前列腺MRI经验,如表2所示。参与者范围从非常有经验的放射科医生(即报告超过1,500例前列腺MR扫描)到其他专家临床医生(即泌尿科医生)或经验非常少的物理学家/计算机科学家/工程师。
所有参与者在课程结束后在图像质量评估方面均达到了非常高且显著的准确度水平,无论是总体还是按其经验分组(其中有经验的参与者数值最高)。
需要提及的是,MR检查需要放射技师和技术人员仔细监督和对细节的关注。在许多实践中刚开始时,这可能具有挑战性,因为可能缺乏经验。来自非学术中心的前列腺MR检查可能参差不齐,并且由于缺乏对质量的认识而可能成像质量欠佳[9]。相反,在高容量学术中心,质量更为一致,因为这些中心有专门的团队监督质量,放射科医生经常参与与前列腺癌成像相关的临床研究活动。此外,拥有大型活跃活检项目的中心也将具有更一致的质量,因为它们通常为MR-超声融合活检设备提供MR图像[9]。
PI-QUAL是首个此类努力,旨在提醒MR成像界关注前列腺MR质量的重要性。因此,对该方法的广泛理解、认识、应用和验证对于未来采纳是必要的[19–21],而本课程的形式(包含教学前后的MR图像质量评估)可能非常有助于传播PI-QUAL评分的使用并促进对前列腺MRI中图像质量重要性的认识[22–27]。
我们相信我们的初步研究结果代表了朝着正确方向迈出的第一步,尽管我们应该指出,教学后非常高的AUC并不反映评估前列腺MR图像的真实经验,因为这是只有观看多例前列腺MR扫描后才能达到的。
本研究存在局限性; foremost是参与者和MR检查数量少,但作为一项初步研究,它为更大规模的研究提供了动力。
除此之外,参考标准基于单一阅片者给出的评分,尽管该阅片者在通过PI-QUAL评估图像质量方面非常有经验。鉴于PI-QUAL在阅片者间一致性方面的可喜结果[1, 22, 27],未来研究应包括至少两位专家的阅片作为参考标准。
另一个可能是“一刀切”的局限性,因为我们注意到我们的参与者具有多样性,考虑定制PI-QUAL评估以适应不同群体的经验和需求可能是明智的。显然,放射科医生评估研究是为了进行判读,而泌尿科医生评估质量是为了确定结果的可靠性。我们相信未来应鼓励类似这样的课程。
需要指出的是,PI-QUAL入门指南[10]的设计初衷是供两类人员使用:临床医生(其主要任务是纳入和排除临床显著性前列腺癌的存在,并在活检时对病灶进行靶向定位)以及物理学家、计算机科学家和放射技师,后者在不同层面上参与获取合格的前列腺MR图像(即从机器设置到患者体位摆放以及在正确的时间以正确的速度注射静脉造影剂)。
减少前列腺MRI实施和质量方面的变异性至关重要,这样临床医生才能有信心地将其用于前列腺诊断和治疗路径中;尽管网上有大量关于前列腺MRI的自学教学材料,但我们初步研究的结果重申了专门的手把手培训课程对于评估前列腺MR图像质量的重要性。
总之,我们认为同步讲座与实践工作坊相结合的方式能够教育和改善PI-QUAL在前列腺MRI中的应用。
此外,我们希望本次教学奖学金项目的初步结果,连同其他经验[28]的结果,能为此类课程在其他项目中的广泛开展奠定良好的基础,并希望本文能为未来的申请者提供灵感。
补充信息
ESM 1(DOCX 34 kb)
引用
- Giganti F, Cole AP, Fennessy FM, et al. Promoting the use of the PI-QUAL score for prostate MRI quality: results from the ESOR Nicholas Gourtsoyiannis teaching fellowship. Eur Radiol. 2022. PMID: 35771247. doi:10.1007/s00330-022-08947-5
- 全文:PMC9244244(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9244244/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。