指南与共识乳腺乳腺X线

应用「阳性预测值-召回率图」监测筛查放射科医生表现并提供建议

Applying the "positive predictive value-recall diagram" to monitor performance and provide recommendations for screening radiologists.
指南 / 共识 · Eur Radiol · 2025-09-04

该回顾性研究利用荷兰乳腺癌筛查项目2010至2019年12个阅读单元(RU)的数字化乳腺摄影筛查数据,在阳性预测值-召回率图上分别展示初始筛查和后续筛查的召回率、癌症检出率和阳性预测值。图示能揭示各RU表现随时间的变化及相互关系,帮助审计团队提出改进建议;但仅凭此图反馈可能不足以让个体放射科医生达到目标值。

要点

  • PPV-召回率图可直观显示各阅读单元在召回率、癌症检出率和阳性预测值上的差异与相互关系。
  • 初始筛查的阳性预测值范围为4.9%至23.7%,后续筛查为21.2%至54.3%。
  • 所有审计建议均聚焦于调整召回率,多数召回率朝建议方向变化,但不总能达到目标值。

核心结论

  • PPV-召回率图有助于审计团队了解筛查结局的变异及相互关系,并为改进提供建议。
  • 仅基于该图的反馈可能不足以让个体放射科医生实现这些改进。

研究设计与样本

  • 回顾性描述性研究,使用荷兰乳腺癌筛查项目2010至2019年三年一度质量保证审计的数据集。
  • 数据集包含12个阅读单元共6,801,485次数字化乳腺摄影筛查的汇总结果,其中初始筛查779,887次、后续筛查6,021,598次。
  • 筛查为每两年邀请50至74岁女性接受双视图乳腺摄影(内外斜位和头尾位),所有乳腺摄影由两名认证筛查放射科医生独立阅读。
  • 以PPV-召回率图展示召回率、癌症检出率和阳性预测值,并对照目标值评估各阅读单元表现。

诊断标准与关键数值

  • 初始筛查目标值为召回率3.5%、阳性预测值16%、癌症检出率5.5/1000次筛查;后续筛查目标值为召回率1.3%至2.0%、阳性预测值、癌症检出率目标值原文未明确列出。
  • 2016年7月调整目标值:初始筛查召回率从3.5%升至5.0%,后续筛查召回率从2.0%升至2.15%。
  • 初始筛查阳性预测值范围为4.9%至23.7%,后续筛查为21.2%至54.3%。
  • 2010年初始筛查0个阅读单元达到目标值,2019年5个;后续筛查2010年8个,2019年10个。
  • 初始筛查建议24条,后续筛查建议13条,所有建议均涉及调整召回率。

临床应用与阅片要点

  • 可将PPV-召回率图纳入乳腺癌筛查质量保证审计,帮助审计团队识别筛查结局变异并提出改进建议。
  • 图中「目标区域」标示所有目标值均满足的范围,表现偏离该区域时应发出具体建议。
  • 审计建议常使召回率朝期望方向变化,但未必足以达到目标值(初始筛查5/9,后续筛查6/8)。
  • 放射科医生可能需要额外的个体化反馈、具体行动计划及更清晰直观的反馈呈现方式。

局限性

  • 无法研究建议与审计后表现变化之间的因果关系,因为无法将审计的影响与其他因素分离。
  • 由于审计期间 interval cancers 数据不完整,无法将PPV-召回率图结果与阅读单元的敏感度和特异度进行比较。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Sep 4;36(3):1919–31. doi: 10.1007/s00330-025-11978-3

引言

乳腺癌筛查可通过早期发现和治疗来预防乳腺癌相关死亡;然而,它也会造成过度诊断和假阳性筛查结果等伤害[1, 2]。质量保证(QA)计划,包括设备质量控制、专业人员培训和认证以及筛查结局监测,应确保获益与伤害之间的有利平衡,并保证筛查计划内的高质量水平[3–5]。

为监测筛查结局,需要一种有效方法来深入了解筛查放射科医师的阅片表现,识别改进领域并 pinpoint 可能需要额外培训的放射科医师(群体)。召回率(RR)、癌症检出率(CDR)和召回阳性预测值(PPV)是用于此目的的关键参数,由于它们相互关联,最好联合监测[6]。2001年,Blanks 引入了 PPV-召回图作为一种监测筛查结局的方法[7]。在 PPV-召回图中,PPV 对 RR 作图,CDR 以图中“等值线”的形式显示,从而可视化这三种筛查结局之间的相互关系[7]。该图还可包括这些筛查结局的目标值和/或全国平均值。

在荷兰,筛查放射科医师的阅片表现一直在群体层面进行监测,该群体称为阅片单元(RU),每三年进行一次审计。作为审计的一部分,RU 的 PPV-召回图已接受审查数年[8]。使用 PPV-召回图评估质量、识别改进领域并制定建议的有效性尚未完全确立。

因此,本研究的目的是回顾性评估 PPV-召回图在乳腺癌筛查计划中用于监测阅片表现和为 RU 提供建议的适用性。

材料与方法

这项回顾性描述性研究是在荷兰卫生、福利和体育部颁发的国家乳腺癌筛查许可下进行的,该许可相当于当地机构审查委员会的批准。

筛查程序

荷兰乳腺癌筛查计划由国家筛查组织集中组织,该组织管理所有筛查单元和 RU。每两年邀请50–74岁女性接受一次筛查检查,由专门从事乳腺X线摄影的放射技师执行。标准检查为双视图乳腺X线摄影(内外斜位和头尾位)。最初使用屏-片乳腺X线摄影,采用不同制造商的乳腺X线摄影系统。2008年开始向数字乳腺X线摄影(Lorad Selenia,Hologic)过渡,并于2010年6月完成。

所有乳腺X线摄影图像均由两名认证筛查放射科医师独立阅片。分歧通过共识或第三阅片者仲裁解决,后续筛查中可获取既往检查进行比较。发现可疑病变的女性被召回医院进行进一步评估。

审计

三年期审计由荷兰筛查专家中心(LRCB)按照固定方案进行,该方案在先前一项研究中已有详细描述[8]。简言之,筛查机构为每次审计提供数据集,分为首轮筛查和后续筛查结果,涵盖4年期间的所有检查。由于审计大约每3年进行一次,最早年份的数据通常与上一次审计重叠。每次审计时,使用表格和图表(包括PPV-召回率图)将4年期间的平均筛查结果与目标值(表1)及全国平均值[9, 10]进行比较。如果RR、PPV或CDR未达到目标值,从而使筛查单位(RU)在PPV-召回率图中的表现超出“目标区域”(见图1),审计团队则向该RU提出改进建议(审计建议)。

2010年过渡到数字乳腺X线摄影后,召回率(RR)显著上升[11]。这促使目标值于2016年7月根据LRCB向决策者提交的咨询报告[12]进行了调整(表1)。

图1 PPV-召回率图,展示召回阳性预测值(PPV)与召回率(RR)的关系,癌症检出率(CDR)以等值线形式呈现,分别对应首轮筛查(A)和后续筛查(B)。满足所有目标值的“目标区域”以蓝色阴影标示。超出该区域的筛查结果偏离目标,应发布具体建议。 查看原图 ↗
表1 荷兰乳腺癌筛查项目设定的目标值 查看原表 ↗

数据收集

本研究数据由筛查机构提供,涵盖2012年9月至2023年10月期间进行的审计,监测2007年至2021年的阅片性能(图2)。提取的数据包括每年首轮筛查和后续筛查的筛查次数、召回次数及筛查检出癌(原位癌和浸润癌)数量。仅使用2010年至2019年的数字乳腺X线摄影数据。2007年至2009年的数据因从模拟乳腺X线摄影过渡到数字乳腺X线摄影而被排除,2020年至2021年的数据因COVID-19疫情对筛查项目的影响而被排除。由于三年审计周期和4年期间重叠(见“审计”部分)导致数据重复时,仅纳入最近一次提交的数据。纳入标准为:RU的数据必须完整且一致,放射科医师团队未发生完全更替,且RU须遵循标准阅片方法。否则,该RU被排除(见图2)。此外还获取了审计报告,其中描述了审计结果及向RU提供的建议。

图2 研究数据筛选流程图 查看原图 ↗

数据分析

筛查结果RR、CDR和PPV以95%置信区间(95% CI)计算,分别呈现首轮筛查和后续筛查的结果。95% CI采用标准公式计算:,其中P为观察到的比例,N为用于计算该比例的筛查次数。此外,我们计算了每年RR、CDR和PPV的中位数及四分位距(IQR)。

筛选结果以PPV-召回率图的形式呈现,分别针对初始筛查和后续筛查,覆盖研究期间(2010-2019年)内每一单独年份。每张图包含12个阅读单元(RU)的数据点,显示它们相对于彼此的表现。此外,还为每个单独RU绘制了10年期间的PPV-召回率图。在这些图中,还标注了审计年份和建议,使得能够评估审计后的表现变化,从而更侧重于每个RU的筛查行为特征。

对于审计团队给出的所有建议(基于评估期间的平均RR),在审计后3年内评估RR的绝对变化。我们使用评估期间最后一年的RR作为初始筛查和后续筛查的“基线”。如果审计发生在1月1日至6月30日之间,则审计发生的年份也被视为审计后的第一年。如果审计后的第一年落在研究期间之外(2020年或更晚),则无法评估RR的变化。

结果

筛查机构为2012年9月至2023年10月期间进行的审计提供的数据集包含16,467,268次乳腺X线筛查的汇总筛查结果(1,880,179次初始筛查和14,587,089次后续筛查),由16个RU阅片。共排除9,665,783次筛查(1,100,292次初始筛查和8,565,491次后续筛查)。我们的最终数据集包含2010年至2019年由12个RU阅片的6,801,485次数字乳腺X线筛查的汇总筛查结果(图2)。每年的汇总结果分别呈现在表2和表3中,分别为初始筛查(n = 779,887)和后续筛查(n = 6,021,598)。

表2 所有12个阅读单元每年的初始筛查检查的召回率、召回阳性预测值和检出率汇总结果 查看原表 ↗
表3 所有12个阅读单元每年的后续筛查检查的召回率、召回阳性预测值和检出率汇总结果 查看原表 ↗

初始筛查中RU表现的变化和趋势

对于初始筛查,2010年至2019年每年的PPV-召回率图显示各RU之间的表现存在显著差异。研究期间观察到的最低PPV为4.9%(2014年,RU12),召回率为12.4%,CDR为每1000次筛查6.1例。相反,最高PPV为23.7%(2014年,RU2),基于3.6%的召回率和每1000次筛查8.6例的CDR。对于所有单元的整体表现,最低中位PPV为11.8%(2013年),最高中位PPV为15.3%(2012年)(表2)。

2010年(图3A),在过渡到数字乳腺X线摄影后,所有阅片单元(RU)的表现均落在“目标区域”之外。“目标区域”是指三个目标值均得到满足的范围。具体而言,五个RU(RU8-RU12)的阳性预测值(PPV)低于目标值(16%),且所有RU的召回率(RR)均超过目标值(3.5%)。RR中位数为4.9%。所有RU的癌症检出率(CDR)等于或高于目标值(每1000次筛查5.5例)。2013年,RR中位数增至6.3%,所有RU的表现仍落在“目标区域”之外。三个RU(RU4、RU10和RU12)的RR约为或超过10%(图3B)。2016年中期引入新的目标值后(表1),大多数RU(RU2、RU8和RU9除外)的表现继续落在“目标区域”之外(图3C)。在随后的3年中,表现略有改善。2019年,五个RU(RU1、RU2、RU4、RU6和RU7)的表现处于“目标区域”的边缘(图3D),且无RR超过10%。

图3 初筛检查2010年(A)、2013年(B)、2016年(C)和2019年(D)的PPV-召回率图,以癌症检出率(CDR)等值线呈现,显示12个RU相对彼此的表现 查看原图 ↗

复筛中RU表现的变化和趋势

与初筛类似,2010年至2019年复筛的逐年PPV-召回率图显示各RU之间的表现存在显著差异。研究期间观察到的最低PPV为21.2%(2014年,RU12),基于RR 2.9%和CDR每1000次筛查6.0例。最高PPV为54.3%(2015年,RU2),RR为1.1%,CDR为每1000次筛查6.0例。就所有单位的总体表现而言,最低PPV中位数为31.1%(2013年),最高PPV中位数为37.2%(2019年)(表3)。

与初筛相比,RU更常达到目标值。2010年,12个RU中有8个达到全部三个目标值(图4A)。在“目标区域”之外的四个RU中,三个(RU8、RU9和R11)的RR高于目标范围1.3–2.0%,一个(RU4)低于该范围。RR中位数为1.6%(表3)。

与初筛类似,RR在随后3年中有所增加。2013年,RR中位数为1.9%,五个RU(RU4、RU8、RU10-RU12)的RR高于目标范围(图4B)。2013年至2016年间,总体表现有所提高。PPV中位数从31.1%增至35.0%(表3)。2016年中期引入了新的目标值(表1)。2016年,除一个RU(RU7)外,所有RU均达到全部三个目标值(图4C)。2016年至2019年,总体表现进一步略有提高。2019年PPV中位数增至37.2%(表3)。此时,两个RU(RU3和RU5)的表现落在“目标区域”之外(图4D)。

图4 复筛检查2010年(A)、2013年(B)、2016年(C)和2019年(D)的PPV-召回率图,以癌症检出率(CDR)等值线呈现,显示12个RU相对彼此的表现 查看原图 ↗

各阅片单元的筛查行为特征

各RU历年来的PPV-召回率图可为了解各RU的筛查行为特征提供 insights。为说明这一点,我们提供两个示例。我们选择RU2和RU12,因为RU2在研究期间初筛(23.7%,2014年)和复筛(54.3%,2015年)中均观察到最高PPV,而RU12在初筛(4.9%,2014年)和复筛(21.2%,2014年)中PPV均为最低。

对于RU2,PPV-召回率图(图5)显示召回率(RR)相对较低而阳性预测值(PPV)较高。2010-2019年期间共进行了四次审计。基于2017年审计(数据为2012-2015年),RU2被建议提高其RR,因为PPV-召回率图显示初筛和复筛的PPV均较高而RR呈下降趋势。尽管癌症检出率(CDR)达到了目标值,审计团队预计极低的RR允许略有提高,可能带来CDR的增加。2017年之后的时期,RR升高但仍达到目标值,导致2019年CDR更高。

对于RU12,PPV-召回率图(图6)显示该RU在2012-2015年期间的特征是RR极高而PPV较低。研究期间共进行了三次审计,在2015年和2018年的审计中提出了建议。基于2015年审计(数据为2010-2013年),放射科医生被强烈建议降低其RR,因为其PPV较低且初筛和复筛的RR均快速上升。2015年之后,PPV-召回率图显示RR显著下降,复筛达到了目标值。然而,对于初筛,RR仍高于5.0%的目标值。在2018年审计(数据为2013-2016年)期间,放射科医生再次被建议降低RR,此次仅针对初筛。2018年之后的时期,RR未下降。

图5 RU2在2010-2019年期间初筛(A)和复筛(B)的PPV-召回率图,癌症检出率(CDR)以等值线表示。框内标注了审计年份、审计数据期间和审计建议 查看原图 ↗
图6 RU12在2010-2019年期间初筛(A)和复筛(B)的PPV-召回率图,癌症检出率(CDR)以等值线表示。框内标注了审计年份、审计数据期间和审计建议 查看原图 ↗

审计建议与绩效变化

12个RU共进行了42次审计,产生了37条建议:24条针对初筛,13条针对复筛。所有建议均涉及降低、提高或稳定RR。后者涉及复筛,同时建议仅针对初筛降低RR。

对于初筛(表4),24条建议中有9条建议的RR朝预期方向变化,其中5个RU在1年后达到了目标值。6条建议的RR保持不变或朝相反方向变化,而9条建议的RR变化无法评估(在研究期间之外)。

对于复筛(表5),8条建议的RR朝预期方向变化,其中6个RU在1年后达到了目标值。1个RU的RR升高而建议为稳定,4个RU的RR变化无法评估。

表4 研究期间所进行审计中的建议及审计后召回率变化总结,关于初筛 查看原表 ↗
表5 研究期间所进行审计中的建议及审计后召回率变化总结,关于复筛 查看原表 ↗

讨论

PPV-召回率图显示,在10年的时间期内,各个乳腺摄影单位(RU)的表现存在显著差异,初始筛查的PPV范围为4.9%至23.7%,后续筛查为21.2%至54.3%。初始筛查(2010年:0个RU;2019年:5个RU)达到目标值的情况少于后续筛查(2010年:8个RU;2019年:10个RU),导致初始筛查收到更多审核建议(24条对13条)。所有建议均侧重于调整召回率(RR),其中多数(初始筛查15条中有9条,后续筛查9条中有8条)按建议方向发生了改变,但并非总能充分达到目标值(初始筛查9条中有5条,后续筛查8条中有6条)。

2001年,英国的Blanks等人描述了如何利用PPV-召回率图作为工具来深入了解筛查项目的质量,以及如何据此提出改善筛查质量的建议[7]。与我们的研究类似,他们发现放射科医生组之间的阅片表现存在显著差异。然而,他们未报告向这些筛查组提供建议是否改善了筛查结果。

其他与英国乳腺癌筛查项目质量保证(QA)程序相关的论文也展示了PPV-召回率图[13–15]。这些研究强调了召回率(RR)、癌症检出率(CDR)和PPV之间的相关性,并证明PPV-召回率图可作为图形工具来展示这一关系。然而,与Blanks等人[7]类似,这些研究未报告支持质量改进的建议。最近一项关于佛兰德乳腺癌筛查项目的研究也仅将PPV-召回率图用于说明目的[16]。

此外,Miglioretti等人[6]的研究利用PPV-召回率图来更新筛查放射科医生的性能标准(目标值)。该研究同样关注RR、CDR和PPV之间的相互关系。具体而言,作者建议以CDR为条件来定义RR和PPV的可接受范围。在PPV-召回率图中,这些不同区域用不同颜色进行了阴影标注。基于我们的目标值,我们也在PPV-召回率图中划定了一个区域,标示所有目标值均得到满足的范围(见图1)。在图中标识目标区域可以直观地显示筛查结果偏离所在,以及应发出具体建议之处。

然而,应当指出,荷兰乳腺癌筛查项目规定的目标值(见表1)与英国筛查项目[7, 13–15]和美国[6]等设定的目标值存在较大差异。目标值本质上取决于国家政策、乳腺癌发病率、筛查间隔和受筛人群的年龄范围。尽管如此,我们在QA程序中的方法可以推广。RU的表现应同时满足RR、CDR和PPV既定目标值的组合要求。如果表现超出这些阈值,该RU将收到建议。表现偏离目标值的程度决定了建议的严重程度。

我们的结果提示,审计建议可能并不总是足以确保阅读单元(RU)在随后年份持续达到目标值。对这一发现有多种解释。第一,3年一次的审计频率可能过低。多项研究提示,反馈应基于近期表现以优化有效性[17–21]。第二,群体层面的反馈可能过于间接。审计数据是在RU层面提供的。虽然最佳阅读表现是共同责任,但改进往往取决于个体放射科医师所采取的行动。因此,如果将群体表现反馈与个体表现反馈相结合[20],审计流程的有效性可能会提高,这是合理的。第三,PPV-召回率图对放射科医师而言可能不够直观,可能需要进一步解释。Bowles和Geller得出结论,放射科医师在审计反馈中通常更喜欢图形展示而非表格;然而,他们的研究结果也显示,放射科医师认为类似PPV-召回率图的图形过于复杂[22]。第四,建议缺乏关于如何实现目标的明确指导。我们的研究显示,建议始终侧重于调整召回率(RR),但未提出实现这一目标的具体方法。当反馈附有包含实现目标具体行动的计划时,可能更有效[17, 20]。放射科医师可能受益于优化其召回决策的额外方法,例如审阅具有特定乳腺X线异常的训练集,以识别哪些类型的异常在假阳性筛查中被不必要地召回,以及哪些假阴性筛查本可在上一轮筛查中被检出。

关于所提供的反馈为何可能并不总能导致达到目标值的另一种解释是,这些目标值可能不切实际,需要调整。2016年年中,初筛的RR目标值从3.5%提高到5.0%,复筛从2.0%提高到2.15%。尽管如此,RU在初筛中的召回率通常仍过高。所有目标值主要基于Otten等[23]的研究,该研究使用模拟筛查检查和实验室环境中的训练集进行。这凸显了需要一项基于日常筛查实践中数字乳腺X线摄影的新研究,以确定RR的最佳目标值。为此,2019年在荷兰乳腺癌筛查规划内启动了筛查中乳腺癌召回与检出(ROCS)研究。Sechopoulos等[24]于2022年发表了研究设计,该研究的分析正在进行中。

我们的研究具有一定局限性。第一,我们无法调查审计后建议与表现变化之间是否存在因果关系,因为无法将审计的影响与其他因素分离。第二,由于审计期间间期癌数据不完整,我们无法将PPV-召回率图的结果与RU的灵敏度和特异度进行比较。

总之,我们的结果表明,PPV-召回率图是监测乳腺癌筛查项目中筛查放射科医生组阅读性能的合适工具。对于审计团队而言,它提供了对RR、CDR和PPV之间相互关系以及性能变化的洞察,这有助于制定改进建议。然而,对于个体放射科医生而言,仅基于组水平的PPV-召回率图的审计反馈可能并不总是足以实现这些改进。为更好地支持放射科医生,可将关于总体组performance的反馈与关于个体performance的反馈相结合,可提供具体的改进行动计划,并以更清晰、更直观的方式呈现反馈。

补充信息

电子补充材料

引用

  1. Geertse TD, Tetteroo E, Smid-Geirnaerdt MJA, et al. Applying the "positive predictive value-recall diagram" to monitor performance and provide recommendations for screening radiologists. Eur Radiol. 2025. PMID: 40906184. doi:10.1007/s00330-025-11978-3
  2. 全文:PMC12963250(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12963250/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。