乳腺癌筛查解读中阅片者表现的评估:筛查中乳腺癌召回与检出(ROCS)试验的研究设计
ROCS试验在荷兰国家乳腺癌筛查项目的实际阅片环境中,用平板电脑和网络摄像头采集21名放射科医师对42,215例数字乳腺X线筛查病例的恶性概率评分,以避免实验室效应并估计召回率-检出率曲线和ROC曲线。
要点
- 该设计在真实筛查流程中以平板滑动录入恶性概率评分,避免实验室效应和 prevalence 偏倚。
- 每个评分自动关联病例识别号,无需修改受认证保护的阅片工作站软件。
- 最终将用短期(1年)和长期(2年)随访确定结局,构建召回率-检出率曲线和ROC曲线。
核心结论
- ROCS试验旨在直接从筛查解读中估计荷兰国家乳腺癌筛查项目平均放射科医师的召回率-检出率曲线和ROC曲线。
- 预期结果将为确定乳腺癌筛查的最佳操作点提供基于实践的性能证据,并可作为评估数字乳腺断层合成或人工智能等新技术的基准。
研究设计与样本
- ROCS为在荷兰国家乳腺癌筛查项目实际筛查环境中采集阅片者恶性概率评分的前瞻性数据采集研究。
- 计划至少纳入20名放射科医师、每名解读约2,000例数字乳腺X线筛查病例,实际招募21名来自5个阅片中心的放射科医师。
- 数据采集于2019年3月19日至2019年6月6日完成,共获得42,215条恶性概率评分及时间戳,每名医师平均2,010条(范围954–2,842),14名医师记录超过2,000例。
- 所有图像采集使用Selenia(Hologic Inc.)系统,按标准头尾位(CC)和内外侧斜位(MLO)拍摄,由荷兰筛查专家中心(LRCB)同一组物理师按同一质量控制方案执行。
- 阅片在SecurView乳腺X线筛查工作站(Hologic Inc.)上进行,配双头5百万像素显示器(Coronis 5MP Mammo、MFGD 5621 HD、Barco)。
诊断标准与关键数值
- 恶性概率评分通过平板图形界面横向滑动录入,编码为从−100(正常)到+100(恶性)的准连续评分,0为中心(不确定),共201个可能评分。
- 阅片者被指示若不召回则滑到中心左侧,若召回则滑到中心右侧。
- 主要终点为荷兰国家乳腺癌筛查项目平均阅片者的召回率-检出率曲线。
- 次要终点包括平均乳腺放射科医师在实际筛查解读中的ROC曲线,以及判断阅片者表现是否随一个阅片时段内进程而变化。
- 将构建两条平均阅片者ROC曲线:一条按项目定义包括筛查 acquisition 日期后24个月内诊断的所有乳腺癌,另一条排除专家小组判定为不可见的间期癌,另有一条仅纳入浸润性癌。
临床应用与阅片要点
- 该研究使用平板和网络摄像头在常规阅片环境中采集评分,无需电子访问阅片工作站软件,对工作流程干扰最小。
- 试点测试中一名参与筛查的放射科医师在常规阅片时段使用平板阅读164例,与既往时段总时间比较估计因使用平板减慢8%。
- 参加研究的放射科医师报告该操作对其工作不具有侵入性。
- 该数据采集流程适合高通量图像解读研究,网络摄像头可灵活定位和瞄准计算机显示器任意区域,应可在更异质的阅片环境中类似设置。
局限性
- 多阅片者多病例研究依赖患病率人为升高的富集数据集,可能使结果产生偏倚。
- 参与研究的阅片者受「实验室」效应影响,其表现可能不同于实际实践。
- 审计数据仅产生单一的召回/检出配对估计,对评估召回率与检出率之间的权衡价值有限。
- 国际筛查项目间召回率与检出率无关联,筛查间隔、文化差异、诊断基础设施和医疗法律环境等因素使从国际数据估计召回率/检出率曲线存在问题。
- 预计全部获得记录中的一小部分将因无法获得病例最终结局等问题而被排除在最终分析之外。
全文中译12 节 · 点击展开
引言
结合治疗方面的进步,基于乳腺X线摄影的筛查被认为在过去二十年中对乳腺癌死亡率的显著下降起到了重要作用[1]。尽管如此,筛查性乳腺X线摄影本身并非完美的诊断试验;它不可避免地涉及灵敏度与特异度之间的权衡,或等价地,涉及召回率与检出率的无条件结局之间的权衡。理想情况下,当筛查作为区域或国家项目的一部分实施时,应根据项目的优先事项、目标人群的特征以及筛查所用流程来选择这种权衡,以平衡各项结局。
在荷兰,Otten等人发表的一篇文章[2]对制定乳腺X线摄影筛查中放射科医生表现的指南具有高度影响力。该研究促使筛查项目将目标召回率定为2%,预测癌症检出率为每1000次筛查4.52名女性。这些指南在项目过渡到数字乳腺X线摄影(DM)后仍然沿用。过渡后不久,2011年,召回率接近该值(2.14%,95% CI:2.12–2.17%),尽管检出率(6.3/1000,95% CI:6.2–6.5)比Otten研究预期的高出40%。这一差异可能归因于该研究的“实验室”性质,即使用了一套经过精选的病例来评估阅片者表现,且阅片者知道其决策不涉及患者管理。
此后多年来,荷兰的召回率有所波动,观察值通常略高于推荐值。2016年,项目召回率为2.43%,相应的检出率为每1000名筛查女性7.0例癌症[3]。在2018年最新的可用完整统计中,召回率已降至2.23%,相应的癌症检出率为6.7/1000[3]。这些与预期召回率和癌症检出水平的偏差,加之对筛查新方法(如人工智能和数字乳腺断层合成)的兴趣,促使进一步研究乳腺癌筛查中召回率与癌症检出率之间的权衡。筛查中乳腺癌召回与检出(ROCS)试验的目的是描述筛查实践中这些指标之间的潜在关系。
筛查实践中的审计数据通常用于确定项目性能。然而,审计数据仅产生召回/检出配对的单一估计值,因此对于评估召回率与检出率之间的权衡价值有限。为评估这种权衡,需要一个恶性肿瘤概率(PoM)评分,该评分可与不同的召回阈值进行比较,但这些评分并非作为筛查实践的一部分而获得。本质上,该PoM反映了阅片者在应用阈值将其决策二分化为召回/不召回结果之前的内部决策过程[4–6]。实验室研究允许收集PoM评分,随后用于生成受试者工作特征(ROC)曲线,以量化灵敏度与特异度之间的权衡。在了解疾病患病率的情况下,ROC性能可 readily 转换为召回率和检出率的估计值。然而,这些研究可能受到所谓实验室效应的影响,从而导致结果偏倚。通常,实验室研究涉及用额外的阳性病例样本丰富测试集,这也可能导致阅片者反应中的患病率偏倚[7]。
ROCS试验通过使用一种新型系统在实际筛查实践中获取PoM评分,避免了实验室效应的潜在问题以及将当前性能外推至不同操作点性能预测的困难。该系统设计为对临床工作流程的干扰最小化,并自动将PoM反应与病例标识符关联。在本特别报告中,我们介绍ROCS试验的设计,旨在确定数字乳腺X线摄影在荷兰国家乳腺癌筛查项目实际乳腺癌筛查环境中判读的性能权衡。目前,第一阶段数据采集——筛查期间阅片者病例评分的累积——已完成,并呈现该阶段的结果。第二即最终阶段的数据采集,涉及确定召回病例的地面实况,然后在2年等待期后确定未召回病例的地面实况,正在进行中。
材料与方法
本研究实施无需获得或未获得外部资助。本研究获得Radboud大学医学中心研究伦理委员会豁免伦理批准和知情同意的要求。
总体研究设计
ROCS试验的主要目标是通过直接从筛查判读中估计荷兰国家乳腺癌筛查项目中平均放射科医师的RR-CDR曲线,来估计召回率(RR)与癌症检出率(CDR)之间的权衡。次要终点包括估计平均乳腺放射科医师在实际筛查判读期间的ROC曲线,以及确定阅片者性能是否随着在一个判读会话内的进展而变化,如先前报道[8]。
为此,ROCS 涉及在多次筛查阅片会话(约 n = 8 次)中,由筛查放射科医师(n = 20)对其判读的每一个病例(每位放射科医师 n = 2,000 例)获取 PoM 评级,且对其常规阅片工作流程的干扰或偏离最小。ROCS 试验中所纳入病例的结局将通过筛查机构对召回病例的短期(1 年)随访以及通过荷兰癌症登记处的长期(2 年)随访来获取。
研究病例
ROCS 中纳入的数字乳腺摄影病例包括作为荷兰国家乳腺癌筛查规划的一部分所采集和判读的病例。在荷兰,筛查规划邀请所有 50 至 75 岁女性名义上每 2 年接受一次数字乳腺摄影乳腺癌筛查,该间隔在各地区存在一定差异。所有图像采集均包括标准头尾位(CC)和内外侧斜位(MLO)视图,在配备相同成像系统(Selenia,Hologic Inc.)的专门筛查中心进行。所有系统均遵循相同的质量控制方案,由荷兰筛查专家中心(LRCB)的同一组物理师为全国性规划执行。采集所有图像的技术人员均接受过专门培训,并定期接受筛查乳腺摄影的复训教育和审核。病例在专门的阅片中心分批判读,通常在采集后 1 或 2 天内完成。所有阅片均由经过认证的筛查放射科医师进行,他们接受额外的定期培训和评估以成为筛查规划的一部分。在整个规划中,乳腺摄影图像在配备双头 5 兆像素显示器(Coronis 5MP Mammo、MFGD 5621 HD,Barco)的 SecurView 乳腺摄影筛查工作站(Hologic Inc.)上查看。所使用的乳腺摄影显示器也由 LRCB 的物理师按照既定方案进行检测。
尽管荷兰国家乳腺癌筛查规划对所有病例采用独立双阅片,并对不一致的判读进行共识或仲裁,但 ROCS 侧重于个体阅片者的表现。这是因为本工作的总体目标是收集所需证据,为制定放射科医师新的表现指南提供依据。因此,所有表现估计均在个体阅片者层面进行,然后汇总为整个筛查规划的结果。此外,由于筛查的性质,所有采集和分析均在每病例层面进行,而非按每侧乳腺或每个病灶进行。
对于 ROCS,根据下文所述的样本量计算,共需要并计划纳入 40,000 例病例。所有纳入判读的病例均符合纳入条件,无排除标准。未尝试对病例进行排序,也未尝试针对受筛女性的不同特征平衡病例集。
研究放射科医师
所有参与荷兰国家乳腺癌筛查项目的放射科医师均被视为符合条件,因为他们已经必须满足参加该项目的最低培训、持续认证和病例量要求(每年筛查例数 > 3,000 例)。为最大限度地提高筛查病例在地理、社会经济及其他因素方面的多样性,研究针对来自全国五个不同阅片中心的放射科医师参与 ROCS。共招募了 21 名放射科医师参与研究,因为我们的目标是至少招募 20 名放射科医师。
数据采集
在判读每批筛查中的每个病例时,由判读放射科医师在完成病例复核后获取基于病例的 PoM 评分,且对工作流程的干扰降至最低。由于医疗软件的认证要求,这必须在不对图像复核软件进行修改的情况下实现。此外,由研究助理在阅片者进行图像判读期间手动或电子记录病例编号和 PoM 评分也是不可行的。
因此,为本研究开发并实施了一款平板电脑(Surface Pro 4,Microsoft Corp.)上的简化图形用户界面(GUI)(图 1)。该界面主要由横跨整个支持触摸屏的平板电脑的一条水平条组成,阅片者在反映其怀疑存在恶性肿瘤程度的水平位置垂直滑动。如果该病例不引起怀疑,则阅片者将在该条最左侧区域(标记为“正常”)垂直滑动;而如果确定存在癌症,则将在最右侧区域(标记为“恶性”)垂直滑动。该条的中心标记为“不确定”。滑动的水平位置被编码为从 −100(正常)到 +100(恶性)的准连续评分,中心为零(不确定),共产生 201 个可能的 PoM 评分。这一大范围评分量表参照了既往研究 [9]。放射科医师被指示,如果未回忆起该病例,则向中心左侧滑动;如果回忆起了,则向中心右侧滑动。通过仅显示带有三个描述符且无编号的条,以及由从绿色到红色连续渐变组成的条,对阅片者而言评分量表为连续量表。编码后的评分随后由平板电脑自动保存。
为确保记录的评分与正确的筛查病例配对,平板电脑连接到一个网络摄像头(C922 Pro Stream Webcam,Logitech),其位置设置为可拍摄显示邀请编号的屏幕区域的照片。为尽量减少增加的流程,无需确认 PoM 选择,也无需点击保存或下一步按钮。一旦输入评分,GUI 倒计时三秒,除非用户停止倒计时,否则数据将被保存,GUI 即准备进入下一病例。如果放射科医师想更改已输入的评分,则被指示重新输入评分,同一病例仅考虑最后给出的评分。连同照片和 PoM 评分,程序自动记录输入评分的时间,从而可进行时间分析。
进行了一项初步测试,让一位参与筛查的放射科医师在其一次常规排班的筛查阅片过程中使用该平板电脑。该次工作涉及阅读164例病例,除按所述使用平板电脑外,该次工作的所有其他特征均正常。将该次工作的总时间与之前的工作进行比较,估计使用平板电脑导致的速度减慢为8%。
研究终点
ROCS的主要终点是估计描述荷兰国家乳腺癌筛查项目中平均阅片者召回率与癌症检出率之间关系的曲线。根据该曲线,有可能确定因召回率增加而在筛查中检出癌症数量增加所带来的获益或无获益。除检查判读的PoM评级外,构建该曲线还涉及获取每位参与放射科医师建议召回的病例的结果。该数据可通过筛查组织获得。按照项目定义,女性从筛查中被召回后12个月内诊断的乳腺癌定义为筛查检出的癌症。
作为ROCS试验相关的次要终点,将估计两条不同的平均阅片者ROC曲线,以更好地描述阅片者在筛查项目中的表现。第一条将考虑项目定义的所有癌症,即筛查采集日期后24个月内诊断的所有乳腺癌。间隔期癌症病例将在必要的等待期后通过与荷兰癌症登记处 linkage 来识别。然而,已知所有间隔期癌症中约有一半在先前筛查时是可见的[10]。为识别这些病例,所有间隔期癌症病例将由专家小组审查,并分级为癌症不可见、存在微小征象或漏诊。这是荷兰国家乳腺癌筛查项目中的常规程序,用于教育和质量保证目的。将构建额外的ROC曲线,一条排除被判定为不可见的间隔期癌症,另一条仅涉及浸润性癌症。
确定样本量的模型描述
本文推导了一个乳腺癌筛查模型,并用其评估需要多少放射科医师和筛查检查才能生成精度足够的RR-CDR差异曲线。本文仅对该模型作简要描述,关于模型参数形式、用于拟合模型参数的数据以及用于生成RR-CDR差异曲线的模型操作的详细描述,请参见随附的在线补充材料。从概念上讲,该曲线是通过改变用作召回阈值的PoM评分,并将RR和CDR与使用PoM阈值为0时的标称值进行比较而生成的,PoM阈值为0代表当前实践的筛查方式。改变PoM阈值使我们能够预测RR变化对CDR的影响,并预测在指定阅片者数量和病例数量下差异估计的精度。模型参数值是利用2010年至2015年期间荷兰国家乳腺癌筛查项目的数据估计的。
使用该模型,图2显示了基于从20名放射科医师获取数据(每名医师阅读2,000次筛查检查)的CDR预测及估计结果的不确定性。如上所述,这代表了一项规模较大但可行、可在合理时间内完成的研究,因此我们评估了该样本量的充分性。该图假设召回率是通过调整召回PoM阈值以实现召回率的固定降低(例如,将召回率降低0.5%)来“诱导”的。所得曲线以与标称率(RR = 2.37%,CDR = 5.53/1000)的差值表示,误差线代表这些差值的预期95%置信区间。对于高达1%的召回率变化,CDR差值的标准差为0.12/1000或更低。这一差异精度水平证明了启动该研究的合理性。
数据分析
每位放射科医师的PoM评分将用于构建与图2所示类似的召回率和检出率曲线,以及传统的ROC曲线,使用成熟的软件完成此任务[11–15]。然后可将各放射科医师特异的曲线平均为一条代表不同召回阈值下估计组别性能的曲线。除曲线的可视化呈现外,效用分析可作为确定ROC或召回/检出率曲线最佳操作点的严格方法[16–19]。
结果
迄今为止,阅读中心的数据采集已完成。2019年3月19日至2019年6月6日期间,共有来自五个筛查中心的21名筛查放射科医师参与了研究,共采集了42,215条记录的放射科医师PoM评分和时间戳。每位放射科医师的平均记录数为2,010条(范围:954–2,842),其中14名放射科医师记录了超过2,000例病例。每位放射科医师的完成日期各不相同,取决于其在研究期间的阅读量。此外,每位放射科医师最终评分的病例总数也不同,因为记录的是完整时段,而非在达到2,000例时中途停止数据累积。
记录评分的分布见图3。在整个可用评分范围内获得了充分的分布,这对于构建适当的召回率/检出率和ROC曲线至关重要。需要注意的是,此处显示的评分数量和分布基于所获得的全部记录。因此,预计在所有获得的记录中,有一小部分将因多种不同问题而不得不被排除在最终分析之外,例如无法获得病例的最终结局等。
试验的最终结果将在收集实际结局的短期和长期等待期确定后公布。
讨论
ROCS数据采集方法在放射科医师实际阅读筛查乳腺X线摄影时获取PoM评分和时间戳。使用外部硬件(此处为平板电脑和网络摄像头)可以在无需修改受保护且通常为专有的工作站软件的情况下记录每例病例的评分和时间戳。一个简单的图形用户界面(GUI)仅需在触摸屏上滑动即可输入响应,并自动分配时间戳,对工作流程的干扰降至最低。对病例标识符进行照片确认避免了阅读者需要确认输入或手动移至下一例病例,进一步最小化了工作流程的中断。参与的放射科医师报告称该操作对其工作没有侵入性。
ROCS数据收集程序非常适合大批量图像判读研究。在国家筛查项目中,如在荷兰,这使得从多个中心收集此类数据以进行比较成为可行。将网络摄像头定位并瞄准计算机显示器任意区域的灵活性,应使得即使在更为异质的判读环境中也能实现类似的设置。鉴于数据收集程序的其余部分独立于判读工作站设置,荷兰所采用的方法对于基于实践中获得的病例评分开展类似研究应是可行的。本研究的结果将使基于实际筛查数据评估召回率与癌症检出率之间的权衡成为可能,从而避免或至少尽量减少任何“实验室”效应[7]。
该方法的一种替代方案是根据从国际筛查项目组收集的RR/CDR配对数据绘制曲线。由于不同项目以不同的召回率运行,这将在一定程度上提示召回率与检出率之间的权衡关系。然而,已有研究表明国际上召回率与检出率之间不存在关联[20],尽管这种关联可能存在于单个项目内部[21]。多种因素,如筛查间隔、文化差异、诊断基础设施以及医疗法律环境,都会影响一个项目、地区或国家的召回率和癌症检出率。这使得从国际数据估计RR/CDR曲线变得困难。
一旦构建了这样的RR-CDR和/或ROC曲线,就可以基于结果以数据驱动的方式选择该项目的最佳操作点。最佳操作点的知识随后可用于制定针对放射科医生召回率的指导。这一过程假设放射科医生愿意实施这些建议。但Otten等人研究得出的建议后召回率的变化支持了荷兰放射科医生能够根据筛查项目优先级调整其表现的观点。此外,荷兰正在评估向数字乳腺断层合成和/或纳入基于人工智能的乳腺癌筛查方法过渡的可能性,正如世界其他国家一样。因此,未来很可能需要重新评估新筛查方法在癌症检出与召回率之间的权衡。如果是这样,理想的做法是在对当前乳腺癌筛查实施中这一相同权衡有清晰理解的情况下开展该评估。
补充信息
ESM 1(DOCX 190 kb)
引用
- Sechopoulos I, Abbey CK, van der Waal D, et al. Evaluation of reader performance during interpretation of breast cancer screening: the Recall and detection Of breast Cancer in Screening (ROCS) trial study design. Eur Radiol. 2022. PMID: 35482123. doi:10.1007/s00330-022-08820-5
- 全文:PMC9668759(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9668759/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。