在组织化乳腺X线筛查中,放射科医生阅读短批次或长批次读片是否影响其表现
该研究基于挪威乳腺癌筛查项目2012至2018年2937312次读片,分析读片在批次内位置与放射科医生表现的关系。调整混杂后发现,真阳性和假阳性率随批次内位置负相关,真阴性率正相关,敏感性随批次内位置下降;假阴性率上升但无统计学显著关联。
要点
- 批次内位置越靠后,真阳性率与假阳性率越低,真阴性率越高。
- 调整后敏感性从图像位置10的88.6%降至图像位置150的85.9%。
- 假阴性率随批次内位置上升但关联无统计学显著,作者认为差异在人群层面可能有临床意义。
核心结论
- 批次内图像位置与放射科医生的真阳性、假阳性和真阴性率相关,敏感性随批次内位置下降,假阴性率上升但关联无统计学显著。
- 作者认为敏感性差异虽小,但在人群层面或将差异乘以每位放射科医生的读片数时可能具有临床意义。
研究设计与样本
- 基于挪威乳腺癌筛查项目2012年1月1日至2018年12月31日数据的回顾性研究,最终纳入610104名女性的1468656次筛查检查、由148名放射科医生完成的2937312次读片。
- 每名女性每两年接受双侧乳房两视图乳腺X线摄影,采用独立双读,每侧乳房按1至5分给出解释评分:1为阴性、2为可能良性、3为中度怀疑恶性、4为可能恶性、5为高度怀疑恶性。
- 以每位放射科医生的解释评分和筛查结局将每次读片分类为真阳性、假阳性、真阴性或假阴性,随访关联召回评估和筛查检出癌,未纳入间期癌。
- 批次定义为两次连续评分之间至少间隔15分钟的读片序列,批次大小为批次内读片总数,图像位置为批次内读片的顺序编号。
- 采用多变量混合效应逻辑回归分析表现指标与图像位置(连续暴露变量)的关联,调整一天中的时间和星期几,并以个体放射科医生为随机效应;另探索读片时间的中介效应。
诊断标准与关键数值
- 真阳性定义为对召回后组织学证实为癌(导管原位癌或浸润性乳腺癌)的检查给出阳性评分;假阳性为阳性评分但共识或召回后结果为阴性;真阴性为检查结局阴性且评分为1;假阴性为检查因另一名放射科医生评分≥2而被召回并诊断出癌,但该放射科医生评分为1。
- 图像位置1至3的真阳性率为每1000次读片7.2,图像位置大于66为每1000次读片3.8;假阳性率分别为6.5%和3.5%;真阴性率分别为92.7%和96.1%;假阴性率分别为每1000次读片0.53和0.73;敏感性分别为93.2%和83.7%;特异性分别为93.4%和96.5%。
- 调整分析中,图像位置10、60、150的真阳性率分别为每1000次读片4.0(95%CI:3.8-4.2)、3.9(95%CI:3.7-4.1)、3.7(95%CI:3.4-3.9);假阳性率分别为5.4%(95%CI:4.8-5.9)、4.9%(95%CI:4.4-5.5)、4.3%(95%CI:3.8-4.7)。
- 调整分析中,图像位置10、60、150的真阴性率分别为94.4%(95%CI:94.0-94.8)、94.8%(95%CI:94.4-95.2)、95.5%(95%CI:95.2-95.8);敏感性分别为88.6%(95%CI:87.6-89.5)、87.7%(95%CI:86.6-88.7)、85.9%(95%CI:84.7-87.0);特异性分别为94.8%(95%CI:94.4-95.2)、95.2%(95%CI:94.9-95.6)、95.9%(95%CI:95.6-96.2)。
- 单例批次真阳性率为每1000次读片47.7,假阳性率为11.7%,真阴性率为83.5%;大于120次读片的批次真阳性率为每1000次读片3.6,假阳性率为3.5%,真阴性率为96.1%。
临床应用与阅片要点
- 作者认为在批次内阅读一定数量的筛查乳腺X线片可能有益,但需考虑真阳性评分下降的趋势。
- 作者指出图像位置1至3的真阳性率较高可能与放射技师或第一位读片者告知可疑发现的工作流程变异有关,该做法不符合独立双读。
- 作者报告图像位置10、60、150的中位读片时间分别为35秒(IQR:21-67)、27秒(IQR:18-48)、23秒(IQR:15-37),并估计图像位置对真阳性比值比总效应的17%通过读片时间中介,假阳性为8%,真阴性为9%。
局限性
- 仅当另一名放射科医生评分≥2时读片才可被分类为假阴性,因此假阴性率被低估,部分女性可能被两名放射科医生同时漏诊。
- 研究没有关于读片期间短于15分钟的休息或中断以及放射科医生工作负荷分布的信息。
- 由于工作流程变异,观察到图像位置靠前处真阳性率升高,批次内癌病例的这种消耗可能通过放大的患病率效应影响放射科医生的表现。
- 研究基于女性而非乳房进行分析,基于乳房的分析会更精确。
- 研究未纳入间期癌、乳腺密度、乳腺X线特征或肿瘤特征的信息,这些可能影响结果或对结果的解释。
全文中译7 节 · 点击展开
引言
乳腺X线摄影筛查的目的是在早期发现乳腺癌,并降低平均乳腺癌风险的无症状女性中的乳腺癌死亡率[1]。需要筛查大量女性才能挽救少数女性免于乳腺癌死亡。
筛查发现的癌症率可能受到女性个体疾病风险、项目组织方式以及放射科医生表现的影响。绝经状态、激素治疗使用和乳腺X线密度是风险因素的例子[2–5],而筛查间隔、目标人群的年龄范围以及既往乳腺X线摄影的可获得性是组织因素的例子[6]。放射科医生的经验、一天中的时段、每日阅片量、阅片所花时间、阅片序列(批次)数量以及批次大小是预期会影响放射科医生表现的因素的例子[6–11]。然而,关于这些因素相对重要性的证据稀少,且研究常在测试或教育环境中进行。
已有研究表明,无中断的批次阅片可在不影响癌症检出率的情况下降低召回率[9, 10]。另一方面,筛查阅片数百张乳腺X线摄影图像可能导致疲劳,预计警觉性下降会影响表现。最近一项研究显示,乳腺放射科医生的敏感性在一天中下降而特异性上升[7]。基于这些发现,我们预期在一批筛查阅片中敏感性会下降。
据我们所知,缺乏关于一批乳腺X线摄影图像中最佳筛查阅片数量的科学证据。然而,在阅读100张胸部X线片、60张骨折X线片和100张胸部CT扫描时观察到敏感性下降和特异性上升,但在27–50张乳腺X线摄影图像的序列中未观察到该效应[11]。所有测试集均为研究而进行了富集和创建。在一项中位总批次大小为35(四分位距:16–46)次阅片的整群随机对照试验中,改变第二阅片者的乳腺X线摄影图像顺序时,未观察到召回率、癌症检出率或意见不一致率的差异[12]。此外,放射科医生的敏感性没有差异,这与个体判读评分相反,后者随批次内图像位置增加而下降。
欧洲乳腺癌委员会倡议在有组织的乳腺X线摄影筛查项目中建议每年筛查量为3500至11,000次检查[6]。建议可获得既往乳腺X线摄影。2006年的欧洲指南指出,放射科医生的表现在30–40分钟后下降[13]。以每次阅片平均20–30秒的阅片时间计算,批次因此不应超过120[8, 14, 15]。然而,这些建议主要基于专家意见,而非证据。需要旨在产生此类证据的研究,以为女性提供循证乳腺X线摄影筛查。
在本研究中,我们利用2012年至2018年期间作为挪威乳腺癌筛查项目(BreastScreen Norway)一部分所收集的数据,研究了放射科医师在批次内按图像位置的表现。我们将表现定义为真阳性和假阳性以及真阴性和假阴性判读评分,以及这些评分的敏感度和特异度。我们假设表现与批次内的图像位置相关。
材料与方法
我们使用了来自挪威乳腺癌筛查项目的数据,该项目是一个面向50–69岁女性的基于人群的筛查项目[16]。研究中纳入的所有变量均作为常规筛查设置的一部分收集,并进行回顾性提取。该项目由挪威癌症登记处管理,癌症登记条例确保免除知情同意,以开展基于该项目所收集数据的监测、质量保证和研究[17]。挪威癌症登记处的数据保护官(申请号# 20/12601)批准了本研究。
挪威乳腺癌筛查项目每两年为女性提供每侧乳房的双体位乳腺X线摄影,以下称为一次检查。独立双读是标准做法,每侧乳房由每位放射科医师给出1至5的判读评分,表示乳腺X线摄影发现的可疑程度;1,阴性;2,可能良性;3,中度怀疑恶性;4,可能恶性;5,高度怀疑恶性[16]。所有由一位或两位放射科医师评分为2或更高的检查均在共识会议上讨论,并在会上决定召回该女性进行进一步评估,以下称为召回。在筛查的最初20年中,共识率为7%,因阳性乳腺X线摄影发现导致的召回率为3.2%,筛查检出癌症率为0.56%[16]。短期随访不是挪威乳腺癌筛查项目的标准程序。
我们将所有评分为2或更高的判读视为阳性,不考虑侧别,并将这些判读(以每次检查的最高评分表示)作为分析单位。标准程序是按照筛查单位实施检查的相同顺序判读乳腺X线摄影。然而,所有检查均可独立于原始顺序进行排序和检索。
我们收到了一份假名化数据文件,其中包含研究期间(2012年1月1日至2018年12月31日)进行的所有数字乳腺X线摄影的1,502,609次检查和3,004,129次筛查判读信息。我们排除了在23:00至07:00之间进行的筛查判读(n = 22,407)、因自报症状或技术原因导致召回的判读(n = 10,974)、未进行双读的判读(n = 3868),以及由研究期间判读次数少于500次的放射科医师判读的结果(n = 3355)。结果,一些检查最终仅有一位读片者的评分。这些被排除(n = 26,213)。最终研究样本包括610,104名女性的1,468,656次筛查检查。所有检查均由两位放射科医师判读,共产生由148位放射科医师完成的2,937,312次筛查判读(图1)。
感兴趣的变量
根据每位放射科医师的解释评分和筛查检查的结果,每次阅片被分类为真阳性、假阳性、真阴性或假阴性。随访涉及召回评估和筛查发现的癌症。 interval cancers未纳入。一次检查按每位女性定义,而非按每个乳房定义,这意味着分析是基于女性的,而非基于乳房的。放射科医师对检查中一侧或双侧乳房给出2分或以上的评分被定义为阳性评分。在本研究中,我们将真阳性定义为对一次检查给出阳性评分,且该检查在召回后经组织学证实存在癌症(导管原位癌或浸润性乳腺癌)。两位放射科医师解释评分均为1的女性乳房X线摄影见图2。假阳性阅片定义为对一次检查给出阳性评分,而该检查在共识或召回后最终为阴性;真阴性阅片定义为一次检查评分为1且结果为阴性。假阴性阅片定义为一次检查评分为1,而该检查因另一位放射科医师评分2分或以上而被召回后诊断为癌症。
放射科医师的评分在数据库中登记时带有时间戳,包括年、日期、小时、分钟和秒。我们将一个批次定义为持续到随后两个评分之间至少间隔15分钟休息为止的阅片序列,而批次大小定义为该批次内阅片的总数。图像位置定义为批次内阅片的顺序编号。为描述目的,在将图像位置1–3定义为第一类别后,根据四分位数范围对图像位置进行分类。其余图像位置分为4–16、17–33、34–66和> 66。批次大小根据大于1的批次大小的四分位数范围分为以下各组,共五组:1、2–40、41–72、73–120和> 120。一个批次内仅对一次检查进行屏幕阅片以下称为“单病例批次”。
统计方法
按图像位置和总批次大小的各分类,提供阅片数、真阳性和假阳性、真阴性和假阴性的频数和比例。图像位置1至100的真阳性和假阳性、真阴性和假阴性的比例以散点图呈现,并按第一和第二阅片者分层。初步分析显示,与批次中较后的图像位置相比,第一图像位置的阳性评分率较高。我们假设这是由于放射技师或第一阅片者披露的临床或乳房X线摄影发现所致,并在回归分析中排除了图像位置1–3的阅片。
采用多变量混合效应逻辑回归分析绩效指标与图像位置(作为连续暴露变量)之间的关联。由于可能存在混杂,我们在模型中对一天中的时间和星期几进行了校正。将个体放射科医生作为随机效应纳入模型。结果以图像位置10、20、30、40、50、60、70、80、90、100、150、200和300的校正比例及95%置信区间(CI)呈现。此外,我们通过阅读每项筛查检查所花费的时间(阅读时间)探讨了图像位置效应对绩效的可能中介作用。含阅读时间与不含阅读时间的模型所得比值比(OR)及95%CI呈现在补充材料中。使用Stata 16 MP(StataCorp. 2019. Stata Statistical Software: Release 16.1)分析数据,中介比例使用Stata中paramed的间接效应和直接效应计算[18]。
结果
在2,937,312次阅片中,210,425次(7.2%)在一个批次内被解读为第一、第二或第三份,670,934次(22.8%)的图像位置>66(表1)。图像位置1–3的检查的真阳性率为每1000次阅片7.2例,图像位置>66为每1000次阅片3.8例。图像位置1–3的假阳性率为6.5%,图像位置>66为3.5%。图像位置1–3的真阴性率为92.7%,图像位置>66为96.1%;图像位置1–3的假阴性率为每1000次0.53例,图像位置>66为每1000次0.73例。由此得出,图像位置1–3的灵敏度为93.2%,图像位置>66为83.7%;图像位置1–3的特异度为93.4%,图像位置>66为96.5%。
两名放射科医生均观察到批次内随图像位置变化阳性评分呈下降趋势、阴性评分呈上升趋势。我们观察到读者1在首次阅片时的真阳性比例低于读者2,而在较高图像位置时比例无差异(图3)。尽管总体趋势是批次内首次阅片的阳性评分较高,但我们观察到挪威乳腺癌筛查(BreastScreen Norway)各乳腺中心之间存在显著差异(补充图1)。
我们识别出74,768个批次,其中25,501个包含超过40次阅片(表2)。我们发现5,577次阅片(0.2%)在单病例批次中被阅读。其中,266次为真阳性结果,真阳性率为每1000次阅片47.7例。在最大批次(>120次阅片)中,真阳性率为每1000次阅片3.6例。单病例批次的假阳性率为11.7%,而>120次阅片的批次为3.5%。真阴性率在单病例批次中最低,为83.5%,而在>120次阅片的批次中为96.1%。
校正分析显示,图像位置与真阳性、假阳性和真阴性相关(补充表1a)。对于图像位置10,预测真阳性率为每1000次阅片4.0次(95% CI:3.8–4.2),图像位置60的率为每1000次阅片3.9次(95% CI:3.7–4.1),图像位置150的率为每1000次阅片3.7次(95% CI:3.4–3.9)(表3)。图像位置10、60和150的假阳性率分别为5.4%(95% CI:4.8–5.9)、4.9%(95% CI:4.4–5.5)和4.3%(95% CI:3.8–4.7)。真阴性率从图像位置10的94.4%(95% CI:94.0–94.8)增加至图像位置60的94.8%(95% CI:94.4–95.2)和图像位置150的95.5%(95% CI:95.2–95.8)。估计图像位置10的敏感度为88.6%(95% CI:87.6–89.5),图像位置60为87.7%(95% CI:86.6–88.7),图像位置150为85.9%(95% CI:84.7–87.0)。我们发现图像位置10的特异度为94.8%(95% CI:94.4–95.2),图像位置60为95.2%(95% CI:94.9–95.6%),图像位置150为95.9%(95% CI 95.6–96.2)。
校正模型显示,每次阅片所花时间与真阳性、假阳性和真阴性相关(补充表1b)。图像位置10的阅片时间中位数为35秒(IQR:21–67),图像位置60为27秒(IQR:18–48),图像位置150为23秒(IQR:15–37)(补充表2)。我们估计图像位置对真阳性比值比的总效应中有17%是通过阅片时间介导的。对于假阳性,介导比例为8%,对于真阴性,介导比例为9%。
讨论
在这项纳入约300万次筛查阅片的研究中,我们发现批次内的图像位置与放射科医师的表现相关。真阳性和假阳性的率呈负相关,而真阴性的率与批次内图像位置呈正相关。图像位置1–3的真阳性率约为图像位置>66的兩倍(每1000次阅片7.2次 vs. 每1000次阅片3.8次)。假阴性率随图像位置增加而降低,但该关联无统计学显著性。
关于分批阅读乳腺X线摄影筛查胶片的问题已有研究,但与批次内理想阅读数量相关的证据较少[8,12]。尽管未发现改变阅读顺序时癌症检出率存在总体差异,但在检查40例病例的过程中,个体召回的概率有所下降[12]。这与我们的发现一致。此外,我们发现模型化的阅片者敏感度随批次内图像位置而下降,从图像位置10的88.7%降至图像位置60的87.7%,但该差异的临床意义仍有讨论空间。荷兰的一项研究将批次定义为两次评分之间间隔达10分钟的连续阅读,并发现批次内图像位置与阳性评分呈负相关,但未报告检出率[8]。与我们的发现相似,他们还发现批次内较后图像位置的阅读时间缩短。
鉴于该项目中筛查阅片的标准工作流程和方案,我们在批次内首次阅读的真阳性率显著较高这一发现出乎意料。然而,如果筛查阅片延迟或等待时间较长,我们了解到连续阅片者可能会从放射技师或首位阅片者处获知可疑发现。这一假设在补充图1中得到证实。这种做法与独立双读不一致,并且会使批次内剩余的乳腺X线摄影胶片中癌症病例被耗尽。另一方面,在等待时间较长的时期,这种做法可以确保对可能的癌症病例及时进行随访、诊断和治疗。在调整后的比例中排除首次阅读后,我们仍然发现敏感度和特异度与图像位置之间存在关联。这表明我们的结果具有可推广性。
癌症患病率影响发现真病例的概率[19]。与低患病率环境相比,高患病率已被证明可降低假阴性率,这被称为“患病率效应”[20]。因此,已阅读图像中阳性病例的实际患病率可能会影响对后续阅读阳性发现的预期。这可能部分解释了较后图像位置敏感度下降的原因。批次内较后图像位置的敏感度预计会下降,因为阅读大量阴性病例预计会影响识别阳性病例的概率。由于筛查中癌症患病率较低,我们预计基于筛查环境数据的研究(如我们的研究)结果会与基于富集数据集的研究结果有所不同。
乳腺X线摄影筛查阅片是一项高强度且要求高的任务,包括低信号显著性、高背景刺激和高记忆负荷[21]。对13名放射科医生阅读每批40例数字乳腺断层合成检查的眼动追踪发现,在20例检查后眨眼次数增加,这表明疲劳或警觉性下降[22]。假设每次断层合成阅读需要70秒[14,15],20次阅读相当于23分钟,这与See等人的荟萃分析一致[21]。然而,数字乳腺X线摄影的平均阅读时间为20–30秒,导致约60次筛查阅片。我们研究的结果也可能提示批次大小约为60–70。
未来,机器学习和人工智能可能有助于解决大量阴性读片和长批次带来的挑战[23, 24]。然而,当人工智能可用于筛查环境时,必须建立并实施有效的工作流程和读片程序。
这项研究纳入了约300万次筛查读片、完整的登记数据以及来自16个乳腺中心的读片结果,据我们所知,这是迄今已发表的关于临床环境中批次读片的最大型研究。使用真实世界环境中的数据意味着结果可推广至类似的筛查项目。此外,研究未预先设定筛查读片的最大批次大小或时间限制。这些因素是本研究的优势。然而,本研究也存在局限性。第一,只有当另一位放射科医生给出2分或更高的评分时,读片才可被归类为假阴性。因此,我们的假阴性率被低估了,因为部分女性的癌症可能被两位放射科医生同时漏诊。第二,我们没有关于筛查读片期间短于15分钟的休息或中断的信息,也没有关于放射科医生之间工作量分布的信息。第三,由于工作流程的差异,我们观察到第一张图像位置的真正率升高。批次内癌症的这种消耗可能通过放大的患病率效应影响放射科医生的表现。此外,我们的研究是以女性为基础的。以乳腺为基础的分析会更加精确。最后,我们的研究未纳入关于间期癌、乳腺密度、乳腺X线摄影特征或肿瘤特征的信息,这些可能影响了我们的结果或对结果的解读。然而,在放射科医生回顾性审阅既往乳腺X线摄影片的研究中,约25%的间期癌被归类为漏诊[25, 26]。
总之,我们的结果可能提示,考虑到假阳性评分的下降趋势,在一个批次内阅读一定数量的筛查乳腺X线摄影片是有益的。然而,真正率评分的下降趋势也必须加以考虑。尽管读片者敏感性差异较小,但我们的结果在人群层面或当将这些差异乘以个别放射科医生的筛查读片数量时,可能具有临床重要性。
补充信息
ESM 1补充图1. 挪威乳腺筛查项目(BreastScreen Norway)中16个筛查中心各自图像位置1至100每1000次读片的真阳性数(DOCX 141 kb)
引用
- Backmann HA, Larsen M, Danielsen AS, et al. Does it matter for the radiologists' performance whether they read short or long batches in organized mammographic screening? Eur Radiol. 2021. PMID: 34110427. doi:10.1007/s00330-021-08010-9
- 全文:PMC8589803(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8589803/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。