基于122969次筛查检查的回顾性数据探讨人工智能在乳腺X线筛查阅片中的应用策略
研究基于挪威乳腺癌筛查项目2009至2018年122969次数字乳腺X线筛查检查,由AI系统给出1至10分并回顾性分析11种AI与放射科医师联合阅片方案。以独立双读为参照(召回率3.2%、筛查检出癌0.61%、间期癌0.17%),部分方案可在癌检出率大致不变的前提下将阅片量减少50%至90%,但对召回率和间期癌的影响需前瞻性研究评估。
要点
- AI评分1-5判为阴性、6-10双读的方案估计召回率2.6%、筛查检出癌0.60%,阅片量减少50%。
- AI评分1-9判为阴性、仅10分双读的方案估计召回率1.2%、筛查检出癌0.53%,阅片量减少90%。
- AI作为独立系统按召回量选取检查时,覆盖了74%(555/752)的筛查检出癌。
核心结论
- 多种AI与放射科医师联合的理论方案有可能在不明显影响癌检出率的情况下减少阅片量。
- 对召回率和间期癌的可能影响必须在前瞻性研究中评估。
研究设计与样本
- 回顾性研究,数据来自挪威乳腺癌筛查项目,2009至2018年中部挪威地区卫生局4个筛查机构共132195次数字乳腺X线检查,最终纳入122969次检查(来自47877名女性),由2个乳腺中心阅片。
- 所有检查使用Siemens Mammomat Inspiration设备,标准流程为乳腺放射科医师独立双读,每侧乳腺按1至5分评估恶性可疑度。
- 采用商用AI系统Transpara 1.7.0(ScreenPoint Medical),检查层面AI评分为所有体位中的最高分,评分1至10分且各分值约各占10%。
- 以真实筛查场景下独立双读的结果为参照,探索11种AI与放射科医师联合阅片方案下的共识、召回和癌检出情况。
- 筛查检出癌定义为召回后6个月内诊断的乳腺癌(含导管原位癌和浸润性癌),间期癌定义为阴性筛查后24个月内或假阳性筛查后6至24个月内诊断的乳腺癌。
诊断标准与关键数值
- 参照值(独立双读):共识率8.8%、召回率3.2%、筛查检出癌6.1/1000次检查、间期癌1.7/1000次检查。
- 方案1(AI作为两名读者之一,AI选取评分最高的5.8%检查进入共识):共识率10.4%、召回率2.7%、筛查检出癌5.9/1000,阅片量减少50%。
- 方案2(AI选取评分10的检查进入共识,共识率14.2%):筛查检出癌5.9/1000,较方案1多检出8例筛查检出癌。
- 方案3(AI评分1-5判为阴性、6-10双读):共识率6.5%、召回率2.6%、筛查检出癌6.0/1000,阅片量减少50%。
- 方案9(AI评分1-5判为阴性、6分及以上需双读的比例不同):检出735例筛查检出癌(方案3为731例),阅片量减少63%。
临床应用与阅片要点
- 作者认为,由两名放射科医师阅片高AI评分的乳腺X线片可降低漏诊有临床意义癌的风险。
- 作者认为,高AI评分检查由两名放射科医师双读的方案可能优于AI作为两名读者之一的方案。
- 作者认为,若AI仅作为共识环节的决策支持而不参与个体阅片过程,前瞻性设置下共识率估计与本研究的估计大致相同。
- 作者指出,若在个体阅片过程中向放射科医师提供AI评分和热点,结果可能与本研究估计不同。
- 作者指出,安全减少阅片量的最佳AI评分阈值难以确定,大幅减少阅片量时略高于独立双读平均水平的共识率可能是可接受的权衡。
局限性
- 研究仅纳入17个乳腺中心中2个中心的乳腺X线片,且仅纳入使用Siemens设备筛查的女性,构成研究局限。
- 研究将方案数量限定为11种,其他AI与放射科医师的组合方式可能提供更多视角。
- 其他局限与假设和回顾性设计有关,研究假设所有癌病例均在召回时被选取和检出,而实际情况可能并非如此。
- 研究假设AI系统正确标记可疑区域且放射科医师召回所有癌病例才能达到估计的潜在筛查检出癌率;若共识更认同放射科医师而非AI,则估计值被高估。
- 方案1和2中部分筛查检出癌仅由AI而非R1选取进入共识,可能高估这两个方案的筛查检出癌率。
全文中译10 节 · 点击展开
引言
乳腺癌是全世界女性中最常见的癌症,也是癌症死亡的第二大常见原因[1]。乳房X线筛查联合改进的治疗已被证明可使筛查参与者的乳腺癌死亡率降低30–40%[2]。
欧洲委员会乳腺癌倡议建议在筛查项目中使用乳房X线照片的双重阅片而非单一阅片以早期发现乳腺癌[3]。筛查项目的整体性能取决于组织因素、图像质量和放射科医师的表现。筛查阅片是一项感知任务,放射科医师的表现可能受到阅片量和阅片条件的影响[4]。我们此前已表明,在挪威乳腺癌筛查项目中,23%的筛查检出癌症仅由两位放射科医师中的一位给出阳性评估评分[5],且在回顾性知情复核研究中,20–30%的筛查检出癌症和间期癌症被归类为漏诊[6, 7]。这些发现表明乳房X线筛查项目需要改进。
人工智能(AI)已被引入医疗保健的众多领域,且不受阅片条件和主观性的影响。在乳房X线筛查领域,关于AI的回顾性研究在癌症分类方面显示了令人鼓舞的结果[8–11]。然而,研究人群较小且不能代表常规筛查环境(即癌症患病率高于常规筛查环境),这限制了临床相关性[12]。此外,关于AI评分如何影响放射科医师判读的知识有限。AI结果如何呈现给放射科医师以及呈现时机也可能在不同方向上影响判读。
AI在筛查环境中可以以不同方式使用,不同的AI系统可能被设计用于特定的设置。例如,AI可作为独立系统直接选择检查进行共识或召回(替代),可作为分诊系统根据AI系统的风险评分将检查分配给不读片、一位或两位放射科医师判读,或可作为知情或独立双重阅片设置中的一位阅片者。关于AI与放射科医师理想组合的知识尚匮乏[13]。在规划昂贵的前瞻性研究和在筛查项目中实施AI之前,这是一个需要考虑的重要方面。评估AI与放射科医师联合使用后的筛查结局需要大量未用于开发或测试AI算法的回顾性数据。
减少乳腺放射科医师的工作量是在筛查阅片中使用AI的一个重要方面。判读筛查乳房X线照片是一个耗时的过程,约99.4%的检查被判定为阴性结果[14]。此外,挪威乃至欧洲均存在乳腺放射科医师短缺,AI在减少放射科医师筛查阅片量和社会成本方面的潜力是巨大的[15]。
在这项回顾性研究中,我们将参加挪威乳腺癌筛查项目女性的筛查结局与AI评分合并,并探讨了AI与放射科医师在筛查阅片中不同理论场景下的共识、召回和癌症检出。
材料与方法
本研究基于BreastScreen Norway收集的回顾性影像数据和筛查信息,该项目是由挪威癌症登记处管理的基于人群的筛查项目[14]。本研究经医学与健康研究伦理区域委员会批准(13294)。数据依据2001年12月21日第47号《挪威癌症登记条例》的法律基础予以披露[16]。
研究背景
在挪威,所有50–69岁女性每两年接受一次双侧乳腺双体位乳腺X线摄影筛查。标准流程为由乳腺放射科医师进行独立双阅片[17]。放射科医师对乳腺X线片的判读经验从新培训到超过25年不等。每位放射科医师对每侧乳腺给出1–5分的判读评分,以提示恶性肿瘤可疑程度(1,恶性肿瘤阴性;2,可能良性;3,中等怀疑恶性;4,可能恶性;5,高度怀疑恶性)。由一名或两名放射科医师判读评分为2分或以上的检查,会在至少两名放射科医师在场的共识会议上讨论,并作出召回该女性进行进一步评估的决定。该项目的详细描述见其他文献[14]。
研究样本
2009年至2018年期间,在挪威中部地区卫生局下属的四家不同筛查机构共进行了132,195次数字乳腺X线摄影检查。这些检查在两个乳腺中心进行判读。排除后,最终研究样本包括来自47,877名女性的122,969次检查,每名女性为2–3次筛查检查(图1)。所有检查均使用Siemens Mammomat Inspiration进行。有关研究样本和AI评分分布的更多细节见其他文献[18]。
AI系统
假名化检查使用由ScreenPoint Medical开发的商用AI系统Transpara 1.7.0版进行处理。简言之,该AI系统基于卷积神经网络算法为每侧乳腺的每个体位提供一个评分。该系统使用来自不同厂商的乳腺X线片进行训练,使用不同厂商回顾性数据的结果已发表[9, 19]。在本研究中,我们将一次检查的“AI评分”定义为检查层面的总体评分,即所有体位中的最高评分。该系统旨在使检查在1至10的AI评分之间均匀分布,每个评分约分配10%的检查。评分为1反映乳腺癌可疑度低,AI评分越高,乳腺癌风险越高。为了能够使用超过10个类别,我们还使用了连续的“原始AI评分”。
乳腺X线片由AI系统进行回顾性处理,这意味着放射科医师在阅片过程中无法获取AI结果。经AI系统处理后,AI系统的结果通过随机研究识别号与假名化筛查信息合并。研究使用2009–2018年在常规筛查环境中完成标准独立双阅片后的AI评分和回顾性筛查信息,以估计AI与放射科医师在乳腺X线片筛查阅片中不同场景下的可能结果。
AI与放射科医师联合进行筛查阅片的场景
我们设定了不同的理论场景,探讨AI评分与放射科医师判读在筛查读片中的组合方式,并估算了共识率、召回率和癌症检出率。可能的场景众多。我们纳入了11种(表1)。以两个中心采用独立双读的真实筛查环境的结果作为参照。针对不同场景,我们呈现了工作量减少情况,即放射科医师所需判读的筛查检查数量减少。读片量的减少不应等同于总体工作量的减少,因为我们未估算用于共识或所选检查读片的时间,而这预计会因是否有AI评分而有所不同。
在场景1中,AI作为两名读片者之一使用,AI评分最高的5.8%的检查被选入AI系统的共识。5.8%这一比例等于研究样本中个体放射科医师阳性判读的平均比例。在场景2中,AI同样作为两名读片者之一使用,但在此场景中,AI选择10%的检查进入共识;10%对应于AI评分10分。在场景1和2中,R1判读评分为2分或以上的检查也被纳入共识池。在场景3–10中,AI系统作为分诊系统使用,AI评分用于决定检查是否应由零名、一名或两名放射科医师判读(表1)。在场景11中,AI的选择率设定为独立双读的召回率,以探索AI作为独立系统的结果。
回顾性数据代表放射科医师在无AI评分可用的常规筛查环境中的判读。场景1–2与场景3–11有所不同,因为AI作为两名读片者之一使用,且AI可能选择放射科医师未选择的病例进入共识。这种方法可能意味着估算的不确定性更高。然而,场景1–10的召回代表的是研究样本中独立双读后实际被召回的女性。估计的筛查检出癌症数经核实为不同场景下召回检查中诊断的筛查检出癌症。对于场景1–10,我们呈现了被选入共识的间期癌症,因为这些是在前瞻性筛查环境中(AI评分可在共识时获得)最有可能被检出的病例。我们呈现了被选入共识、随后诊断为间期癌症的检查数量,并计算了纳入这些病例时筛查检出率的潜在最大值和间期癌症率的降低值。如果 later presenting 间期癌症的征象在筛查时已存在(漏诊间期癌症)并被高AI评分正确标记,则有机会将这些病例作为筛查检出病例检出。在场景11中,我们呈现了AI选择召回的间期癌症。在真实筛查环境中,其中一些病例实际上并未被召回。
癌症定义与检出
筛查检出癌症定义为筛查检查后因召回而在6个月内诊断的乳腺癌。导管原位癌和浸润性癌均视为乳腺癌。间期癌症定义为阴性筛查后24个月内或假阳性筛查结果后6–24个月内诊断的乳腺癌[20]。对于间期癌症病例,既往筛查乳腺X线摄影图像使用AI系统处理。召回定义为因乳腺X线摄影异常发现而导致进一步评估的筛查检查。
在敏感性分析中,对于独立双阅片的实际设置,筛查检出癌症视为真阳性,间期癌症视为假阴性。对于所有场景,我们将真阳性定义为(a)仅筛查检出癌症,以及(b)筛查检出癌症和间期癌症中既往筛查检查在场景11中被选入共识或召回者。在a中,不同场景下未列入召回检查的筛查检出癌症及所有间期癌症视为假阴性;在b中,未列入召回的筛查检出癌症及未被选入共识的间期癌症视为假阴性。
统计分析
分类变量以频数和百分比表示。在AI作为一个阅片者的场景中,我们可以将AI评分与放射科医师1(R1)、放射科医师2(R2)或独立双阅片设置中两者的随机组合相结合来估计不同比率。由于采用独立双阅片,我们预期两名阅片者的结果相似,但本文仅呈现AI与R1的结果,因为根据定义,第一阅片者是独立的。敏感性及其95%置信区间(CI)基于上述真阳性和假阴性,采用logit变换公式计算。筛查检出癌症和间期癌症潜在比率的置信区间针对非独立观测进行了校正。使用Windows版Stata 17.0(StataCorp)分析数据。
结果
在研究样本中,真实筛查环境下独立双读后,共识率为8.8%,召回率为3.2%,筛查检出癌症为每1000次检查6.1例,间期癌症为每1000次检查1.7例(表2)。以人工智能(AI)作为读片者之一,且AI系统的选择率等于个体放射科医师阳性评估的平均率(5.8%),情景1显示10.4%的检查将被选入共识。该情景下召回率为2.7%,筛查检出癌症为每1000次检查5.9例。在情景2中,所有AI评分为10的检查均被选入共识,共识率为14.2%,与情景1相比多检出8例筛查检出癌症。筛查检出癌症率与情景1相同,为每1000次检查5.9例。情景2的共识率导致既往筛查检查被选入共识的间期癌症数量最多,而潜在间期癌症率最低。
在情景3中,AI评分为1–5的检查被视为阴性,AI评分为6–10的检查进行双读,共识率为6.5%,召回率为2.6%,筛查检出癌症为每1000次检查6.0例(表2)。在情景1、2和3的设置下,筛查读片量将减少50%(表1)。情景4和5的潜在读片量减少分别为70%和90%,并且观察到共识率和召回率进一步下降,代价是筛查检出癌症率降低(表2)。
情景7和8观察到最高的筛查检出癌症率,其中低评分病例由一名放射科医师阅片,高评分病例进行双读(表2)。该比率与独立双读相似,情景7中有5例筛查检出癌症被AI分类为阴性,情景8中有6例。这些情景的读片量减少最低,分别为25%和35%(表1)。
比较情景3和情景9,两者均将所有AI评分为1–5的检查视为阴性,但需要双读的评分6及以上的检查比例不同,情景3检出735例筛查检出癌症,情景9检出731例癌症(表2)。尽管癌症检出差异较小,情景3有潜力将读片量减少50%,情景9减少63%(表1)。情景9在共识中讨论的病例数低于情景3(表2)。
在情景11中,AI作为独立系统选择的召回检查数量与独立双读相似,所选病例包括74%(555/752)的筛查检出癌症(表2)。
独立双读的敏感性为(78.6%,95% CI:75.9–81.1%)。以筛查检出癌症为真阳性病例,纳入不同情景敏感性的95% CI后,情景1–4和7–9的估计敏感性和CI下限均高于70%(图2)。在前瞻性设置中,我们预期敏感性将位于每个情景两个不同敏感性值(圆形和方形)之间的某个位置。对于情景1和2,以较低的间期癌症率为代价的潜在筛查检出癌症率高于独立双读后观察到的筛查检出癌症率(图2,表2)。
讨论
在本研究中,我们使用来自挪威乳腺癌筛查项目中两个乳腺中心的回顾性数据,估算了人工智能与放射科医师在筛查阅片中不同理论场景的一致性、召回率和癌症检出率。在场景1和2中,人工智能作为两名阅片者之一使用;在场景3–10中,人工智能评分用于选择由放射科医师进行单读或双读的检查。我们发现场景1–4和7–9的结果较有前景,因为估计召回率降低,而未观察到估计癌症检出率的大幅下降。
在人工智能和一名放射科医师阅读所有检查并选择病例进行一致性判定的设置(场景1和2)中,以及在人工智能评分为1–5视为阴性、6–10由两名独立放射科医师阅读的设置(场景3)中,估计的筛查阅片量减少相似。两种场景各有优缺点。来自同一研究样本中,23%的筛查检出癌仅由两名放射科医师中的一名检出[18]。在场景1和2中,尽管使用人工智能作为第二阅片者,一部分筛查检出癌将不会被选入一致性判定。在场景3中,没有一名放射科医师解读低人工智能评分乳腺X线摄影的安全网,但在本研究样本中,场景3估计的筛查检出癌率更高。然而,该结果与场景1和2的结果无统计学差异,且估计基于回顾性数据。因此,真实筛查设置中的结果可能不同。此外,组织病理学肿瘤特征显示,人工智能评分较高 versus 较低的筛查检出癌较为不利。我们认为由两名放射科医师解读高人工智能评分乳腺X线摄影的场景可降低遗漏临床显著癌症的风险。因此,相较于人工智能作为两名阅片者之一,两名放射科医师解读较高人工智能评分乳腺X线摄影的设置可能更受青睐。此外,基于我们先前关于人工智能评分和癌症分类的发表[18],我们发现高人工智能评分的间期癌比例较高。因此,如果两名放射科医师阅读这些检查,一些间期癌可能因此更早被检出,作为筛查检出癌。这一发现也支持对高人工智能评分乳腺X线摄影进行双读。
人工智能可能以增加(或不劣于)筛查检出癌症率为代价来降低间期癌症率的证据非常有限。一个来自瑞典的研究小组对429例间期癌症的既往乳腺X线摄影进行了知情回顾。在人工智能评分为10分的间期癌症中,共有58%(83/143)被分类为微小征象或漏诊,并被人工智能系统正确定位[21]。这一数字相当于所有间期癌症的19.3%(83/429)。在本研究中,我们通过将所有被选入共识判读的间期癌症视为筛查检出,探讨了在人工智能支持下将间期癌症作为筛查检出的可能性。然而,为实现估计的潜在筛查检出癌症率,我们假设人工智能系统能正确定位可疑区域,且放射科医师会召回所有癌症病例。如果共识判读同意放射科医师而非人工智能的意见,我们的估计则被高估[22]。
在情景1和情景2中,一部分纳入的筛查检出癌症是由人工智能系统而非R1选入共识判读的。在独立双读设置中,这些癌症是由于R2的判读评分而被检出的。纳入这些病例可能高估情景1和情景2的筛查检出癌症率,因为假设所有被某位放射科医师判为阴性而人工智能判为阳性的病例在共识判读后都会被召回,可能并不合理。然而,尽管这些病例仅由人工智能选入共识判读,我们仍选择将其保留为真阳性,因为我们预期其中一些病例会因高人工智能评分以及与两名或以上放射科医师的共识判读而被召回。在情景2中,729例筛查检出癌症中共有9%仅由人工智能选入共识判读。相反,10%仅由R1而非人工智能选入共识判读。这意味着81%的癌症由R1和人工智能共同选入共识判读,我们认为该率未被大幅高估。
用于选择单读或独立双读病例的人工智能评分最佳阈值难以确定,以在安全的前提下减少阅片量。通过大幅减少筛查阅片量,高于独立双读平均水平的共识率可能是一种可接受的权衡。这将如何影响后续召回率和成本是需要考虑的重要方面。在共识判读中讨论的病例其召回率可能增加。然而,总体召回率,即所有检查中被召回的病例比例,可能不会受到影响,因为人工智能判定为阴性(即未被选入共识判读)的病例在共识判读中讨论并在独立双读后被召回。然而,我们预期高评分检查对放射科医师的筛查阅片相比低人工智能评分检查更耗时。因此,筛查量的减少并不代表工作量的所有方面。
如果人工智能仅作为共识判读时的决策支持而不参与判读过程,我们预期本研究中估计的共识率在采用类似设置的前瞻性环境中大致相同。如果在个体判读过程中向放射科医师提供人工智能评分和热图,相关数字可能与我们的估计不同,因为在共识判读时呈现人工智能发现对判读和结论的影响预计会有所不同[22]。
我们研究的优势在于来自真实筛查环境的大量研究人群,包括筛查检出癌和间期癌。在挪威乳腺癌筛查项目中,不同乳腺中心的筛查检出癌率和间期癌率存在差异,人工智能在筛读取片中的应用可能对某些中心的支持作用更大。在挪威筛查开展的最初20年(1996–2016年),筛查检出癌率范围为4.4至6.7 [14]。仅纳入17个乳腺中心中2个中心的乳腺X线摄影图像,以及仅纳入使用Siemens设备筛查的女性,是本研究的局限性。我们将情景数量限制为11种,但人工智能和放射科医师的其他设置可能提供更多视角。其他局限性涉及假设和回顾性研究方法。我们假设所有癌症病例均在召回时被选中和检出,这在前瞻性筛查环境中可能并非如此 [5, 23]。此外,模拟独立双读取结果的阈值源自研究数据,可能不能代表其他乳腺中心。另外,在判读过程中或共识中使用人工智能作为支持可能影响放射科医师的工作流程。可能的因素以及这些因素在启动阶段和若干年后如何影响判读,需要进一步探索。
总之,在乳腺X线摄影筛查中使用人工智能作为支持的不同情景有潜力在不降低筛查检出癌率的情况下减少筛读取片量。不同情景下间期癌和假阳性结果率的可能降低需要在前瞻性研究中评估。
引用
- Larsen M, Aglen CF, Hoff SR, et al. Possible strategies for use of artificial intelligence in screen-reading of mammograms, based on retrospective data from 122,969 screening examinations. Eur Radiol. 2022. PMID: 35704111. doi:10.1007/s00330-022-08909-x
- 全文:PMC9705475(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9705475/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。