文献速递乳腺乳腺X线

乳腺癌筛查中与癌症患病率和人工智能决策支持相关的阅片者偏倚——一项阅片者研究

Reader bias in breast cancer screening related to cancer prevalence and artificial intelligence decision support-a reader study.
PubMed 文献 · Eur Radiol · 2024-01-02

该阅片者研究基于2010至2013年Karolinska大学医院758例筛查乳腺X线摄影(癌症与健康1:1),比较原始筛查、无AI和有AI决策支持三种模式的敏感度与特异度。富集队列中无AI敏感度81%、特异度67%,加AI后敏感度降至75%、特异度升至86%(均p<0.001),阅片时间减少38%。

要点

  • 高癌症患病率阅片列表使乳腺放射科医师敏感度从原始61%升至81%、特异度从98%降至67%。
  • 加用AI决策支持后敏感度从81%降至75%、特异度从67%升至86%(均p<0.001)。
  • AI导致39例原检出癌症漏诊、16例原漏诊癌症被检出,净减少23例。

核心结论

  • 高癌症患病率列表使乳腺放射科医师敏感度明显升高、特异度明显降低。
  • 加用按筛查场景校准的AI信息后敏感度降低、特异度升高,阅片者操作点被推向AI的敏感度/特异度设定。
  • 作者认为AI临床实施后应仔细追踪筛查指标以确保影响符合预期。

研究设计与样本

  • 回顾性阅片者研究,基于CSAW-CC癌症富集病例对照人群,纳入758例筛查乳腺X线摄影(379例癌症、379例健康,1:1)。
  • 筛查图像于2010至2013年在Karolinska大学医院采集,使用Hologic全视野数字乳腺X线摄影,每侧乳腺含头尾位和内外斜位两个标准体位。
  • 参考标准为链接Stockholm-Gotland地区癌症中心乳腺登记,筛查后2年随访内病理确诊乳腺癌定义为癌症。
  • AI系统为Insight MMG(Lunit Inc.),检查级AI评分取四体位最高分,二分类阈值40为既往研究预设以匹配常规非富集筛查中平均筛查放射科医师的特异度。
  • 采用双读加共识讨论,先无AI后加AI,中间间隔6周洗脱期。

关键影像表现/征象

  • AI以图像提示标注可疑位置及0至100的异常评分,检查级评分取四体位最高分。
  • AI评分示例包括癌症99分、癌症40分、健康40分、健康0分。
  • 图4e显示AI漏诊但阅片研究者标记的癌症,图4f显示原始筛查放射科医师漏诊但AI和阅片研究者标记的癌症。

诊断标准与关键数值

  • 原始非富集筛查场景:敏感度61%(232/379),特异度98%(373/379)。
  • 阅片研究无AI:敏感度81%(307/379),特异度67%(255/379)。
  • 阅片研究加AI决策支持:敏感度75%(284/379),特异度86%(326/379)。
  • 加AI后敏感度相对降低7%(p<0.001),特异度相对升高28%(p<0.001)。
  • 标记率:原始筛查34%(258/758),阅片研究无AI 59%(444/758),有AI 46%(352/758),独立AI 36%(352/758)。

临床应用与阅片要点

  • 作者认为将AI用作筛查乳腺X线摄影分诊工具时,阅片者敏感度和特异度可能随所感知的癌症患病率变化。
  • 作者认为将AI用作同步助手时,阅片者操作点可能向AI系统设定的操作点偏移。
  • 作者建议在AI真实世界实施中仔细监测放射科医师整体和个体的表现。
  • 作者指出基于错误AI信息从阳性改为阴性的评估更常见于结构扭曲和非对称致密等细微征象,而非微钙化等更明显征象。
  • 作者指出Bi-RADS评分越高、可疑恶性影像征象数目越多,阅片者越不可能在查看AI信息后从阳性改为阴性。

局限性

  • 作者指出研究的富集比例极高,即使在高风险分诊实施中也可能不常见。
  • 作者指出原始筛查阅片与阅片研究并非同一批放射科医师,但均在同一类人群筛查环境中工作。
  • 作者指出这些交互效应可能无法事先估计,需要在AI筛查乳腺X线摄影真实世界实施中仔细监测。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Jan 2;34(8):5415–24. doi: 10.1007/s00330-023-10514-5

引言

用于计算机辅助检测(CAD)的人工智能(AI)越来越被视为缓解放射科医生短缺和提高癌症检测率的现实选择[1, 2]。回顾性研究显示,其癌症检测水平与乳腺放射科医生相当,阅读者研究也证明,在AI支持下阅读者的表现有所提高[3]。

AI CAD至少有三种不同的实施方式。第一,AI可作为独立阅读者实施,在双读中替代两名放射科医生中的一名[4]。第二,AI可作为分诊工具实施,将每项检查归入与预期癌症患病率相关的类别[5, 6]。第三,AI可作为同步助手实施,在放射科医生决定标记异常之前为其提供决策支持[7]。第二种方式可能因癌症富集而导致放射科医生操作点的潜意识改变,即阅读列表中的癌症比例相对于基准所依据的常规人群平均阅读有所增加。第三种方式意味着与放射科医生的互动最多,在临床实施前需要充分的阅读者研究,以了解不同阅读者如何受到影响,以及错误改变其评估的倾向如何受到所提供AI信息类型和自己所观察到的影像征象的影响。近期有报道显示,放射科医生在阅读筛查乳腺X线摄影时倾向于遵循AI的错误建议,存在严重的自动化偏差[8, 9]。遵循错误AI建议的倾向在阳性和阴性检查中均存在,且在经验较少的放射科医生中更为明显。了解阅片放射科医生如何受到AI信息的影响日益重要,因为AI不仅有潜力参与癌症检测,还能提取影像生物标志物用于密度评估、影像-病理相关性分析以及预测治疗反应[10]。

为进一步加深对癌症富集环境和AI决策支持可能如何影响放射科医生的理解,我们开展了一项阅读者研究,使用癌症比例较高的阅读列表,并先后在无AI决策支持和有AI决策支持的情况下完成完整的双读和共识讨论。

方法

研究设置

伦理审查委员会已批准该研究,并豁免了获取个体知情同意的要求。这项回顾性阅片研究基于公开的富含癌症病例的病例对照人群CSAW-CC(10.5878/45vm-t798)[11],我们从中提取了379名随机选取的乳腺癌确诊女性在诊断前最近一次乳腺X线摄影检查,以及379名随机选取的健康女性的检查。筛查乳腺X线摄影图像于2010年至2013年间在瑞典卡罗林斯卡大学医院采集。每次检查(无论健康或乳腺癌)的诊断参考标准通过与斯德哥尔摩-哥特兰地区癌症中心乳腺癌登记处链接来确定,该登记处的乳腺癌诊断基于病理学验证。我们将筛查后2年随访期内的诊断日期视为患有乳腺癌的参考标准。年龄仅有两个类别:40至55岁(“较年轻”)和56至75岁(“较年长”)。卡罗林斯卡根据是否在该医院服务区内拥有家庭住址,邀请所有40至74岁女性每2年参加一次乳腺X线摄影筛查。

图像

每次筛查检查均使用Hologic全视野数字乳腺X线摄影设备对每侧乳房采集两个标准体位图像:头尾位和内外侧斜位。

原始筛查阅片

对于历史筛查阅片,我们从医院放射信息系统中提取了原始两名筛查放射科医师的阅片结果以及每次检查的共识讨论召回决定。如果两人中任何一人标记为异常,该检查将进入共识讨论,由两名放射科医师共同决定该女性是否应被召回进行进一步检查或发送“健康通知信”。原始筛查放射科医师在筛查时可获取图像、活检史以及女性报告的任何症状。在瑞典,即使在成像时向放射技师报告症状的女性仍属于筛查人群,不被视为临床患者。

AI系统

用于阅片研究的AI系统为Insight MMG(Lunit Inc.)。在为阅片研究做准备时,AI系统对所有乳腺X线摄影图像生成了与0至100之间异常评分相关联的图像提示。四个标准体位中任何一项的最高AI评分定义为检查层面的AI评分。对于标记/不标记的二分类,我们使用了预先校准的阈值40,该阈值已在先前研究中定义,以匹配常规、非富集、全人群筛查中普通筛查放射科医师的特异性[4]。在有AI辅助的阅片研究环节中,阅片者和共识讨论在做出自己的评估时可获取上述所有信息。

阅片研究方案

检查在两次 sessions 中审阅——无人工智能(AI)和有同步 AI 决策支持——间隔 6 周洗脱期。图像显示在 Eizo Radiforce RX560 显示器上。研究放射科医生以及 AI 均无法访问既往图像、既往活检史和其他患者信息,且未被告知人群中癌症的比例。在有 AI 的 session 中,放射科医生可以访问检查级别的 AI 评分以及 AI 图像提示,显示单个图像发现的位置和评分(图 1)。在两次 sessions 中,无论有无 AI,两名乳腺放射科医生(M.J. 和另一名放射科医生;各阅读一半检查)处理第一读,一名乳腺放射科医生处理第二读(H.A.),共识讨论由这三名放射科医生中的两名进行。经验水平按乳腺成像特定工作时间计算,HA 超过 5 年,其他两名放射科医生超过 10 年。第二读相对于第一读是盲法的。在任何两次读中被标记为异常的检查,由三名研究放射科医生中的两名进一步讨论评估。除了标记异常外,放射科医生还按 1 至 5 分对检查进行排名,类似于 BI-RADS 类别,其中 1 表示无病变存在,5 表示病变被视为“明确恶性”。任何可疑病变根据乳腺摄影征象分类:肿块、微钙化、结构扭曲、不对称密度、乳头回缩、皮肤增厚、可疑腋窝淋巴结。对于每次读,读者使用秒表测量时间(秒),秒表在图像显示时启动,在做出标记或无标记决定时停止,不包括进一步表征图像发现和撰写完整评估的时间。

我们分析了三种不同的读片和共识方案:原始筛查放射科医生、不使用 AI 的研究放射科医生、以及使用同步 AI 决策支持的研究放射科医生,以每次检查的二元阳性和阴性读片并附图像标记为指标。对于每种方案,我们计算了标记率(任何读者标记的检查除以所有检查)和召回率(有召回决定的检查除以所有检查),然后,对于标记的检查和召回的妇女,我们计算了阳性预测值(诊断为癌症的阳性检查比例)、敏感性(阳性读片诊断癌症的比例)、特异性(无阳性读片的健康检查比例)和放射科医生工作量。此外,我们检查了因使用 AI 而改变的召回决定的发生情况,与原始 BI-RADS 类别和可疑病变的乳腺摄影征象相关。

图 1 读者研究中 AI 信息如何可视化呈现给放射科医生的示例。对于所有检查,左右乳房的最高 AI 评分显示在四张图像的底部(在此示例中左乳房为 99%)。此外,如果 AI 评分为 10% 或更高,可疑位置通过图像中的提示显示(在此示例中主要为红色) 查看原图 ↗

统计分析

所有统计检验和估计均使用Stata 15.1版(StataCorp)完成。采用卡方检验检验列联表中的差异。所有统计检验均为双侧检验。统计显著性水平设定为α = 0.05,未针对多重比较进行调整。

结果

研究人群

我们纳入了758名女性和检查(图2)。癌症比例为50%(379/758)。年龄较轻的女性(40至55岁)占整个数据集的52%(393/758),占健康组的64%(243/379),占确诊组的40%(150/379)。在379例癌症检查中,39例(10%)仅为原位癌,161例(42%)为浸润性癌且≤15 mm,170例(45%)为浸润性癌且>15 mm。

图2 检查筛选流程图。使用匿名化的CSAW-CC筛查队列,我们随机选取了379名在乳腺X线摄影后2年内确诊癌症的女性,以及379名在乳腺X线摄影后2年仍保持健康的女性。 查看原图 ↗

阅片者标记率

阅片者结果报告于表1。在非富集的全人群原始设置中,放射科医师(无人工智能(AI))的标记率为34%(258/758),而在富集的研究人群中,阅片研究放射科医师在无AI情况下标记了59%(444/758)的检查,在有AI决策支持情况下标记了46%(352/758)的检查。对于独立AI(在非富集环境中预先校准),标记率为36%(352/758)的检查。

表1 各阅片方案的筛查指标:原始筛查放射科医师、阅片研究放射科医师(有和无AI)以及独立AI 查看原表 ↗

共识讨论后的灵敏度和特异度

与原始设置的灵敏度61%(232/379)相比,阅片研究的灵敏度在无AI时更高,为81%(307/379),在有AI决策支持时降至75%(284/379),相对下降7%(p < 0.001)。与原始设置的特异度98%(373/379)相比,阅片研究的特异度在无AI时更低,为67%(255/379),在有AI决策支持时升至86%(326/379),相对增加28%(p < 0.001)。图3展示了灵敏度与特异度的变化——在原始非富集筛查设置与高度癌症富集的阅片研究设置之间(有和无AI)。使用AI时,阅片研究放射科医师在无AI时检出的癌症中有39例被漏诊,而先前漏诊的16例癌症在AI辅助下被检出,导致使用AI决策支持时净减少23例癌症检出。

图4展示了示例乳腺X线摄影。图a至d展示了具有不同AI评分及健康或确诊状态的乳腺X线摄影示例。图e展示了被AI漏诊但被阅片研究放射科医师标记的癌症乳腺X线摄影。图f展示了被筛查放射科医师漏诊但被AI标记的癌症乳腺X线摄影。最后,图g展示了最初由阅片研究放射科医师在无AI时检出、但随后在使用AI支持时被漏诊的癌症。

图3 筛查乳腺X线摄影中包括共识讨论的双阅片结果。灰色柱条显示检查在全人群筛查中评估时的历史性能。红色和蓝色柱条显示检查在富集队列(758例检查中50%为癌症)的阅片研究中评估时的性能,无AI(红色)和有AI(蓝色)决策支持。AI已经过校准,以在全人群筛查中表现出与放射科医师相似的性能。 查看原图 ↗
图4 乳腺X线摄影示例。a AI评分为99的癌症。b AI评分为40的癌症。c AI评分为40的健康者。d AI评分为0的健康者。e AI漏诊但被阅片研究放射科医师标记的癌症。f 筛查放射科医师漏诊但被AI和阅片研究放射科医师标记的癌症。g 研究放射科医师在无AI辅助下检出但在AI支持下漏诊的癌症 查看原图 ↗

改变评估的倾向——放射科医师、BI-RADS和影像征象

在阅片研究中,表2报告了研究放射科医师在查看AI信息后改变评估的比例。改变评估的倾向进一步通过AI之前分配的BI-RADS评分以及乳腺X线摄影中存在的病变征象来表征。从阴性变为阳性在阅片者一中发生2次,在阅片者二中发生4次。从阳性变为阴性在阅片者一中发生66次,在阅片者二中发生102次。AI决策支持更常导致放射科医师对BI-RADS 3类检查的判读改变(阅片者一在这些检查中改变了30%(64/215)的判读,而阅片者二改变了48%(97/201)的判读),而非BI-RADS 4类和5类(5次检查或更少)。对于BI-RADS 3类,从阳性变为阴性是正确的,即受筛女性未患癌症,在阅片者一中占61%(39/64)的病例,在阅片者二中占70%(68/97)的病例。基于错误的AI信息从阳性判读变为阴性判读,在具有更细微的可能恶性征象(如结构扭曲和不对称致密)的检查中比在更明显的征象(如微钙化)中更常见。BI-RADS评分越高、存在的潜在恶性影像征象种类越多,放射科医师在查看AI信息后从阳性变为阴性的可能性越小。

表2 研究放射科医师在查看AI信息后改变评估的检查特征——从阳性变为阴性和从阴性变为阳性 查看原表 ↗

癌症特征

在表3中,我们报告了按每种阅片策略“召回”和“未召回”分组的各癌症特征。在阅片研究中,无AI和有AI时检出的侵袭性癌症大于15 mm的数量分别为134和128,而检出的侵袭性癌症15 mm或更小的数量分别为134和119。因此,从阳性评估错误变为阴性评估在大侵袭性癌症中比在小侵袭性癌症中更少见。

表3 每种阅片策略检出和未检出癌症的特征 查看原表 ↗

阅片时间

无AI时双重阅片的平均时间为21 s(中位数19;p25,16;p75,24),有AI时为13 s(中位数13;p25,11;p75,15),相对变化为负38%。

讨论

在我们癌症高度富集的研究人群中,AI决策支持导致敏感性降低7%、特异性提高28%、放射科医师时间减少38%。与无AI决策支持的研究放射科医师相比,原始筛查评估的敏感性明显较低,特异性明显较高。

与BI-RADS定义的最低可接受敏感性75%(基于1年随访时间定义)相比,瑞典测得的平均敏感性较低,原因是随访时间为2年,期间收集到更多间期癌症,增加了分母。

我们研究中的阅读时间与之前一项研究报告的阅读时间不同,该研究报告无AI时为63秒,有AI时为72秒[12]。我们研究中阅读时间短得多,可能与我们仅测量从图像显示到作出有病灶或无病灶判断的时间有关。在阅读时间中,我们未包括对图像发现的进一步描述。此外,我们的阅片者未看到既往图像,因此所有四幅图像一次性以单一布局显示。我们未发现与之前研究相比在研究设计方法学上存在任何差异,能够解释我们观察到的使用AI时阅读时间缩短,而之前研究中时间延长的现象。一种推测是,这可能与AI信息的显示方式和显示时机有关。

与原始评估相比,阅片研究中的放射科医师敏感度显著更高,这似乎有些奇怪。我们将其解释为研究放射科医师逐渐意识到人群中癌症比例较高,并潜意识地调整其操作点,以应对标记检查的成本-获益比变化的结果。这是在将AI作为乳腺X线筛查分诊工具实施时的一项重要考虑因素。多项研究关注使用AI根据预期癌症患病率将检查分为十个类别[6, 7, 13]。这些研究能够证明,最高类别包含了大多数筛查发现的癌症以及许多间期癌症。然而,这些研究受限于提取原始筛查阅片判读结果,未充分考虑放射科医师知晓检查类别的偏倚。与我们的结果一致,在一项阅片研究中,阅读高患病率列表的放射科医师似乎将其操作点转向更高敏感度和更低特异度,以牺牲部分特异度为代价提高癌症检出率[7]。相应地,阅读低患病率类别的放射科医师可能被预期将其操作点转向更低敏感度和更高特异度。由同步AI决策支持引起的研究放射科医师操作点偏移证明了自动化偏倚,这与近期两项发表的研究结果一致[8, 9]。在我们的研究中,放射科医师在21%至41%的检查中将评估从阳性改为阴性,尽管其中31%至38%的病例中这一改变是错误的。这与Dratsch等人的研究结果一致,在该研究中,阅片者在20%至45%的病例中错误地遵循了AI信息。在Rezazade Mehrizi等人的研究中,放射科医师因错误的AI信息而漏诊了16%比例的癌症。在我们的研究中,我们观察到阅片者因错误AI信息而漏诊癌症的可能性与恶性证据的感知水平有关。当在查看AI信息之前,他们给检查分配更高的BI-RADS评分、更多且更显著的图像征象时,他们较少从阳性判读改为阴性判读。

从概念上讲,自动化偏倚似乎有两种类型:第一,放射科医师的操作点被推向人工智能(AI)的操作点,假阴性和假阳性错误朝相反方向变化;第二,由于过度依赖错误的AI建议,任何类型的错误都会增加。第一类自动化偏倚若被有意利用,可能有利于改善筛查的获益-危害比,在高风险人群中检出更多癌症,并在低风险人群中避免假阳性。放射科医师被推向AI助手的操作点这一现象将有助于减少阅片者间变异性,并确保所有参与者具有更平等的筛查操作点。然而,第二类自动化偏倚最好避免。近期一篇评论中提出了四种不同的对策[14]。在一项被提及的研究中,研究人员选择让AI在后台运行,仅在放射科医师有发生明显假阴性或假阳性错误的风险时进行干预[15]。

我们研究的一个优势是模拟了完整的放射科医师工作流程——包括初始阅片和随后的共识讨论。另一个优势是我们使用的AI系统在既往回顾性研究和近期一项前瞻性研究中均表现出高度准确的性能[4, 5, 16]。我们研究的一个局限性是富集比极高,即使在高风险分诊实施中,这种情况也可能并不常见。我们研究的一个不足是,进行原始筛查阅片的放射科医师与参与阅片者研究的放射科医师并非同一批人。然而,他们都在同一种基于人群的筛查环境中工作。

总之,放射科医师敏感性和特异性的变化受到阅片列表中癌症患病率、AI的操作点以及影像征象类型和数量的影响。当AI用于分诊时,可以预期放射科医师的敏感性和特异性会根据分别分诊至高风险和低风险的检查中所感知的癌症患病率而变化。当AI作为并行助手实施时,可以预期放射科医师会将其操作点转向为AI系统所确定的操作点。这些交互效应可能无法事先估计,因此需要在AI用于乳腺X线筛查的真实世界实施中对放射科医师的表现进行仔细监测,包括总体和个人层面。

引用

  1. Al-Bazzaz H, Janicijevic M, Strand F, et al. Reader bias in breast cancer screening related to cancer prevalence and artificial intelligence decision support-a reader study. Eur Radiol. 2024. PMID: 38165430. doi:10.1007/s00330-023-10514-5
  2. 全文:PMC11255031(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11255031/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。