文献速递乳腺乳腺X线

深度学习辅助仲裁过程:基于病变的乳腺癌筛查性能回顾性评估

Using deep learning to assist readers during the arbitration process: a lesion-based retrospective evaluation of breast cancer screening performance.
PubMed 文献 · Eur Radiol · 2021-08-12

本研究基于德国人群筛查中2257例被召回的数字乳腺X线检查,评估深度学习AI系统区分召回良性病变与恶性病变的能力。结果显示,以AI评分1为阈值,可将无假阳性评分的女性比例从11.1%提高至38.0%,阳性预测值从12.8%升至16.5%,但病变水平敏感度从96.7%降至91.1%。结论认为AI在仲裁过程中尤其有助于减少肿块相关的假阳性召回,但需前瞻性研究验证。

要点

  • AI评分阈值取1时,可减少30.1%的读者假阳性召回,但敏感度下降5.6%。
  • 肿块相关病变亚组中AI与读者敏感度接近(97.1% vs 98.5%),假阳性显著减少。
  • 约四分之一召回恶性病变未被AI自动标记,需读者手动获取评分。

核心结论

  • 在仲裁过程中整合AI可减少良性召回并提高召回阳性预测值,但伴随一定敏感度损失。
  • AI系统对肿块相关病变的辅助决策尤为有益,敏感度与读者相当但假阳性明显减少。
  • 约四分之一召回恶性病变未被AI自动标记,读者仍需全面阅片以识别可疑病变。

研究设计与样本

  • 回顾性研究,纳入2011-2013年德国明斯特筛查单位2257例全视野数字乳腺X线筛查检查,年龄50-69岁。
  • 召回基于独立双读加仲裁,最终纳入295个恶性病变和2289个良性病变。
  • 使用深度学习AI系统(Transpara 1.5.0)对每个召回病变给出0-95分,基于病变进行分析。
  • 参考标准包括评估参与、活检组织病理学及24个月随访间期癌信息。

关键影像表现/征象

  • 召回恶性病变中35.6% AI评分超过90,94.2%评分高于0;良性病变中33.2%评分为0。
  • AI自动标记75.6%的召回恶性病变和22.8%的召回良性病变。
  • AI遗漏的17个恶性病变中70.6%表现为钙化,多数为BI-RADS 4a。

诊断标准与关键数值

  • 以AI评分1为阈值,病变水平敏感度从96.7%降至91.1%(差异5.6%,95%CI 3.1-8.0%)。
  • 无假阳性评分的女性比例从11.1%升至38.0%(差异26.9%,95%CI 25.1-28.8%,p<.001)。
  • 召回阳性预测值从12.8%升至16.5%(差异3.7%,95%CI 3.5-4.0%)。
  • 肿块相关病变亚组:敏感度97.8% vs 96.4%,无假阳性率14.2% vs 36.7%(差异22.4%,95%CI 19.8-25.3%)。
  • 钙化相关病变亚组:敏感度98.1% vs 91.7%,无假阳性率21.2% vs 34.8%。

临床应用与阅片要点

  • AI评分可作为仲裁时区分良恶性病变的辅助工具,阈值1可在较小敏感度损失下减少假阳性召回。
  • 对肿块相关病变,AI辅助决策价值较高,可在保持敏感度的同时显著降低假阳性。
  • AI未自动标记的病变需读者手动点击获取评分,阅片时仍需全面识别可疑病变。

局限性

  • 回顾性研究设计,结果需前瞻性研究进一步验证。
  • AI系统版本固定,未评估其他设备或序列的泛化性。
  • 研究仅纳入召回女性,未反映全筛查人群中的性能。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Aug 12;32(2):842–52. doi: 10.1007/s00330-021-08217-w

引言

随着越来越多基于深度学习的人工智能(AI)乳腺X线摄影筛查工具进入临床市场,人们将更加关注其在不同环境中的科学验证[1]。在数字乳腺X线摄影阅片者研究中,AI显示出能够显著减少放射科医师工作量的能力,提高特异度,并达到与放射科医师相当的癌症检出率[1–6]。

然而,临床验证仍然缺乏,目前尚不清楚应如何利用深度学习的能力来优化实践[7]。既往大多数研究基于回顾性选择的、癌症富集的数据集,这些数据集不能反映实践中基于人群的筛查项目的环境,后者的癌症患病率要低得多[8]。将特定实验环境所得的回顾性研究结果转化应用于筛查过程的不同环节,目前仍主要不明确[9]。此外,仅有少数研究考虑了AI系统的定位准确性,以验证同一张乳腺X线摄影图像上位置层面的假阳性和假阴性结果不会导致图像层面的真阳性评级[6, 8, 10]。

假阳性结果是乳腺X线摄影筛查的一个负面副作用[11, 12]。由于大多数筛查检查最终为阴性,AI可能有助于通过减少阅片者导致的假阳性结果来提高召回的特异度和阳性预测值(PPV-1)[10]。在德国,独立双读加仲裁的模式导致高达25%的所有检查由第一和第二阅片者与第三阅片者一起在共识会议上进行讨论。讨论的大多数病例在仲裁过程中被排除,从而建议进行常规两年一次筛查。最终,在每1000名接受筛查的女性中有41人获得召回建议,以诊断6名乳腺癌女性[13, 14]。相比之下,荷兰报告的召回率较低,每1000名接受筛查的女性中为21人,同时癌症检出率相当[15]。

文献中没有证据表明AI如何在仲裁过程中帮助指导人类决策,即判断可疑的乳腺X线摄影病灶是否需要进一步的诊断性检查。在以前瞻性方式使用AI以降低假阳性召回之前,似乎有必要在来自基于人群筛查项目的连续召回检查的真实世界数据集中对其性能进行回顾性科学评估。接受召回评估的女性亚组提供了特别高质量的数据,由于进一步的影像学检查、组织学检查(如有指征)以及针对间期癌的2年随访,其具有准确的基于病灶的参考标准标签。

本研究的目的在于评估基于深度学习的AI系统能否区分导致双读加仲裁后召回建议的良性和恶性乳腺X线摄影筛查异常,以减少对良性病变的评估并提高PPV-1。

材料与方法

本回顾性研究采用2011年至2013年间在德国明斯特参考筛查单位获得的连续数字乳腺X线摄影筛查检查。该研究经当地伦理委员会(德国威斯特法伦-利珀医师协会和明斯特大学)批准。评估内部匿名化数据无需知情同意。

筛查环境

德国的国家乳腺X线筛查项目基于欧洲指南[13]。目标人群包括50至69岁的女性,每两年受邀参加一次筛查。该项目包括由两名认证医师阅片者对双视角2D数字乳腺X线摄影进行盲法独立阅片。资质要求已在其他文献中详细描述[16]。在给出召回建议之前,一名或两名阅片者的可疑发现须在共识会议(仲裁程序)上由两名阅片者与第三名医师共同讨论,该医师执行集中组织的评估[17]。

研究背景

在2011至2013年筛查期间,共使用两台设备(MicroDose Mammography (L30),Philips Medical Systems;Inspiration,Siemens Healthineers)完成了41,722例数字乳腺X线摄影检查。五名具有五年以上乳腺影像经验的阅片者执行了独立双阅片。最终在共识会议上对2957名女性给出了召回建议。被召回女性的筛查数据(包括乳腺密度、共识会议上评估的影像学病灶特征及评估报告),在筛查时记录,并从筛查文档软件MaSc中回顾性提取。

所有召回建议中有134例(0.3%)基于临床或技术原因,被排除在本研究之外。2823例(6.7%)召回源于乳腺X线摄影异常。在2823例乳腺X线摄影召回中,566例因计算机X线摄影(CR)技术(n = 436)、乳腺植入物(n = 2)、评估失访(n = 26)或缺少参考标准信息(RSI)(n = 102)而被排除,最终2257例检查纳入研究(图1)。RSI包括参与评估并接受双侧超声检查,如有指征则加做额外乳腺X线摄影体位,完成随访检查和侵入性操作(例如微创组织取样后的额外乳腺手术),以及癌症登记处关于间期癌的信息。间期癌定义为在阴性筛查参与后24个月内发生的浸润性乳腺癌和导管原位癌(DCIS)。筛查项目内微创活检后的组织学评估由三名认证病理学家完成[16],其乳腺病理学经验为5至>15年。

图1 本研究入选筛查检查的流程图。癌症存在的金标准基于组织病理学和/或24个月随访确定。召回恶性:通过独立双阅片和仲裁后给出召回建议所检出的恶性病灶(即阅片者真阳性);召回良性:独立双阅片和仲裁后疑似恶性但实为良性的病灶(即阅片者假阳性);额外恶性:在评估期间或阴性评估后24个月间期内检出的恶性病灶,未在共识会议期间标记召回 查看原图 ↗

人类阅片者和人工智能(AI)的性能评估

为研究目的,被召回的乳腺X线摄影病灶若在筛查项目内(召回评估时)或阴性评估后24个月间隔内,于特定病灶位置(由共识会议定义)经组织学确诊为浸润性乳腺癌或导管原位癌(DCIS),则定义为恶性(即阅片者真阳性)。否则,被召回的病灶定义为良性(即阅片者假阳性)。

因此,每个被召回的病灶由一名筛查阅片者根据原始筛查记录在相应的筛查乳腺X线摄影中重新定位。使用人工智能软件Transpara(版本1.5.0,ScreenPoint Medical)获取每个被召回病灶的基于区域的整数值评分(0、27、28、……、95)。这通过自动放置病灶标记实现,或者,若人工智能未自动标记,则通过手动点击病灶以获得围绕病灶的圆圈(大小因病灶而异)。该软件为商业产品,使用深度学习卷积神经网络自动检测乳腺X线摄影中可疑乳腺癌区域[3, 4, 18]。该软件1.5.0版本基于约200,000张二维乳腺X线摄影的专有数据库(包括10,000例恶性和5,000例良性)进行训练和测试,该数据库包括来自五个不同厂商(Hologic、Siemens Healthineers、GE Healthcare、Philips、Fujifilm Healthcare)的设备在欧洲、美国和亚洲多个机构采集的图像。对于乳腺X线摄影中每个自动检测到的发现,软件(内部)赋予1至100的评分。对于评分为95–100的人工智能发现,向用户显示评分95。对于评分为1–26的人工智能发现以及所有无人工智能发现的区域,不显示评分。因此,未显示评分的被召回病灶被赋值为0(图2a–c)。若病灶在两个体位(头尾位、内外斜位)中均可见,则采用较高评分用于评估。基于(内部)区域评分,软件始终为整个检查显示1至10之间的总体评分(评估中未考虑)。我们使用每个被召回病灶的特定区域评分进行基于病灶的分析,以考虑潜在的位置层面假阳性和假阴性(图2c–d)。对于每个可能的截断值0、1、27、……、96,人工智能评分超过相应截断值的被召回恶性病灶和被召回良性病灶分别被评估为人工智能真阳性和假阳性。评分未超过截断值的被召回恶性病灶和被召回良性病灶分别被评估为人工智能假阴性和真阴性。

此外,被召回患者的恶性病灶若在评估期间或阴性评估后24个月间隔内被额外检出(无论是否在筛查乳腺X线摄影上可见),在所有敏感性计算中(无论是人工阅片还是人工智能阅片)通常被评估为假阴性。

由于每名被召回女性可能受一个以上乳腺X线摄影病灶影响,假阳性可发生于乳腺癌阴性和乳腺癌阳性女性中。

图2 研究样本中两名乳腺癌阴性女性(a、b)和一名乳腺癌阳性女性(c–d)的全视野数字筛查乳腺X线摄影视图。a 筛查乳腺X线摄影右中侧斜位视图所示被召回的致密影。评估确认良性局灶性不对称(阅片者假阳性)。软件未标记该病灶,也未显示病灶特异性评分。因此评分评定为0。b 头尾位视图所示被召回的圆形肿块,边缘模糊,位于左乳内侧象限。包括微创活检在内的评估确认纤维腺瘤(阅片者假阳性)。软件未标记该病灶,也未显示病灶特异性评分(评定为0)。c 头尾位视图所示被召回的架构扭曲,位于右乳外侧象限。评估确认浸润性乳腺癌(非特殊类型,pT1c,pN1a,cM0,G1)(阅片者真阳性)。软件漏检该浸润性癌(病灶特异性评分评定为0),但改为标记了与良性改变相关的无定形钙化(阅片者未召回,因此未纳入评估)(d)。该钙化的病灶特异性评分为42,导致总评分高达9 查看原图 ↗

统计分析

遵循自由响应范式[19],本研究的主要终点为:在所有女性(包括携带真阳性病灶的女性)中,没有任何假阳性评分的女性比例,称为非假阳性率(non-FPR),以及

相关的病灶特异性敏感性,定义为检出的恶性病灶(即真阳性)占所有恶性病灶的比例。

请注意,non-FPR原则上是一种适用于每例患者(可能)存在多个病灶情况的特异性测量指标。主要终点是作为AI评分分类截断值的函数进行估计的。根据Tango[20]获得了双侧95%置信区间(CI),用于估计在人类阅片与靶向AI阅片下non-FPR的差异,该比较基于截断值1,该截断值使病灶特异性敏感性的下降幅度最小,同时使AI阅片下的non-FPR相较人类阅片有所增加。non-FPR的比较采用McNemar检验。此外,病灶特异性敏感性差异的95% CI通过非参数自举法计算。PPV-1差异的95% CI采用Kosinski方法[21]确定。敏感性 and non-FPR还在两个亚组中进行了额外分析,分别为阅片者识别出肿块相关病灶或钙化相关病灶的女性(这些病灶可能显示额外的病灶类型特征,例如钙化+不对称)。分别至少有一个病灶不表现为肿块或钙化的女性未纳入相应亚组。

统计分析使用R 4.0.2版本进行。p值按Fisher的意义解释,代表反对无效应原假设的证据度量权重。p < .05视为值得注意。

结果

总共纳入2257名因295个恶性及2289个良性乳腺X线摄影病灶被召回进一步评估的女性(图1)。其中9名女性存在10个额外恶性病灶,5个在评估期间检出,5个在24个月随访间隔内作为间期癌检出(筛查程序之外)。在所有被召回的女性中,293名为乳腺癌阳性(13.0%),1964名为乳腺癌阴性(87.0%)。288名乳腺癌阳性女性中诊断出筛查检出乳腺癌(即至少在仲裁过程中或评估期间已识别出一个恶性病灶)。其中4名女性(2名因恶性病灶被召回,2名仅因良性病灶被召回)在评估期间检出至少一个额外恶性病灶。5名女性发生间期癌,均为仅因良性病灶被召回。在2584个被召回病灶中,295个为恶性(11.4%),对应293名乳腺癌阳性女性中的286名;2289个(88.6%)为良性,对应1964名无乳腺癌女性及43名乳腺癌女性。患者及病灶特异性特征总结于表1和表2。间期诊断的5个恶性病灶中有4个(80%)被认为是真间期癌,在筛查乳腺X线摄影上无恶性征象(表3)。

表1 研究样本特征及纳入研究的乳腺X线摄影数据 查看原表 ↗
表2 研究样本的乳腺X线摄影病灶特征 查看原表 ↗
表3 评估期间或间期检出的恶性病灶以及AI系统使用 cutoff 值为1检出或漏检的被召回恶性病灶的特征 查看原表 ↗

原始人工阅片的表现

独立双阅片结合仲裁的病灶特异性灵敏度为96.7%(305个恶性病灶中的295个)。总共11.1%(2257名女性中的250名)无假阳性评级。PPV-1为12.8%(2257名女性中的288名)(表4)。

表4 原始人工阅片和靶向AI阅片(cutoff 值为1)在总队列及亚组中的表现指标 查看原表 ↗

靶向AI阅片的表现

被召回恶性及良性病灶随AI评分分布见图3。在295个阅片者检出的恶性病灶中,105个(35.6%)评分超过90,而278个(94.2%)评分高于0。其余17个阅片者检出的恶性病灶(5.8%)评分均为0(例如见图2c)。相比之下,2289个被召回良性病灶(阅片者假阳性)中761个(33.2%)评分为0(例如见图2a–b),1528个(66.8%)评分高于0。激活AI系统的病灶定位功能后,295个被召回恶性病灶中的223个(75.6%)和2289个被召回良性病灶中的522个(22.8%)被自动标记。

图4显示了在AI评分不同截断值下,AI系统相应的病灶特异性灵敏度和非FPR。与图3的结果一致,截断值为1时,病灶特异性灵敏度下降最少,从96.7%(305个恶性病灶中的295个)降至91.1%(305个病灶中的278个),而与人工阅读相比,非FPR从11.1%(2257名女性中的250名)增至38.0%(2257名女性中的857名)(差异:26.9%;95% CI 25.1–28.8%;p < .001)(表4)。AI所实现的非FPR改善转化为PPV-1从12.8%(2257名女性中的288名)增至16.5%(1649名女性中的272名)(表4),以及阅片者引起的假阳性召回减少30.1%(1969名女性中的592名)。

在295个阅片者检出的恶性病灶中,17个(5.8%)被AI系统漏检,对应17名女性。其中1名女性还受AI检出的另一恶性病灶影响,导致在患者层面丢失16例乳腺癌诊断。漏检病灶包括7个(41.2%)导管原位癌(DCIS)(占所有被召回DCIS病灶的7.6%)和10个(58.8%)浸润性癌(占所有被召回浸润性病灶的5.2%),其主要特征为恶性可疑度较低的乳腺X线征象。这些病灶中的大多数(70.6%)表现为钙化(表3)。

AI性能在900名(39.9%)伴有肿块相关病灶的女性亚组中最高(病灶特异性灵敏度,原始阅读 vs. AI阅读:97.8% vs. 96.4% [138个病灶中的135个 vs. 133个];非FPR:14.2% vs. 36.7% [900名女性中的128名 vs. 330名]),而在660名(29.2%)伴有钙化相关病灶的女性亚组中较低(病灶特异性灵敏度:98.1% vs. 91.7% [157个病灶中的154个 vs. 144个];非FPR:21.2% vs. 34.8% [660名女性中的140名 vs. 230名],原始阅读 vs. AI阅读)(表4)。

图3 被召回恶性病灶(a)和被召回良性病灶(b)随AI评分(代表乳腺癌可能性,0、27、28、…、95)的分布。 查看原图 ↗
图4 AI系统诊断性能随AI评分分类截断值(0、27、28、…、95)的变化。对于每个截断值,x轴显示在所有(2257)名女性中至少有一个假阳性(即评分≥截断值的被召回良性病灶)的女性比例,而y轴显示相应的真阳性率(即在所有(305)个恶性病灶中评分≥截断值的被召回恶性病灶的比例)。灵敏度下降最少的截断值所对应的点坐标显示在括号中。由于10个恶性病灶未被双读加仲裁检出,终点(1, 1)无法达到。 查看原图 ↗

讨论

我们评估了一种深度学习人工智能(AI)系统在预测二维乳腺X线摄影病灶恶性方面的诊断性能,这些病灶因独立双读并基于仲裁的召回建议而被召回,所用数据来自一个基于人群的筛查项目中连续检查的真实世界数据集。使用灵敏度损失最低的截断值,与原始人工阅读加仲裁相比,AI系统显著提高了无假阳性评级的女性比例,从11.1%提高到38.0%,并将召回阳性预测值(PPV-1)从12.8%提高到16.5%。这一改善是以病灶水平灵敏度从96.7%降至91.1%为代价的(295个阅片者检出的恶性病灶中有17个被AI漏诊)。

多项研究表明,AI能够达到与普通放射科医师相当或更好的诊断性能[10, 18],在单读环境中作为决策辅助时可提高放射科医师的性能[3, 5, 6],或减少阅片工作量[4]。由于假阳性结果是筛查的固有风险,会导致额外的诊断性检查、焦虑和痛苦[11, 12],因此特异度和PPV-1是筛查项目的重要性能指标[13]。AI可能有助于提高这些参数。

与文献[14]一致,本研究样本中大多数被召回的女性相对年轻(50–54岁),且乳腺组织不均匀(ACR 3)。PPV-1为12.8%,处于其他欧洲国家报告范围(9.8–29%)[15, 22]的中间水平,并与国家筛查项目的PPV-1一致[14]。

我们侧重于基于病灶的AI评估。超过90%的被召回病灶被阅片者归类为恶性可疑度低(BI-RADS类似4a)。最常见的病灶特征(按频率递减)为肿块、钙化和致密影。大多数恶性病灶表现为钙化和肿块。使用截断值1时,AI未漏诊44个被归类为高度可疑(BI-RADS类似5)的被召回恶性病灶中的任何一个。大多数漏诊病灶被归类为BI-RADS 4a(17个中的15个),并表现为钙化(17个中的12个)。

当聚焦于肿块相关病灶的女性亚组时,灵敏度从97.8%降至96.4%(135个阅片者检出的恶性病灶中有2个被漏诊),而无假阳性评级的女性比例从14.2%提高到36.7%。

据我们所知,这是第一项评估靶向使用AI作为决策工具来区分乳腺X线摄影病灶良恶性、以指导进一步乳腺X线摄影相关评估指征的研究。该研究的一个特别优势是使用了来自基于人群筛查项目的连续召回的高质量数据,并具有基于病灶的准确真实标签,这些标签来自标准化评估和为期2年的 interval cancer 随访。

在Aboutalib等人[23]的一项相关研究中,卷积神经网络能够将召回的良性乳腺X线图像与阴性检查和恶性肿瘤病例区分开来,提示某些影像学特征——可能无法被人类阅片者识别——可能诱发假阳性召回[23]。由于深度神经网络的高度复杂性,他们目前无法进一步可视化这些影像学特征,也无法对其进行全面的临床解读——深度学习模型的可解释性仍然是人工智能研究的关键挑战之一[24]。此外,他们未评估其系统在同一数据集上与放射科医师的表现相比如何。

在我们的研究中,人工智能系统的病灶定位功能自动标记了所有召回恶性病灶的75.6%。阅片者应意识到,在所有召回的恶性病灶中,约四分之一由受过训练的阅片者发现的细微乳腺X线病灶不会被人工智能自动显示。因此,由人类对筛查乳腺X线片进行全面阅片不仅是法律要求,而且鉴于研究结果也是必要的。如果人类阅片发现可疑病灶,人工智能系统可用于根据基于病灶的评分修正最终决策。这导致本研究中5.8%的阅片者发现的恶性病灶被遗漏(评分0),但反过来预防了30.1%的假阳性召回。

本研究并非没有局限性。尽管我们使用了反映实践中被召回女性筛查人群的连续筛查,但我们的发现可能受限于使用单一筛查单位的回顾性检查。此外,在临床实践中,可以预期人工智能系统将用于指导放射科医师召回患者的最终决策,而非作为决策所依据的独立步骤。有必要开展前瞻性研究来解决这一问题,以评估在乳腺X线筛查项目的关键决策过程中使用人工智能的效果。

该回顾性研究并非旨在检验癌症检出率或假阳性召回的潜在增加,因为人工智能并未应用于共识会议期间讨论的所有病例。因此,所报告的性能指标与特定的研究设置相关。

与本研究中使用的人工智能系统不同,放射科医师可以获取既往检查(未经当前人工智能版本处理,如有),这可能影响其召回患者的决策。未来的软件发展,如纳入既往检查,可能会提高人工智能系统的诊断性能。

总之,该人工智能系统能够提高对召回的良性病变与召回的恶性病变的鉴别能力,从而在牺牲部分敏感性的代价下提高召回的阳性预测值。这种敏感性损失能否以减少假阳性召回作为交换,是一个重要的临床考量,但本研究无法回答这一问题,因为这些早期癌症可能与提高生存率相关。然而,应用该人工智能系统辅助决定是否召回女性似乎是有益的,尤其是对于肿块,该系统达到了与阅片者相当的敏感性,但假阳性显著减少。需要前瞻性临床研究来探究人工智能在乳腺癌筛查中的潜在获益在多大程度上转化为临床实践。

引用

  1. Kerschke L, Weigel S, Rodriguez-Ruiz A, et al. Using deep learning to assist readers during the arbitration process: a lesion-based retrospective evaluation of breast cancer screening performance. Eur Radiol. 2021. PMID: 34383147. doi:10.1007/s00330-021-08217-w
  2. 全文:PMC8794989(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8794989/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。