对一款CE认证AI系统在1,017,208次乳腺X线筛查检查中的回顾性评估
基于挪威乳腺癌筛查项目2004至2021年十个乳腺中心的1,017,208次筛查检查,回顾性评估CE认证AI系统(Vara 2.8)识别乳腺癌的表现。按NT评分将70%检查定为阴性时,仅1.8%的筛查检出癌被AI判为阴性;按SN评分将3%检查定为阳性时,81.5%的筛查检出癌被判为阳性。作者认为AI系统识别阴性与癌症病例表现良好,可用于减少放射科医生阅片工作量并可能提高乳腺X线摄影敏感度。
要点
- NT评分将70%检查判为阴性时,仅1.8%(107/5977)的筛查检出癌被AI判为阴性。
- SN评分将3%检查判为阳性时,81.5%(4871/5977)的筛查检出癌和19.0%(344/1812)的间期癌被判为阳性。
- N70中11.2%(12/107)的筛查检出癌被两位放射科医生均评为>2分。
核心结论
- AI系统在识别阴性病例和癌症病例方面表现良好,可用于减少放射科医生工作量并可能提高乳腺X线摄影敏感度。
- 关于间期癌与AI评分的结果提示该系统可能比放射科医生更早识别部分癌症,但表现不显著的癌症对AI和放射科医生均具挑战性。
研究设计与样本
- 回顾性观察性队列研究,纳入2004至2021年挪威乳腺癌筛查项目十个乳腺中心的1,017,208次标准数字筛查乳腺X线检查。
- 所有图像均为全视野数字乳腺X线摄影,设备包括Siemens MAMMOMAT Inspiration(n=599,358)、Philips MDM L50(n=71,087)、Hologic Selenia Dimensions(n=237,105)和GE SenoClaire(n=109,658)。
- 参考标准为筛查检出癌(召回后诊断的导管原位癌或浸润癌)和间期癌(阴性筛查后24个月内或假阳性结果后6–24个月内诊断的乳腺癌)。
- AI系统为CE认证及欧洲医疗器械法规认证的商业系统(Vara 2.8),对每次检查给出NT评分和SN评分,均为0.0–1.0。
关键影像表现/征象
- N70中筛查检出浸润癌最常见的乳腺X线表现为不对称(34.9%,29/83)和肿块(31.3%,26/83),P3中最常见为毛刺状肿块(46.8%,1776/3796)。
- 间期癌N70中最常见乳腺X线表现为毛刺状肿块(47.6%,108/227),P3中单纯钙化为13.4%(19/142)而N70为1.3%(3/227)。
诊断标准与关键数值
- 以所有癌症(筛查检出癌+间期癌)为真实状态参考,NT评分AUROC为0.921(95%CI:0.917–0.924),SN评分AUROC为0.922(95%CI:0.918–0.925)。
- NT评分按设备分层AUROC:Siemens 0.927(95%CI:0.923–0.932)、Philips 0.900(95%CI:0.884–0.916)、Hologic 0.921(95%CI:0.914–0.929)、GE 0.895(95%CI:0.882–0.907)。
- N90将90%检查定为阴性时7.1%(423/5977)的筛查检出癌被判阴性;N70为1.8%(107/5977);N50为0.4%(21/5977)。
- 间期癌N90被判阴性61.6%(1116/1812)、N70为34.5%(625/1812)、N50为18.9%(342/1812)。
- SN评分P10时92.8%(5546/5977)的筛查检出癌被判阳性、P3为81.5%(4871/5977)、P1为63.5%(3795/5977);间期癌P10为38.2%(692/1812)、P3为19.0%(344/1812)、P1为8.1%(147/1812)。
临床应用与阅片要点
- 若将P1选出的所有阳性病例在放射科医生已选病例之外加入共识会议讨论,本样本共识率将从8.8%(无AI筛查设置中的实际率)升至9.2%。
- P1的147例间期癌中51例已被一位或两位放射科医生选入共识,其中21例召回评估结果为阴性;96例间期癌仅由AI选出。
- P3中被判阳性的间期癌中65.7%(344/226)被两位放射科医生均评为阴性1分;P3中间期癌评分1+2者86.7%(52/60)在常规筛查中未被召回。
局限性
- 回顾性方法限制了结果对前瞻性筛查设置的普遍适用性。
- AI系统仅提供每次检查的整体风险评分而非分乳腺评分,且未提供AI可疑发现是否与实际癌症位置对应的信息。
全文中译12 节 · 点击展开
引言
乳腺癌是全世界女性中最常见的癌症,也是癌症死亡的主要原因之一[1]。乳腺X线摄影筛查被推荐作为二级预防措施,通过早期发现疾病来降低乳腺癌死亡率[1, 2]。与单次阅读相比,筛查乳腺X线摄影的双重阅读具有更高的敏感性,并且应在双重阅读后进行共识/仲裁以决定是否召回该女性[2–4]。大多数欧洲国家实行双重阅读[5]。
乳腺X线摄影筛查有益处也有危害。假阳性筛查检查可能被视为女性的负担,并且对乳腺中心、卫生人员和社会而言是资源密集型的。此外,假阴性筛查检查可能导致诊断延迟,无论是作为间期癌还是在连续筛查轮次中发现的较晚期筛查检出乳腺癌[6]。乳腺放射科医生的缺乏也是几个欧洲国家乳腺X线摄影筛查面临的挑战[7, 8]。
在过去几年中,人工智能(AI)已发展成为放射学和乳腺X线摄影筛查领域中一种有前景的判读工具。多项回顾性研究和一些前瞻性研究已证明AI在分诊、独立判读以及作为放射科医生判读筛查乳腺X线摄影的决策支持方面具有潜力[9–18]。在判读过程中使用AI的一个可能益处是在不降低筛查敏感性的情况下减少阅读量。其他益处可能包括提高癌症检出率和减少假阳性筛查结果的数量。
在将AI实施于筛查乳腺X线摄影的判读过程之前,需要在真实筛查数据上对算法进行彻底评估和验证。需要了解算法在不同操作点的敏感性,以确保实施策略的最优性和安全性。此外,了解AI评分与组织病理学肿瘤特征及乳腺X线摄影特征之间的关联,对于放射科医生确保安全实施和长期成本效益至关重要。
在本研究中,我们旨在基于回顾性筛查数据评估一个市售AI系统在乳腺X线摄影中检测癌症的性能。我们使用AI系统风险评分的不同阈值对阴性和阳性病例进行分类,并评估了各阈值下癌症病例的识别情况。我们还分析了不同AI评分的癌症的组织病理学肿瘤特征和乳腺X线摄影特征,以及AI评分与放射科医生初始判读评分之间的关联。
材料与方法
本回顾性研究经医学与健康研究伦理区域委员会批准(2018/13294),并根据GDPR第6条第(1)款(e)项和第9条第(2)款(j)项具有法律依据。数据披露的法律依据为《癌症登记条例》第3–1条和《个人健康档案系统法》第19a至19h条[19]。本研究基于挪威乳腺筛查项目(BreastScreen Norway)的数据,该项目是挪威全国性人群筛查项目,由挪威癌症登记处管理,该登记处是挪威公共卫生研究所的一部分。
研究样本
挪威乳腺癌筛查项目每两年邀请所有50–69岁女性接受双视图标准数字乳腺X线摄影检查[20]。在初始筛查阅片中,放射科医生对每侧乳腺给出1至5分的判读评分,其中1表示阴性或良性发现;2表示可能良性;3表示中度可疑;4表示可能恶性;5表示高度怀疑恶性。
在这项回顾性观察性队列研究中,我们纳入了2004–2021年在挪威乳腺癌筛查项目中接受筛查的女性的标准数字筛查乳腺X线摄影图像。AI系统只能处理恰好包含四幅图像的检查,因此具有四幅图像是本研究的纳入标准。在总体研究样本为1,022,065次筛查检查且AI系统可获得风险评分的情况下,我们排除了540次在乳腺癌诊断后进行的检查以及4317次因症状或图像技术不合格而导致召回的检查(图1)。最终研究样本剩余1,017,208次检查。
AI系统
所有图像均使用市售的、带有CE标志且通过欧洲医疗器械法规认证的AI系统(Vara 2.8版)进行分析。对于每次检查,AI系统提供“正常分诊”(NT)评分和“安全网”(SN)评分。两个评分范围均为0.0至1.0,评分越高表示乳腺癌可疑度越高。该AI系统是一个“两部分系统”;NT评分的目标是以最小误分类将检查归类为阴性,而SN评分用于以高置信度将检查归类为阳性[21]。AI系统的NT和SN评分可进行配置,以最佳平衡检出率和工作量减少,例如,可根据NT评分将50%的检查标记为阴性,并根据SN评分将1%的最可疑检查标记为阳性。未根据NT和SN评分被AI系统归类为阴性或阳性的检查将被标记为“未分类”,因为AI没有足够信心对这些检查作出判断。这些病例应由放射科医生判读[21]。
变量定义
对于回顾性数据,我们将共识率定义为在研究期间所有筛查检查中,由一名或两名放射科医生给出评分≥2后,在共识会议上讨论的病例比例。召回率定义为在所有筛查检查中,因乳腺X线摄影发现而在共识后召回进一步评估的女性比例。筛查检出癌为召回后诊断的乳腺癌(导管原位癌(DCIS)或浸润性癌),间期癌为阴性筛查检查后24个月内或假阳性筛查结果后6–24个月内诊断的乳腺癌。
探索了NT评分在四个阈值下的表现。在阈值1下,NT评分最低的90%检查被归类为阴性(N90);在阈值2下,80%被归类为阴性(N80);在阈值3下,70%被归类为阴性(N70);在阈值4下,50%被归类为阴性(N50)。对于SN评分,我们探索了四种不同的阳性病例选择阈值,其中P10将10%的检查归类为阳性,P3将3%归类为阳性,P2将2%归类为阳性,P1将1%归类为阳性。
放射科医师的判读评分根据两位放射科医师对每项检查的最高评分分为“1 + 1”、“1 + 2”、“1 + 3/4/5”、“2 + 2”、“2 + 3/4/5”和“3/4/5 + 3/4/5”。组织病理学肿瘤类型分为导管原位癌(DCIS)或浸润性癌。对于浸润性癌,我们分析了中位肿瘤直径(mm)、组织病理学分级(1–3级)、淋巴结状态(阳性/阴性)以及基于免疫组织化学的分子亚型。亚型根据略作修改的St. Gallen定义进行分类:Luminal A型(雌激素受体(ER)阳性、人表皮生长因子受体2(HER2)阴性、Ki-67 ≤ 30%,或Ki-67缺失时为1级或2级)、Luminal B型HER2阴性(ER阳性、HER2阴性、Ki-67 > 30%,或Ki-67缺失时为3级)、Luminal B型HER2阳性(ER阳性、HER2阳性)、HER2阳性(ER阴性、孕激素受体(PR)阴性且HER2阳性)和三阴性(ER阴性、PR阴性且HER2阴性)[22]。乳腺X线摄影特征针对浸润性癌进行描述;肿块、毛刺状肿块、结构扭曲、不对称、肿块伴钙化或单纯钙化,参照BI-RADS分类[23]修改,并与癌症登记数据库中的分类[20]一致。
统计分析
我们基于选择阴性(N90、N80、N70和N50)和阳性(P10、P3、P2和P1)检查的不同阈值,对筛查检出癌和间期癌病例进行了描述性分析。此外,我们计算了算法NT评分和SN评分的受试者工作特征曲线下面积(AUROC),按乳腺中心和筛查设备分层,并给出95%置信区间(CI)。采用整群 bootstrap 分析以考虑每位女性的多次 attendance。为了描述性探索AI风险评分(低 vs 高)与放射科医师对筛查检出癌和间期癌判读评分之间的关联,我们按N70(低评分)、P3(高评分)和未分类(未使用N70和P3分类为低或高)对结果进行分层。同样的分层用于探索AI风险评分与肿瘤的组织病理学特征及乳腺X线摄影特征之间的关联。我们使用Stata(StataCorp. 2023. Stata Statistical Software: Release 18. StataCorp LLC)分析数据。
结果
研究样本包括来自挪威乳腺癌筛查项目(BreastScreen Norway)10个乳腺中心的1,017,208次筛查检查(图1)。所有图像均为全视野数字乳腺X线摄影,由Siemens MAMMOMAT Inspiration(n = 599,358)、Philips MDM L50(n = 71,087)、Hologic Selenia Dimensions(n = 237,105)或GE SenoClaire(n = 109,658)采集(补充表1)。最小的中心贡献了38,063次检查(中心5),最大的中心贡献了177,661次检查(中心9)(图1)。筛查检出癌症的平均率为每1000次检查5.9例(5977/1,017,208;表1),间期癌症的平均率为每1000次检查1.8例(1812/1,017,208;表1)。以所有癌症病例(筛查检出癌症和间期癌症)作为真实状态参考值,使用NT评分时所有检查的AUROC为0.921(95% CI:0.917–0.924),使用SN评分时为0.922(95% CI:0.918–0.925)(表2)。使用NT评分,使用Siemens设备的乳腺中心检查的AUCROC为0.927(95% CI:0.923–0.932),使用Philips设备的乳腺中心为0.900(95% CI:0.884–0.916),使用Hologic进行的检查为0.921(95% CI:0.914–0.929),使用GE进行的检查为0.895(95% CI:0.882–0.907)(补充表1)。
NT和SN
当基于NT评分将90%的检查定义为阴性(N90)时,7.1%(423/5977)的筛查检出癌症被AI分类为阴性(表3a)。在N70和N50时,分别有1.8%(107/5977)和0.4%(21/5977)的筛查检出癌症被分类为阴性。对于间期癌症,在N90时有61.6%(1116/1812)被分类为阴性,在N70时为34.5%(625/1812),在N50时为18.9%(342/1812)。以所有癌症病例(筛查检出癌症和间期癌症)计算,在N70时有9.4%(732/7789)被分类为阴性。
如果将所有制间期癌症视为假阴性,研究样本中标准独立双阅片的敏感性为76.7%(5977/7789)。在一种情景中,即使用AI识别阴性病例并将筛查量减少70%(N70中无放射科医师参与检查的筛查阅片),敏感性估计为75.3%(5977 − 107)/7789。
使用SN评分将检查定义为阳性时,在P10时92.8%(5546/5977)的筛查检出癌症被AI分类为阳性,P3时为81.5%(4871/5977),P1时为63.5%(3795/5977)(表3b)。对于间期癌症,在P10时有38.2%(692/1812)被分类为阳性,P3时为19.0%(344/1812),P1时为8.1%(147/1812)。
在21例在N50时被分类为阴性的筛查检出癌症中,107例在N70时被分类为阴性,200例在N80时被分类为阴性,没有一例使用SN(P10、P3、P2或P1)被分类为阳性。在423例在N90时被分类为阴性的筛查检出癌症中,共有15例(3.5%)在P10时被分类为阳性。在P1、P2和P3时,这些癌症病例均未被SN识别。对于间期癌症,在1116例在N90时被分类为阴性的病例中,有10例(0.9%)在P10时被分类为阳性。
如果在共识会议上讨论P1中选择的所有阳性病例以及放射科医生已选择进行共识的病例,则该样本中的共识率将从8.8%(无AI筛查环境中的实际率)增至9.2%。在P1的147例间期癌中,51例已被一名或两名放射科医生选择进行共识,其中21例的召回评估结果为阴性。P1中共有96例间期癌仅由AI选出。
放射科医生对N70、未分类及P3中癌症病例的判读评分
在使用N70定义为阴性的筛查检出癌症中,37.4%(40/107)的判读评分为一名放射科医生1分、另一名2分,11.2%(12/107)的判读评分为两名放射科医生均为3分或更高(图2和补充表2)。在P3定义为阳性的间期癌中,共有65.7%(226/344)被两名放射科医生均评分为阴性,即1分。在P3中,大多数判读评分为1 + 2的间期癌,86.7%(52/60),在常规筛查环境中未被召回进行进一步评估。
N70、未分类及P3中浸润性癌症病例的组织病理学肿瘤特征和乳腺X线摄影特征
浸润性癌症的百分比在N70中为85.1%(91/107),在未分类中为79.2%(791/999),在P3中为83.4%(4062/4871)(表4)。N70中浸润性筛查检出癌症的中位肿瘤直径为10 mm(IQR:8–15),未分类中为10 mm(IQR:7–15),P3中为13 mm(IQR:9–18)。组织学分级3级的比例在N70中为16.9%(15/89),未分类中为19.9%(155/778),P3中为20.4%(824/4035)。对于Luminal A型,N70、未分类和P3的百分比分别为76.3%(58/76)、73.4%(505/688)和70.9%(2546/3593)。N70中筛查检出病例最常见的乳腺X线摄影特征为不对称(34.9%,29/83)和肿块(31.3%,26/83)。在P3中,最常见的特征为毛刺状肿块(46.8%,1776/3796)。
对于间期癌,浸润性癌症的百分比在N70中为93.1%(582/625),在未分类中为94.3%(795/843),在P3中为93.0%(320/344)(表4)。组织学分级3级的比例在N70中为38.9%(220/565),未分类中为39.6%(308/778),P3中为25.4%(79/311)。三阴性比例在N70中为18.8%(98/521),未分类中为13.1%(91/697),P3中为7.3%(20/274)。诊断时,N70中间期癌病例最常见的乳腺X线摄影特征为毛刺状肿块(47.6%,108/227)。在未分类和P3中,分别为43.4%(152/350)和42.3%(60/142)的病例为毛刺状肿块。单纯钙化登记比例在N70中为1.3%(3/227),未分类中为4.9%(18/350),P3中为13.4%(19/142)。
讨论
在这项使用回顾性筛查数据与一套人工智能系统结果合并的研究中,该系统应用于挪威乳腺癌筛查项目十个乳腺中心进行的逾100万次筛查检查,我们发现,当将人工智能风险评分(NT评分)最低的70%定义为阴性时,1.8%的筛查检出癌症被人工智能归类为阴性。使用SN评分将前3%归类为阳性时,81.5%的筛查检出癌症被人工智能归类为阳性。
在一项使用几乎相同的西门子检查样本的研究中,另一个获得CE认证的人工智能系统在仅纳入筛查检出癌症时报告了可比的AUROC估计值(本研究中为0.98,另一个人工智能系统为0.97),在将间期癌症+筛查检出癌症作为真实参考状态时同样可比(本研究中为0.93,另一个人工智能系统为0.93)[15]。在同一研究中,92%的筛查检出癌症和45%的间期癌症位于人工智能风险评分最高的前10%之中。在本研究中,93%的筛查检出癌症和38%的间期癌症在P10被识别。
使用SN评分,我们发现在诊断前筛查检查中,8.1%的间期癌症位于人工智能评分最高的前1%(P1)之中。我们的分析未纳入关于人工智能标记位置和真实癌症位置的信息,但一项使用同一人工智能系统的近期研究报道,在99%特异度操作点(用于模拟约1%召回率的示例性操作点)识别的假阴性中,91.2%(103/113)具有正确位置[9]。就借助人工智能支持在筛读取中更早发现间期癌症而言,这是一个有希望的结果。另一方面,在2396例间期癌症的总样本中,识别出正确位置的假阴性百分比为4.3%[9]。识别可疑病例的操作点必须仔细考虑和决定,以平衡潜在获益与危害,即放射科医师灵敏度提高和工作量减少 vs 更高的共识和/或召回率。
我们发现,在N70被归类为阴性的筛查检出癌症中,有12例(11.2%)被两位放射科医师均给出3、4或5分的判读评分。尽管本研究样本中病例数有限,人工智能系统很可能应给这些病例分配更高的评分。对于在诊断前筛查时被一位或两位放射科医师给出2分或更高判读评分的间期癌症,一项近期研究证明,21%在知情复核中被归类为漏诊,但其中仅少数被召回[24]。因此,使用人工智能作为决策支持可能通过为放射科医师的决策过程增加信息来减少漏诊癌症的数量。
对于筛查发现的癌症,肿瘤直径、组织学分级、淋巴结受累和亚型的结果表明,与高AI评分相比,低AI评分的筛查发现癌症具有预后有利的特征。对于间期癌症,观察到相反的情况。N70中的间期癌症与P3中的间期癌症相比,预后有利的肿瘤特征较少,组织学3级和三阴性癌症的比例较高,表明放射科医生或AI在筛查中未检测到的癌症生长迅速。这与来自BreastScreen Norway的其他研究一致,这些研究回顾性分析了其他算法[14, 15]。与P3相比,放射科医生检测到但AI未检测到的筛查发现癌症(N70)更常被分类为肿块和不对称,而非毛刺状肿块。肿块和不对称通常代表良性发现,放射科医生获取既往乳腺X线摄影对解读过程很重要。对于间期癌症,乳腺X线摄影特征是在诊断时而非筛查时登记的,尽管病例较少,钙化的比例(P3为13.4% vs N70为1.3%)可能表明AI在筛查读片中对于钙化具有早期诊断的潜力。
来自不同设备厂商和所有四个挪威地区卫生机构的大量检查和乳腺X线摄影是我们研究的优势。局限性涉及回顾性方法,这限制了结果对前瞻性筛查环境的普遍适用性。另一个局限性是AI系统为每次检查提供总体AI风险评分,而非针对每侧乳腺,且未提供AI认为可疑的发现是否与实际癌症位置相对应的信息。
总之,AI系统在识别筛查发现癌症病例方面表现良好,结果与使用相同和其他AI系统的其他研究相当。此外,关于间期癌症和AI评分的结果表明,该系统具有比放射科医生更早识别某些癌症的潜力。然而,具有较少可疑特征的癌症对AI和放射科医生都具有挑战性,且放射科医生在解读乳腺X线摄影时如何受到AI评分和标记的影响尚不清楚。在未來将AI实施于乳腺X线摄影筛查时,这些方面值得牢记。
补充信息
电子补充材料
引用
- Hovda T, Larsen M, Bergan MB, et al. Retrospective evaluation of a CE-marked AI system, including 1,017,208 mammography screening examinations. Eur Radiol. 2025. PMID: 40140078. doi:10.1007/s00330-025-11521-4
- 全文:PMC12350444(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12350444/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。