人工智能在基于乳腺X线摄影的乳腺癌筛查中的评估:乳腺级分析足够吗?
该研究回顾性分析1200幅来自NHS乳腺筛查项目的乳腺X线摄影,比较商业AI算法与1258名专业阅片者在乳腺级和病灶级的诊断性能。AI在乳腺级AUC为0.942、病灶级为0.929(差值-0.013,p<0.01),人类阅片者乳腺级AUC为0.878、病灶级为0.851(差值-0.027,p<0.01),AI在两级均优于人类。结论认为AI在病灶级诊断性能显著下降,提示定位恶性肿瘤准确性降低,但总体性能仍超过人类。
要点
- AI在病灶级AUC较乳腺级下降0.013(0.929 vs 0.942,p<0.01),提示定位准确性降低。
- 人类阅片者病灶级AUC亦较乳腺级下降0.027(0.851 vs 0.878,p<0.01)。
- AI在乳腺级和病灶级AUC均显著优于人类阅片者(p<0.01)。
核心结论
- AI在病灶级的诊断性能较乳腺级显著下降,提示其定位恶性肿瘤的准确性降低,但总体性能仍超过人类阅片者。
研究设计与样本
- 回顾性分析1200幅来自NHS乳腺筛查项目的乳腺X线摄影,使用商业AI算法Lunit Insight MMG V1.1.7.1与1258名人类阅片者(692名放射科医生、501名放射技师、65名乳腺临床医生)进行比较。
- 参考标准为病理证实的恶性或3年随访正常,AI召回阈值采用开发者推荐的≥10分。
诊断标准与关键数值
- AI在乳腺级AUC为0.942,病灶级AUC为0.929(差值-0.013,p<0.01);人类平均AUC乳腺级0.878(SD 0.029),病灶级0.851(SD 0.037)(差值-0.027,p<0.01)。
- 在开发者推荐阈值下,AI乳腺级敏感度88.7%(282/318),人类平均敏感度87.5%(278/318),p=0.62;病灶级AI与人类敏感度无差异(OR 0.71,95%CI 0.46-1.10,p=0.12)。
- AI乳腺级特异度87.4%(771/882),显著优于人类79.2%(698/882)(OR 0.55,p<0.01)。
- 匹配人类敏感度时(AI阈值≥10.5),AI特异度87.9% vs 人类79.2%(OR 0.52,p<0.01);匹配人类特异度时(AI阈值≥4.5),AI乳腺级敏感度92.1% vs 人类87.5%(p=0.051),病灶级敏感度90.9% vs 人类83.2%(p<0.01)。
临床应用与阅片要点
- 作者认为为改善人机协作,AI应在病灶级进行评估;该层面准确性不足可能导致自动化偏倚和不必要的患者操作。
局限性
- 原文未报告局限性。
全文中译23 节 · 点击展开
引言
汇总的回顾性研究已证实,人工智能(AI)在基于乳腺X线摄影的乳腺癌筛查中的诊断能力优于或相当于人类[1]。这表明某些AI模型可能对临床实践有用。因此,AI目前正被前瞻性地整合到真实世界的筛查工作流程中[2–4]。下一个关键步骤是探索其与人类的工作关系以及AI可能如何影响决策过程。然而,对其缺乏可解释性的担忧仍然存在,通常被称为“黑箱”现象[5]。一种可能缓解这一问题的方法是确保AI在乳腺X线摄影上显示其感兴趣区域(ROI)。
大多数研究在乳腺X线摄影中于乳腺层面评估AI和人类的表现,仅关注图像层面的分类,即是否存在癌症[6]。极少数研究考虑了AI和人类在乳腺X线摄影上标记的ROI的准确性[2, 7, 8],即像素级分类[6]。在真实世界的筛查中,人类报告者会对乳腺进行图像层面评分,但也被要求定位ROI。这使得参与病例仲裁或随访的人员能够理解原始阅片者的“推理过程”。同样,如果AI要被整合到筛查工作流程中,可解释性要素对于理解不一致的病例至关重要,特别是当AI提示了ROI但人类未提示时[3]。因此,应评估AI准确定位病变的能力,以便与人类提供的特定位置评分进行比较[6]。
本研究的目的是评估一种商业AI算法在乳腺层面和病变层面使用同一数据集评估乳腺X线摄影对乳腺癌的判读时,其诊断表现是否存在差异。此外,我们将AI的表现与大量专业人类阅片者的样本进行了比较。人类表现是在乳腺X线摄影筛查个人表现(PERFORMS)外部质量保证(EQA)方案[9]中评估的。
方法
研究样本
本研究遵循当地信息系统安全和数据保护政策进行。本文的研究经费由Lunit提供,Lunit未参与本文的撰写。
2012年至2023年间,英国人类阅片者作为国家卫生服务乳腺筛查计划(NHSBSP)强制性和常规质量保证的一部分,判读了十个连续的PERFORMS测试集(即方案),每个测试集包含60名患者的乳腺X线摄影。AI于2023年作为独立阅片者判读了相同的600例病例。
2012年至2023年间参加过单一PERFORMS方案的英国国家医疗服务体系乳腺筛查计划(NHSBSP)中的任何乳腺X线摄影阅片者均被考虑纳入本研究。NHSBSP常规邀请50至70岁女性每3年接受一次双体位二维数字乳腺X线摄影检查。放射科医生和放射技师占NHSBSP乳腺X线摄影阅片者的94% [10]。解读筛查乳腺X线摄影的放射技师接受过高级培训,通常达到硕士水平,并担任顾问放射技师和高级执业人员。乳腺临床医师是具有医学资质的内科医生,他们不是放射科医生,但专门从事乳腺疾病的诊断和治疗 [11]。因此,本研究纳入的阅片者包括委员会认证的放射科医生、专科培训的放射技师和乳腺临床医师。在国家医疗服务体系乳腺筛查计划(NHSBSP)中,规定报告者每年至少阅读5000例乳腺X线摄影 [12]。非委员会认证的放射科医生以及仅参与有症状乳腺报告的人员被排除。每个方案由不同数量的人员进行阅片。然而,同一人员可能参加过多个方案。因此,每个人员按方案被归类为独立实体。
PERFORMS测试集图像
PERFORMS测试集来源于NHSBSP中各英国筛查中心贡献的匿名乳腺X线摄影图像库。每个方案包含60例具有挑战性的乳腺X线摄影患者病例,并富集了癌症病例。PERFORMS的组织者与一组经验丰富的乳腺放射科医生(具有超过20年筛查经验)共同为每个方案选择乳腺X线摄影图像,根据活检部位的病理报告绘制感兴趣区(ROI),并确定每个病例的乳腺密度 [13]。一位具有超过20年经验的专家放射科医生最近于2023年根据活检部位重新审查了所有恶性病变(n = 328),并重新验证了ROI命中框,以确保元数据的准确性。
PERFORMS方案中选定的全视野数字乳腺X线摄影(FFDM)图像被上传至各筛查中心的图像存档与通信系统,供人工阅片者在其临床环境中进行解读。包括异常位置在内的发现记录在安全、密码保护的网站上 [13]。
人工评分系统
人工阅片者按照英国皇家放射学院(RCR)分类系统,对每侧乳腺和每个ROI分别独立给出1至5分的评分:1正常,2良性,3不确定,4可疑,5恶性。评分为1或2表示阅片者认为该病例为正常或良性,意味着该病例应返回筛查。如果评分为3、4或5,则阅片者认为该病例应召回进行进一步检查 [14]。PERFORMS平台允许参与者对每侧乳腺和每个病变分别赋予RCR评级。平台自动将乳腺级别评级更新为分配给病变的最高评级ROI。在ROI的RCR评分低于乳腺评分的情况下,可能出现不匹配。因此,如果人工阅片者在ROI中标记了特征但评分为1,而乳腺的RCR评分> 1,则该人工阅片者的病变级别判读被排除。如果某人工阅片者在某方案中有> 15%的病变级别判读被排除,则该阅片者的整个方案判读被排除,以确保所有人工阅片者病变级别敏感性的准确性。
人工智能评分系统
本研究使用的AI模型为Lunit Insight MMG V1.1.7.1。该AI在研究前或研究后的训练或开发过程中均未接触过这些病例。AI作为病例的独立阅片者。AI检测到的每个病灶被赋予0(最低怀疑度)至100(最高怀疑度)的恶性怀疑评分。召回阈值设定为开发者推荐的评分≥ 10 [15]。其他AI召回阈值经过测试,以匹配人类阅片者的平均敏感度(≥ 10.5)和特异度(≥ 4.5)。如果根据AI,某一乳房无感兴趣病灶,则赋予评分0。
统计分析
根据病例病理学或3年正常随访确定的病例真相(恶性或非恶性),对人和AI在决定是否召回乳房或病灶进行进一步检查的二元决策方面进行比较。基于人类阅片者平均漏诊10%癌症的假设,该分析在检测AI与人类阅片者平均漏诊癌症(即1—敏感度)方面中等效应量(比值比(OR),3.5或0.29)的先验功效α水平为99%。
受试者工作特征曲线下面积(AUC)分析
使用梯形法分别对十个方案独立计算AI和人在乳房水平和病灶水平的AUC。然后使用z检验分数进行分布比较,其相关p值取自正态分布。对于人类,应用Stouffer法合并十个独立方案的z分数,以评估多个测试集的总体效应[16, 17]。鉴于专家选择FFDM病例采用统一流程且每个测试集中恶性病灶比例相似,每个方案权重相等。约四分之一的乳房包含至少一个恶性病灶。
AI与人类阅片者平均性能分析
人类平均敏感度的计算方法为:计算某一方案的人类平均敏感度,然后将该比例乘以该方案内恶性病灶或乳房的数量。这提供了每个方案检测到的恶性肿瘤平均数量。然后将每个方案检测到的癌症平均数量相加,得出病例集中所有癌症中检测到的真阳性(TP)癌症病灶的平均“建模”数量。采用类似方法独立计算每个方案的非恶性乳房真阴性(TN)率,然后合并,计算所有非恶性乳房的平均“建模”特异度。使用OR将AI的敏感度和特异度与“建模”的人类阅片者平均值进行比较。
病灶水平分析
开发了一个自动化“命中检测”程序,用于提取每个人和AI在每张FFDM上标记的所有ROI的位置和评分。有关该程序的更多信息见补充文件。
敏感度
经病理证实的恶性ROI在FFDM上以多边形命中框标记。同一病灶的ROI可在内外斜位(MLO)和头尾位(CC)或两个体位均绘制。真阳性(TP)定义为阅片者在恶性ROI内放置标记并给出高于召回阈值的评分。乳房内任一体位中癌症病灶的最高评分作为该病灶的总体评分(图1)。对于正确放置的标记,评分低于召回阈值者归类为假阴性(FN)。任何恶性ROI其命中框内未获得标记者,赋予人工RCR评分1或AI评分0,同样归类为FN。对于含有恶性ROI的乳房,该方案不考虑AI或人工在命中框外的标记,因为这可能包含当时人工筛查者未检测到的恶性肿瘤。对于人工和AI,病灶水平灵敏度计算为正确定位并召回的恶性病灶数占恶性病灶总数的百分比。
特异度
在非恶性(正常或良性)乳房中,不考虑ROI,因此特异度按乳房水平分析(图1)。
乳房水平分析
阅片者对某一乳房在两个体位中的最高评分作为该乳房的总体评分。每个乳房独立评估。
灵敏度
若对含有恶性病灶的乳房赋予的评分高于相应召回阈值,则归类为TP。对含癌乳房的评分低于召回阈值者归类为FN。灵敏度计算为正确召回的乳房数占含恶性肿瘤乳房总数的百分比。
特异度
若非恶性乳房被赋予的评分低于相应召回阈值,则视为TN。若评分超过阈值,则归类为假阳性(FP)。特异度计算为正确返回筛查的非恶性乳房数占所有非恶性乳房的百分比。
OR的95%CI和p值按Kirkwood和Sterne所述方法计算[18]。所有其他统计计算使用IBM SPSS Statistics(27.0版)完成。所有统计检验均为双侧。对于所有分析,统计显著性α水平为< 0.05。统计分析由作者A.G.T.完成。
结果
人口统计学
一千五百名人类阅片者符合纳入本研究的条件。放射科住院医师(n = 117)和未在NHSBSP中报告的PERFORMS参与者(n = 125)被排除在研究之外。因此,共有1258名英国人类筛查全视野数字乳腺摄影(FFDM)阅片者与人工智能(AI)进行了比较。其中包括692名委员会认证的放射科医师(55%)、501名放射技师(40%)和65名乳腺临床医师(5%),图2。总体而言,本研究纳入的至少一个方案共有7015次人类阅片。在病灶水平分析中排除了61次人类方案阅片,因为她们未对相应方案中的感兴趣区(ROI)赋予独立评分,从而在病灶水平分析中剩余6954次人类阅片。其中包括4名人类阅片者因未在其任何方案中赋予ROI评分而被完全排除在病灶水平分析之外。
表1提供了600例PERFORMS病例的病理学和影像学特征详情。测试集中有318个恶性乳腺(27%),共包含328个癌症病灶。在乳腺水平分析了正常(n = 827(69%))或良性(n = 55(5%))乳腺。在恶性病灶中,五分之四为浸润性(328个病灶中的264个(80%)),导管型是最常见的癌症病理亚型(328个病灶中的229个(70%))。恶性病灶的中位大小为13(四分位距8 mm)。肿块是恶性病灶的主要影像学特征(328个病灶中的194个(59%)),其次是钙化(328个病灶中的58个(18%))和结构扭曲(328个病灶中的57个(17%))。密度类别为A和B的乳腺占测试集的67%(808/1200)。
乳腺水平和病灶水平受试者工作特征曲线下面积的比较
人类在所有十个方案中的平均AUC在乳腺水平为0.878(标准差(SD)0.029),在病灶水平为0.851(SD 0.037),导致AUC差异为−0.027,p < 0.01,表2。AI在乳腺水平的平均AUC为0.942。在病灶水平降至0.929,AUC差异−0.013,p < 0.01,图3。
使用Stouffer法合并十个测试方案的z分数,总体人类AUC表现 inferior于AI在乳腺水平(z = 2.983,p < 0.01)。在病灶水平使用相同方法,显示出相似的模式,总体人类AUC inferior于AI(z = 3.379,p < 0.01)。
人类与人工智能在乳腺和病灶层面的敏感性比较
开发者推荐的阈值
在乳腺层面,普通人类阅片者的敏感性为87.5%(278/318)。将其与人工智能在开发者推荐阈值下的敏感性88.7%(282/318)进行比较,未发现差异证据,p = 0.62,见表3。在病灶层面,普通人类阅片者与人工智能之间未观察到差异,OR 0.71(95% CI 0.46, 1.10),p = 0.12。
当匹配人类特异性时
在召回阈值≥ 4.5个AI匹配时,普通人类在乳腺层面的特异性相当。普通人类召回了278个乳腺但未能召回40个,与此同时,人工智能在阈值≥ 4.5时召回了293个乳腺但未能召回25个,敏感性分别为87.5%和92.1%(p = 0.051)。在病灶层面,普通人类检测并正确召回了273个病灶但未能召回55个病灶,人工智能 meanwhile 检测并正确召回了298个病灶但未能召回30个病灶,敏感性分别为83.2%和90.9%(p < 0.01)。
人类与人工智能在乳腺层面的特异性比较
开发者推荐的阈值
普通人类阅片者的特异性为79.2%(698/882)。这显著低于人工智能的特异性87.4%(771/882),OR 0.55,p < 0.01,见表4。
当匹配人类敏感性时
与普通人类在乳腺层面敏感性相匹配的人工智能召回阈值为≥ 10.5。在该阈值下比较特异性时,普通人类阅片者错误召回了184个乳腺,而人工智能错误召回了107个。这导致在匹配敏感性时,人类的特异性低于人工智能,分别为79.2% vs. 87.9%,OR 0.52,p < 0.01。
人工智能在乳腺和病灶层面评分不一致的恶性乳腺
人工智能在总共五个乳腺中给出了乳腺和病灶层面不一致的评分,这些乳腺共包含八个恶性病灶。在乳腺层面,人工智能在召回阈值≥ 10时会正确召回所有五个乳腺。然而,在病灶层面,八个病灶中有五个(62.5%)不会被召回,八个病灶中有四个(50%)未被人工智能正确定位。不一致病例的示例见图4、5和6。在数据集中所有恶性病灶中,人工智能未能定位4%,n = 13。这些病灶的人类误差率中位数为62.6%(四分位数1:41.8%,四分位数3:72.8%)。它们包括3个毛刺状肿块、3个边界不清肿块、2个边界清楚肿块、2个钙化区域、2个不对称致密影和1个结构扭曲区域。
讨论
理解AI标记感兴趣区域的位置对其可解释性以及对被召回者的随访至关重要。然而,大多数研究评估的是AI是否正确召回了恶性乳腺,而未考虑AI是否正确定位了所讨论的恶性病变。我们回顾性比较了单一商用乳腺X线摄影AI算法在1200例乳腺中的表现,评估其在乳腺水平和病变水平定位328例经病理证实的癌症的能力。AI的总体诊断性能在病变水平显著低于乳腺水平(AUC分别为0.929 vs. 0.942,p < 0.01)。这反映在开发者推荐的召回阈值下,AI在乳腺水平的敏感度为88.7%(318例恶性乳腺中召回282例),而在病变水平为87.5%(238例恶性病变中召回287例)。因此,当评估AI正确定位和召回恶性肿瘤的能力,而非仅将乳腺分类为癌性或非癌性的能力时,其性能出现了下降。然而,在类似比较中,1258名英国国家医疗服务体系乳腺筛查规划人类阅片者在乳腺水平和病变水平的诊断性能下降幅度更大(AUC分别为0.878 vs. 0.851,p < 0.01)。这反映在人类平均敏感度从乳腺水平(87.5%,318例恶性乳腺中召回278例)到病变水平(83.2%,328例恶性病变中召回273例)的更显著下降。在与人类的直接比较中,AI的AUC在乳腺水平和病变水平均更优(p值均< 0.01)。这反映在AI的特异度优于人类,为87.4%(882例真阴性结果中771例),而人类为79.2%(882例真阴性结果中698例,p < 0.01)。当AI校准至与人类特异度匹配时,在病变水平也观察到AI与人类敏感度的差异(分别为90.9% vs. 83.2%,p < 0.01)。我们的结果表明,AI在乳腺X线摄影中的诊断性能与人类相似或超越人类,但其在图像和病变水平对恶性肿瘤的分类存在差异。我们的发现支持将AI纳入前瞻性筛查工作流程的理念,在此流程中恶性肿瘤的定位对患者和筛查过程均有益。
多项研究表明,人工智能(AI)能够有效检出最初被人工评估漏诊的筛查乳腺X线摄影中的间期癌[19–21]。由于这些癌症对患者预后不良,正确对其进行定位以进行活检对任何筛查项目都至关重要[22]。随着AI被应用于未来的筛查项目,它很可能会召回包含肉眼不可见病灶的额外病例。这一点在瑞典的一项前瞻性配对阅读者研究中得到了观察,该研究中使用的同一AI模型额外召回了19名最初被两名人工阅读者排除的患者。随后对AI标记的感兴趣区域(ROI)进行了活检,全部证实为恶性[3]。事实上,在为数不多的病灶水平研究中,一项研究显示AI能够正确定位78%(n = 93)的在初始筛查中被漏诊并以间期癌形式呈现的癌症(病例对照形式)。在这些病例中约四分之一(26%,n = 24/93),AI能够正确定位恶性肿瘤,而根据由四名乳腺专科放射科医师组成的小组对乳腺X线片的回顾性审阅,当时并不存在癌症的影像学特征[7]。在我们的研究中,当AI的召回阈值与人工特异度相匹配时,与平均人工阅读者相比,AI额外召回了25个癌性病灶。这些研究说明了在病灶水平而非乳房水平评估AI的重要性。AI很可能会召回额外病例[3, 7, 19–21],因此,我们作为人类必须在阅读、仲裁和随访过程中理解其额外的ROI,以优化人-AI关系,并尽量减少因自动化偏差[23]而导致的不必要检查或活检。
随着我们逐步将人工智能(AI)引入前瞻性研究,我们开始能够理解AI对患者治疗结局可能产生的实际影响,而非仅仅关注标准的诊断筛查指标。在一项前瞻性分析中,一家商业AI公司被作为静默阅片者安装于英国国家乳腺筛查项目(NHSBSP)的双人阅片工作流程中。在筛查时,人类阅片者无法获取AI的建议。然而,AI与双人阅片结果之间的不一致病例会被定期审查,并在认为适当时召回至专门门诊。在一例病例中,一名女性最初经人类双人阅片诊断为单灶性疾病,随后接受了治疗。然而,AI在筛查乳腺X线摄影上提示了一个额外的感兴趣区(ROI),因此该患者在术后被召回,并被诊断为多灶性疾病,从而接受了补全性乳房切除术。该患者的最终准确诊断仅通过对乳腺的病灶层面分析才得以实现[2]。如果从一开始就考虑AI病灶层面建议的准确性,则本可避免两次手术而非一次手术的额外风险。在我们的研究中,我们聚焦于5例AI在乳腺层面与病灶层面之间存在差异的病例,以基于各自发现识别诊断或管理策略的可能变化。在类似的多灶性疾病场景中(图6),我们研究中的AI未能定位上乳腺的第三个也即最后一个恶性ROI。尽管AI正确地召回了该乳腺,但其在本例中未能识别额外病灶,可能导致该患者经历了与前瞻性研究中类似的次优手术过程[2]。
研究的局限性包括其回顾性性质,这意味着虽然评估了AI的独立性能,但其在同步阅片过程中对人类报告的影响未被评估。另一项局限性包括使用了富含癌症病例的测试集。这可能造成“实验室效应”,即人类知晓富集情况,从而导致人为更高的召回率[24, 25]。AI不太可能受到此类富集的影响。最后,乳腺层面和病灶层面的分析在人类或AI判读时均未考虑既往影像。在真实临床实践中,人类能够通过比较患病轮次和新发轮次筛查乳腺X线摄影更准确地识别新的ROI。
通过使用英国国家乳腺癌筛查项目(NHSBSP)人类阅片者常规外部质量保证中具有挑战性的乳腺X线摄影病例,人工智能(AI)表现出高水平的诊断准确性,在病灶水平上展现出优于人类的高特异性和更高的敏感性。据我们所知,这是与AI相比规模最大的专业乳腺癌筛查阅片者队列。虽然在病灶水平评估时AI性能较乳房水平有所下降,但人类在相同比较下的性能下降幅度更大。文献中很少报道病灶水平的AI分析[2, 7, 8],但其可能对辅助乳腺X线摄影阅片过程中的人机关系产生影响,尤其是在存在不一致的病例中。能够在病灶水平准确报告的AI工具为其“思维”过程提供了积极的洞见,这一点在我们迈向AI前瞻性实施的过程中尤为重要,将使人类阅片者、仲裁小组和患者均从中受益。
补充信息
电子补充材料
引用
- Taib AG, Partridge GJW, Yao L, et al. The evaluation of artificial intelligence in mammography-based breast cancer screening: Is breast-level analysis enough? Eur Radiol. 2025. PMID: 40563050. doi:10.1007/s00330-025-11733-8
- 全文:PMC12634717(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12634717/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。