乳腺X线设备间AI筛查性能差异:多中心多厂商回顾性研究
这项回顾性研究分析了瑞士乳腺筛查项目中22673例50-69岁女性的乳腺X线检查,使用商用AI算法在三种不同设备上评估筛查性能。研究显示AI总体性能接近双人阅片,但设备间差异显著,使用设备特异性阈值可将召回工作量减少近三分之一。其中一台设备即使使用特异性阈值性能仍差,提示需要设备专属阈值或暂停AI应用。
要点
- AI在Philips设备的病例评分分布显著低于Siemens和GE设备,调整后均值约低10分。
- 设备特异性阈值(Philips 16、GE 30、Siemens 37)较通用阈值23可减少近三分之一AI标记病例。
- 放射科医生须注意AI评分在不同设备间存在差异,避免因低分误判而漏诊可疑发现。
核心结论
- AI筛查性能在三台乳腺X线设备间差异显著,需采用设备特异性阈值,某些设备上甚至应考虑停用AI。
- 设备特异性阈值较通用阈值可显著减少AI标记病例数并略微提高癌症检出率。
- 即使使用设备特异性阈值,Philips设备的AI筛查性能仍明显低于Siemens和GE设备,原因可能包括AI训练集中该设备影像代表性不足。
关键影像表现/征象
- Philips设备检查的AI病例评分中位数为3(IQR 2-6),显著低于Siemens设备的10(IQR 4-21)和GE设备的8(IQR 4-20)。
- 筛检癌病例的AI评分中位数总体为67(IQR 37-85),Philips设备为28(IQR 16-45),低于Siemens和GE设备的约74-75。
诊断标准与关键数值
- 当前双人阅片联合共识会议的总体癌症检出率为5.07/1000(95%CI: 4.19-6.09)。
- 通用阈值为AI病例评分23时,总体敏感度为83.8%(95%CI: 76.4-89.7%),特异度为81.8%(95%CI: 81.2-82.3%),癌症检出率为4.81/1000(95%CI: 3.95-5.80)。
- 设备特异性阈值为Philips 16、GE 30、Siemens 37时,总体敏感度为85.4%(95%CI: 78.1-91.0%),特异度为87.7%(95%CI: 87.2-88.1%),癌症检出率为4.90/1000(95%CI: 4.03-5.89)。
- 使用设备特异性阈值时,AI标记的乳腺X线检查比例从通用阈值的18.6%降至12.7%(p < 0.001)。
- 排除Philips设备后,设备特异性阈值方案下AI癌症检出率为4.97/1000(95%CI: 3.96-6.15),与双人阅片的4.85/1000(95%CI: 3.86-6.02)接近。
临床应用与阅片要点
- 在引入AI辅助筛查前,应使用本地设备数据对算法进行测试和验证,包括不同乳腺X线设备。
- 共识会议相关工作量在使用设备特异性阈值时可较通用阈值减少近三分之一,但仍高于当前双人阅片模式。
- 因AI评分分布在不同设备间有明显差异,须让参与筛查的放射科医生知晓这一变异性,以降低自动化偏倚和确认偏倚风险。
局限性
- 人机交互共识决策无法模拟,所报告的癌症检出率为假设性估算。
- 无法解释未使用AI时不同乳腺X线设备之间癌症检出率存在明显差异的原因。
- 某一筛查点使用的乳腺X线设备与AI算法不兼容,相关检查被排除。
全文中译13 节 · 点击展开
引言
有组织的乳腺X线摄影筛查项目(MSP)是一种广泛应用的公共卫生策略,旨在减轻乳腺癌的疾病负担[1, 2]。虽然目前采用的双人阅片实践提高了癌症检出率(CDR)[3],但它也给放射科医生带来了相当大的工作负荷[4]。使用人工智能(AI)有望在不影响筛查性能的前提下减轻放射科医生的工作负荷[5–9]。
尽管MSP中存在多种AI实施场景[10, 11],但校准和设定标记可疑乳腺X线摄影的阈值仍是关键任务。大多数用于将乳腺X线摄影分类为可疑或不可疑的阈值旨在平衡灵敏度(即检出癌症)和特异度(即正确识别无癌病例)[12]。安全的AI实施还依赖于使用筛查项目中所用设备采集的乳腺X线摄影对算法进行充分训练。在非代表性数据集上开发的AI算法可能导致诊断准确性下降,并对筛查参与者产生不良后果[13]。
尽管评估AI筛查性能的回顾性和前瞻性研究数量不断增加,但大多数研究依赖于在单一筛查点使用来自单一厂商的单一乳腺X线摄影设备来评估AI算法[6–8, 14, 15],这限制了所报告性能在不同筛查点和乳腺X线摄影设备之间的可推广性。比较AI在不同乳腺X线摄影设备、软件和筛查点之间性能的研究报告了当AI作为独立决策者时灵敏度和特异度方面的不同结果[16–19]。然而,这些研究要么使用了单一乳腺X线摄影设备[16],要么测试了内部构建的AI算法[17],要么将AI算法应用于两个不同的筛查人群[18],要么在同时也是其训练数据集一部分的设备上评估AI算法且缺乏间期乳腺癌(IBC)病例的随访信息[19]。由于MSP中可能使用跨筛查点的多种乳腺X线摄影设备,评估AI在不同乳腺X线摄影设备间的筛查性能仍是临床实践中一个尚未解决但非常相关的问题。
为填补这一研究空白,我们使用来自一个瑞士MSP的数据——该MSP包含六个筛查点和三种不同的乳腺X线摄影设备——在真实世界环境中回顾性评估了一种在全球化多样化人群上训练的商业可用AI算法。我们探讨了确定和设定最佳阈值的相关性以及校准不足的潜在后果。具体而言,我们评估AI筛查性能在不同乳腺X线摄影设备间的差异,设备特异性阈值是否能改善AI筛查性能,以及这些阈值是否足以维持安全的诊断准确性。
材料与方法
伦理批准
本回顾性研究项目已提交至负责的伦理委员会并获得批准(EKOS 24/132,ID 2024-01310)。筛查项目的参与者需要独立同意将其匿名化数据用于统计分析。本研究遵循STARD诊断准确性研究报告指南[20]。
数据来源、数据处理和AI算法
数据来源于瑞士圣加仑州内参加2022年和2023年乳腺筛查项目“donna”的参与者。数据集包含两位放射科医师的初始评估信息,以及共识会议结论的信息(如曾召开共识会议),即当至少一位阅片者将乳腺X线摄影评估为BI-RADS R3或更高时。乳腺密度由放射科医师主观评估。本研究采用最终的乳腺密度评估,即如召开过共识会议则采用共识会议的评估结果,否则采用第二位阅片者的评估结果。所有放射科医师在乳腺筛查项目内外均具有多年经验。新加入项目的放射科医师由该项目医学负责人陪同,以保证质量。所有放射科医师每年均参加继续教育课程。通过与区域癌症登记系统使用唯一筛查标识符进行关联,可识别1年内间期乳腺癌病例,即在初次乳腺X线摄影被放射科医师评估后1年内确诊的病例。所有研究乳腺X线摄影均使用iCAD公司的ProFound AI® FFDM/2D版(3.1版)进行回顾性处理,配置为均衡(中等)平均敏感性和特异性优化的操作点。该计算机辅助检测与诊断AI算法用于辅助人类阅片者同时判读,为每例乳腺X线摄影提供一个介于0到100之间的数值病例评分。该病例评分反映了AI算法相对于内部训练数据库判断该乳腺X线摄影含有癌症病例的确定性。该AI算法无法评估既往乳腺X线摄影。据iCAD公司一位高管称,该AI算法在来自美国及欧洲多国(包括瑞士)100多个筛查点的约600万张图像上进行了训练,所用乳腺X线摄影主要采集自西门子、GE和Hologic乳腺X线设备;然而,训练数据集的详细信息尚未公布。该AI算法具有欧洲合格认证标志。
AI整合筛查场景及阈值校准
在我们的回顾性模拟中,AI作为独立决策者,通过标记乳腺X线摄影中可疑恶性征象来发挥作用。在校准最佳阈值时,我们未纳入共识会议决策,因为这可能会低估AI算法检测可疑乳腺X线摄影的能力[15]。因此,在我们的模拟中,乳腺X线摄影被AI算法标记的参与者直接召回进行进一步检查。在实践中,这种不涉及放射科医师的方法在伦理和法律上是不被允许的[13, 21]。因此,我们讨论了AI标记的乳腺X线摄影数量对放射科医师工作量的影响,尤其是在共识会议中的影响。当AI病例评分等于或高于所确定阈值时,乳腺X线摄影即被AI算法标记为可疑。最佳阈值使用约登指数[22]确定,即敏感性和特异性最大化之处。最佳阈值首先使用三种乳腺X线设备合并后的数据集确定,然后分别针对每种设备进行估计。
性能指标与统计分析
在这项回顾性研究中,筛查性能指标包括灵敏度、特异度及相应的平均值(平衡准确度)。此外,癌症检出率(CDR)和间隔期乳腺癌(IBC)发生率以每1000例乳腺X线检查中的癌症数表示。我们假设所有癌症病例,包括1年内间隔期乳腺癌,均在召回时被检出,即被AI标记,类似于文献[10]。被AI评估为可疑的病例比例标记为“AI标记”。
对于AI病例评分,报告中位数评分及四分位距(25–75%)。使用Kruskal-Wallis检验评估不同乳腺X线设备之间AI病例评分分布的差异。筛查性能指标的95%置信区间(CI)采用Clopper-Pearson“精确”法计算。不同场景或阈值之间的配对差异使用精确McNemar检验进行比较。进一步采用多变量线性回归评估乳腺X线设备与AI分配病例评分之间的关联,并对相关参与者特征和乳腺X线信息进行校正。p值小于0.05被认为具有统计学意义。
我们进行了三项敏感性分析。第一,排除了筛查性能下降最明显的乳腺X线设备。第二,采用按癌症状态分层的10000次重复的自举法,即每次重复包含相同数量的癌症和非癌症病例。以2.5%和97.5%百分位数作为95%置信区间报告,以评估最佳阈值及相应性能指标的确定性。为支持这些自举估计,我们还展示了按阈值划分的约登指数曲线,以及在三种乳腺X线设备总体和每种设备分别的受试者工作特征(ROC)曲线。第三,我们按放射科医生评估的乳腺密度分层,分析AI标记病例比例和癌症检出率。所有统计分析均在Stata/BE 18.0版本(StataCorp LLC)中完成。
结果
研究人群
我们研究的初始样本包括2022年和2023年在瑞士圣加仑州居民中参加乳腺筛查项目“donna”某一筛查点的28,016例乳腺X线检查。对于研究样本(图1),排除了所有年龄超过70岁(应要求参加)的参与者的乳腺X线检查(N = 444)。排除了在档案中无法识别的乳腺X线检查(N = 18)。一个筛查点使用的乳腺X线设备在2023年9月之前与AI算法不兼容;因此,该点的所有检查均被排除(N = 4256)。另有乳腺X线检查(N = 485)因其他技术问题或图像不完整而无法由AI算法处理。最后,在州外筛查点使用其他乳腺X线设备参加筛查的参与者也被排除(N = 140)。因此,我们研究的最终样本包括来自六个筛查点的22,673例乳腺X线检查。每个筛查点在任一给定时间仅运行一台乳腺X线设备,尽管有一个筛查点在研究期间更换了设备。大多数乳腺X线检查在西门子Mammomat Inspiration(11,773例)上完成,其次为飞利浦MicroDose L50(5,764例)和GE Senographe Pristina(5,136例)设备。
队列特征
最终队列中22,673名筛查参与者的平均年龄为58.8岁±5.8(标准差),其中21.0%为首次筛查(表1)。45.2%的参与者被判定为高乳腺密度(ACR c或d),6.7%报告既往有乳腺手术史,13.7%有已知的乳腺癌家族史。在22,673例乳腺X线检查中,6.3%因至少一名放射科医师在乳腺X线图像中发现异常而在共识会议上进行了讨论。会议后,3.1%的女性被召回进行进一步检查。数据集中纳入了115例筛查检出癌症(SDC),均在召回后确诊,癌症检出率(CDR)为5.07/1000(95% CI:4.19–6.09)。15例被诊断为1年间期乳腺癌(IBC),即在乳腺X线检查评估为无可疑发现后1年内确诊。其中6例IBC最初在共识会议上进行了讨论,5例被召回进行进一步检查。大多数乳腺X线检查使用西门子设备采集(51.9%),其余使用飞利浦(25.4%)和GE(22.7%)设备采集。
在未使用AI的初次筛查中,总体灵敏度为88.5%(95% CI:81.7–93.4%),特异度为97.4%(95% CI:97.2–97.6%)。平衡准确度,即灵敏度和特异度的平均值,总体为92.9%(95% CI:89.4–95.5%),范围从90.7%(西门子)到96.4%(GE)。六个筛查中心之间参与者的特征和筛查表现存在轻微差异(见eTable 1)。
AI评估
图2显示了总体病例评分分布(图2a),以及每种乳腺X线设备的分布(图2b–d)。总体中位病例评分为7(25–75%:3–17),但按不同乳腺X线设备分别展示时,分布差异显而易见。西门子设备采集的乳腺X线检查中位病例评分为10(25–75%:4–21),而GE乳腺X线检查的中位病例评分为8(25–75%:4–20)。飞利浦设备采集的乳腺X线检查中位病例评分为3(25–75%:2–6),因此显著低于(p < 0.001)其他两种设备的病例评分。具体而言,所有飞利浦乳腺X线检查中28.1%的病例评分为1或2,24.8%为3,12.9%为4。在多变量线性回归分析中(eTable 2),校正了乳腺密度、年龄、首次筛查、乳腺癌家族史和既往乳腺手术史后,乳腺X线设备与AI分配的病例评分显著相关。飞利浦设备采集的乳腺X线检查的校正平均病例评分为6.41,比西门子(16.60)和GE(15.79)设备采集的低约10分(两两比较均p < 0.001)。115例SDC病例回顾性评估的中位病例评分为67(25–75%:37–85),其中西门子和GE SDC的中位病例评分分别为75(25–75%:56–86)和74(25–75%:52.5–93),显著高于飞利浦SDC病例的中位评分28(25–75%:16–45)(p < 0.001),如eFigure 1所示。在15例1年IBC病例中,12例是在西门子设备乳腺X线检查后确诊的,放射科医师最初评估为无可疑发现,中位病例评分为43.5(25–75%:13–55.5)。
通用病例评分阈值下的AI性能
总体而言,最佳病例评分阈值确定为23分界值,在该阈值下根据约登指数,敏感度和特异度达到最大(图3a)。使用该阈值时,所有病例评分为23分或更高的病例均被AI算法标记,总体上有18.6%的病例被标记,各设备比例从5.0%(飞利浦)到23.5%(西门子)不等,如表2a所示。该通用阈值总体产生的敏感度为83.8%(95% CI:76.4–89.7%),特异度为81.8%(95% CI:81.2–82.3%)。相应的平均值(平衡准确率)为82.8%(95% CI:78.8–85.9%),范围从80.5%(飞利浦)到84.0%(GE)。模拟CDR为4.81/1000(95% CI:3.95–5.80),与标准双阅片加共识会议相比无显著降低(p = 0.33)。然而,115例SDC病例中有16例不会被AI算法标记(飞利浦设备12例,西门子和GE设备各2例),而15例IBC病例中有10例会被标记(西门子7例,飞利浦2例,GE 1例)。虽然差异不显著,但飞利浦设备的敏感度和CDR均出现明显降低。例如,不使用AI时的CDR为5.73/1000(95% CI:3.94–8.03),使用通用阈值AI时为3.99/1000(95% CI:2.53–5.98)。
设备特异性阈值下的AI性能
不同乳腺X线摄影设备之间的最佳阈值差异很大,飞利浦设备的最佳阈值为16,GE设备为30,西门子设备为37(参见图3b–d)。使用这些设备特异性阈值,AI算法标记的乳腺X线摄影比例为12.7%,范围从8.4%(飞利浦)到17.2%(GE),如表2b所示。因此,通过使用设备特异性阈值,AI算法标记的乳腺X线摄影比例总体上减少了近三分之一,从18.6%降至12.7%(p < 0.001)。总体灵敏度为85.4%(95% CI:78.1–91.0%),特异度为87.7%(95% CI:87.2–88.1%)。平衡准确率为86.5%(95% CI:82.7–89.5%),范围从84.6%(飞利浦)到87.7%(西门子)。与使用通用阈值相比,使用设备特异性阈值总体上导致了略高的癌症检出率(CDR),为4.90/1000(95% CI:4.03–5.89)(p = 0.69)。虽然标记的浸润性乳腺癌(IBC)数量稳定在10例,但标记的乳腺导管原位癌(SDC)乳腺X线摄影数量增加了2例,使14例SDC未被AI算法检出。设备特异性阈值检出了4例在使用通用阈值时未被检出的SDC。相反,有2例SDC仅在通用阈值下被标记。
敏感性分析
虽然AI算法作为独立决策者在西门子和GE设备上的总体筛查表现接近当前现状表现(双人阅片加共识会议),但在飞利浦设备上的表现明显较低。更具体地说,即使使用设备特异性阈值,飞利浦乳腺X线摄影的CDR为4.68/1000(95% CI:3.09–6.81)。这一显著降低也影响了使用全部三种设备的总体筛查表现。标准诊疗的CDR为5.07(95% CI:4.19–6.09),使用设备特异性阈值时为4.90/1000(95% CI:4.03–5.89)。在eTable 3所示的敏感性分析中,飞利浦设备被排除在分析之外。不含AI的标准诊疗CDR为4.85/1000(95% CI:3.86–6.02),AI作为独立决策者使用通用阈值的CDR为4.91/1000(95% CI:3.91–6.08),使用设备特异性阈值的CDR为4.97/1000(95% CI:3.96–6.15)。使用10,000个分层自助样本的筛查表现指标显示出一致且相似的结果(见eTable 4)。eFigure 2和eFigure 3分别显示了全部三种乳腺X线摄影设备及每种设备单独在不同阈值下的约登指数和受试者工作特征(ROC)曲线。最后,eTable 5展示了使用通用AI阈值和设备特异性阈值时AI标记的乳腺X线摄影比例及CDR,并按放射科医生评估的乳腺密度分层。该表还报告了在当前不含AI的双人阅片流程下共识会议讨论的比例和召回率。
讨论
我们旨在回顾性评估一种AI算法作为独立决策者在三台不同乳腺X线摄影设备上采集的乳腺X线图像上的表现,重点关注识别和设定最佳阈值。更具体地说,我们评估了设备特异性阈值是否能提高筛查性能,以及它们是否足以维持诊断准确性。使用设备特异性阈值后,AI标记的乳腺X线图像数量下降了近三分之一,且筛查性能得到提升。因此,由于现实中乳腺X线图像需要在共识会上讨论,病例数量和放射科医生的工作量可以显著减少,同时维持或提高癌症检出率(CDR)。然而,与MSP“donna”中当前的筛查标准相比,需要共识会讨论的病例比例仍至少增加了两倍,这引发了关于基于AI的筛查是否能减少总体工作量的疑问[23]。如果这些AI标记的病例难以判读,这种情况尤其可能发生。在我们的研究中,与当前的双重阅片加共识会相比,使用和不使用设备特异性阈值的总体筛查性能均有所下降,这进一步增加了AI作为独立决策者表现方面好坏参半的证据[6, 11, 12, 17, 24]。
识别和设定最佳阈值仍然是乳腺筛查项目(MSP)的关键任务[12],因为AI算法的筛查性能可能因乳腺X线摄影设备和软件版本的不同而有所差异[16–19]。在我们的研究中,使用设备特异性阈值显著提高了筛查性能,与其他已报道的发现一致[18]。即使阈值已确定,AI算法的性能也需要持续监测[25],因为乳腺X线摄影设备的软件更新[16]或AI算法本身的更新[26]可能影响图像输出和判读。当AI算法未在实践中所使用的特定乳腺X线摄影设备上进行过训练时,监测就变得尤为关键[27, 28]。在我们的研究中,AI算法对其中一台乳腺X线摄影设备产生了明显不同的病例评分分布。对于这台设备,即使应用设备特异性阈值,筛查性能也会大幅下降。
我们假设AI性能下降源于设备特异性训练有限,这表明我们研究中的AI算法尚未针对该乳腺X线摄影设备完成充分校准,在安全部署前需要进一步训练或适配。然而,其他因素也可能解释该设备表现不同的原因,例如AI算法对“用于展示”图像与“用于处理”(原始)图像的判读差异[29]、图像质量的变化(如因摆位所致)[30],或其他技术采集因素[31]。所有这些因素都凸显了在部署前使用本地数据(可能包含不同的乳腺X线摄影设备)对AI算法进行测试和验证的重要性。因此,如果没有充分的校准,诊断准确性可能会降低,从而可能对筛查参与者产生负面影响,即假阳性召回或漏诊癌症[13]。
然而,设备特定的阈值对于乳腺筛查项目(MSP)的组织以及解读AI评分的放射科医生而言,存在若干实际挑战。每台乳腺X线设备和/或每个筛查站点采用不同的阈值可能会对高效的技术实施构成困难。此外,由于放射科医生通常需要阅读在不同设备上采集的乳腺X线影像,如果AI病例评分的含义因设备而异,就可能产生解读偏倚。首先,如果某台设备的AI病例评分分布与其他设备差异显著,而放射科医生未意识到这种分布差异,诊断准确性可能会受到影响。这可能导致自动化偏倚和确认偏倚[32],进而可能增加假阳性召回和/或假阴性结果,导致漏诊或延迟诊断癌症[33]。更具体地说,低病例评分可能导致对可疑发现的错误排除。因此,提高参与筛查项目的放射科医生对不同乳腺X线设备间AI评分变异性的认识至关重要,以降低解读偏倚的风险[34]。
我们的回顾性研究有五个局限性。第一,无法模拟人机交互和共识会议决策,因此估算的癌症检出率(CDR)是假设性的。第二,在当前未使用AI的情况下,我们观察到不同乳腺X线设备之间的CDR存在显著差异,对此我们没有明确的解释,因为在乳腺筛查项目(MSP)内部,筛查设置、阅片方法和放射科医生的经验都是标准化且受控的。技术属性(如不同设备间的不同探测器技术)或不同的辐射剂量可能与不同的图像采集、处理和输出有关。这些差异可能导致图像质量(如图像分辨率或像素大小)的不同,这或许可以解释使用和不使用AI时筛查表现的潜在差异。第三,我们的数据包含放射科医生对乳腺密度的主观评估,这可能解释了致密型乳腺(即ACR d类)比例相对较低的原因,从而限制了我们研究结果的普适性。第四,我们仅考虑了1年期间隔期癌(IBC),因为2年期间隔癌在我们的研究样本中尚不完整。然而,已有研究表明,在乳腺筛查项目(MSP)中,第一年发生的间期癌更可能是假阴性[35]。第五,样本量较小,特别是癌症病例数较少,可能限制了我们结果的普适性和稳健性,尽管数据来源于真实世界的筛查项目而非癌症富集数据集。小样本量也使得无法对确定的阈值进行拆分样本验证。
我们利用来自常规乳腺筛查项目(MSP)参与者的真实世界数据所进行的研究,鼓励筛查项目和放射科医生针对每台乳腺X线摄影设备分别仔细确定和解读AI评分及阈值。尽管本研究中的AI算法已获准适用于所有乳腺X线摄影设备,但病例评分分布存在显著差异——这一点在最初并不为乳腺筛查项目和放射科医生所知——现已被清晰揭示。这些差异可显著改变(降低)真实世界的筛查性能,尤其是当放射科医生阅读在不同设备上采集的乳腺X线图像时。我们的结果强调了持续观察AI辅助筛查性能的必要性。如有必要,必须调整AI阈值,或者不应在特定设备上使用该AI算法。
从实践角度来看,考虑到技术和解读方面的挑战,使用单一阈值可能更为可取。我们的发现也可能鼓励在乳腺筛查项目内各筛查点之间统一乳腺X线摄影设备。另一方面,AI提供商应披露其训练数据集的详细信息,包括所使用的乳腺X线摄影设备以及受筛人群的人口统计学特征(如年龄范围、种族、民族)。这些信息可帮助乳腺筛查项目和放射科医生在购买AI算法或将其应用于其乳腺X线摄影设备时做出知情决策。
电子补充材料
补充信息
引用
- Blum, Morant, Eichenberger, et al. AI performance varies considerably across mammography devices: a multi-site and multi-vendor retrospective study. Insights Imaging. 2026. PMID: 42645664. doi:10.1186/s13244-026-02383-5
- 全文:PMC13518669(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13518669/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。