文献速递乳腺乳腺X线

基于英国代表性数据集独立外部验证乳腺癌AI检测工具的经验教训

Lessons learned from independent external validation of an AI tool to detect breast cancer using a representative UK data set.
PubMed 文献 · Br J Radiol · 2023-02-06

本研究利用NHS乳腺筛查计划中两个中心的26,000例代表性乳腺X线影像及2,054例阳性病例的 enriched 数据集,对一款AI工具作为第一或第二阅片者的替代进行独立外部验证。研究发现AI工具召回与人类阅片者不同的乳腺癌,强调了测试所有类型病例、明确警告信息以及确定可接受敏感度和特异度差异的重要性,并建议在临床使用前研究放射科医生与AI的交互及对仲裁的影响。

要点

  • AI工具在目标特异度下召回率与第二阅片者相同,但与第一阅片者不一致率更高,可能增加仲裁病例数。
  • 验证应使用代表性数据集并包含完整随访数据(间隔癌、下一轮筛查癌),避免选择偏倚。
  • AI工具应输出病变位置信息,以便理解其召回的是与人类相同的癌症还是不同的早期癌症。

核心结论

  • 独立外部验证AI工具需使用代表性数据集并包含所有类型病例,应确定AI与人类阅片者之间可接受的敏感度和特异度差异,并要求AI提供临床应用所需的关键输出信息。

研究设计与样本

  • 回顾性研究,使用OPTIMAM乳腺X线影像数据库,代表性数据集含26,000例女性(两个筛查中心), enriched阳性数据集含1,589例女性共2,052次筛查 episode。
  • AI工具作为第一或第二阅片者的替代,与NHSBSP人类阅片者性能比较,采用非劣效性检验,非劣效界值为5个百分点。
  • 阳性病例定义为筛查后39个月内诊断的乳腺癌(间隔癌或筛查检出癌),阴性病例为人类阅片正常且至少20个月后随访乳腺X线正常。

关键影像表现/征象

  • AI工具在目标特异度下召回率与第二人类阅片者相同,但与第一阅片者不一致率高于第一与第二人类阅片者之间的不一致率。
  • AI工具未召回部分人类召回的筛查检出癌,但召回了部分人类未召回的间隔癌前及筛查检出癌。
  • AI工具在vendor选择的操作点时敏感度显著更高但特异度更低。

诊断标准与关键数值

  • 非劣效性界值为5个百分点(绝对差异),若95%置信区间下限小于该界值则AI非劣效于人类阅片者。
  • 样本量计算:470例癌症在10个百分点非劣效界值下把握度90%,在5个百分点界值下把握度80%。
  • 代表性数据集中526例(2.0%)女性在筛查后39个月内诊断乳腺癌,包括253例筛查检出癌、84例间隔癌和189例下次筛查检出癌。

临床应用与阅片要点

  • 验证AI工具时应使用接近临床使用场景的操作点,并同时测试服务设定的目标特异度操作点以便与人类阅片者比较。
  • 应评估AI工具对技术不合格图像的处理能力及警告信息的清晰度和准确性。
  • AI工具输出的病变位置信息对仲裁和评估环节很重要,未来验证应要求提供。

局限性

  • 本研究缺乏NHSBSP中使用的多种X线设备制造商足够数量的图像。
  • AI工具的具体细节和性能未披露,且未研究人类阅片者与AI工具的交互(如仲裁环节)。
  • 回顾性设计无法评估AI对仲裁、评估过程及乳腺癌死亡率的影响。
全文中译25 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2023 Feb 6;96(1143):20211104. doi: 10.1259/bjr.20211104

引言

乳腺X线摄影是全球人群乳腺筛查中使用的标准成像方式,包括英国的NHS乳腺筛查计划(NHSBSP)。在NHSBSP中,50岁至71岁生日的女性每3年被邀请参加乳腺X线筛查。每名女性的乳腺X线图像由两名阅片者解读(称为双阅片)。NHSBSP各中心的实践存在一定差异,因此depending upon筛查中心,第二阅片者的解读可以是盲法或非盲法。1 若存在分歧,或在某些筛查中心对所有被召回的女性以及存在分歧者,将进行仲裁(图1a)。在筛查人群中,约四分之一的乳腺癌在筛查时未被检出,而是在两轮筛查之间因出现症状而被发现(称为间期癌)。2

人工智能是乳腺筛查中一个有吸引力的机会,有潜力帮助管理高工作量、提高乳腺癌检出率并减少间期癌数量。AI工具可整合到NHSBSP路径中的多个阶段。示例包括替代第一或第二人类阅片者,以及将女性分诊交由人类阅片者解读,或作为决策支持工具。在本评估中,AI充当第一或第二人类阅片者的替代(图1b),并将其性能与人类阅片者进行比较。本项工作未研究人类阅片者与AI工具的交互,例如在仲裁时。

AI工具的开发人员使用训练和验证数据集来调优其工具的超参数。一旦训练完成,他们可在单独的测试数据上对其AI工具进行内部验证。若未在具有代表性的数据集上进行独立外部验证,工具在具有异质性社会人口学背景的真实世界临床环境中可能无法达到预期表现。明确定义用于健康与社会照护的AI工具验证流程和最低要求,将有助于建立信任,而信任对于安全有效的新工具被广泛采用至关重要,并提供加速部署的路径。

此前的内部和外部验证已报告,AI工具使用回顾性乳腺筛查数据可接近放射科医师的性能。3–5 为提供公平比较,必须获得筛查检出癌和间期癌的数据,但仅有少数可公开访问的数据库能够支持此类比较。6,7 近期NICE Medtech Innovation简报8发现,一个关键问题是缺乏使用代表筛查目标人群的英国数据集的临床验证研究。此外,Freeman等9强调,在将AI实施到临床实践之前需要更多证据。

英格兰公共卫生署(PHE)和NHSX与OPTIMAM乳腺AI团队合作,通过试点独立外部验证流程来应对这一局限性,以了解其挑战和复杂性,并致力于定义最佳实践和标准程序。在本文所呈现的工作中,讨论了对外部验证AI工具的考虑和建议。请注意,本研究中使用的特定AI工具的细节和性能未披露,重点在于为任何医学影像AI验证创建最佳实践和标准化工具时所汲取的经验教训。

图1. (a) 正常筛查流程。(b) AI工具替代其中一名人类阅片者(独立AI阅片者)时的流程。AI,人工智能。 查看原图 ↗

方法与材料

数据来源

本回顾性研究使用了OPTIMAM乳腺摄影图像数据库(OMI-DB)中的图像。7 OMI-DB中的所有图像和数据均已去标识化。部分图像已与研究组和商业组共享,用于AI算法的训练和验证,并保留了共享历史记录。

OMI-DB包含自2011年以来在Jarvis乳腺筛查中心(吉尔福德)和St George's医院(伦敦西南部)接受筛查的女性的数据。2014年所有接受筛查的女性的图像和数据均已收集。对于2011年以来其他年份接受筛查的女性,收集了所有确诊癌症(筛查检出癌或间期癌)的女性,并按一定比例(25%)收集了无癌症的女性。这些女性的任何新图像或临床数据持续添加。本研究纳入截至2020年6月的随访数据。

OMI-DB还包含来自国家乳腺筛查系统(NBSS)的临床和病理信息。OMI-DB中94%的女性有族裔信息,其分布见补充附录1。

点击此处获取补充数据文件。

数据集

创建了两个数据集:一个代表性数据集和一个富集阳性数据集。代表性数据集旨在具有与2013-2015年在Jarvis和St George's乳腺筛查中心接受筛查的所有女性相同的特征(如癌症发生率、族裔、年龄)。富集阳性数据集是仅包含阳性病例的数据集。它不以代表性为目标,而是提供足够数量的阳性病例,以便对每种阳性病例类型——筛查检出癌、间期癌之前病例以及下一次筛查时筛查检出癌之前病例——具有足够的统计效力。OMI-DB中部分女性的图像此前已与AI供应商共享。这些女性未被纳入任一数据集。

代表性数据集

选取了26,000名女性的筛查乳腺摄影图像,以代表2013-2015年在Jarvis和St George's乳腺筛查中心接受筛查的所有女性。选择过程的完整细节见补充附录2。代表性数据集(来自两个中心)的描述性统计与表1中给出的OMI-DB数据库中单一年份的统计相似。在这个包含26,000名女性的代表性数据集中,526名(2.0%)在筛查事件后39个月内确诊乳腺癌。该时间段允许纳入几乎所有在指标筛查事件中可能检出的癌症。这526名女性包括253名在指标筛查事件中检出筛查检出癌的女性,以及分别为84名和189名在正常指标筛查事件后39个月内确诊间期癌或筛查检出癌的女性。

表1. 代表性数据集与OMI-DB中单个完整年份(2014年)的特征 查看原表 ↗

富集阳性数据集

为选取富集数据集(表2),研究识别了2011年至2020年间在OMI-DB的两个筛查中心内,50–70岁女性中检出癌症的所有筛查乳腺X线摄影,包括间隔癌发生前的检查以及筛查检出癌症之前的检查。代表性数据集中的女性以及图像此前已与供应商共享的女性被排除。该数据集用于评估癌症分级对AI工具敏感性的影响。数据集包括1589名女性,共2052次筛查回合。在这1589名女性中,1126名有1次筛查回合,463名有2次筛查回合——一次为“筛查检出癌症之前”回合,一次为“筛查检出癌症”回合。两者之间的日期差范围为12至39个月。然而,绝大多数(92%)在30至39个月之间。这些筛查回合包括:1049次筛查检出癌症的回合

241次间隔癌发生前的回合

762次筛查检出癌症之前的回合。

表2. 富集阳性数据集的 characteristics 查看原表 ↗

AI工具

本验证活动中所应用AI工具的预期用途是,作为盲法或非盲法工作流程中的阅片者之一,辅助阅片者解读乳腺影像检查,以实现乳腺癌的早期发现和诊断。该AI工具的排除标准为:男性患者、未处理图像、放大图像、有既往手术史的女性、乳腺癌诊断后的图像、有植入物的女性以及图像数量多于或少于四张的检查。

研究前向AI供应商要求了两个操作点:研究指定操作点:在OMI-DB中设定目标特异度等于平均第二阅片者特异度时的操作点。

供应商指定操作点:供应商在临床部署时推荐的操作点。

AI工具针对每个操作点,为每名女性生成二分类决策(癌症/无癌症)。

部署与安全

AI工具部署在云基础设施上。有关部署和安全设置的详细信息见补充附录3。

统计分析

阳性与阴性病例的定义

阳性病例定义为根据病理信息,在筛查乳腺X线摄影后39个月内被诊断为乳腺癌(间隔癌或筛查检出癌症)的女性。阴性病例定义为在筛查时其乳腺X线摄影被人类阅片者判读为正常,且在研究所用乳腺X线摄影后至少20个月的随访乳腺X线摄影为正常的女性。更多详细信息见补充附录2。

统计检验——代表性数据集

该研究评估了AI系统相对于人类阅片者的非劣效性。AI和人类阅片者的敏感度和特异度均采用McNemar分析计算。10选择了5个百分点的非劣效范围(此为绝对差值——例如,特异度从92%降至87%即为下降5个百分点)。若差值95%置信区间的下限小于非劣效范围,则AI产品不劣于人类阅片者。生成了AI性能的受试者工作特征曲线。此外,计算了工作点处的阳性预测值和阴性预测值。计算了AI与人类阅片者之间出现不一致的女性百分比。最后,计算了第一阅片者、第二阅片者、共识及AI建议召回的比率。

统计检验——富集数据集

使用富集数据集,按阳性病例类型(筛查发现癌症、筛查发现癌症之前、间期癌症之前)计算了AI工具的敏感度。对于筛查发现的癌症,将AI工具的敏感度与人类阅片者按癌症分级和浸润状态分别与人类阅片者进行了比较。

样本量

研究前的效力计算表明,本研究使用的470例癌症在非劣效范围为10个百分点时具有90%的效力,在非劣效范围为5个百分点时具有80%的效力。

结果——经验教训

阅片者与AI工具之间的不一致率

在目标特异度下运行时,AI工具召回女性的比率与第二人类阅片者相同。AI工具与第一人类阅片者之间的不一致率高于第二与第一人类阅片者之间的不一致率。不同中心实践中的差异(例如第二阅片者是否对第一阅片者的意见设盲,以及哪些病例进入仲裁)将影响人类阅片者之间的不一致率。在相同召回率下,不一致率更高,因为AI工具未召回一些人类召回的筛查发现癌症,但召回了一些两位人类阅片者均未召回的间期前癌症和筛查发现癌症。尽管AI工具召回与人类阅片者不同的癌症可能是有益的,但这将增加送入仲裁的病例数量。仲裁是对较复杂病例的复核,通常比第一或第二阅片耗时得多。如本文所述,技术验证之后的下一步将是对AI在仲裁期间影响放射科医生决策的临床验证。这可以通过虚拟临床试验或临床研究来实现。

AI工具的输出

在设计本验证时,要求AI供应商其AI工具为每位女性提供连续评分或概率以及所识别病灶的位置。该AI供应商不愿为本验证工作提供此信息。

该验证强调,人工智能检测到的异常位置信息是必要的,以了解人工智能工具Recall的癌症是否与人类阅片者Recall的相同癌症一致,或是早期间隔期癌症或筛查发现的癌症,这些信息应在未来的验证中予以要求。对位置信息的需求取决于临床应用,例如在仲裁和评估时将很重要,但如果使用人工智能工具进行分诊则可能不是必需的。对位置信息的临床需求应决定未来验证中是否评估人工智能工具所提供的位置信息。

验证操作点的选择与目标特异度

ROC曲线展示了改变操作点时灵敏度与特异度之间的权衡,因此操作点的选择具有重大临床影响。必须在尽可能接近临床使用环境的条件下验证人工智能工具。本研究使用了两个操作点。一个由供应商选择,另一个选择为与OMI-DB中所含中心的人类第二阅片者平均特异度相等的目标特异度。后一个操作点基于特异度来定义,因为放射科顾问认为召回率的增加对筛查项目来说将难以管理。

使用目标特异度下的操作点是因为这允许在相同特异度下直接比较人工智能工具与人类阅片者的灵敏度。当人工智能工具在供应商选择的操作点下使用时,其灵敏度显著更高而特异度更低。第一和第二阅片者及仲裁的特异度可能因单位和阅片方案而异。考虑到仲裁后理想的操作点尚不清楚。此外,它还取决于对极高灵敏度与可接受特异度之间重要性的权衡,而这在不同医疗环境中可能有所不同(例如筛查或症状服务)。

被人工智能拒绝的图像

验证数据集需要包含筛查中所见的全部范围的图像和女性,以衡量这些图像的处理情况。未来的验证应提供关于被人工智能工具拒绝的图像的充分信息,以便服务机构能够决定该工具是否适合其使用,包括对工作量和临床获益的影响。错误信息的清晰度和准确性应如本研究一样进行评估。

技术性召回

在评估人工智能工具时,应确定人工智能工具是否能够正确识别图像在技术上是否足以用于诊断报告,或拒绝该女性的筛查轮次。两者可能都优于处理技术上不充分的图像。可使用技术上次优图像的富集数据集来测试人工智能工具是否能在使用会被人类拒绝的图像时正常运行。

数据集选择

主要数据集的选取旨在代表参加研究中两个筛查中心的女性。此外,阳性病例的富集数据集使人工智能工具的性能能够按癌症分级和浸润状态进行评估。

要研究AI工具在特定亚组(如种族、年龄、影像学表现、癌症病理和X射线设备制造商)中的表现,每个亚组需要足够数量的女性才能达到统计学显著性。因此,可以收集额外的数据集,在这些数据集中这些群体不具代表性但被富集以允许进行亚组分析。此外,病理数据应充分填充,以便在不同癌症类型上验证AI工具。

阳性病例的定义

验证研究中阳性病例的定义与英国乳腺筛查规划中使用的3年筛查轮次相关。阳性病例包括筛查发现的癌症、间期癌症的先前影像以及筛查发现癌症的先前影像。这为AI工具提供了比筛查规划后来发现或在该时间段内出现症状早至39个月检测出癌症的可能性。这被认为是一项公平的测试,因为人类阅片者拥有相同的机会,且与McKinney等人的方法相似。2 只有当筛查发现癌症、间期癌症和筛查发现癌症之前的比率与临床所见一致时,这才是公平的测试,而本研究确保了这一点。如果验证数据集与真实筛查相比包含不成比例的间期癌症或下一轮筛查发现癌症,则AI工具将受到青睐。相反,如果筛查发现癌症过多,则人类阅片者将受到青睐。因此,完整的随访数据在验证AI工具时非常重要。

非劣效性区间

在非劣效性检验中,定义了治疗之间可能的真实差异的范围。9 如果该范围内的每个点都对应于无临床重要性的差异,则可认为治疗是等效的。传统上,此类研究使用10个百分点的范围。11 然而,对于乳腺筛查,决定5个百分点(尽管可能仍然太大)更为合适,因为10个百分点将是性能上更大的临床影响差异。其他评估AI性能的研究也使用了5个百分点作为非劣效性范围。3 在未来的验证之前,需要讨论灵敏度和特异度的可接受差异是多少。这可以为此类研究的样本量估算提供信息,并用于非劣效性检验。

临床输入

评估AI工具涉及多个阶段,每个阶段都有多种可能影响验证结果的选择。采用迭代方法开发了该方法学,每个步骤都与乳腺AI评估团队的放射科医生进行了讨论。临床团队在所有阶段的AI工具验证中的参与至关重要。

讨论

本研究展示了如何利用NHSBSP的回顾性数据来量化AI工具在英国乳腺筛查人群中召回癌症的能力,并得出了以下对未来验证工作有益的启示。个体阅片者和仲裁意见的可获取性,以及包含 interval cancer 病例和后续筛查数据收集的长期随访,使得与真实世界数据的比较成为可能。本研究的局限性在于缺乏覆盖NHSBSP所用各X射线制造商范围的足够数量的图像。这可以通过招募更多筛查中心进行数据收集来解决。

将AI工具性能与人类阅片者进行比较的金标准方法是前瞻性随机对照试验。然而,这些试验耗时且成本高昂。现有AI工具的新版本很可能在未来发布,这使得情况更加复杂。因此,尽管可以进行试验来初步评估该技术,但为每个供应商、每个版本和每个原型都进行试验是不切实际的。因此,NHS项目必须具备对进入市场的新工具以及现有工具更新进行快速、稳健评估的能力。本工作使用回顾性数据集比较了AI工具作为独立阅片者与人类阅片者的性能。四个主要的未回答问题包括:操作点选择对仲裁后癌症检测和召回率的影响是什么?

AI工具决策对仲裁会议的影响是什么?

AI建议召回对评估过程的影响是什么?

使用AI工具对乳腺癌死亡率的影响是什么?

要在一项前瞻性试验中回答这些问题需要许多年,因为试验需要运行至少3年才能收集到后续的 interval cancer 和下一轮筛查中检测到的癌症。我们建议使用回顾性数据集进行虚拟临床试验来回答这些问题。此类虚拟临床试验是必要的,因为仅在回顾性数据上运行AI工具无法评估人类阅片者将如何对这些新AI工具提供的信息做出反应。例如,仲裁时的阅片者是否会正确召回AI识别出但人类阅片者未识别出的 interval cancer。

对未来乳腺筛查中AI工具回顾性独立外部验证的建议

与一般验证流程相关的建议

外部回顾性验证研究应作为独立验证的第一阶段,在前瞻性临床评估之前进行,以量化AI工具的技术性能。

在独立技术外部验证之后,应在前瞻性临床评估之前进行虚拟临床试验,研究人类阅片者与AI工具的交互作用,以衡量AI在仲裁后的影响。

AI工具的临床使用场景对验证设计至关重要。例如,如果临床要求是AI工具提供位置信息,那么此类位置信息的输出应成为进行AI工具外部验证的必要条件。

临床团队应参与验证的所有阶段。

应为NHS使用的AI工具外部验证设定最低要求。

与数据集相关的建议

用于回顾性验证研究的数据集应能代表筛查人群,并具有足够的随访数据,以包含具有代表性的间隔期癌症和下一轮筛查检出的癌症数量。

不应为了满足AI产品的排除标准而筛选整理数据集,以便评估AI工具在临床所见各类病例上的性能。

回顾性研究还应使用富集数据集,以便在具有代表性的数据集中分析AI工具在少数亚组上的性能,例如X射线系统制造商、种族群体、乳腺癌类型或技术性召回。

数据集应足够大,以便在约定的非劣效范围内具有足够的统计效能。

与统计分析相关的建议

需要确定一个对乳腺筛查具有临床相关性的非劣效范围。

应确定AI工具在阳性病例类型(筛查检出癌症、间隔期癌症之前、筛查检出癌症之前)上的性能。减少两次筛查之间的症状性就诊(即间隔期癌症)可能是检测重要临床癌症并实现死亡获益的良好替代指标。

应在AI供应商临床推荐的工作点上评估AI工具的性能。此外,需要明确工作点应由服务机构还是AI工具提供方来定义。在标准工作点上以与人类阅片者相似的约定目标特异度对工具进行测试也具有额外价值,便于与人类和其他AI工具进行比较。

应确定AI工具拒绝图像的水平,该水平应在临床上可接受并可在不同的工作流程中处理。对此类被拒绝图像的警告信息的清晰度应作为验证的一部分进行评估。

结论

本研究展示了如何使用来自OMI-DB的代表性数据集对乳腺癌AI工具进行回顾性独立外部验证,并为未来的外部验证提供了建议。

引用

  1. Cushnan, Young, Ward, et al. Lessons learned from independent external validation of an AI tool to detect breast cancer using a representative UK data set. Br J Radiol. 2023. PMID: 36607283. doi:10.1259/bjr.20211104
  2. 全文:PMC9975375(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9975375/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。