文献速递乳腺乳腺X线

人工智能自动识别正常乳腺X线检查以减少乳腺X线筛查工作量的可行性研究

Can we reduce the workload of mammographic screening by automatic identification of normal exams with artificial intelligence? A feasibility study.
PubMed 文献 · Eur Radiol · 2019-04-16

该可行性研究汇集9项多阅片者多病例ROC研究的2652例数字乳腺X线检查(653例癌症)及101名放射科医生的判读,用AI系统对每例检查给出1-10分癌症可能性评分,模拟仅判读高可能性组、低可能性组自动判为正常。阈值设为AI评分5时,阅片工作量减少约47%,但排除7%的真阳性检查;阈值设为2时,工作量减少17%,仅排除1%真阳性检查。除AI评分9外,预选未使放射科医生平均AUC非劣效于原始判读。

要点

  • AI评分5为阈值时,阅片工作量减少约47%,但排除7%真阳性检查。
  • AI评分2为阈值时,工作量减少17%,仅排除1%真阳性检查。
  • 除AI评分9外,预选后放射科医生平均AUC非劣效于原始判读。

核心结论

  • 使用AI系统自动预选检查可显著减少乳腺X线筛查阅片工作量,且除AI评分9外未使放射科医生平均AUC非劣效性失效。

研究设计与样本

  • 可行性研究,汇集9项既往多阅片者多病例ROC研究,共2652例数字乳腺X线检查(653例癌症、768例良性病变、1233例正常)及101名放射科医生的判读。
  • 数字乳腺X线图像来自4家厂商设备、7个国家;AI系统为Transpara 1.4.0(Screenpoint Medical BV),对每例检查给出1-10分癌症可能性评分。
  • 参考标准为组织病理学和/或至少1年随访确认癌症、良性病变或无异常。
  • 模拟预选场景:仅高可能性组由放射科医生判读,低可能性组自动判为正常;以非劣效性假设比较预选场景与原始判读的读者平均AUC,非劣效性界值为0.05。

诊断标准与关键数值

  • AI评分范围为1-10分,10分表示检查中癌症可能性高;评分校准使约10%的正常检查分配至每个评分类别。
  • 癌症检查中72.5%位于最高可能性类别10,95.1%位于类别5-10;良性病变检查中仅27%位于类别10。
  • 阈值设为AI评分5(高可能性>5)时,阅片工作量减少约47%,排除7%真阳性检查。
  • 阈值设为AI评分2时,工作量减少17%,仅排除1%真阳性检查;同时良性病变检查分别减少27%和5%。
  • 除AI评分9外,所有阈值下预选场景AUC非劣效于原始判读(最低Bonferroni校正95%CI > -0.05,AUC差异小于1%);AI评分9时低95%CI = -0.052,AUC下降2%。

临床应用与阅片要点

  • 作者认为,若考虑预选场景,需在减少工作量与排除含癌检查风险之间权衡,最佳阈值可能取决于当地实践和需求。
  • 作者提出,自动分组可用于区分需双读与单读足够的病例,对欧洲双读筛查项目及乳腺断层摄影筛查项目可能特别有意义。
  • 作者指出,预选队列中癌症患病率较高可能提高乳腺癌敏感性,且有意降低召回阈值可抵消低AI评分含癌检查的排除。
  • 作者认为,排除良性病变检查可能提高筛查特异性,减少假阳性召回相关危害。

局限性

  • 所用数据集非来自筛查,而是富集了癌症病例。
  • 检查未按欧洲筛查常规进行双读,而是每例由多名放射科医生独立判读。
  • 筛查与临床数据混合可能引入与筛查检出癌症特征不同的癌症,可能偏倚结果。
  • 无肿瘤组织学特征,无法确定基于AI评分排除的癌症对女性健康的影响。
  • 无法按检出模式(筛查或临床)、癌症组织病理类型或乳腺密度分析结果,因原始研究未提供这些信息。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2019 Apr 16;29(9):4825–32. doi: 10.1007/s00330-019-06186-9

引言

基于数字乳腺X线摄影(DM)的人群筛查项目通过早期发现疾病降低了乳腺癌死亡率[1, 2],但其效率仍在持续讨论中[3, 4]。假阳性结果[5]会导致不良影响,如不必要的进一步检查、受检者焦虑和不愿再次参加筛查,以及成本效益降低[6]。另一方面,由于筛查项目的灵敏度约为75%[7],假阴性结果可能导致虚假的安心感,并最终延误癌症发现。乳腺X线摄影可见的癌症被漏诊的原因之一是筛查人群中癌症患病率较低(约每千人10例)[8, 9]。

用于提高乳腺X线摄影阅片质量的计算机辅助检测(CAD)系统自本世纪初开始使用。然而,迄今为止尚无研究发现筛查结果有直接改善,可能是因为这些传统CAD系统的特异性较低[10, 11]。近年来基于深度学习算法的人工智能(AI)性能突破,正在缩小医学影像相关许多应用中人与计算机性能之间的差距[12]。因此,新型AI系统可能能够改善人群筛查项目的性能和效率[13]。在乳腺X线摄影评估方面,基于深度学习的系统已展示出与放射科医师相当的独立性能[14],以及在用于决策支持时显著提高放射科医师的乳腺癌检测准确率[15]。然而,这种类放射科医师的性能可能使AI在筛查中的乳腺X线摄影评估具有其他用途。特别值得关注的是旨在减少工作量的方法,考虑到一些国家(乳腺)放射科医师日益稀缺[16–18]。

在本研究中,我们探索使用AI系统预选可能正常的乳腺X线摄影图像的可能性。这是通过使用一个AI系统来实现的,该系统提供基于检查的评分,表示乳腺X线摄影图像中存在癌症的可能性。我们分析了将低评分(即存在癌症可能性低)的检查从人工阅片中排除对性能的影响,这将减少放射科医师的筛查工作量并提高实际评估图像中的癌症患病率。

材料与方法

数据和人群特征

数字乳腺X线摄影图像收集自九项先前进行的多阅片者多病例(MRMC)观察者研究[19–26]。各机构审查委员会豁免了当地伦理批准和知情同意,或批准将匿名患者数据用于回顾性研究。

所有MRMC研究的数据集均富集了含癌症的检查。每例DM检查的ground truth(存在癌症、存在良性病变或无异常)均通过组织病理学和/或至少1年随访确认。在每项MRMC研究中,每例DM检查由多名乳腺放射科医师评估,他们对每例检查提供恶性评分(BI-RADS和/或怀疑程度)。

总共收集了2654次检查(653例癌症、768例良性病变、1233例正常)以及101名放射科医生的阅片结果(52%来自美国,48%来自欧洲)(产生28,296次独立检查判读)。大约一半的检查来自筛查,一半来自临床实践。关于肿瘤组织学的详细信息不可获得。数字乳腺摄影(DM)图像是使用来自四个不同厂商(Siemens Healthineers;Hologic Inc.;General Electric Healthcare;Sectra Mamea)的设备在七个不同国家采集的。这九项研究的更多细节此前已在别处报道[14]。

人工智能系统

在本研究中,我们使用了一个专用于DM和数字乳腺断层合成中乳腺癌检测的人工智能(AI)系统(Transpara 1.4.0,Screenpoint Medical BV)。该系统使用深度学习卷积神经网络、特征分类器和图像分析算法,在两个不同的模块中检测钙化和软组织病变[14]。基于这些检测到的病变和整体检查表现,AI系统给出一个基于检查的整数评分,表示该检查中存在癌症的可能性(以下称为AI评分,也称为Transpara评分)。该AI评分范围为1至10(10表示该检查中存在癌症的可能性高)。AI评分经过校准,使得每个AI评分类别大约分配相同数量的正常检查(占总数的10%)。因此,在癌症患病率较低的人群(其中大多数检查为正常)中,例如筛查人群,可以预期每个类别约占总检查的10%。在筛查人群中,评分为1的10%检查预计携带癌症的风险最低(因为类别1中癌症检查的发生率最低),而评分为10的10%检查携带癌症的风险最高(因为类别10包含癌症检查的比例最大)。由于AI评分的校准仅使用无异常的筛查乳腺X线摄影进行,AI评分独立于数据集的构成。然而,本研究使用的所有数据集均富集了癌症病例,这一事实意味着本研究中发现的AI评分分布偏向较高数值,因为可以预期癌症病例并非均匀分布于各AI类别中。

该AI系统使用一个代表筛查的外部数据库进行训练、验证和测试,该数据库包含超过9000例癌症乳腺X线摄影(其中三分之一表现为伴有钙化的病变)和180,000例无异常乳腺X线摄影。AI评分也使用该外部数据库进行校准,仅使用正常乳腺X线摄影。本研究中使用的乳腺X线摄影从未用于训练、验证或测试这些算法。这些乳腺X线摄影来源于四个不同厂商(Hologic;Siemens;General Electric;Philips)的设备以及欧洲、美国和亚洲的机构。

病例的自动预选

在本研究中,根据AI评分计算了正常检查以及根据参考标准含有良性或恶性病变的检查的分布。为了将检查分为两组(排除组和预选评估组),我们在所有可能的AI评分范围内(即从1到9)变化了划分这两组的阈值。因此,预选场景将待评估检查纳入为评分大于1、2、3、4、5、6、7、8或大于9(等同于仅预选第10类)的检查。对于每个阈值,分析了两组中检查的特征。

在预选场景下,我们假设阅片者仅评估预选组中的检查(癌症存在的可能性高),而低可能性组中的检查将自动被归类为“正常”。因此,全文中的工作量减少以筛查放射科医师需要阅片的检查数量来表示。鉴于AI系统的校准,例如预选阈值为5意味着筛查项目中一半的检查将被排除在人工阅片之外。通过事后修改原始放射科医师评分来估算预选后放射科医师性能的变化:对于排除组中的检查,所有放射科医师的评分自动修改为最低可能值(如1)。这意味着我们假设高于阈值因此应被评估的预选乳腺X线摄影中人类行为不变。

统计学

基于受试者工作特征曲线下面积(AUC)平均值的差异,采用非劣效性零假设[27–31]将原始场景中放射科医师的乳腺癌检测准确性与模拟预选场景进行比较。本研究中非劣效性界值设定为0.05。当AUC差异“预选场景”–“原始阅片”大于0且差异的95%置信区间(CI)下限大于非劣效性界值时,判定为非劣效性。置信区间经Bonferroni校正以处理多重比较。

为获得所有数据的平均AUC,我们使用公共领域的iMRMC软件进行分析(版本4.0.0,Division of Imaging, Diagnostics, and Software Reliability, OSEL/CDRH/FDA, Silver Spring, MD)[29, 30],该软件可处理非完全交叉的研究设计,例如汇总本研究中九个数据集时产生的裂区设计[32, 33]。阅片者平均ROC曲线通过沿垂直于机会线的方向对阅片者特异性非参数(梯形)曲线取平均而生成[34]。该平均值保持面积不变;其AUC等于阅片者平均非参数AUC。鉴于Rodriguez-Ruiz等人[14]观察到的AI系统在各数据集间的同质性能,未按数据集进行分析。因此我们假设本研究中不存在各数据集间的差异。

结果

AI系统的性能

DM检查的分布作为AI评分的函数如图1所示(根据ground truth按每种检查类型:a,正常;b,癌症;c,良性)。正如预期,正常检查在AI评分类别中均匀分布,每个类别的正常检查平均占10.0%(范围7.2–14.9%)。对于包含癌症的检查,72.5%被归入最高的癌症存在可能性类别(10),而95.1%位于类别5–10。相比之下,仅27%的包含良性病变的检查位于类别10。一个被赋予低AI评分的包含癌症的检查示例见图2。

图1 正常(a)、癌症(b)和良性(c)检查按AI评分(表示癌症存在的可能性,1–10,10表示癌症存在的高可能性)的分布。显示了每个数据集对检查总百分比的贡献 查看原图 ↗
图2 本研究中9个包含癌症但被赋予AI评分1或2(最低癌症存在可能性类别)的检查示例。6名放射科医生在原始MRMC研究中均未召回该检查(无先验信息阅读),提示这些检查中乳腺X线摄影的癌症可见性较差(事实上,癌症可能是通过其他方式检测到的) 查看原图 ↗

病例的自动预筛选

使用不同预筛选阈值对检查进行预筛选后,将被排除阅读的检查比例和类型如图3所示。显示了减少筛查阅读工作量(例如,排除正常检查)与从阅读中排除包含癌症的检查之间的权衡:如果仅阅读评分高于5的检查,可将筛查工作量减半(−47%的筛查检查),代价是排除7%的癌症检查。例如,以2为预筛选阈值,仅1%的包含癌症的检查被排除,但阅读工作量最多减少17%。同时,这些阈值将分别减少27%和5%的包含良性病变的病例,从而大幅减少假阳性召回的数量。

对检查进行预筛选后,假设阅片者行为不变,放射科医生的平均乳腺癌检测性能(AUC)未发生变化。预筛选人群阅读的AUC非劣于原始人群的AUC。除9以外(此时仅评估最高癌症存在可能性类别(10)的检查,低95%CI = −0.052,AUC下降2%),所有可能的阈值均具有显著性(最低Bonferroni校正95%CI > −0.05,AUC差异小于1%,见图4)。

图3 使用所有可能的AI评分作为阅读预筛选阈值时,将从最终样本中排除、不由放射科医生评估的检查比例(%) 查看原图 ↗
图4 原始人群以及所有可能的预筛选人群(使用所有可能的AI评分作为阅读预筛选阈值;如果病例未被预筛选,则将放射科医生评分转换为MRMC研究中可能的最低癌症怀疑评分)中放射科医生平均值的ROC曲线(a)和AUC值变化(b)。95%置信区间经Bonferroni校正 查看原图 ↗

讨论

在这项工作中,我们评估了使用人工智能系统自动区分癌症存在可能性较高和较低的筛查乳腺X线摄影检查的可行性。我们的研究表明,在某些情况下,有可能将人工智能评分较低的检查从人工评估中排除,因为这些检查中的癌症患病率远低于未筛选人群,从而可能减少放射科医生的阅片工作量。

如果要考虑这种预筛选方案,我们的结果表明需要在减少工作量和冒着排除含癌症检查的风险之间进行权衡,这取决于创建两组所选择的阈值。另一方面,最佳阈值可能取决于当地实践和需求。使用低阈值时,我们观察到一个相对安全的场景,工作量大约减少17%,代价是将1%的含癌症检查排除在阅片之外(在筛查中癌症检出率约为6/1000的情况下,该组的癌症患病率约为0.3/1000)。将阈值设为人工智能评分5时,工作量减少增至47%,代价是7%的癌症被排除。然而,本研究中含癌症的检查不仅来自筛查,也来自临床实践,且据报道原始阅片研究中的一些癌症是通过其他手段如触诊、超声或乳腺断层合成检测到的[19–26]。这可能意味着本研究中报告的含癌症被排除检查的百分比可能高估了筛查检出癌症的实际排除比例。我们研究的一个局限性是我们无法按检测方式(筛查或临床)、按癌症的组织病理学类型或按乳腺密度分析上述结果,因为这些信息在原始研究中不可获得。

我们的结果表明,检查的预筛选不会导致放射科医生整体检测性能的降低,AUC变化小于1%。这支持了人工智能漏检的癌症也被放射科医生漏检的理论,可能是因为其乳腺X线可见性较低。

我们假设对预筛选乳腺X线图像的阅片是不变的。然而,在实际筛查实践中,可能有多种因素影响放射科医生对预筛选检查的评分。预筛选队列中较高的癌症患病率可能导致对乳腺癌更高的敏感性,因为在实践中,当异常频率相对较高时更容易检测到异常[8]。同样,研究按特定顺序(例如,从高到低的人工智能评分)阅读预筛选组乳腺X线图像是否也具有附加价值将是有意义的(因为癌症患病率随人工智能评分增加而增加)。也有可能故意提高预筛选队列的召回率(通过降低召回阈值),以抵消低人工智能评分含癌症乳腺X线图像的排除。更多良性病变被排除这一事实很可能使这在不超过整体召回率的情况下成为可能。

排除良性病变病例可能提高了筛查的特异性,从而减少了与假阳性召回相关的可能危害。排除这些病例后ROC曲线的相似性确实表明,排除癌症检查的负面影响部分被同时排除假阳性评估所抵消。然而,可以假设大多数AI评分相对较低的良性异常将是乳腺放射科医师无需活检即可归类为确定良性的病变;因此,对因良性病变而接受活检的女性比例的影响可能较小。

虽然在本研究中我们提出了对永远不会被人类放射科医师阅读的乳腺X线摄影进行自动标记的方法,但另一种可能性是利用自动创建的检查分组来区分需要双重阅读的病例和单次阅读即足够的病例。这种策略对于例如欧洲的筛查项目可能是有价值的,因为双重阅读是那里的常规做法,并且对于使用乳腺断层合成作为筛查成像技术的项目可能特别有意义,因为每个病例的阅读时间更长[25, 35]。显然,这种分层的影响应进一步评估。

计算机系统的改进,例如纳入先前检查的时间信息,可能会进一步增强预筛选,因为当前系统仅使用当前数字乳腺X线摄影(DM)检查的信息。鉴于机器学习领域的快速演变,应定期评估其他系统和版本。

我们的研究有几项局限性。所用的数据集并非来自筛查,而是富集了癌症病例。检查未采用欧洲筛查中常见的双重阅读方式,而是由多名放射科医师对每个病例独立阅读。筛查数据与临床数据的混合还可能引入与筛查检出癌症特征不同的癌症,这可能使我们的结果产生偏倚。由于我们没有肿瘤的组织学特征,我们无法确定基于AI评分被排除在人工阅读之外的癌症对女性健康的影响。然而,由于大规模筛查本身就是社会效益、危害和成本之间的平衡,对可能异常和确定正常病例进行预筛选可能是当前筛查实践的一种有效替代方案。需要在真实筛查人群中进一步测试这种预筛选方案,以验证我们的发现对召回率、真阳性和假阳性筛查评估以及间期癌症率的影响。

总之,我们提出了一种新策略,通过使用AI系统自动预筛选需要放射科医师评估的检查,同时将不太可能含有癌症的检查排除在人工阅读之外,来减少基于乳腺X线摄影的乳腺癌筛查项目中的阅读工作量,该策略似乎不会降低放射科医师的检出性能。

引用

  1. Rodriguez-Ruiz A, Lång K, Gubern-Merida A, et al. Can we reduce the workload of mammographic screening by automatic identification of normal exams with artificial intelligence? A feasibility study. Eur Radiol. 2019. PMID: 30993432. doi:10.1007/s00330-019-06186-9
  2. 全文:PMC6682851(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6682851/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。