文献速递乳腺乳腺X线

人工智能作为乳腺癌筛查项目额外阅片者的诊断能力

Diagnostic capabilities of artificial intelligence as an additional reader in a breast cancer screening program.
PubMed 文献 · Eur Radiol · 2024-02-22

AI的AUC为89.6%,阈值30.44时敏感度72.38%、特异度92.86%,可检出51.72%的间期癌和50%的漏诊癌,作为第二阅片者可使24例患者平均提前29.92个月诊断;混合分诊流程可减少69.5%工作量并提高30.5%准确率。

要点

  • AI在乳腺X线筛查中AUC达89.6%,阈值30.44时敏感度72.38%、特异度92.86%。
  • AI可检出51.72%的间期癌和50%的漏诊癌,作为第二阅片者可使24例患者平均提前29.92个月诊断。
  • 混合分诊流程可减少69.5%的阅片工作量并提高30.5%的准确率。

核心结论

  • AI系统在筛查乳腺X线中表现出高敏感度和特异度,能有效识别间期癌和漏诊癌,并在既往乳腺X线片中提前发现23%的癌症;采用AI作为分诊机制有望减少近70%的工作量。

诊断标准与关键数值

  • AI风险评分的AUC为89.6%(95%CI 86.1-93.2%);Youden指数为0.65时对应阈值为30.44,该阈值下敏感度72.38%、特异度92.86%;105例癌症中,AI评分≥阈值者76例(57例筛查检出癌占83.82%、15例间期癌占51.72%、4例漏诊癌占50%),24例评分低于阈值但被标记,5例评分≤1;模拟数据集中场景3的PPV1为7.2%,NPV为99.97%。

临床应用与阅片要点

  • 作者基于BMSP经验提出:AI-CAD系统可作为分诊机制区分无风险组和有风险组,在BMSP模拟中分诊率为38.9%;介于无风险组与风险阈值之间的病例应标记为「flagged」,其假阴性可能性较高(4.67%),应由放射科医生全面评估;风险评分高于阈值的患者应考虑为真阳性并转诊进一步诊断评估;作者指出分诊系统需建立法律框架以处理潜在的医疗法律问题。

局限性

  • 本研究为回顾性研究,筛查场景应通过类似构建的前瞻性研究验证。
  • 由于数据迁移中的意外问题,未能纳入患者的所有乳腺X线图像。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Feb 22;34(9):6145–57. doi: 10.1007/s00330-024-10661-3

引言

乳腺癌是女性最常见的癌症,也是癌症相关死亡的第二大原因[1]。采用乳腺X线摄影的筛查项目通过实现早期诊断,对降低乳腺癌相关发病率和死亡率做出了显著贡献[2, 3]。乳腺X线摄影的假阳性和假阴性率较高,可归因于多种因素,包括:致密乳腺组织、判读错误和体位不当[4–6]。人工智能(AI)在减少错误方面具有巨大潜力,当作为筛查中的第二读片者或决策中的计算机辅助决策支持系统使用时,可提高特异性[7–10]。这减少了放射科医生的工作量,并使AI成为潜在的预检分流要素。最近一项荟萃分析纳入了15项个体研究,聚焦于独立检测(8项研究)和预检分流(7项研究)AI,结果显示AI算法在涉及独立计算机辅助检测和计算机辅助诊断的任务中,其效能正接近人类读片者[11]。然而,尽管这些结果令人鼓舞,仍需进一步的AI研究来建立与当前读片者性能和筛查项目目标相一致的临床相关阈值[11]。

在乳腺X线摄影筛查中,召回率和间期癌发生率是至关重要的基准指标。间期癌具有生物学意义更大和体积更大的风险,可能影响乳腺X线摄影筛查在降低死亡率方面的有效性[12, 13]。导致这些间期癌的一个因素是判读乳腺X线摄影时的人为错误,受疲劳、工作量和认知负荷等因素影响[14]。AI在减轻这些错误从而降低间期癌发生率方面具有显著潜力[8, 11]。

另一方面,尽管有令人鼓舞的研究结果证明了AI在筛查中的潜力,但文献中仍存在空白,即缺乏以纵向方式探讨筛查项目中连续就诊之间时间关联的研究,现有研究通常将乳腺X线摄影作为独立检查进行评估,而非作为序贯分析的一部分来检测漏诊癌和间期癌[8, 9]。

在本研究中,我们旨在评估AI在筛查项目实施期间的早期检测能力,特别关注间期癌的检测、借助AI从既往就诊中早期发现癌症,以及其对各种读片场景下工作量的影响。

材料与方法

人群

本研究经机构审查委员会批准(日期、编号:15.10.2020,2020–22/23)。数字乳腺X线摄影图像取自Bahcesehir乳腺X线摄影筛查项目(BMSP)[15]。所有患者在BMSP下签署了知情同意书。机构审查委员会豁免了本研究对匿名化医学数据进行回顾性评估时获取知情同意的需要。BMSP研究于2009年1月至2019年1月在土耳其伊斯坦布尔Bahcesehir区开展,纳入40至69岁女性。在受邀参与筛查的8758名女性中,五个两年一轮的轮次参与率为85%。本研究的报告符合STROBE指南[16]。

乳腺X线摄影图像

采用全视野数字乳腺X线摄影(Selenia,Hologic,美国)获取两个体位图像,即内外斜位(MLO)和头尾位(CC)。两名具有五年以上乳腺影像学经验的专家放射科医师对图像进行评估。若意见不一致,由第三名具有20年以上乳腺影像学经验的放射科医师评估图像以作出最终决定。遵循美国放射学会乳腺影像报告和数据系统(BI-RADS)第四版[17]。在研究开始时,BI-RADS第五版尚不可用。

数据检索

图像来源于BMSP的本地PACS服务器。然而,数据自2009年以来一直存档于PACS系统中,且PACS系统在此期间未进行过更新。由于PACS系统版本陈旧,数据检索面临重大挑战,导致检索过程中丢失了大量乳腺X线摄影图像。尽管寻求了PACS公司专业人员的帮助,仍无法完整检索所有乳腺X线摄影图像。为保护患者隐私,所有数据均经过假名化处理,在检索时分配随机识别编号。初始可用乳腺X线摄影图像共22621幅,来自8758名女性。然而,由于上述技术限制,仅成功检索到来自4318名女性的5271幅乳腺X线摄影图像。随后,因信息缺失和图像质量欠佳,135幅乳腺X线摄影图像被排除在研究之外。最终,研究纳入来自4282名女性的5136幅乳腺X线摄影图像,其中105幅诊断为乳腺癌。数据集及检索过程的详细说明见图1。

图1 所用数据集及检索过程的流程图 查看原图 ↗

定义

BMSP的相关定义采用欧盟乳腺癌筛查质量指南[18]。(1)间期癌:女性在乳腺X线摄影阴性后两年内发生原发性乳腺癌。(2)漏诊癌:假阴性评估,即在乳腺X线摄影阴性后30天内诊断为癌症。(3)筛查检出癌:在常规筛查程序中检出的癌症病例。

人工智能系统

我们使用Lunit INSIGHT MMG 1.1.7.1版(Lunit,首尔,韩国),这是一款基于卷积神经网络(CNN)算法的市售人工智能乳腺X线摄影判读软件。人工智能软件评估每侧乳腺的MLO和CC体位图像,并生成显示可能癌性病灶的热图。人工智能软件为每侧乳腺的病灶评定1至100之间的评分,反映恶性可能性,评分低于1被视为低风险。两侧乳腺中的最高评分被定义为风险评分。本研究使用的数据集从未用于先前开发的人工智能软件。

人工智能评估

所有检索到的乳腺X线摄影图像均由人工智能软件评估。对癌症检出 mammogram 的既往乳腺X线摄影图像进行了评估,并记录以供进一步的纵向时间分析。人工智能系统输出的示例见图2。真阳性(TP)、假阴性(FN)和假阳性(FP)示例见图2。对于癌症病例的纵向评估,我们仔细审查了既往乳腺X线摄影图像中癌症检出的时机,特别是在筛查检出的患者中。纵向评估的示例见图3。记录了漏诊、间期和检出的癌症病例。

将人工智能软件的风险评估与放射科医师的BI-RADS评分进行比较。BI-RADS评分按BI-RADS推荐[17]进行二分类:BI-RADS 1–2为阴性,BI-RADS 0–3–4–5为阳性。以组织病理学结果评估金标准。

阈值按统计分析部分所述定义,使用来自4282名女性的5136幅乳腺X线摄影图像(含105例癌症)的“初始数据集”。乳腺X线摄影图像根据其人工智能评分进行分类:评分低于1者归类为阴性,评分高于或等于既定阈值者归类为阳性,介于两者之间者归类为标记。

图2 TP、FN和FP乳腺X线摄影图像示例。a 一名62岁患者左乳外上象限有一BI-RADS 5病变,人工智能系统输出显示为TP并成功标记该病变。b 一名59岁患者左乳12点钟位置有一BI-RADS 4病变(白圈),人工智能系统未标记任何显著病变,显示为FN。c 一名58岁女性无乳腺病变,人工智能错误地标记了左乳一处病变,作为FP乳腺X线摄影图像的示例。TP = 真阳性。FN = 假阴性。FP = 假阳性 查看原图 ↗
图3 纵向调查示例。a 该52岁患者被诊断为右乳内上象限BI-RADS 4病变,人工智能系统输出显示为TP并成功标记该病变。b 放射科医师在她两年前的乳腺X线摄影图像中未发现异常。人工智能系统在她两年前的乳腺X线摄影图像中检测到同一病变。放大视图可更好地显示钙化(蓝圈和括号) 查看原图 ↗

工作流程场景

为准确模拟所用和拟议的工作流程,对无癌症患者的就诊进行自举法抽样以达到BMSP的实际癌症率5.7/1000 [15],并创建了“模拟数据集”。自举法进行了10,000次迭代。

除BMSP的原始工作流程外,还模拟了三种不同的工作流程场景,并相应评估了放射科医师的工作量。在BMSP的实际工作流程中,所有乳腺X线摄影图像均由两名放射科医师评估,出现不一致时咨询第三名放射科医师。

在场景1中,模拟了研究人员常提出的一种传统工作流程,即由一名放射科医师进行初步评估,并辅以人工智能软件作为第二读者[19]。

在场景2中,除场景1的方法外,所有被标记的就诊均由第二名放射科医师进行额外评估。

在场景3中,使用带有AI软件的分诊算法将病例分为绿色(风险评分低于且等于1的乳腺X线摄影)、黄色(风险评分在1与阈值之间的乳腺X线摄影)和红色(风险评分高于或等于阈值的乳腺X线摄影)。绿色病例被标记为阴性并被排除,而黄色和红色病例由一名放射科医师进行评估。

统计分析

所有分析均使用R统计语言(奥地利,R Core Team,版本4.1.0)完成。置信水平0.95被视为显著。数据的正态性通过Kolmogorov–Smirnov检验以及偏度和峰度值进行评估。符合正态分布的变量以均值和标准差描述;不符合的以中位数和四分位距(IQR)描述。分类变量和有序变量以绝对频数定义。分析受试者工作特征(ROC)曲线和曲线下面积(AUC)。使用约登指数获得癌症识别的阈值。乳腺密度、肿瘤大小、肿块和钙化类型、癌症分期、分子亚型、组织学亚型和分级、核分级、坏死存在与否、淋巴血管侵犯存在与否、多灶性以及所施行手术类型的差异通过方差分析、卡方检验及相应的事后检验进行分析——这些工作流程为筛查环境下的工作流程和准确性比较而创建。

结果

初始数据集分析

AI风险评分的AUC为89.6%(86.1–93.2%,95%置信区间)。ROC的详细信息见图4。ROC的约登指数在评分为30.44时产生最高灵敏度和特异度,为0.65,灵敏度为72.38%,特异度为92.86%。因此,阈值确定为30.44,下文将称为“该阈值”。

所有乳腺X线摄影均根据该阈值进行标记。基于“该阈值”,4893例阴性乳腺X线摄影中有349例(7.13%)为假阳性。105例癌症患者中有29例(27.62%)的乳腺X线摄影为假阴性。

对这105例癌症患者此前的138次乳腺X线摄影进行了进一步评估,AI将24例癌症患者的35次既往乳腺X线摄影标记为阳性。3例癌症病例被AI提前6个月检出,这些病例被BMSP标记为BI-RADS 3。此外,与BMSP检出相比,AI模拟使3例癌症病例提前一年检出,10例癌症病例提前两年检出,4例癌症病例提前三年检出,1例癌症病例提前四年检出,3例癌症病例提前六年检出。AI作为第二读片者可使24例患者平均±标准差提前29.92±9.67个月获得诊断,如图5所示。癌症和患者特征在表1中进一步说明。非癌症、经组织病理学证实的癌症就诊分布以及癌症患者的特征见表2。

在BMSP的105例癌症病例中,68例为筛查检出,29例为间期癌,8例为漏诊。AI对105例癌症患者中的76次乳腺X线摄影给予了等于或高于“该阈值”的评分(57例筛查检出(83.82%)、15例间期癌(51.72%)、4例漏诊癌症(50%)),而24次乳腺X线摄影获得的评分低于“该阈值”但被标记以供复核。其余5次乳腺X线摄影评分低于或等于1(表2)。

图4 使用约登指数计算受试者工作特征分析和阈值 查看原图 ↗
图5 箱线图展示人工智能对癌症患者既往钼靶摄影进行更早期诊断 查看原图 ↗
表1 经组织病理学证实的癌症特征 查看原表 ↗
表2 人工智能结果与放射科医师评估的相关性 查看原表 ↗

使用“模拟数据集”的工作流程场景

总体而言,“模拟数据集”由18,421张钼靶摄影组成,其中包括105例乳腺癌。在真实BMSP环境中,两名放射科医师评估了全部18,421张钼靶摄影,总工作量为36,842次评估。在这些钼靶摄影中,68张被诊断为癌症,37张被漏诊或为间期癌。所提出的场景1将放射科医师工作量减少一半至18,421次,将漏诊或间期癌减少至21例,并将诊断出的癌症增加至84例。场景2由一种新的混合环境组成,它进一步将诊断出的癌症病例增加至101例,其中4例为漏诊或间期癌病例。然而,放射科医师的工作量增加至28,271张钼靶摄影。场景3的混合分诊环境在准确性方面取得了相似结果(较BMSP环境提高30.5%),同时降低了工作量(较BMSP环境减少69.5%),并检测出100例癌症病例,其中5例为漏诊或间期癌。场景3中放射科医师的工作量为11,245张钼靶摄影。这些工作流程的详细模拟可见图6。根据BI-RADS基准,PPV1应超过4.4%,而在场景3中,研究结果表明PPV1为7.2%,超过了规定阈值。场景3的NPV为99.97% [17]。

图6 BMSP工作流程的模拟 查看原图 ↗

讨论

本研究表明,当人工智能作为分诊机制整合到筛查工作流程中时,可以72.38%的灵敏度和92.86%的特异度检测癌症。这些发现与将人工智能作为筛查中的第二读片者所使用的既定获益相似,后者通过结合人工智能和放射科医师的优势,显著提高了灵敏度和特异度 [8, 11, 20, 21]。虽然人工智能可以成为更有效分配筛查资源的宝贵工具,但这是在其对间期癌和漏诊癌相对改善的性能之外 [8, 21]。我们此前已表明,使用人工智能将间期癌和漏诊癌的检出率分别提高了44.4%和66.7% [8]。随着人工智能的使用,乳腺癌筛查中的灵敏度大大提高,尤其是在放射科医师漏诊癌症的病例中 [7, 8, 22, 23]。本研究还表明,人工智能在早期检测间期癌和漏诊癌方面的影响分别为51.72%和50%。这与既往研究一致,这些研究显示间期癌的检出率为20–50% [8, 9, 21]。已开展了若干临床试验,以评估基于人工智能的系统在乳腺癌筛查中的性能。Kim等发现,基于人工智能的计算机辅助检测(CAD)系统可以89.7%的灵敏度和96.5%的特异度检测乳腺癌 [24]。Hickman等发现,使用基于人工智能的CAD系统显著提高了浸润性乳腺癌检出率,检出率为96.5%,而仅由放射科医师检测时为88.4% [11]。

AI-CAD系统通常利用风险评分或数值来评估乳腺X线摄影,常与放射科医师的评估结合使用。然而,必须认识到不同队列、人口统计学特征、成像设备和PACS系统可能影响各研究中采用的风险阈值[25]。这强调了开发区域特异性AI模型而非依赖通用方法的必要性。基于本地标准建立风险阈值并实施全面的培训项目可以增强我们对乳腺癌的理解。Larsen等人检查了三种不同的筛查场景,而我们的研究探索了四种场景,在不同阈值下产生了不同的结果[9]。我们的场景揭示,AI在乳腺癌筛查中最好作为分诊机制发挥作用,从而在早期发现和工作量减少方面取得最佳结果。虽然检查不同的筛查场景很重要,但基于这些场景建立工作流程以确定将AI整合到日常筛查流程中的最佳风险阈值至关重要。基于我们在BMSP的经验,我们提出以下结果:首先,AI-CAD系统可作为分诊机制,将无风险组与有风险组区分开来,减少放射科医师的工作量。在BMSP模拟中,该方法实现了38.9%的分诊率。在临床实践中实施这一策略可以促进更广泛的筛查阅片并缓解人力资源需求。然而,应为分诊系统制定法律框架以应对潜在的医疗法律问题。其次,落在无风险组与风险阈值之间的病例应归类为“标记”病例,表明假阴性可能性较高(4.67%)。这些病例应接受放射科医师的全面评估。最后,风险评分高于阈值的患者应被视为真阳性并转诊进行进一步诊断评估。这种方法能够早期识别潜在的乳腺癌病例,从而在减少工作量的同时改善治疗结果。

在BMSP中,这相当于工作量减少69.5%,间期癌/漏诊癌率降低30.5%。大量研究探讨了人工智能对工作流程效率的影响,一致证明在工作量减少方面具有相似的结果,平均减少率为20%,最高为53%[26–29]。然而,这种方法涉及权衡,因为存在忽略某些癌症的风险。在我们的研究中,分诊机制导致5例癌症的误诊。积极的一面是,人工智能对间期癌和漏诊癌分别显示出93.1%和75%的成功检出率。分诊场景最终识别了10年筛查期间观察到的所有癌症的95%,超过了BMSP中的癌症检出率。Lang等人采用的类似场景显示,使用两种不同的人工智能阈值导致遗漏7%或1%的癌症,具体取决于所选择的敏感度水平[28]。他们得出结论,敏感度的轻微降低可以提高特异度。考虑到筛查项目中漏诊癌和间期癌的固有发生,实施人工智能分诊提供了一个减轻人工工作量的机会,与现实世界筛查相比,遗漏少量癌症的权衡是可接受的。这种有利的权衡支持将人工智能分诊整合到筛查项目中的潜力;然而,阈值的选择成为一个关键问题。在资源有限、放射科医生数量往往不足以在基于人群的筛查中提供广泛覆盖的国家,工作量的减少尤为重要。

McKinney等人的一项研究发现,人工智能可以将第二阅片者的工作量减少88%[25]。虽然这是一个相当大的数量,但它仅考虑了第二阅片者。在我们的场景1中,人工智能作为第二阅片者,我们实现了50%的工作量减少,而分诊场景则显示为69.5%。在我们的分诊方法中,人工智能还作为分诊后剩余乳腺X线摄影的第二阅片者发挥作用。最近的一项荟萃分析表明,采用人工智能作为第二阅片者可获得可比的结果,合并AUC为0.89,阅片者为0.85[11]。在Lang等人最近进行的一项前瞻性随机研究中,比较了双阅片者与单阅片者加人工智能作为第二阅片者的情况,观察到人工智能使工作量减少44.3%,同时保持可比的癌症检出率、召回率和假阳性率[30]。我们的方法代表了一种合理的混合模型,结合了人工智能分诊和人工智能作为分诊后剩余乳腺X线摄影的第二阅片者。

尽管人工智能的检测能力已被广泛研究,但大多数研究将筛查数据视为非连续性、独立且单一的现象来评估。这可能导致结果不准确,尤其是在筛查数据中,因为癌症随着时间的推移发展,在影像学上可能并不明显[21]。这在间期癌中尤为明显,其中一些可能在此前的检查中已经潜在存在。为了防止癌症患者在确诊前既往乳腺X线摄影的假阴性,纵向分析对于展示人工智能随时间推移的性能和风险评分将具有重要价值。我们已经证明,在BMSP中将人工智能用作第二读片者可使24例患者平均提前29.92 ± 19.67个月获得诊断。考虑到BMSP中检测到的癌症总数,筛查项目中22.9%的癌症得以早期诊断,有可能降低发病率和死亡率[31]。因此,将人工智能作为分诊工具纳入可减少工作流程,并大幅提高早期诊断率,最高可达检出癌症的四分之一。

同样,Byng等人也有令人鼓舞的发现,在间期癌既往未确诊的检查中,25%的后续癌症被检出[21]。尽管放射科医生能够从既往检查中检测出癌症(即间期癌),但这些发现往往因后续癌症诊断已确立而存在偏倚。然而,如果未将确切的癌症用于训练,人工智能可消除这一偏倚,从而以增加假阳性为代价获得更可靠的结果。Watanabe等人发现,使用AI-CAD软件显著提高了放射科医生的癌症检出率,增幅范围为6%至64%(平均27%),假阳性召回的增加可忽略不计[22]。在BMSP中,我们在标记组和超过阈值组中获得的假阳性比例为7.13%。这可能会略微增加进一步诊断检查的需求。尽管如此,凭借更快速、更准确分析乳腺X线摄影的能力,基于人工智能的系统将能够在乳腺癌更可治疗的早期阶段检测出癌症。

局限性

本研究为回顾性研究,筛查场景应通过类似构建的前瞻性研究进行验证。其次,由于数据迁移过程中的不可预见问题,我们无法将BMSP筛查患者的所有乳腺X线摄影图像纳入分析。为克服这一不足,我们对未诊断为癌症的患者至少两个后续筛查轮次的健康检查进行了自举抽样。

结论

总之,该人工智能系统在筛查乳腺X线摄影的癌症检测中表现出高灵敏度和特异度。人工智能有助于间期癌和漏诊癌症的早期检测,减少人为误差。此外,人工智能在既往乳腺X线摄影中提前识别高达23%癌症的潜力前景可期。本研究还强调了制定深思熟虑的策略将人工智能整合到筛查项目中的重要性。在筛查工作流程中采用人工智能作为分诊机制,可有效减少近70%的工作量,并促进癌症的及时检出。

引用

  1. Seker ME, Koyluoglu YO, Ozaydin AN, et al. Diagnostic capabilities of artificial intelligence as an additional reader in a breast cancer screening program. Eur Radiol. 2024. PMID: 38388718. doi:10.1007/s00330-024-10661-3
  2. 全文:PMC11364680(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11364680/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。