文献速递乳腺US

基于深度卷积神经网络的全自动乳腺超声(ABUS)影像BI-RADS分类

Fully automatic classification of automated breast ultrasound (ABUS) imaging according to BI-RADS using a deep convolutional neural network.
PubMed 文献 · Eur Radiol · 2022-02-11

该回顾性研究利用645例来自113例患者的ABUS数据集训练深度卷积神经网络,按BI-RADS 2/3与4/5进行病灶检测与分类,并在128张测试图像上与2名有经验放射科医师比较。单图分类准确率79.7%、AUC 0.91,全数据集准确率90.9%、AUC 0.91,与人工阅读表现相当。

要点

  • dCNN在单张ABUS图像上的BI-RADS分类准确率为79.7%,AUC为0.91。
  • 按整个3D ABUS数据集最高BI-RADS评分分类,准确率提升至90.9%,AUC为0.91。
  • dCNN与金标准的一致性(κ=0.57单图、κ=0.82全数据集)与有经验放射科医师相当。

核心结论

  • dCNN可被训练用于检测和区分ABUS中的病灶并按BI-RADS分类,其准确性与有经验放射科医师相似。
  • 将AI模型纳入临床流程可能提高评估可靠性,同时减少放射科医师的工作量。

研究设计与样本

  • 回顾性研究,纳入2017年至2019年间苏黎世大学医院PACS数据库中645个ABUS图像集,来自113例女性患者。
  • 55例患者病灶为高恶性概率(BI-RADS 4/5),58例为低恶性概率(BI-RADS 2/3),均经随访稳定或组织学证实为纤维腺瘤。
  • 使用Invenia自动乳腺超声系统(GE Healthcare)由 trained technician 采集,每侧乳房三个容积,图像矩阵600×600像素,层间距0.5 mm。
  • 测试数据集包含128张图像,其中71张高恶性概率图像来自10例患者、57张低恶性概率图像来自10例患者,均未用于训练或验证。
  • 参考标准为RIS档案中的双读放射学报告;由2名有经验放射科医师(读者1>10年、读者2>5年乳腺影像经验)进行分类比较。

关键影像表现/征象

  • 滑动窗口法可逐层定位病灶位置,并以热图形式在原始图像上叠加显示BI-RADS 2/3(蓝色)或BI-RADS 4/5(红色)的分类概率。
  • 模型1区分图像背景与乳腺组织,模型2区分正常乳腺组织与病灶存在(良恶性均包括),模型3判定检测到病灶的BI-RADS分类(2/3或4/5)。
  • 基于切片间距将病灶定位结果绘制于3D空间,并可评估和绘制恶性概率的3D分布。

诊断标准与关键数值

  • BI-RADS 2为无恶性怀疑,BI-RADS 3为恶性概率<3%,BI-RADS 4/5为恶性概率>3%;BI-RADS 4a为低度怀疑(2–10%)、4b为中度怀疑(11–50%)、4c为高度怀疑(51–94%)、5为高度恶性概率(>95%)。
  • 单图像分析:dCNN模型3分类准确率79.7%,AUC 0.91(95% CI: 0.85–0.96),Youden指数J为0.92;读者1 AUC 0.80(95% CI: 0.73–0.87),读者2 AUC 0.71(95% CI: 0.63–0.78)。
  • 单图像分析一致性:dCNN与金标准κ=0.57(95% CI: 0.50–0.64);读者1与金标准κ=0.61(95% CI: 0.53–0.68);读者2与金标准κ=0.44(95% CI: 0.36–0.51);读者间κ=0.43(95% CI: 0.28–0.58)。
  • 全3D ABUS数据集分析:dCNN分类准确率90.9%,AUC 0.91(95% CI: 0.77–1.00),Youden指数J为0.92;读者1 AUC 0.82(95% CI: 0.68–1.00),读者2 AUC 0.91(95% CI: 0.77–1.00)。
  • 全数据集一致性:dCNN与金标准κ=0.82(95% CI: 0.60–0.95);读者1 κ=0.63(95% CI: 0.47–0.81);读者2 κ=0.82(95% CI: 0.60–0.95);读者间κ=0.46(95% CI: 0.09–0.82)。

临床应用与阅片要点

  • 该算法可在大型3D ABUS数据集中突出显示可疑病灶并给出分类建议,可能对经验不足的读者有帮助。
  • 作者认为该AI模型可作为独立第二意见工具,用于ABUS检查中按BI-RADS分类的进一步标准化。
  • 作者指出,将AI模型纳入临床流程可能提高评估可靠性,同时减少放射科医师的工作量。
  • 本研究采用可解释AI概念,通过逐步解决方案使AI的每个决策可追溯,便于临床理解与适配。

局限性

  • 采用回顾性研究设计验证算法,可能因数据集选择产生偏倚;前瞻性评估超出本方法学研究范围。
  • 所有数据来自单一机构,且仅使用一个设备供应商的数据采集;研究目的并非证明算法适用于所有临床设置,而是原则上证明算法可被训练以模拟ABUS检查中的人工阅读。
  • 数据虽来自本机构一般女性患者队列,但并未纳入所有种族。
  • 仅研究了一种dCNN架构和检测算法,未与预训练模型比较,因此不能排除其他dCNN架构可能获得更高准确率。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Feb 11;32(7):4868–78. doi: 10.1007/s00330-022-08558-0

引言

乳腺癌是女性最常见的癌症死亡原因之一,全球死亡率呈上升趋势[1]。仅在2020年,全球就有230万名女性被诊断为乳腺癌,导致685,000例死亡[2]。一生中罹患乳腺癌的概率估计为12.3%[3],1年、3年和5年生存率分别为92%、75%和73%[4]。

当前筛查项目最常依赖乳腺X线摄影,已知可将乳腺癌相关死亡率降低多达45%[5]。尽管具有成本效益,乳腺X线摄影筛查仍存在一些不足,降低了质量控制组织化筛查项目和机会性乳腺癌筛查的有效性。由于传统乳腺X线摄影需要压迫乳房,许多女性因害怕疼痛而决定不接受筛查性乳腺X线摄影[6]。此外,致密乳腺组织会降低传统乳腺X线摄影在癌症检测中的敏感性[7–10]。对于致密乳腺组织的女性或不愿接受乳腺X线摄影的女性,乳腺超声可能是一种可靠的替代方式,可作为乳腺X线摄影的辅助手段或作为独立筛查方式,提高癌症检测的准确性[11, 12],但结果高度依赖于操作者的技能和经验,此外还需要专家对结果进行解读,而解读可能具有高度主观性。

乳腺影像报告和数据系统(BI-RADS)由美国放射学会(ACR)制定,作为一种分类系统,用于标准化乳腺X线摄影的质量控制和风险评估[13, 14]。BI-RADS指南采用数字量表来描述病变的存在及恶性概率。BI-RADS 1对应于未检测到肿块或病变的图像;BI-RADS 2描述无可疑恶性的病变;BI-RADS 3代表恶性概率低(< 3%);4a——低度可疑恶性(2–10%);4b——中度可疑(11–50%);4c——高度可疑(51–94%);BI-RADS 5对应于高恶性概率(> 95%)[15]。

自动化乳腺超声(ABUS)可替代更常用的手持式超声(HHUS),实现图像采集的标准化、对整个乳腺体积的完整覆盖,并将采集任务委托给技师[16, 17]。在早期临床研究中,ABUS显示出与手持式超声相似的准确性;此外,ABUS与传统乳腺X线摄影联合应用提高了癌症检出率[18, 19]。ABUS检查的缺点之一是图像数量庞大,导致经验不足的放射科医师阅片时间增加。此外,有报道称ABUS评估对阅片者的依赖性更高[20]。

机器学习技术已被证明可用于乳腺影像发现的检测和分类[21],特别是深度卷积神经网络(dCNN)为乳腺影像提供了强大的工具,例如用于乳腺X线摄影中微钙化的检测和分类[22],以及手持式超声图像和乳腺X线摄影中乳腺癌的检测[23]。将dCNN应用于ABUS检查的特征提取,提高了第二阅片的诊断可靠性[24]。

在本研究中,我们利用自动乳腺超声(ABUS)检查结果训练了一种深度卷积神经网络(dCNN)算法,以模仿根据美国放射学会(ACR)乳腺影像报告和数据系统(BI-RADS)关于ABUS检查风险评估建议的放射学决策过程。此外,基于dCNN分类,采用滑动窗口方法在ABUS数据集中自动定位可疑和非可疑病灶。

材料与方法

患者数据

本回顾性研究已获当地伦理委员会批准(“苏黎世州伦理委员会”;批准号:2016-00064)。用于算法训练、验证和测试的ABUS图像从苏黎世大学医院PACS数据库中回顾性收集,检查时间为2017年至2019年。总计645组包含病灶的ABUS图像集由一位在乳腺影像方面拥有超过8年经验、在ABUS成像方面拥有超过3年经验的放射科医师从113名女性患者中选取。在所选数据中,55名患者的病灶具有高恶性概率(BI-RADS 4/5),58名患者的病灶具有低恶性概率(BI-RADS 2/3),所有病灶 later 均被确认为稳定病灶或经组织学证实的纤维腺瘤。为训练模型,使用了189幅包含高恶性概率病灶的图像和178幅低恶性概率图像。为模型验证,每个BI-RADS分类包含75幅图像。测试数据集包括来自10名患者的71幅高恶性概率图像和来自10名患者的57幅低恶性概率图像,这些图像未用于模型的训练或验证。

ABUS检查

图像由经过培训的技术人员使用专用ABUS设备(Invenia™自动乳腺超声系统,GE Healthcare)采集。采集包括每侧乳腺三个容积,以覆盖整个乳腺体积。每个图像集由一叠二维图像组成,矩阵大小为600 × 600像素;每幅图像呈现相距0.5 mm的超声视图平面。

图像选择与数据准备

从完整数据集中,由放射科医师选取显示病灶的单幅图像并根据BI-RADS分类进行分类。从图像栈中提取单幅图像的示意见图1。由于存在伪影,十组图像集被排除在进一步分析之外。为训练和验证dCNN,由放射科医师选取病灶周围区域并裁剪为大小为151 × 181像素的矩形图像。使用TensorFlow(Google LLC)数据增强工具对训练/验证图像进行旋转、高度和宽度平移、剪切、缩放和水平翻转增强,以提高训练的泛化能力并平衡数据集的类别。用于学习过程各部分的增强图像数量的详细数据见表1。为实现逐步检测和分类,训练了3个dCNN模型:模型1——区分图像背景与乳腺组织

模型2——区分正常乳腺组织与存在病灶(良性和恶性)

模型3——确定检测到的病灶的BI-RADS分类(BI-RADS 2/3或BI-RADS 4/5)

图1 从ABUS检查数据集中提取单幅图像的可视化 查看原图 ↗
表1 模型训练和验证数据集信息及训练和验证结果 查看原表 ↗

dCNN架构

模型使用深度卷积神经网络进行训练,该网络包含13个卷积层、5个最大池化层用于下采样,随后是2个使用ReLU激活函数的全连接层。应用了50%的dropout以减少过拟合,最终权重使用softmax激活函数。模型训练采用随机梯度下降优化,损失函数为二元交叉熵。批大小设为16,学习率设为1.0 × 10−6,使用0.90的Nesterov动量,当训练和验证准确率不再提升时停止训练,即模型1和模型2为120个epoch,模型3为160个epoch。dCNN使用TensorFlow 2.0软件库在运行Ubuntu 16.04操作系统、配备Nvidia 1080 GTX GPU的机器上进行训练。使用类别加权以减少训练数据集中的不平衡。

图像分析与病灶检测

为了定位图像中描绘组织或病灶的区域,并创建逐像素显示病灶存在概率的概率图,使用Python 3.5编程语言实现了滑动窗口方法。从尺寸为600 × 600像素的原始ABUS图像中,在x和y方向的循环中裁剪以给定x,y坐标为中心的151 × 181像素区域,并对每个裁剪图像应用逐步dCNN分类算法。计算的概率结果连同相应的x和y坐标写入3个数组(每个模型的结果写入单独的数组)。对一个裁剪区域完成所有dCNN评估后,在循环中将原始图像上的中心沿X或Y方向移动10像素。滑动窗口方法的详细方案见图2。

对于每张 analyzed 图像,滑动窗口算法产生三个60 × 60矩阵,由逐步分类的类别概率组成。使用3个训练模型进行的计算结果可视化为热图,提供关于检测和分类概率的空间信息。一个示例性计算的可视化见图3。在颜色图中,结果以红色和蓝色叠加在原始图像上呈现,分别代表dCNN分类为BI-RADS 2/3或BI-RADS 4/5类别的概率。由于对图像区域进行逐步分类,只有那些代表检测到病灶的区域(评估步骤2)在步骤3中使用分类为BI-RADS 2/3或BI-RADS 4/5的模型进行评估(评估步骤3)。因此,只有那些代表检测到病灶的区域在颜色图中显示红色或蓝色。为了从完整图像体生成概率图,将前述方法依次应用于图像堆栈中的所有图像,得到60 × 60 × 3 × 330的矩阵(对于完整检查集的330张图像中的每一张,3个维度为60 × 60的概率矩阵)。

图2 用于图像上病灶定位和预测的滑动窗口方法。为分析整个图像,选择单独的裁剪区域(a)。基于固定大小窗口的裁剪图像进行预测(b)。所有3个模型应用于图像的裁剪片段。每个模型的概率结果连同图像中心的相应坐标写入表格(c) 查看原图 ↗
图3 为每幅图像生成概率图。对原始图像应用滑动窗口算法(a)。经模型1计算后,生成灰度概率图,显示乳腺组织描绘区域(b)。对图像应用模型2后,通过灰度概率图显示疑似病灶(c)。使用模型3按BI-RADS对病灶进行分类,并以蓝色(BI-RADS 2/3)和红色(BI-RADS 4/5)可视化(d) 查看原图 ↗

与人工阅读的比较

测试数据集由两名放射科医师分为三类:BI-RADS 2(不怀疑乳腺癌)、BI-RADS 3(乳腺癌低概率)和BI-RADS 4/5(乳腺癌高可能性),其中阅读者1在乳腺影像方面有超过10年经验,阅读者2在乳腺影像方面有超过5年经验。所有病灶也由用于病灶检测和分类的分步dCNN算法按照前述3个类别进行分类。

通过同一批放射科医师在3个月后对相同数据集进行重复分类,获得阅读者内可靠性(图4)。

图4 在3D空间中呈现概率结果。在整个ABUS数据集中(a),每幅图像均经过预测算法处理。根据层间距,将病灶定位结果绘制在3D空间中(b),并评估恶性概率并绘制在3D中(c) 查看原图 ↗

统计分析

统计分析使用Python编程语言的Scikit-learn 0.22.1软件包完成。应用混淆矩阵比较dCNN与真实分类(人工阅读者)的性能。dCNN与人工阅读者之间分类的一致性以及阅读者间和阅读者内相关性使用Cohen kappa系数(κ)计算。训练模型的诊断性能使用受试者工作特征曲线计算。诊断准确性以二分类准确性和ROC曲线的曲线下面积(AUC)统计量形式评估,置信区间为CI = 0.95,来自Monte Carlo模拟。

结果

模型训练

dCNN模型的训练在训练数据集上获得98.2%至99.0%的准确率,在验证数据集上获得96.9%至99.1%的准确率。用于区分正常组织与病灶的模型(模型2)以及用于将检测到的病灶分类为可能良性(BI-RADS 2/3)或可疑(BI-RADS 4/5)的模型的训练和验证曲线见图5。训练和验证准确率及图像数量的详细结果见表1。

图5 模型2(a)和模型3——BI-RADS分类(b)的训练和验证结果 查看原图 ↗

在呈现病灶的单幅图像上的验证

为使用未用于训练或验证的数据测试dCNN模型,应用了一个包含128幅图像的数据集,每幅图像均显示BI-RADS 2/3或BI-RADS 4/5的病灶,并使用RIS档案中的双读放射学报告作为真实标准。在图像分析中,将dCNN与两名经验丰富的人工阅读者进行比较,并将每幅图像视为独立病例。

使用模型3进行分析,发现准确率为79.7%,模型3的ROC分析得出AUC为0.91(AUC:0.91 [95% CI:0.85–0.96]),Youden指数J为0.92。阅片者1的AUC为0.80 [95% CI:0.73–0.87],阅片者2的AUC为0.71 [95% CI:0.63–0.78]。dCNN模型和两位人类阅片者的混淆矩阵见表2,关于准确率、阅片者间一致性和ROC分析的详细结果见表3和表4,相应的ROC曲线见图6。

dCNN模型3与金标准之间的一致性为中等(κ:0.57 [95% CI:0.50–0.64])。阅片者1与金标准之间的一致性为高度(κ:0.61 [95% CI:0.53–0.68]),而阅片者2与金标准之间的一致性为中等(κ:0.44 [95% CI:0.36–0.51])。阅片者之间的一致性为中等(κ:0.43 [95% CI:0.28–0.58])。

阅片者1(κ:0.64 [95% CI:0.54–0.77])和阅片者2(κ:0.66 [95% CI:0.54–0.78])的阅片者内一致性均为高度。

表2 基于单张图像的dCNN(a)、人类阅片者1(b)和阅片者2(c)与金标准(实际值)的BI-RADS 2/3与BI-RADS 4/5分类结果比较的混淆矩阵,以及阅片者间一致性(d)、阅片者1(e)和阅片者2(f)的阅片者内信度 查看原表 ↗
表3 两位阅片者和dCNN与金标准比较的逐图像和完整检查的评定者间一致性 查看原表 ↗
表4 测试数据集以放射学报告为金标准的ROC分析 查看原表 ↗
图6 dCNN和两位阅片者的ROC曲线,展示基于单张图像的测试数据集判别能力(a)和基于完整检查图像集的测试数据集判别能力(b) 查看原图 ↗

在完整3D ABUS数据集上的验证

分析完整的3D ABUS数据集,并根据所存在病变的最高BI-RADS评分对该数据集进行分类,算法的分类准确率提高至90.9%(以放射学报告为金标准)。dCNN的ROC分析得出AUC为0.91(AUC:0.91 [95% CI:0.77–1.00]),Youden指数J为0.92。阅片者1的AUC为0.82 [95% CI:0.68–1.00],阅片者2的AUC为0.91 [95% CI:0.77–1.00]。完整ABUS数据集分析的ROC曲线见图6,混淆矩阵见表5。

dCNN算法与金标准之间的一致性几乎完美(κ:0.82 [95% CI:0.60–0.95]),阅片者与金标准之间的一致性为高度至几乎完美(阅片者1——κ:0.63 [95% CI:0.47–0.81],阅片者2——κ:0.82 [95% CI:0.60–0.95])。阅片者之间的一致性为中等(κ:0.46 [95% CI:0.09–0.82])。

阅片者1的阅片者内一致性为一般(κ:0.32 [95% CI:0.01–0.65]),阅片者2的阅片者内一致性为几乎完美(κ:0.81 [95% CI:0.56–1.00])。

表5 基于完整检查图像集的dCNN(a)、人类阅片者1(b)和阅片者2(c)与金标准(实际值)的BI-RADS 2/3与BI-RADS 4/5分类结果比较的混淆矩阵,以及阅片者间一致性(d)、阅片者1(e)和阅片者2(f)的阅片者内信度 查看原表 ↗

讨论

在本研究中,我们能够证明,可以训练深度卷积神经网络(dCNN)根据ACR BI-RADS分类对ABUS中的病变进行分类,在训练数据集和验证数据集中准确率均高于95%。与经验丰富的放射科医生的人工阅片相比,dCNN在未用于机器学习算法训练的测试数据集上显示出相似的诊断准确率,并且dCNN与读者之间的一致性也与经验丰富的放射科医生之间的一致性相当。采用三维滑动窗口方法并对感兴趣区域进行逐步评估,dCNN能够根据BI-RADS图谱检测和分类病变,其准确率为自动阅片3D ABUS数据集提供了一种模拟人工工作流程的技术。

在临床常规中,乳腺放射影像的评估按照BI-RADS图谱进行标准化,该图谱基于图谱图像对存在乳腺癌的概率进行分级。尽管有这种标准化,放射学决策的质量仍取决于阅片者的经验以及工作负荷。已有研究表明,即使在对图像进行短期重新评估后,多达29%的BI-RADS评估可能被重新分类[25]。人工智能模型作为放射科医生决策过程中支持工具的可用性已在多项研究中得到证明,例如[26],其尤其可用于降低乳腺X线筛查中的假阳性率[27]。

超声作为乳腺X线摄影的辅助手段已被证明可降低传统乳腺X线摄影的假阴性率,而ABUS可替代手持超声使用,其癌症检出率相似[28]。由于ABUS检查通常由技师执行,放射机构以ABUS替代手持超声实现了工作流程的改善。此外,由于整个乳腺体积均被检查并存储为3D数据集,ABUS在乳腺影像工作流程标准化方面更进一步。ABUS的另一个不良效应是阅片时间相对较长以及假阴性病变率较高。在此,我们提出的算法可能提供显著改善:它在大体积3D数据集中突出显示可疑病变,并给出病变正确分类的建议,这可能对经验不足的阅片者有帮助。人工智能在临床常规中的应用可能为经验丰富的放射科医生提供可靠的第二意见工具,同时也为经验不足的阅片者提供培训平台。人工智能解决方案不依赖于观察者,并最大限度地减少经验和外部因素对诊断的影响。本研究应用了可解释人工智能概念,而非作为“黑箱”运作。通过提供逐步解决方案,人工智能程序所做的每一项决策均可追溯,从而能够更深入地理解和在临床使用中调整人工智能程序。

我们为ABUS病变分类而训练的算法的准确率与Wang等[24]的结果相当,后者使用多视图CNN对来自乳腺体积扫描仪的数据集中的乳腺病变进行分类,准确率约为88%。Lee等表明,类似算法可实现精确的病变分割,Spearman相关系数为ρ = 0.929 [29]。

在临床应用中,CAD软件已被证明能显著改善并加速工作流程。这些系统已在乳腺X线摄影中证明其高灵敏度,初次检查肿块检出率为91%,随访乳腺X线摄影为89% [30],超声检查灵敏度为90.9% [31]。ABUS相较于其他检查类型的主要优势,如容积再现和操作相对简便,增加了放射科医生对结果分析的要求。CAD系统有助于克服这一问题,并为专家提供可靠的第二意见 [32]。在临床中使用ABUS的CAD软件已证明可将评估速度提高9–15% [33, 34]。用于CAD的分割方法已显示,在作为经验不足读者的辅助程序使用时,可将区分阳性与阴性病例的能力(AUC)提高6% [35]。基于最小强度投影可视化(MinIP)的市售AI CAD软件可将判读灵敏度提高5.2–10.6%,但可能伴随特异度下降,范围在1.4–5.7%,同时还需要对影响灵敏度的判读参数进行调整 [36]。尽管已证明这些方法在临床环境中有效,但它们在应对不规则性和各种病灶大小方面存在局限性,可能导致假阳性数量增加 [37],并可能需要参数微调和大量图像预处理 [38]。所提出的方法提供了更好的泛化能力,并允许针对特定制造商进行定制以及根据内部工作流程进行调整。

我们的研究存在一些局限性:(1)选择了回顾性研究设计来验证算法,因此可能因数据集选择而产生潜在偏倚。然而,前瞻性评估超出了这项方法学研究范围。(2)所有数据均来自单一机构,且仅使用来自一个设备供应商的数据进行采集。尽管如此,本研究的目的并非证明我们的算法在每一种可能的临床设置中都表现良好,而是原则上证明算法可以被训练以在ABUS检查中模拟人类判读。(3)尽管数据来自我们机构的普通女性患者队列,但本研究并未纳入所有族裔。(4)仅研究了一种dCNN架构和检测算法,且未与预训练模型进行比较;因此,我们不能排除其他dCNN架构可能带来更高准确性的可能性。

总之,经过训练的AI模型作为一种独立的第二意见工具,可根据BI-RADS词典在ABUS检查中实现进一步标准化。将我们的AI模型纳入临床常规流程,可能提高评估的可靠性,同时减少放射科医生的工作量。

引用

  1. Hejduk P, Marcon M, Unkelbach J, et al. Fully automatic classification of automated breast ultrasound (ABUS) imaging according to BI-RADS using a deep convolutional neural network. Eur Radiol. 2022. PMID: 35147776. doi:10.1007/s00330-022-08558-0
  2. 全文:PMC9213284(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9213284/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。