乳腺X线摄影中乳腺动脉钙化的检测与量化:深度学习方法
本研究回顾性纳入1493例乳腺X线摄影,训练深度学习模型检测乳腺动脉钙化(BAC),在独立测试集(229例,916视图)中AUC-ROC为0.95,且Grad-CAM++估算的钙化面积与手动测量长度强相关(ρ=0.88)。模型有望在不增加工作量的情况下改善BAC报告。
要点
- BAC在乳腺X线摄影上表现为血管壁内平行线状高密度影,模型可自动检测并定位。
- 测试集AUC-ROC 0.95,准确率0.97,F1分数0.80,单张图像处理时间约0.8秒。
- 模型估算的BAC面积与手动测量长度强相关(ρ=0.88),可辅助量化钙化负荷。
关键影像表现/征象
- BAC在乳腺X线摄影上表现为血管壁内平行线状高密度影。
- 真阳性病例中Grad-CAM++热图可准确定位BAC,包括同一视图内多处钙化和小钙化灶。
- 假阳性多因皮肤褶皱或Cooper韧带内的小钙化被误判为BAC;假阴性多见于致密乳腺组织遮蔽的小钙化。
诊断标准与关键数值
- 测试集(229例,916视图)检测BAC的准确率0.97、F1分数0.80、AUC-ROC 0.95。
- 验证集准确率0.96、F1分数0.74、AUC-ROC 0.96;训练集准确率0.94、F1分数0.86、AUC-ROC 0.98。
- 在112个视图(56例BAC+患者)中,Grad-CAM++预测的BAC面积与手动测量长度强相关(Spearman ρ=0.88,p<0.001)。
- Grad-CAM++热图二值化阈值设为0.3以估算BAC区域。
临床应用与阅片要点
- 模型可自动检测BAC并生成热图定位,有助于在乳腺X线筛查报告中常规提示BAC。
- 估算的BAC面积与手动测量长度强相关,可辅助量化钙化负荷,但需注意假阳性(皮肤褶皱、Cooper韧带钙化)和假阴性(致密乳腺、细小钙化)。
- 单张图像处理时间约0.8秒,适合集成到临床工作流而不显著增加工作量。
局限性
- 模型仅在单中心、单一制造商的两台乳腺X线设备上训练和测试,需外部验证。
- BAC负荷估算与手动测量的相关性(ρ=0.88)略低于既往研究(0.94-0.95),但未使用像素级分割作为金标准。
- 分层划分BAC+病例以保留年龄分布可能引入采样偏倚。
- 未与其他CNN架构(如ResNet50、DenseNet)进行实验比较。
全文中译9 节 · 点击展开
背景
心血管疾病(CVD)是女性人群的主要死因[1]。尽管通常认为男性死于CVD的死亡率更高[2],但每年死于心脏病的女性人数几乎与男性相同。传统的心血管风险评估方法在女性中表现较差[3, 4],因为高达20%的女性心血管不良事件发生在缺乏传统危险因素的情况下[5],且女性在初级保健环境中接受CVD预防治疗的可能性较低[6]。因此,过去二十年来,人们提出了可改善女性心血管风险分层的创新影像生物标志物[7]。
特别是,乳腺动脉钙化(BAC)已被建议作为心血管风险的性别特异性预测因子[8–14]。BAC是乳腺X线摄影中常见的偶然发现,表现为血管壁内的平行线状致密影(如图1所示)[8, 12]。其大致患病率虽然范围较广,但估计约为13%[11, 13–16]。BAC的存在与绝经后女性CVD风险增加1.23倍相关[14],且在无症状中年女性中,尤其是60岁以下,其诊断准确性高于其他传统心血管危险因素[10, 11, 13]。
考虑到筛查性乳腺X线摄影的广泛普及[17, 18],系统性BAC评估可在无需任何额外检查的情况下为女性提供低成本的心血管风险分层。尽管大多数放射科医生了解BAC与CVD之间的关联,但在常规乳腺X线摄影判读中BAC报告率很低[19],且由于缺乏标准BAC报告指南以及可靠、快速的BAC检测和定量方法而进一步受限[8, 15]。由于BAC在大小、长度和密度上差异很大,已提出了多种BAC负荷估计方法,包括手动半定量评分[15, 16]或基于人工神经网络自动分割的定量评分[20, 21]。尽管结果令人鼓舞,但这些监督算法在训练过程中仍需要对大量图像进行耗时的逐像素手动标注。相反,使用简单二分类训练用于BAC检测的深度学习(DL)算法和卷积神经网络(CNN)可提供更高的稳健性和更少的人工图像后处理工作量[22, 23]。因此,BAC阳性(BAC+)和BAC阴性(BAC−)标注可替代BAC的完整手动分割,在本研究中,我们将前者称为“弱监督”,以区别于后者。
本研究的目的是开发一种弱监督深度CNN,能够区分有BAC和无BAC的乳腺X线摄影。此外,我们旨在作为检测算法的副产品获得BAC负荷的估计值。为实现这一目标,我们将该问题构建为二分类任务,并使用AI可解释性算法来识别BAC的近似位置,而不依赖于真实分割。
方法
患者入组和数据收集
这项回顾性研究得到了当地伦理委员会的批准(方案编号SenoRetro,2017年11月9日批准,2021年5月12日修订),并豁免了知情同意的要求。我们连续纳入了一系列年龄≥45岁的患者,这些患者在2018年1月至3月期间被转诊至IRCCS Policlinico San Donato,接受自发性或组织性人群筛查乳腺X线摄影。
所有纳入的检查均为双侧乳腺X线摄影,包含头尾(CC)和内外斜(MLO)投照位,使用全视野数字系统(Giotto IMAGE 3DL或Giotto TOMO系列,IMS)采集。三名阅片者(R.M.T.、D.S.和S.C.,分别具有10年、3年和2年乳腺影像经验)审阅了纳入的乳腺X线摄影,以进行基于患者的BAC+或BAC−分类。BAC+患者至少在一个乳腺X线投照位上可检出BAC,而所有其他患者被视为BAC−。随后由第四名阅片者(D.C.,具有3年乳腺影像经验)对BAC+患者的每个乳腺X线投照位标注为BAC+或BAC−。所有标签均编码存入数据库,并在BAC检测模型的训练和测试过程中作为金标准。
临床数据集准备与预处理
为保持阳性病例的年龄分布,使用我们人群的年龄四分位数作为阈值将BAC+数据分为四个年龄组:第一组,45岁–Q1;第二组,Q1–Q2;第三组,Q2–Q3;第四组,Q3–参与者最大年龄(详见“结果”)。然后,我们在各组内对BAC+数据集进行分层拆分,分为三个子集以保持BAC+年龄分布:随机打乱后的阳性病例中70%进入训练子集,15%进入验证子集以基于最高精确率-召回率曲线(AUC-PR)调优模型超参数,剩余15%进入测试子集以评估最终优化CNN的性能。随后,整个BAC−数据集被随机划分为训练集、验证集和测试集,分别包含70%、15%和15%的阴性病例。然后将相应的BAC+和BAC−拆分合并以完成三个子集。为在模型训练期间处理类别不平衡[24, 25],训练子集中的多数类(BAC−)被随机欠采样,以使患者水平的BAC+患病率达到30%。验证集和测试集保持完整以反映真实的BAC患病率。为消除将单一病例的不同投照位分配到不同子集可能产生的任何偏倚,患者水平的数据拆分将每个病例的所有乳腺X线投照位保留在同一子集中。
还需要进行数据预处理步骤以排除非组织区域。使用基于Otsu方法的直方图分析,我们成功地从暗背景像素中提取了组织区域[26, 27]。然后,在定义围绕乳腺组织的最小矩形区域后,将裁剪后的图像缩放为固定尺寸矩阵,该矩阵将定义CNN输入层的大小(图S1)。属于乳腺区域的像素被归一化以改善训练的收敛性,从而应对由采集和生物学因素(如乳腺X线摄影设备间的技术差异和组织密度)引起的乳腺X线摄影像素强度的高度变异性。
神经网络架构与实现
我们采用基于16层预训练视觉几何组(VGG16)图像分类模型(连接权重可修改)的深度迁移学习策略[28]实现了乳腺动脉钙化(BAC)检测模型[29]。我们将最后一个全连接层替换为两个全连接层(每层256个通道),包含从零开始训练的泄漏修正线性单元激活函数(α = 0.3),以及作为最终输出层的sigmoid激活函数,以适应我们的二分类问题(BAC存在或不存在)。接下来,我们优化了初始卷积层固定为“不可训练层”的数量以及后续卷积层在新二分类任务上微调的数量。这是通过试错法完成的,每次训练修改后的卷积神经网络(CNN)并在验证集上评估其性能。表现最佳的结构为具有五个微调层的结构。图1总结了所提出CNN的完整架构,该架构使用Python V3.8.11在配备NVIDIA GeForce RTX 3080、10 GB显存的系统上开发。VGG16输入结构限制了红-绿-蓝颜色编码的固定维度(图2a);因此,灰度乳腺X线摄影图像被重采样为固定尺寸1536 × 768像素,并并行输入三次(图2b)。我们的模型独立处理每个乳腺X线摄影视图。
我们在训练期间应用了在线数据增强,包括随机旋转、宽度/高度平移、水平/垂直翻转和缩放,以及随机高斯噪声和椒盐噪声添加,以学习更稳健的特征。训练期间,应用Adam优化器[30]最小化二元交叉熵损失函数。还采用了类别平衡重加权策略在算法层面处理不平衡数据集,该策略自动将损失调整为与类别频率成反比,从而为少数类BAC + 分配更高的代价。学习率初始设置为10−6,并使用余弦退火调度器[31]在各轮次间调整。由于数据集高度不平衡,监测PR曲线下面积,与最大量相关的参数在每轮结束时提供最佳模型配置。轮次数和批量大小分别选择为25和8张图像。每个全连接层的Dropout正则化设置为0.3。损失曲线如图S2所示。
最后,在 deepest 卷积层之后使用广义梯度加权类别激活映射(Grad-CAM++)方法[32, 33]生成所提出CNN的视觉解释,提供突出对预测具有重要意义的像素的热图。对阳性预测中热图进行简单二值化阈值处理,使我们能够从全部组织中 delineate 估计的BAC区域。
记录自动乳腺X线摄影分类和生成Grad-CAM++热图所需的时间,并报告为平均图像处理时间。
定量
我们在一个MLO视图子集中,将Grad-CAM++上描绘的估计BAC区域面积与从先前发表的研究[15]中获得的手动测量的钙化段长度进行了相关性评估。BAC面积计算如下:其中为像素大小,为图像中的总像素数,为第i个像素处的Grad-CAM++热图值。或最佳二值化阈值通过试错法设置为0.3。
统计分析
使用Kolmogorov–Smirnov检验评估连续变量分布的正态性;正态变量以均值±标准差(SD)报告,而非正态变量以中位数和四分位距(IQR)报告。使用Mann–Whitney U检验比较BAC+组和BAC−组的年龄分布;p值小于0.05被认为具有统计学显著性[34]。
所提出的CNN模型的总体诊断性能针对读者提供的真实标签进行评估,使用以下指标:准确率、精确率、召回率、F1分数和受试者工作特征曲线下面积(AUC-ROC)。相关性视情况采用Pearson r或Spearman ρ进行评估,所得系数根据Evans [35]进行解释。
结果
2018年1月至3月期间,共有1557名患者在我们的机构接受了筛查性乳腺X线摄影。排除年龄小于45岁的患者后,最终纳入1493名中位年龄为59岁(IQR 52–68)的女性,共计5972个乳腺X线摄影视图。BAC分别存在于1493名女性中的194名(13.0%)和5972个视图中的581个(9.7%)。BAC的患病率随年龄增长而增加,从第一个年龄组(45–60岁)的6.3%增至第二个年龄组(61–70岁)的11.6%、第三个年龄组(71–73岁)的34.3%和第四个年龄组(74–87岁)的38.2%。194名BAC+女性的中位年龄(70.5岁,IQR 60–73)显著高于1299名BAC−女性(中位数57岁,IQR 52–65,p < 0.001)。
表1报告了训练集、验证集和测试集的组成。数据划分后,1042名女性(4168张乳腺X线摄影图像)被分配用于训练,222名(888张乳腺X线摄影图像)用于验证,229名(916张乳腺X线摄影图像)用于测试,分别包含398、89和94个BAC+视图。为减少模型训练期间的类别不平衡,我们通过从分配给训练数据集的BAC−乳腺X线摄影图像中随机欠采样,将训练集中BAC+患者的患病率人为提高至约30%,达到1640张图像。最终,图像水平的BAC患病率较低,因为并非BAC+患者的所有乳腺X线摄影视图都显示BAC。验证集和测试集中的BAC患病率保持不变。
表2展示了所提出的CNN模型在各子集中检测BAC存在或不存在的总体相应图像级性能。训练在图像级进行,并基于最高AUC-PR进行优化。在独立测试集中,最佳训练的CNN达到了0.95的准确率、0.76的F1分数和0.94的AUC-ROC,突显了BAC检测中良好的总体性能。所有子集的ROC和PR曲线见图3。
图4通过Grad-CAM++热图展示了我们CNN模型的性能。在真阳性检测中,即使同一视野中存在多处BAC,BAC也能被准确定位(图4a,a′)。此外,我们的CNN证明能够检测到即使很小的BAC(图4b,b′)。相反,真阴性预测的Grad-CAM++热图强调了整个乳腺中类似BAC的结构,但未达到BAC+分类的阈值(图4c,c′),且未被通常为良性的圆形钙化所混淆。错误检测的示例见图5。平均图像处理时间,包括自动BAC检测和Grad-CAM++生成,为0.80 ± 0.07秒。
对57例既往有手动BAC长度测量数据的患者亚组进行了初步定量评估。一名患者的BAC状态在分配标签与BAC长度测量之间评估不一致,因此被剔除。因此,分析在56名年龄49–82岁的BAC+女性的MLO视图上进行。总共分析了112个MLO视图,其中95个报告存在BAC。自动BAC负荷估计通过如图6a所示的Grad-CAM++热图阈值化进行。自动检测的BAC面积与手动测量的长度显示出强相关性(Spearman ρ = 0.88,p < 0.001)(图6b)。
讨论
我们实现了一个用于在乳腺X线摄影上自动检测BAC的卷积神经网络(CNN)。我们的模型在BAC检测中表现出良好的性能,在测试集中AUC-ROC为0.95,并证明其能够估算BAC面积,与手动测量的相关性为0.88。我们的模型对每张图像的应用时间不到一秒,适合在日常临床实践中快速整合。
在旨在缩小心血管疾病(CVD)预防和心血管风险评估中性别差距的研究工作框架内[36],BAC作为一种有益且低成本的心血管风险生物标志物脱颖而出,可轻松地从已建立的乳腺X线摄影筛查实践中获得[37]。然而,在乳腺X线摄影解读过程中,BAC的存在很少被报告[19]:这既可归因于临床医生在乳腺X线摄影筛查背景下对癌症检测的主要关注,也可归因于缺乏快速、自动化且可靠的BAC检测和量化工具。因此,用于BAC检测和量化的自动化工具可以在不增加放射科医生工作量的情况下克服这一问题。
先前在BAC半自动检测和量化方面的经验表明,人工检测是开发自动化工具时的主要变异来源[38]。因此,我们选择通过训练一个弱监督CNN来解决分类问题,这可能部分克服阅片者内和阅片者间的变异。我们的CNN使用图像级标签进行训练,以便作为副产品获得乳腺X线摄影上BAC的像素级检测[39]。这一策略使我们能够在由916张图像组成的独立测试集中达到高绩效,准确率为0.95,召回率(即敏感性)为0.73,精确率(即阳性预测值)为0.78,AUC-ROC为0.94。此外,我们的模型证明能够在56例阳性病例的子集中估算BAC面积,与手动标注具有强相关性(ρ = 0.88)。
我们的表现与既往研究报告的结果相似:Khan和Masala[40]最近发表了一项关于使用迁移学习进行BAC检测的研究,比较了在仅来自26名患者的104张乳腺X线摄影图像的小人群上训练的不同深度学习架构所获得的结果。他们报告VGG19的准确率为0.96,略低于更深的CNN(如ResNet50或DenseNet-121)所产出的准确率,后者分别显示出0.97和0.98的准确率。2017年,Wang等[21]使用210名女性(146名BAC+和64名BAC−)的乳腺X线摄影图像开发了一个用于BAC检测的CNN,证明了与人类阅片者相当的检出率,以及自动估计的BAC面积与真实标签之间非常强的相关性(Pearson系数0.94)。2021年,Guo等[20]训练了一个Simple Context U-Net,能够分割BAC,与真实标签的R2相关性> 0.95。使用该模型估计的面积与乳腺计算机断层扫描上的钙化体积(R2 = 0.84)和钙化质量(R2 = 0.87)强烈相关。然而,我们的模型相较于这些先前开发的工具的一些显著优势值得注意。首先,我们没有输入任何关于BAC数量的信息用于CNN训练,而Guo和Wang的工作依赖于人工逐像素BAC注释作为真实标签[20, 21]。我们的弱监督方法产生了两方面的益处:数据集构建的显著便利(因为我们的阅片者只需将每张图像分类为BAC+或BAC−)以及相当大的计算效率,因为我们使用相对简单的CNN作为BAC检测的副产品获得了对BAC负荷的良好估计,处理时间快(每张图像约1秒)。此外,与先前的工作不同,我们在反映真实世界BAC患病率(约12%)的独立测试集上测试了我们的模型,而其他工作中使用的数据集[20, 21]包括大多数BAC+患者,这可能导致模型过拟合[41]。相反,我们选择仅在训练集中将BAC患病率人工增加至30%,以便为BAC检测选择性能最佳的超参数,然后在验证和测试中恢复到12%的患病率。因此,由于我们已经在现实且不平衡的集合上测试了CNN,我们假设我们的模型在即将进行的外部验证中将是稳定和稳健的,其中BAC是少数类。
对我们模型错误预测的视觉检查显示,大多数假阳性是由于模拟BAC常见外观的小钙化,即排列成行的、点状钙化,通常位于线状结构内,如皮肤皱褶或Cooper韧带(图5a、b)。相反,假阴性发生在即使对受过训练的人类阅片者而言BAC检测也可能困难的情况下,例如致密乳腺中的BAC(图5c)或非常微弱的BAC。值得注意的是,后者对于CVD风险预测的临床价值可能较低。
我们的研究存在一些局限性。第一,模型是在来自单一机构的连续女性系列上训练和测试的,这些女性使用单一制造商的两台乳腺摄影设备进行检查。尽管我们的数据集包含超过1400名患者,并且我们分配了15%的数据集用于独立测试,但仍有必要在不同机器上对我们的模型进行外部验证。第二,在我们的工作中,BAC负荷估计与手动测量的相关系数(0.88)略低于先前研究报告的数值(0.95 [20]和0.94 [21])。然而,我们必须指出,与先前研究不同,我们没有使用手动分割作为金标准来训练模型,而且从临床角度来看,极其精确的BAC分割可能并非必要。事实上,根据最近关于BAC与CVD关联的荟萃分析[42],只有中度和重度BAC(即一条或多条血管上的广泛钙化,使血管管腔模糊并累及其长度的显著部分——见图2a)与冠状动脉疾病相关。因此,尽管BAC分割不够精确,我们的模型仍可识别CVD风险较高的女性。第三,我们对BAC+病例进行了分层划分,分为训练集、验证集和测试集,以保持BAC年龄分布并避免任何与年龄相关的潜在偏倚。然而,考虑到随机化中的年龄限制,该程序可能引入了一定程度的抽样偏倚。最后,我们没有对我们的模型性能与使用其他可用CNN架构(如ResNet 50或DenseNet)可获得的性能进行任何实验比较。然而,此类比较超出了本工作的目的。
总之,我们开发了一个CNN,能够以良好的性能检测BAC(测试集中AUC-ROC为0.94),并且还能输出与手动测量具有非常强相关性的BAC分割(ρ = 0.88)。将我们的模型整合到临床实践中,可以在不增加临床工作量的情况下改善BAC报告,有可能促进关于BAC作为生物标志物影响的大规模研究,以一致地指导心血管风险评估和管理,最终有助于在乳腺摄影筛查实践背景下提高对女性心血管健康的认识。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 242 KB)
引用
- Mobini, Codari, Riva, et al. Detection and quantification of breast arterial calcifications on mammograms: a deep learning approach. Eur Radiol. 2023. PMID: 37160426. doi:10.1007/s00330-023-09668-z
- 全文:PMC10511622(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10511622/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。