可解释超声深度学习系统用于中国人群早期乳腺癌

引言

乳腺癌是全球女性中最常诊断出的恶性肿瘤，也是癌症相关死亡的主要原因 [1, 2]。早期发现可显著提高生存率，这凸显了对准确且非侵入性诊断工具的需求 [3–5]。尽管筛查性乳腺X线摄影仍是基于人群筛查的基石，但其性能受到假阳性结果和阅片者间差异的限制，尤其是在乳腺组织致密的女性中 [6]。因此，乳腺超声作为一种无辐射且成本效益高的检查方式被广泛应用，尤其适用于致密乳腺 [7]。然而，其临床效用受到相对较低的特异性和较强的操作者依赖性的制约，导致在大规模筛查环境中判读结果不一致 [8, 9]。

深度学习（DL）在癌症检测和分类方面已显示出前景 [10]。在乳腺超声领域，大多数DL研究集中于在诊断队列中区分良性和恶性病变，通常使用单中心数据集和仅基于图像的特征 [11, 12]。此类方法可能无法反映基于人群筛查的异质性，并且常常缺乏可靠的外部验证。此外，许多DL模型如同黑箱运作，限制了临床可解释性。现成的临床和人口统计学危险因素，如年龄、母乳喂养、生育史和乳腺癌家族史，尽管其相关性已得到确认，却常常被忽略 [13]。既往研究也主要聚焦于B型超声图像，忽视了来自彩色多普勒成像的补充信息，而后者可以提高乳腺癌风险预测能力 [14, 15]。

为解决这些差距，我们开发了BrcaDetect，一个用于早期乳腺癌识别的可解释多模态DL框架。该系统将基于DL的图像预测与乳腺影像报告和数据系统（BI-RADS）评估及关键人口统计学危险因素相整合，以提高诊断性能，同时增强透明度。我们将模型性能与放射科医师的评估进行了比较，并考察了其支持临床决策的潜力。除了乳腺癌检测外，BrcaDetect还通过使用梯度加权类激活映射（Grad-CAM）热图可视化信息性图像区域，并利用Shapley值量化各个变量的贡献，从而提供解释性输出。我们假设，这种多模态且可解释的方法作为一种图像层面的辅助手段，可能会提高诊断性能和临床可解释性，支持将AI辅助超声分析整合到乳腺癌筛查工作流程中。

方法

研究设计与参与者

我们回顾性收集了2017年1月至2020年12月期间在河北医科大学第一医院、河北医科大学第四医院和河北省胸科医院这三家三级甲等医院接受超声检查的患者资料。诊断时的疾病分期根据美国癌症联合委员会（AJCC）第7版分期系统确定[16]。早期疾病定义为I期乳腺癌。本研究方案经中国医学科学院北京协和医学院肿瘤医院/国家癌症中心人类伦理委员会（批准号：18-016/1645）和河北医科大学第四医院（批准号：2025KS111）批准。所有参与者在超声图像采集前均签署了书面知情同意书。

恶性病变通过空心针穿刺活检或手术标本的组织病理学检查确认。良性病变通过组织病理学确认，或在至少3年的最短随访期内影像学稳定且无恶性证据来定义。连续入组的患者需符合以下标准：（1）超声上可清晰识别的乳腺原发病灶；（2）目标病灶通过穿刺活检、手术标本或随访记录获得病理确认；（3）可获得病灶最长轴切面的超声图像。排除标准为：（1）病理或随访结果不明确；（2）超声检查前同一乳腺病灶曾接受过活检；（3）图像质量不佳，无法进行手动分割。患者招募流程及详细的纳入和排除标准见补充图S1。人口学特征和乳腺癌相关危险因素通过标准化问卷收集；详细信息见补充材料1。

深度学习系统的独立验证在石家庄市人民医院（2021年1月31日至2023年8月1日）和邢台市人民医院（2021年1月31日至2022年2月3日）的连续性筛查队列中进行。筛查数据和结局均在城市癌症早诊早治项目（CanSPUC）框架内获取。年龄40至74岁、既往无癌症诊断或严重健康问题的女性通过电话、面对面接触、社交媒体和社区广告招募。乳腺癌风险评估采用源自哈佛指数评分的评分系统进行[17]。被划分为乳腺癌风险增高的女性被建议接受超声和乳腺X线摄影（MAM）检查。有关风险评估评分的详细信息见补充材料1。

图像采集

回顾性收集了五家参与的三级医院乳腺病变女性的超声图像，包括B型和彩色多普勒图像。所有超声检查和BI-RADS分类均由具有5年以上经验的放射科医师完成。本研究使用了多个厂商的超声系统；厂商、系统和探头规格的详细信息见补充表1。为减少中心间的差异，实施了统一的扫描方案。该方案标准化了患者体位（仰卧位，同侧手臂上举）、正交平面图像采集以及关键病变特征的记录。每个病变至少在两个垂直平面（纵切面和横切面）检查，有和无卡尺测量。选择性采集显示可疑恶性特征的其他灰阶超声切面。对于每个病变，在最大直径处采集图像。可疑病例经病理活检证实，而良性病变经活检或3年随访证实。

数据集

在本研究中，超声图像被视为主要分析单位，BrcaDetect被设计和评估为一个图像级决策支持系统，而非患者级诊断工具。超声图像回顾性收集自五家医院的乳腺病变女性（图1）。为防止数据泄漏并保持数据集的独立性，数据划分在参与者层面而非图像层面进行。同一女性的所有图像仅分配至一个数据集。此外，同一次检查期间获取的图像保持在一起，未分配到不同数据集。来自三家医院的数据用于模型开发和内部评估，并按7:2:1的比例随机分为训练、验证和内部测试数据集。另外两家医院专门保留用于外部验证。训练、验证、内部测试和外部测试数据集之间无参与者重叠。

模型开发与评估

深度学习预测模型

仅使用超声图像开发了一个DL预测模型来检测乳腺癌，未纳入额外信息。采用了由八种骨干架构组成的集成模型，包括ResNet34、ResNet50、ResNet101 [18]、EfficientNet-b5、EfficientNet-b6 [19]、DenseNet121、DenseNet169和DenseNet201 [20]。所有模型首先在ImageNet [21]上进行预训练，随后使用训练数据集进行微调。各模型采用相同的训练参数。使用Adam优化器，学习率为0.0001。输入图像调整为512 × 512像素，批大小为32。为提高训练期间的泛化能力，应用了随机水平翻转、旋转和颜色抖动等数据增强策略。模型训练100个epoch，每个epoch后在验证数据集上进行评估。选择验证数据集上曲线下面积（AUC）最高的模型权重。最终DL评分通过平均八个模型的输出概率生成。

BrcaDetect与人口统计学模型

使用随机森林（RF）算法构建BrcaDetect和人口统计学模型。BrcaDetect在六维特征向量上进行训练，该向量结合了四个人口统计学因素（年龄、BMI、良性乳腺疾病史和乳腺癌家族史）、BI-RADS评估分类和DL衍生评分（图1）。尽管BI-RADS代表放射科医生提供的解释性评估而非独立的定量特征，但仍特意将其纳入以反映常规临床实践，即放射科医生的判断与算法输出被综合考虑。这种多模态特征整合反映了严格特征独立性与临床适用性之间的平衡，旨在评估将专家衍生评估与自动化图像评分相结合能否在真实世界环境中提高早期乳腺癌检测能力。

人口统计学模型仅使用四个具有统计学显著性的人口统计学因素构建，形成四维输入向量（补充表2）。对于RF训练，预先设定了估计器数量（N）。应用自助法通过从训练数据中有放回地随机重采样1000次，为每个估计器生成模拟数据集。使用这些模拟数据集构建决策树，得到N棵结构异构的树组成的集成模型。最终预测通过多数投票聚合所有决策树的输出获得。

BrcaDetect的可解释性

使用Grad-CAM热图和Shapley值来提高BrcaDetect的可解释性。Grad-CAM热图用于提供对恶性预测有贡献的图像区域的可视化洞察[22]。同时，使用Shapley值量化每个输入特征的相对贡献。为每个因素计算实例级Shapley值以解释个体预测（图2）。通过对所有样本的局部Shapley值取平均获得全局Shapley值，表示每个因素对模型输出的平均效应。

热点的定义

为进一步支持可解释性，使用Grad-CAM可视化对模型预测贡献最大的图像区域[23]。Grad-CAM热图被归一化至[0,1]范围，以反映相对激活强度。激活值较高的区域被定性定义为“热点”，对应该模型所突出显示的判别性图像特征，并指示与病变相关的区域。

阅片者研究

为比较BrcaDetect与放射科医生的表现，使用来自内部和外部测试数据集的病例开展了一项阅片者研究，共有五名放射科医生（R1至R5）参与。放射科医生R2和R5拥有长达10年的临床经验，而R1、R3和R4约有5年经验。参与研究的放射科医生均未参与BrcaDetect模型的开发。在正式评估之前，所有放射科医生使用一个独立的100例乳腺病例数据集（50例良性，50例恶性，已从测试数据集中排除）完成了标准化培训。培训结束后，由两名资深乳腺影像专家主持进行共识讨论，以统一评估标准和判读策略。

在正式评估期间，放射科医生独立判读了从三个测试数据集中随机抽取的200例匿名病例。所有阅片者均对临床和病理信息设盲。病例顺序随机化，图像判读在标准化的影像归档和通信系统（PACS）条件下进行，使用统一的显示器、光照条件和分辨率。培训与正式评估之间设置了2周的洗脱期，以尽量减少回忆偏倚。

为评估模型辅助的效果，相同病例在初次阅片2周后重新评估。在辅助阅片阶段，每位放射科医师首先在不查看模型输出的情况下记录初始BI-RADS评估。随后告知模型预测的恶性概率，并记录评估的任何后续变化。由深度学习模型生成的参考诊断可供比较。当出现不一致时，放射科医师可以保留其原始评估或采纳模型建议的诊断。辅助阶段的最终评估反映了放射科医师判读与模型信息的整合。

统计分析

分类变量和连续变量分别以频数（百分比）和均值±标准差进行总结。组间比较采用方差分析（ANOVA）。模型性能采用AUC、灵敏度、特异度、准确率、阳性预测值（PPV）和阴性预测值（NPV）进行评估，并给出相应的95%置信区间（CI）。AUC的比较采用DeLong检验。观察者间一致性采用Cohen's kappa统计量进行评估[24]。所有统计检验均为双侧检验，p < 0.05认为差异具有统计学意义。统计分析使用R 4.2.1版和Python 3.9版完成。

结果

基线信息

如图1和表1所示，本研究纳入了来自3048名女性（平均年龄55.21 ± 8.40岁；范围40–74岁）的24,762张合格的B模式和彩色多普勒超声图像。其中，来自三家医院收集的2399名女性的19,340张临床诊断超声图像被分配至训练集、验证集和内部测试集。其余来自两个独立医院的筛查队列的649名女性的5422张超声图像构成外部测试集。

所有病例均由经验丰富的放射科医师根据BI-RADS进行评估。参考标准通过病理确认或3年随访确定。各数据集中参与者和图像的详细分布，以及良性和恶性病例的数量，见表1和补充图S1。

人口学模型的性能

人口学模型在内部测试集上取得的AUC为0.794（95% CI：0.766–0.822），灵敏度为86.2%，特异度为65.6%（表2）。在外部SJZ和XT数据集中性能有所下降。AUC范围为0.674（95% CI：0.615–0.734）至0.698（95% CI：0.670–0.726），灵敏度范围为59.2%至68.1%，特异度范围为70.1%至76.7%。该模型纳入了四个显著预测因素：年龄、BMI、良性乳腺疾病史和乳腺癌家族史。这些预测因素通过单因素和多因素logistic回归分析确定（补充表S2）。

深度学习预测的性能

在八个深度学习模型中，内部测试数据集上的AUC范围为0.941至0.962，外部数据集上的AUC有所下降（SJZ：0.705–0.810；XT：0.626–0.845）（补充表S3）。集成模型取得了最佳的内部性能，AUC为0.953，相应的敏感性和特异性分别为86.9%和99.6%（表2）。在外部数据集上，AUC范围为0.803至0.809，敏感性为62.0–67.4%，特异性为84.0–89.7%。

BI-RADS的性能

培训后，五位放射科医师在乳腺病变分类方面表现出较强的诊断性能。对于AUC分析，BI-RADS分类被标准化为0至1的量表。内部测试数据集上的平均AUC为0.919，两个外部数据集上的平均AUC分别为0.751和0.670（补充表S4）。在内部数据集上，平均敏感性和特异性分别为87.5%和82.8%。在外部数据集上，敏感性范围为55.2%至70.5%，特异性范围为71.1%至73.5%。

BrcaDetect的性能

如补充图S2所示，BrcaDetect在所有数据集上均表现出优越的性能。在内部测试数据集中，其AUC为0.989（95% CI：0.979–0.999），超过了人口统计学模型（AUC，0.794；p < 0.001）和深度学习集成模型（AUC，0.953；p < 0.001）（表2）。在外部SJZ和XT数据集中，性能保持稳定，AUC分别为0.826（95% CI：0.804–0.848）和0.851（95% CI：0.819–0.884），始终高于人口统计学模型（均p < 0.001），且高于或相当于深度学习模型（p < 0.001和p = 0.080）。

模型可解释性结果如图2和图3所示，其中红色区域表示与分类相关性较高，蓝色区域表示相关性较低。在SJZ数据集中，10.32%（352/3409）的良性病变和56.54%（255/451）的恶性病变中识别出热点。在XT数据集中，36.15%（539/1491）的良性病变和73.24%（52/71）的恶性病变中存在热点。这些发现表明恶性病变的定位更清晰、更一致，这可能支持癌症检测的可解释性。特征重要性分析显示，基于图像的深度学习预测对BrcaDetect决策的贡献最大，其次是BI-RADS分类、乳腺癌家族史、年龄、BMI和良性乳腺疾病史（补充图S3）。

读者研究

在所有阅片者中，BrcaDetect辅助下的诊断性能均有提升。在内部测试数据集上，阅片者的AUC范围为0.891至0.943。但在BrcaDetect辅助下，其AUC提高至0.969至0.989（图4和表3；p < 0.001）。总体上，平均假阳性率从17.25%降至2.47%（表3），在不同经验水平的阅片者中均获得了一致的性能提升。提升在经验较少的阅片者中最为明显，在受控实验条件下，BrcaDetect与其更高的诊断准确率和显著减少的假阳性相关。

阅片者间一致性采用配对Cohen's kappa系数进行评估（补充表S5）。对于BI-RADS评估，内部和外部测试数据集中的kappa值范围分别为0.735至0.825和0.635至0.812，表明一致性为一般至优秀。在BrcaDetect辅助下，内部测试数据集中的kappa值提高至0.801–0.890，外部数据集提高至0.760–0.847，反映了一致性为优秀。

讨论

本研究表明，将深度学习衍生的影像特征与放射学评估及人口统计学危险因素相结合，可能有助于图像层面的乳腺癌风险估计，而非提供独立的患者层面诊断。在内部和外部测试数据集中，BrcaDetect均一致优于单模态模型，支持了多模态整合在乳腺病变评估中的价值。比较分析进一步表明，基于图像的深度学习预测提供了最强的鉴别贡献，而BI-RADS评估和人口统计学变量则补充了患者层面的信息。

既往研究已证实基于图像的人工智能在乳腺病变分类中的可行性[25]，包括Gu等[26]和Liao等[27]的多中心研究。与这些仅使用图像的方法相比，本研究拓展了现有证据，表明在同一数据集中纳入放射学评估和人口统计学危险因素可带来性能提升。这一结果提示，不同信息源捕获了恶性风险中重叠但不同的方面，联合建模更接近真实世界的临床推理。重要的是，这些结论基于研究内比较，而非跨队列的间接性能比较。

尽管BrcaDetect在内部测试数据集中表现出很强的区分能力，但在外部数据集中的性能有所下降，AUC值介于0.826至0.851之间。这一下降可能反映了与不同中心之间超声设备、采集方案和人群特征差异相关的领域偏移。因此，我们的研究结果作为图像级辅助的概念验证，而非通用临床效用的确定性证明。这些结果强调了需要更大规模的多机构数据集以及开发领域适应策略以提高泛化能力的必要性。

阅片者研究表明，在受控实验条件下，BrcaDetect与诊断性能的提高和阅片者间变异性的降低相关，尤其是在经验较少的放射科医师中[28]。相比之下，在经验更丰富的阅片者中获益不太明显，他们倾向于采用更保守的BI-RADS分级，这与既往报道一致[29]。既往研究同样表明，更丰富的经验与更一致的解释和更少的假阳性结果相关[30]。鉴于测试数据集中良性病变的比例较高，所有阅片者观察到的相对较低的阳性预测值（PPV）是预期的，且符合真实世界的筛查场景。

在辅助阅片过程中实施了若干措施以减轻锚定偏倚，包括2周的洗脱期、对既往评估结果设盲，以及在披露模型输出之前记录BI-RADS分类。仅记录后续的更改。尽管这些步骤旨在限制对算法建议的依赖，但残余的锚定效应无法完全排除。综合来看，阅片者研究结果提供了概念验证证据，表明BrcaDetect在受控条件下可能增强解释一致性并支持临床决策。然而，该研究是在模拟环境中进行的，未考虑时间压力、纵向临床背景或下游管理决策等真实世界因素。因此，这些发现应被解读为概念验证，而非对常规临床工作流程或患者结局产生影响的直接证据。

在未来的临床实践中，BrcaDetect可被视为超声工作流程中的实时、图像级决策支持工具，但需经过前瞻性验证。该模型并非旨在取代放射科医师的判断，也不能作为独立的筛查检测。目前处于概念验证阶段的潜在应用包括：优先排序需要更仔细复核的检查，以及充当第二阅片者以减少观察者间变异性并增强诊断信心。然而，这种整合的有效性需要通过真实世界临床环境中的前瞻性评估来确认。

使用Shapley值和Grad-CAM热图进行可解释性分析，以提供对模型行为的定性见解。总体而言，DL衍生的影像特征对模型预测的贡献最大，其次是BI-RADS评估和人口统计学变量。Grad-CAM可视化经常突出显示与通常被认为是可疑的形态学或血管模式重叠的图像区域。这些区域应被解释为模型相对关注的区域，而不是精确的病灶定位，因此可解释性输出旨在支持对模型倾向的理解，而非作为确定性的解释证据。

Grad-CAM热图通常强调边缘不规则、实性成分或血管信号增强的区域，这些特征在既往研究中与恶性相关[31]。然而，在一些良性病变中也观察到了激活，包括纤维腺瘤和硬化性腺病。这种重叠可能反映了共同的影像学特征，如血管增多、间质增生或结构异质性。使用更大、更多样化的良性和正常数据集进行优化可能有助于减少非特异性激活。值得注意的是，在外部验证队列中，较小比例的恶性病变显示出视觉上显著的Grad-CAM热点。这一观察结果可能与各数据集之间采集方案、图像质量、探头设置、病变特征或患者人群的差异有关。这些发现凸显了可解释性输出对数据集特征的敏感性，并强调了谨慎解释的必要性，尤其是在跨异质性临床环境应用模型时。

本研究存在若干局限性。首先，它是回顾性的，且在地理区域上受限，这可能限制其普适性。尽管评估设计采用了类似筛查的条件，但富集的病变患病率和回顾性病例选择表明它并不代表一项基于人群的筛查试验。相反，将其视为筛查相关场景中的决策支持评估更为恰当。其次，外部数据集的样本量相对较小且存在类别不平衡，这可能影响校准和性能。第三，各中心超声设备和采集方案的异质性可能导致领域偏移，排除低质量图像可能引入选择偏倚。未来研究应包括在更多样化人群中的前瞻性、多中心验证，纳入额外的临床风险因素，并在更广泛的图像质量和成像模态范围内进行评估。

结论

本研究支持可解释的BrcaDetect系统在乳腺癌诊断中的潜在临床相关性。通过将DL衍生的图像预测与人口统计学信息和放射学评估相结合，该模型在内部和外部数据集上均表现出稳定的性能。这些结果表明，多模态整合可能超越仅基于图像的模型，增强自动化乳腺癌诊断方法。此外，Grad-CAM热图和Shapley值的使用为模型的推理过程提供了见解，并有助于阐明各个特征的贡献。

尽管在受控实验条件下，BrcaDetect 与放射科医师诊断效能的提高及假阳性率的降低相关，但这些发现仅为概念验证；在投入任何临床应用之前，仍需要在真实世界的前瞻性环境中进行进一步验证。未来的研究应探索其与乳腺 X 线摄影和自动乳腺超声等其他成像模态的整合，并开展前瞻性、多中心评估，以确认其在不同人群中的稳健性与普适性。

补充信息

电子补充材料