文献速递乳腺技术与安全US

基于纵向超声的人工智能模型预测乳腺癌新辅助化疗后腋窝淋巴结反应:一项多中心研究

Longitudinal ultrasound-based AI model predicts axillary lymph node response to neoadjuvant chemotherapy in breast cancer: a multicenter study.
PubMed 文献 · Eur Radiol · 2024-05-10

该多中心研究纳入2016年11月至2022年12月三中心接受新辅助化疗后手术的乳腺癌患者,构建融合化疗前、后乳腺超声影像组学与深度学习特征的AI模型预测腋窝淋巴结转移。验证队列中融合模型AUC为0.899,优于化疗前模型0.786、化疗后模型0.853及超声医师诊断0.719;AI辅助使医师准确率从71.9%升至79.2%。

要点

  • 融合化疗前后超声的AI模型在验证队列预测腋窝淋巴结转移AUC为0.899,优于超声医师的0.719。
  • 超声医师独立诊断腋窝淋巴结的敏感度在训练队列为63.06%、验证队列为51.52%,AI模型敏感度更高。
  • AI辅助后超声医师敏感度由63.06%升至70.27%(训练队列)、由51.52%升至62.63%(验证队列)。

核心结论

  • 基于新辅助化疗前后超声的深度学习影像组学融合模型能较准确预测乳腺癌腋窝淋巴结对新辅助化疗的反应。
  • 该模型可辅助超声医师提高术前腋窝淋巴结状态的诊断能力。

研究设计与样本

  • 回顾性多中心研究,2016年11月至2022年12月从北京大学第三医院、广东省人民医院、北京大学肿瘤医院纳入669例接受新辅助化疗后手术的乳腺癌患者。
  • 最终纳入497例,医院I和II为训练队列(n=216),医院III为独立验证队列(n=281)。
  • 使用Esaote MyLab Twice、Siemens S3000或Philips EPIQ5超声仪,配7-15 MHz线阵探头,采集新辅助化疗前及化疗后超声图像。
  • 以哨兵淋巴结活检或腋窝淋巴结清扫的组织学结果为参考标准。
  • 从化疗前、后图像提取影像组学特征(各1223个)及VGG16深度学习特征(各2048个),经随机森林及支持向量机构建融合模型。

关键影像表现/征象

  • 原文未报告影像征象,仅以超声判断腋窝淋巴结转移的标准为:脂肪门消失、圆形、偏心性皮质增厚(>3 mm)。
  • 原文报道热力图显示影像组学(Firstorder_Maximum、GLCM_IDM)及深度学习Grad-CAM关注的区域。

诊断标准与关键数值

  • 超声判断转移性腋窝淋巴结的标准:脂肪门消失、圆形或偏心性皮质增厚(>3 mm)。
  • 验证队列中融合模型AUC 0.899,优于化疗前模型0.786(p<0.001)和化疗后模型0.853(p=0.014)。
  • 验证队列中融合模型AUC 0.899,优于超声医师诊断AUC 0.719(p<0.001)。
  • 训练队列融合模型准确率88.89%、敏感度84.68%、特异度93.33%;验证队列准确率85.77%、敏感度83.84%、阴性预测值86.81%。
  • 超声医师首次诊断AUC训练队列0.753、验证队列0.719;敏感度训练队列63.06%、验证队列51.52%。

临床应用与阅片要点

  • 研究显示融合AI模型在验证队列AUC 0.899,高于超声医师诊断的0.719。
  • AI辅助后超声医师敏感度由63.06%升至70.27%(训练队列)、由51.52%升至62.63%(验证队列),AUC亦提高(两队列p<0.05)。
  • 决策曲线分析显示融合模型在阈值概率0.02至0.98区间带来患者净获益。
  • 作者认为AI模型可辅助超声医师提高诊断能力,并可能辅助手术决策。

局限性

  • 原发肿瘤分割为手动完成,耗时较长,作者计划未来探索自动分割模型。
  • 因研究为回顾性,选择偏倚不可避免;需要更大样本量和更多多中心研究验证模型的预测效能和辅助能力。
  • 超声图像来自不同采集方案,可能影响影像分析,已采用协调化处理减少异质性。
  • 参与本研究的超声医师数量相对有限,可能不能准确代表平均超声医师水平;未来需更多超声医师参与评估模型的辅助效能。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 May 10;34(11):7080–9. doi: 10.1007/s00330-024-10786-5

引言

新辅助化疗(NAC)越来越多地用于临床腋窝淋巴结(ALN)阳性的乳腺癌患者[1, 2],因此需要准确评估ALN对NAC的反应,以制定最佳的NAC后腋窝手术策略[3]。虽然腋窝淋巴结清扫术(ALND)仍是临床淋巴结阳性(cN+)乳腺癌的标准治疗,但NAC可有效消除40–75%病例的ALN转移[4]。准确预测ALN对NAC的反应可显著减少不必要的腋窝手术及其相关风险,如淋巴结水肿和感染。部分患者可能在无ALN转移的情况下仍接受腋窝手术[5]。

乳腺X线摄影、磁共振成像(MRI)和超声检查(US)广泛用于NAC治疗期间乳腺癌的分期和监测[6]。影像组学在癌症诊断、治疗评估、ALN转移检测、表型特征描述和预后预测方面具有良好效果[7–12]。深度学习相比传统影像组学可提供自动化、增强的影像特征分析。此外,迁移学习被探索用于小型医学数据集中的特征提取。近期证据表明,基于术前US的深度学习影像组学(DLR)可高灵敏度和高阴性预测值地预测早期乳腺癌的ALN状态[13]。一项研究还发现,基于纵向MRI的DLR模型可准确预测乳腺癌对NAC的病理完全缓解,表明纵向医学图像可在NAC期间捕获更多定量信息[14]。基于这些发现,我们假设使用NAC前和NAC后US图像的DLR模型能更有效地预测ALN反应。

很少有研究训练和验证使用NAC前和NAC后超声图像预测乳腺癌ALN反应的多模态DLR模型。既往研究尚未比较人工智能(AI)模型与超声医师在NAC前和NAC后腋窝超声图像上的视觉诊断。本研究重点比较DLR模型与超声医师的预测性能,用独立外部数据集验证模型,并评估AI模型提高超声医师在超声图像腋窝诊断中诊断能力的潜力。

材料与方法

患者

本研究获得北京大学第三医院、广东省人民医院和北京大学肿瘤医院伦理委员会的伦理批准。鉴于研究的回顾性性质,免除患者知情同意。从2016年11月至2022年12月,共纳入来自三家医院的669例接受NAC后手术的患者。纳入标准为:(i)接受标准NAC治疗的cN+乳腺癌;(ii)完整的NAC前和NAC后超声扫描;(iii)通过前哨淋巴结活检(SLNB)或ALND进行ALN分期;(iv)完整的基线数据。排除标准为:(i)既往乳腺癌治疗(n = 43),(ii)其他恶性肿瘤或远处转移(n = 28),(iii)双侧乳腺癌(n = 18),(iv)US图像不充分或质量差(n = 39),(v)临床病理数据缺失(n = 44)。来自医院I和II的患者组成训练队列(n = 216),而来自医院III的患者组成独立验证队列(n = 281)。图1显示了研究流程。

图1 本研究工作流程的设计。深度学习影像组学模型的构建包括以下步骤:原始图像获取、手动分割、特征提取、特征选择、模型构建。一位超声医师使用新辅助化疗(NAC)前和NAC后的腋窝超声对腋窝淋巴结状态做出首次判断。间隔一个月后,在人工智能模型辅助下对同一批图像提供第二次判断。腋窝淋巴结的病理结果被视为金标准。NAC,新辅助化疗;US,超声;AI,人工智能;ROI,感兴趣区;ALN,腋窝淋巴结;LASSO,最小绝对收缩和选择算子 查看原图 ↗

NAC方案和组织学评估

所有患者接受6或8个周期的NAC,使用紫杉类药物单药或联合蒽环类药物,人表皮生长因子受体-2(HER2)阳性患者还接受抗HER2治疗。NAC后2–3周进行手术。通过前哨淋巴结活检(SLNB)或腋窝淋巴结清扫术(ALND)对ALN对NAC的反应进行组织学评估,将ALN转移定义为任何淋巴结中存在浸润性肿瘤。免疫组织化学(IHC)确定HER2、激素受体(HR)和Ki-67状态:雌激素受体(ER)和孕激素受体(PR)若染色细胞> 1%则为阳性,而Ki-67表达以20%为界值定义为高表达或低表达[15]。HER2状态基于IHC评分(0或1+为阴性,3+为阳性)或对IHC 2+病例采用荧光原位杂交[16]。记录基线数据,包括年龄、月经状态、临床T和N分期。根据分子受体表达将乳腺癌分为HR+/HER2-、HER2+和TNBC。

超声检查

所有患者在NAC治疗前两周和治疗后两周接受NAC前和NAC后超声检查。超声图像使用Esaote(MyLab Twice)、Siemens(S3000)或Philips(EPIQ5)超声扫描仪获取,配备7至15 MHz线阵探头(见支持材料-II,超声检查)。两名超声医师在医院I进行超声检查,一名在医院II,两名在医院III。每位超声医师在乳腺超声成像方面均有超过八年的经验。NAC前,患者接受乳腺超声扫描和空心针活检,选择包含肿块最大直径的超声图像用于进一步分析。共收集并分析了来自497例患者的2585幅超声图像,包括NAC前和NAC后图像。

肿瘤分割和图像预处理

将NAC前和NAC后US图像导入3D Slicer软件(版本4.10.1)进行手动肿瘤勾画。两名经验丰富的超声医师(分别有6年和8年乳腺癌超声经验)对组织学结果设盲,分割肿瘤感兴趣区(ROI),涵盖整个肿瘤但排除血管、脂肪组织和正常乳腺组织。每幅超声图像均勾画了其肿瘤ROI。对于影像组学流程,US图像被预处理为统一体素大小1 × 1 mm。对于深度学习流程,覆盖整个肿瘤区域的US图像被调整为448 × 448像素,并进行灰度归一化至0–1000,以实现统一的特征提取。

特征提取和选择

使用pyradiomics软件(版本3.3.0)对NAC前和NAC后的超声图像进行特征提取和选择,提取2446个影像组学特征(NAC前和NAC后各1223个;见支持材料-I. 特征提取)。这些特征包括基于形状的、一阶统计的、基于纹理的和小波衍生的特征。Combat协调减少了不同医院不同扫描仪带来的偏倚。对于深度学习,将所有调整大小后的图像输入深度卷积神经网络VGG16,该网络已在大规模ImageNet数据库(https://www.image-net.org/)上进行了预训练。然后我们从全连接层提取迁移特征(见支持材料-III. 深度学习和神经网络的基本原理)。由此获得了NAC前1223个和NAC后1223个影像组学特征,以及NAC前和NAC后各2048个深度学习特征。

特征值使用z-score标准化进行标准化处理。在训练队列中,特征选择采用Mann–Whitney U检验来识别与ALN对NAC反应显著相关的特征(p < 0.05)。使用最小绝对收缩和选择算子(LASSO)消除系数为零的特征。为减少特征相关性,Spearman分析根据诊断性能从高度相关的特征对(相关系数 > 0.8)中移除一个特征。

模型构建与整合

为优化DLR模型用于NAC后ALN反应预测,我们调整了其超参数。这包括超参数调优以增强模型性能和早期停止以防止模型过拟合,确保模型的泛化能力。我们使用训练队列的30%来评估VGG16模型的性能,以曲线下面积(AUC)衡量,如果性能在连续十个计算周期内没有提高,则停止训练。为进一步优化模型,将肿瘤大小、回声类型和血流信号等重要的常规超声特征整合到全连接层中,增加神经元数量。使用随机森林算法构建了两个预测模型(NAC前和NAC后),生成两个DLR特征标签。然后使用支持向量机(SVM)模型结合NAC前和NAC后的影像组学和深度学习特征。这些时间上不同的特征的整合能够实现更全面的分析,增强机器学习模型的预测能力。SVM模型旨在准确预测乳腺癌患者NAC后ALN转移。

与超声医师和AI辅助诊断的比较

我们通过比较每个机器学习模型的AUC与超声医师在腋窝超声上的诊断来评估模型性能,并探讨融合模型是否增强了超声医师的诊断能力。两名分别具有6年和8年经验的超声医师独立评估了新辅助化疗(NAC)前和NAC后超声图像上的腋窝淋巴结(ALN)状态,对病理结果设盲。根据既往研究,超声上符合以下任一标准即提示转移性ALN:(i)脂肪门消失,(ii)圆形,或(iii)皮质偏心性增厚(> 3 mm)[17, 18]。一个月后,同一批超声医师在人工智能(AI)模型辅助下重新评估超声图像,先获得AI预测结果,再做出最终诊断。我们比较了超声医师的初始诊断与AI辅助诊断,以确定AI模型是否可作为增强超声医师诊断能力的有用工具。

统计分析

统计分析使用SPSS软件(版本25.0)进行。组间差异对连续变量采用学生t检验或Mann-Whitney U检验评估,对分类变量采用卡方检验或Fisher精确检验评估。模型性能采用AUC评估,不同模型性能比较采用DeLong检验。决策曲线分析(DCA)用于评估模型的临床实用性[19]。模型性能基于准确率(ACC)、特异度(SPE)、灵敏度(SEN)、阳性预测值(PPV)和阴性预测值(NPV)评估,见支持材料-IV. Statistical Metrics。统计学显著性设定为p < 0.05。

结果

患者的基线特征

本研究共纳入497例患者,平均年龄51.47岁。其中,NAC后210例为ALN+,287例为ALN-。训练队列中ALN+率为51.39%,验证队列中为35.23%。ALN+组与ALN-组在分子亚型、原发肿瘤反应和临床N分期方面观察到显著差异(均p < 0.05),而其他基线特征在训练队列和验证队列中均无显著差异。表1详细列出了患者的基线特征。

表1 ALN+组和ALN-组患者的临床病理特征 查看原表 ↗

特征选择与模型构建

在训练队列中,来自超声图像的1362个影像组学特征(NAC前463个,NAC后899个)和2908个深度学习特征(NAC前1357个,NAC后1551个)与NAC后ALN转移显著相关(Mann-Whitney U检验,p < 0.05)。经LASSO选择后,选出7个NAC前特征和9个NAC后特征。详细的LASSO选择均方误差变化曲线和系数变化线见附图S1。从高度相关的特征对(Spearman相关系数 > 0.8)中保留诊断性能较高的特征,最终得到6个NAC前特征和8个NAC后特征用于模型构建(见表2)。开发了两个随机森林模型(NAC前和NAC后),其输出特征签名整合入一个SVM模型。

图2A、B显示了三种机器学习模型的ROC曲线,融合模型在训练队列中获得了最高的AUC(0.949),在验证队列中为0.899。在验证队列中,它优于新辅助化疗前(AUC = 0.786,p < 0.05)和新辅助化疗后(AUC = 0.853,p < 0.05)模型。决策曲线分析表明,联合模型在训练队列和验证队列中均具有令人满意的净临床获益(图2C、D)。校准图也显示融合模型在两个队列中实际与预测的腋窝淋巴结状态之间具有极好的一致性(图2E、F)。

表2 用于模型构建的所选放射组学和深度学习特征的详细信息,包括特征的ICC值和LASSO系数 查看原表 ↗
图2 三种模型的ROC曲线比较、决策曲线分析以及融合模型的校准曲线。ROC曲线显示了融合模型、新辅助化疗前模型和新辅助化疗后模型在训练队列(A)和验证队列(B)中预测腋窝淋巴结转移的性能。三种模型的决策曲线分析(DCA)显示于训练队列(C)和验证队列(D),y轴表示净获益;x轴表示阈值概率。图中呈现了融合模型在训练队列(E)和验证队列(F)中的校准曲线。AUC,曲线下面积;FPR,假阳性率;TPR,真阳性率 查看原图 ↗

超声医师与放射组学模型的比较

本研究将超声医师对腋窝超声的首次诊断与基于新辅助化疗前和新辅助化疗后乳腺超声特征的三种机器学习模型进行了比较。模型的性能指标,包括AUC、ACC、SEN、SPE、PPV和NPV,详见表3。融合模型在训练队列中优于超声医师,准确率为88.89%,灵敏度为84.68%,特异度为93.33%;在验证队列中准确率为85.77%,灵敏度为83.84%,NPV为86.81%。尽管腋窝超声在临床广泛应用,但其AUC最低(训练队列为0.753,验证队列为0.719)。三种AI模型(AUC分别为0.899、0.786和0.853)在验证队列中均超过了超声医师的首次诊断(AUC:0.719)。超声医师识别ALN+患者的灵敏度分别为63.06%(训练队列)和51.52%(验证队列),而AI模型达到了更高的灵敏度(训练队列为82.88–92.79%,验证队列为73.73–83.84%)。在识别ALN-患者方面,超声医师的特异度与AI模型相当,其中新辅助化疗前模型的特异度最低(训练队列为70.48%,验证队列为64.84%)。

表3 不同模型和超声医师在训练队列和验证队列中的性能 查看原表 ↗

AI辅助超声医师对ALN状态的诊断

在融合人工智能(AI)模型的辅助下,超声医师对超声图像进行了二次判读。如表3所示,在AI模型辅助下,超声医师的诊断能力得到提高,最突出的是敏感度,在训练队列中从63.06%提高到70.27%,在验证队列中从51.52%提高到62.63%。此外,超声医师二次诊断的AUC显著高于初次诊断(训练队列和验证队列中p < 0.05),表明融合AI模型有效提高了超声医师的诊断能力。图3展示了两位代表性患者(ALN+和ALN−)超声图像上的ROI勾画和热图。

图3 本图展示了两位患者在新辅助化疗(NAC)前和后的超声图像:一位显示腋窝淋巴结(ALN)完全缓解,另一位在NAC后仍有ALN转移残留。第二列和第三列对应于影像组学流程生成的影像组学热图(Firstorder_Maximum和GLCM_IDM),而第四列描绘了深度学习流程生成的Grad CAM图热图。这些热图直观地表示了各模型在评估ALN状态时所识别的感兴趣区域。对于Firstorder_Maximum热图,深蓝色提示值越大,该区域强度值越紊乱。对于GLCM_IDM热图,深红色提示值越大,该区域纹理越紊乱。对于Grad CAM热图,红色提示值越大,该区域贡献特征值越大,也表明深度学习模型更关注乳腺癌超声图像上的红色区域。NAC,新辅助化疗;GLCM,灰度共生矩阵逆差矩;Grad CAM,梯度加权类激活映射;US,超声;HR,激素受体;HER2,人表皮生长因子抗体2;AI,人工智能 查看原图 ↗

讨论

ALN状态在临床实践中对于指导手术治疗至关重要,因为ALN转移通常提示更差的预后和更高的复发风险[6]。常规进行SLNB或ALND以评估腋窝淋巴结状态。在我们的研究中,42.25%的患者在NAC后无ALN转移但接受了有创腋窝手术,导致巨大的费用和不必要的并发症。既往研究已证实,原发肿瘤基于MRI的影像组学特征可准确预测ALN状态,AUC为0.790–0.862,但仅关注影像-derived影像组学[15, 20–22]。一项既往研究表明,使用基于乳腺X线摄影的影像组学模型预测ALN状态具有可行性,AUC为0.809(95% CI,0.794–0.833)[23]。我们的研究涉及使用NAC前和后的US图像开发多模态AI模型,允许更全面地利用US图像预测ALN状态。DeLong检验揭示了融合模型在无创识别NAC后ALN状态方面的可靠性,避免了不必要的手术和并发症。

腋窝超声常用于评估乳腺癌患者新辅助化疗(NAC)期间的腋窝淋巴结(ALN)状态。在我们的研究中,融合模型表现出更优的诊断性能,在验证队列中曲线下面积(AUC)为0.899,显著优于超声医师对腋窝超声的诊断(AUC为0.719)。Alvarez报道腋窝超声对乳腺癌的敏感度和特异度分别为48.8%至87.1%和55.6%至97.3%,与我们的研究结果一致[24]。然而,腋窝超声诊断通常受操作者经验及ALN区域微小转移灶检测困难的影响。因此,尽管其临床应用广泛,超声医师的超声诊断不应作为NAC后评估ALN状态的唯一影像学方法。此外,我们发现超声医师对腋窝超声的诊断在NAC后ALN诊断中表现出高特异度但低敏感度。我们的结果与既往研究一致,既往研究显示MRI的敏感度为61.4%–70%,表明腋窝超声的表现与MRI相似[25, 26]。此外,超声医师依赖对ALN形态的主观判断,而呼吸和心脏运动伪影可能影响其对MRI的诊断。常规超声图像也更为稳健。

在我们的研究中,超声医师的首次诊断仅依赖其个人观点或个人诊断,而第二次诊断参考了融合模型的预测结果。某些乳腺癌异质性可能与ALN转移相关,但无法被超声医师肉眼观察到。结果显示,第二次诊断的诊断能力显著增强,表明AI模型在评估ALN状态时能够捕捉并整合超声医师所忽视的潜在乳腺癌异质性。当AI模型的风险评分与超声医师的首次诊断显著偏离时,超声医师会更加关注淋巴结,这些淋巴结最初为不确定性质,在首次判读中未被归类为转移性。超声医师在AI辅助下的第二次判读中重新评估并作出了上调的ALN诊断。

融合模型在高于15%的较高阈值概率下具有优越性,提示其可用于识别可能从腋窝淋巴结清扫术(ALND)中获益的患者,从而尽量减少不必要的 surgical interventions。然而,推荐ALND的理想阈值应平衡不必要手术的风险与治疗不足的风险,需要在未来针对患者状况和临床实践量身定制的研究中进一步验证。此外,该模型在验证队列中高达90.8%的高阴性预测值(NPV)提示其能够有效准确识别可能不需要ALND的患者, potentially averting related surgical complications。尽管如此,省略ALND的决策应将AI模型的预测与包括患者个体化状况、分子亚型和淋巴结大小在内的其他因素结合考虑。

我们的研究存在一些局限性。首先,原发肿瘤分割是手动进行的,这耗时较长。未来,我们计划探索自动分割模型的性能。其次,由于研究的回顾性性质,选择偏倚不可避免。需要更大的样本量和更多多中心研究的证据来检验AI模型的预测效能和辅助能力。第三,我们收集的US图像来自不同的采集协议,可能影响影像分析。因此,采用了协调化处理以尽量减少异质性。最后,参与本研究的超声医师数量相对有限,可能无法准确代表普通超声医师的能力。未来研究应纳入更多超声医师参与ALN状态诊断,以更全面地评估模型的辅助效能。

结论

我们开发了一种融合AI模型,该模型整合了NAC前后的US图像,与单模态模型或超声医师诊断相比,在预测乳腺癌NAC后ALN转移方面具有更优的性能。该AI模型可作为有效工具,帮助超声医师提高诊断能力。

补充信息

补充材料

引用

  1. Fu Y, Lei YT, Huang YH, et al. Longitudinal ultrasound-based AI model predicts axillary lymph node response to neoadjuvant chemotherapy in breast cancer: a multicenter study. Eur Radiol. 2024. PMID: 38724768. doi:10.1007/s00330-024-10786-5
  2. 全文:PMC11519196(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11519196/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。