基于磁共振成像的注意力深度学习网络预测世界卫生组织脑膜瘤分级与Ki-67表达
这项回顾性双中心研究纳入952例脑膜瘤患者,构建全自动注意力深度学习网络,基于术前多序列MRI预测WHO分级与Ki-67表达。外部测试集中,2.5D ResNet50预测分级的AUC为0.90,2.5D Swin Transformer预测Ki-67的AUC为0.89,均优于临床与影像组学模型。
要点
- 2.5D ResNet50预测WHO分级的外部测试AUC为0.90(0.85-0.93),优于临床模型(AUC=0.77,p<0.001)与影像组学模型(AUC=0.80,p<0.001)。
- 2.5D Swin Transformer预测Ki-67表达的外部测试AUC为0.89(0.85-0.93),优于临床模型(AUC=0.76,p<0.001)与影像组学模型(AUC=0.82,p=0.002)。
- nnU-Net分割网络在外部测试集对脑实质和肿瘤的Dice系数分别为0.98(0.97-0.99)和0.87(0.83-0.91)。
核心结论
- 全自动注意力深度学习网络表现优越,可能支持脑膜瘤患者更精准的治疗计划。
研究设计与样本
- 回顾性研究纳入952例脑膜瘤患者,分为训练集542例、内部验证集96例和外部测试集314例。
- 使用nnU-Net构建分割网络,分类模型采用ResNet50或Swin Transformer架构的2D或2.5D输入策略,均整合注意力机制。
- 以病理和免疫组化结果作为参考标准,WHO I级为低级别,WHO II级和III级为高级别;Ki-67≥5%为高表达,<5%为低表达。
关键影像表现/征象
- Grad-CAM显示CBAM使模型关注肿瘤内部区域,低级别低Ki-67病例聚焦均匀强化区,高级别高Ki-67病例聚焦异质性强化区。
诊断标准与关键数值
- WHO分级预测:外部测试集2.5D ResNet50的AUC为0.90(0.85-0.93)、准确率88%(84-91%);2.5D Swin Transformer的AUC同为0.90、准确率84%(80-88%)。
- Ki-67表达预测:外部测试集2.5D Swin Transformer的AUC为0.89(0.85-0.93)、准确率81%(76-85%)。
- 外部测试集临床模型预测分级AUC为0.77(0.70-0.83),影像组学模型AUC为0.80(0.75-0.85)。
- 外部测试集临床模型预测Ki-67的AUC为0.76(0.71-0.81),影像组学模型AUC为0.82(0.77-0.86)。
- 外部测试集男性亚组(n=80)中,2.5D ResNet50预测分级AUC为0.94(0.87-0.98)、准确率89%(81-95%);2.5D Swin Transformer预测Ki-67的AUC为0.91(0.82-0.98)、准确率89%(81-95%)。
临床应用与阅片要点
- 本网络可全自动分割肿瘤并预测WHO分级与Ki-67表达,可能为临床诊断和治疗计划提供无创、客观的辅助信息。
局限性
- 原文未报告局限性。
全文中译13 节 · 点击展开
引言
脑膜瘤是成人中最常见的原发性肿瘤,占所有颅内肿瘤的41%[1]。世界卫生组织(WHO)将脑膜瘤分为三级:I级(良性;约80%)、II级(非典型;15–20%)和III级(间变性;1–3%)。尽管大多数脑膜瘤为良性,但部分可表现出侵袭性行为。Ki-67指数作为细胞增殖的生物标志物,是肿瘤侵袭性的关键指标[2]。由于较高的WHO分级和Ki-67表达水平与更高的复发率和更差的预后相关,识别具有高增殖潜能的肿瘤对于优化手术和随访策略至关重要[3–5]。
影像组学将高维影像数据转化为数值特征,能够捕捉超越传统影像的肿瘤异质性[6]。既往研究表明,影像组学可在术前用于预测脑膜瘤分级和Ki-67表达[7–9],而此前这些依赖于术后组织病理学。深度学习作为一种先进的机器学习技术,能够从大型数据集中自动提取复杂特征,并已显示出预测脑膜瘤分级和Ki-67表达的潜力[10–12]。然而,大多数既往研究仅限于来自单中心的数据、单序列影像数据(T1或T2)和单模型方法;此外,它们使用手动分割,且缺乏大样本的外部验证。近年来,神经影像领域对新型人工智能技术的研究兴趣日益增长。注意力机制源于深度学习的最新进展,展现出相当大的潜力。受人类视觉系统启发,它们使模型能够自动聚焦于输入数据中最显著的区域,可能提高分析的准确性和效率。这些技术已被应用于脑磁共振成像(MRI)配准网络、重度抑郁症的诊断以及胶质瘤中异柠檬酸脱氢酶突变状态的预测[13–15]。然而,其在脑膜瘤分子亚型分型中的应用尚未被探索。
因此,我们开发了一个整合多序列MRI数据的深度学习网络,用于自动预测WHO脑膜瘤分级和Ki-67表达。该模型结合了注意力机制和自动分割,以改善肿瘤表征和预测准确性。为确保其泛化性和临床相关性,我们使用迄今报道的最大数据集进行了外部验证。
材料与方法
研究对象
我们共分析了1195例患者:中心1有799例(2014年9月至2023年4月),中心2有396例(2018年2月至2023年4月)(图1)。纳入标准为:(1)年龄超过18岁,首次诊断为脑膜瘤,并经病理学和免疫组织化学(IHC)按照WHO分类确诊;(2)术前MRI扫描完整,包括T1加权成像(T1WI)、增强T1加权成像(T1CE)和T2加权成像(T2WI);(3)术前血液检查无感染迹象。排除标准为:(1)多发性脑膜瘤(因其不同的生物学特征和预后可能引入混杂变量);(2)MRI扫描显示严重运动伪影;(3)有脑部手术史。
病理数据取自手术切除的组织样本。根据2021年WHO中枢神经系统肿瘤分类,所有脑膜瘤样本均重新审阅并根据WHO分级重新分类。肿瘤分为两组:WHO I级肿瘤归类为低级别脑膜瘤,而WHO II级和III级肿瘤统归类为高级别脑膜瘤。所有患者的Ki-67标记指数通过免疫组织化学(IHC)染色评估,并由一位具有16年经验的神经病理学家独立审阅。既往研究表明,Ki-67标记指数为5%或更高的脑膜瘤患者表现出更高的增殖潜力和增加的复发风险。因此,我们将样本分为两组:高表达(Ki-67 ≥ 5%)和低表达(Ki-67 < 5%)[4, 5, 16, 17]。
本研究经两家医院的伦理委员会批准。由于研究的回顾性性质,豁免书面知情同意。
MRI数据采集和预处理
所有患者的术前成像均使用3.0 T MRI扫描仪进行。详细扫描参数见补充表1–4。
图像预处理流程包括以下步骤:(1)使用高级标准化工具通过调整空间定位并将图像重采样至蒙特利尔神经学研究所(MNI)空间(https://nist.mni.mcgill.ca/atlases/),尺寸为193×229×193,体素大小为1×1×1 mm,对T1CE序列图像进行刚性配准。将T1WI和T2WI扫描图像刚性配准至T1CE图像空间,以确保每位患者图像集内的对齐。(2)使用我们训练的no-new-Unet(nnU-Net)模型对T1CE图像进行颅骨剥离,随后将图像非线性配准至MNI152标准空间。所得变换矩阵随后应用于T1WI和T2WI图像,以确保所有图像的空间标准化[18, 19]。(3)对所有图像施加N4偏场校正,以校正低频强度不均匀性。(4)对于信号强度标准化,我们比较了Z-score标准化和WhiteStripe标准化[20]。WhiteStripe标准化识别表现正常的白质,计算其强度均值和标准差,然后使用这些参数对整个图像进行线性变换。我们的结果表明,WhiteStripe方法在提高不同中心、受试者和扫描方案之间图像可比性方面最为有效(如补充图1所示)。此外,本研究严格遵循医学影像人工智能清单(CLAIM)指南,并全面评估了影像组学质量评分评估(补充方法5)。
临床模型和影像组学模型的构建
对于每个任务(WHO分级预测和Ki-67表达预测),我们分别开发了临床模型和影像组学模型。临床模型纳入人口学特征(如年龄和性别)、影像学特征(如水肿、硬膜尾征、蘑菇征和邻近静脉窦侵犯)以及术前血液学参数。因素的完整列表见表1。缺失的血液学数据采用多重插补法进行填补(补充图2)。
对于影像组学模型,特征仅从我们自动分割网络获得的分割肿瘤区域中提取。我们使用Pyradiomics模块(https://github.com/Radiomics/pyradiomics;补充图3)从三个MRI序列中提取了3157个影像组学特征。该方法确保了特征提取的一致性和可重复性,同时避免了手动分割可能引入的变异性。
所有四个模型均使用相同的机器学习框架,但采用任务特定的特征选择和优化。我们使用支持向量机,因为既往研究已表明其优于其他模型[21–24]。详细的特征选择方法、参数配置和训练策略见补充方法第3节,关键影像组学特征进一步详述于补充表5和表6。
深度学习分割网络的开发
准确勾画感兴趣区和颅骨剥离是脑肿瘤影像分析中至关重要但劳动密集的任务。为确保可靠性,初始使用高清晰度脑提取工具生成脑掩膜以进行颅骨剥离[25]。两名神经放射科医生(分别具有10年和15年经验)使用三维(3D)Slicer 5.0.3(https://www.slicer.org/)独立标注了中心1和中心2的数据集。标注包括优化脑掩膜和勾画肿瘤区域。第三名具有20年经验的专家解决了分歧,确保了一致性和准确性。
我们使用针对数据集特定特征优化的nnU-Net框架开发了自动分割模型[19]。来自中心1的数据,包括MRI T1WI、T1CE、T2WI图像、脑掩膜和肿瘤标注,被用于训练两个nnU-Net模型:一个用于脑实质分割,另一个用于肿瘤区域分割(图2a、b)。两个模型均采用3D全分辨率U-Net架构,在低分辨率通路中整合了Swin Transformer模块,通过捕获全局语义信息来提高分割准确性(补充图4)。进行了五折交叉验证,共500个 epochs。训练好的模型在中心2的数据上进行测试,以评估其泛化能力。模型的学习曲线见补充图5和6。
深度学习分类网络的开发
与临床和影像组学方法一致,针对两个预测任务分别训练了专用深度学习模型:WHO分级分类和Ki-67表达预测。分类使用了两种主干网络:基于卷积神经网络的ResNet50和基于注意力机制的Swin Transformer。架构经过修改以拼接所有三个MRI序列图像的特征,并整合了卷积块注意力模块(CBAM)以实现通道注意力和空间注意力。最终分类由全连接输出层生成。
基于分割结果,使用两种方法准备分类模型的输入数据:2D和2.5D,均使用轴位切片。2D模型使用所有MRI序列图像中最大切片(第n层切片)的肿瘤边界框,而2.5D模型纳入了相邻切片(n + 2和n − 2),以同时捕获局部肿瘤特征和周围上下文(图2c)。预处理步骤包括调整大小、归一化和张量转换。
为缓解数据不平衡,我们使用 PyTorch 的 ImbalancedDatasetSampler 在每个批次中实现平衡的类别表示。训练过程中应用了数据增强技术,包括随机翻转、旋转和添加高斯噪声,以增强数据多样性并减少过拟合,而验证和测试仅使用基本预处理以模拟真实世界条件。2D 和 2.5D 模型的学习曲线见补充图 7 和 8,详细的训练配置见补充方法第 4 节。
为增强可解释性,使用梯度加权类激活映射(Grad-CAM)生成热图,突出显示影响模型预测的区域。选择了两个代表性病例:病例 1,低级别肿瘤伴低 Ki-67 表达;病例 2,高级别肿瘤伴高 Ki-67 表达。这些病例涵盖了不同级别的恶性和增殖潜力,从而提供了对模型的全面评估。
统计分析
MRI 处理和统计分析主要使用 Python(v3.9)(https://www.python.org)和 R(v4.3.2;http://www.Rproject.org)进行。对于分类变量的比较,我们使用卡方检验或 Fisher 精确检验;对于连续变量的比较,我们使用 Mann–Whitney U 检验和独立 t 检验。预测模型的性能使用受试者工作特征(ROC)曲线下面积(AUC)、准确率、灵敏度、特异度和 F1 分数进行评估。AUC 之间的比较使用 DeLong 检验进行。p < 0.05 被认为具有统计学意义。
结果
患者特征
本研究共招募了 1195 例患者。其中,来自中心 1 的 638 例患者和来自中心 2 的 314 例患者符合纳入标准并进入最终分析(图 1)。在中心 1 中,542 例患者被分配至训练集,96 例分配至内部测试集(平均年龄 56.1 岁,67.9% 为女性)。来自中心 2 的外部测试集由 314 例患者组成(平均年龄 58.4 岁,74.5% 为女性)。两个中心之间的年龄和性别分布具有可比性。患者的基线特征总结于表 1。
深度学习分割网络的性能
整合 Swin Transformer 的 nnU-Net 模型在中心 1 的验证集上表现出色,脑实质分割的平均 Dice 系数为 0.98 ± 0.01,肿瘤分割为 0.92 ± 0.03。为评估泛化性,我们在来自中心 2 的独立数据集上测试了该模型。脑实质分割的 Dice 系数为 0.98(95% 置信区间(CI):0.97–0.99),体积相似度为 0.99(95% CI:0.98–1.00)。肿瘤分割的这些指标分别为 0.87(95% CI:0.83–0.91)和 0.92(95% CI:0.89–0.95)。
分级和 Ki-67 增殖指数预测模型的比较分析
每个模型的性能指标见表2。传统模型,包括临床和影像组学方法,在两项任务中均表现出中等预测准确性。对于分级预测,临床模型在内部测试集上的准确率为69%(95% CI:59–78%),AUC为0.72(95% CI:0.61–0.83),在外部测试集上的准确率为76%(95% CI:71–81%),AUC为0.77(95% CI:0.70–0.83)。影像组学模型表现出略高的性能,在外部测试集上的准确率为77%(95% CI:72–82%),AUC为0.80(95% CI:0.75–0.85)。同样,在预测Ki-67指数方面,临床模型表现相对较差,准确率为59%(95% CI:54–65%),AUC为0.76(95% CI:0.71–0.81),而影像组学模型达到了74%(95% CI:69–78%)的准确率和0.82(95% CI:0.77–0.86)的AUC。尽管使用影像组学特征在性能上有所改善,但传统模型无法充分捕捉与肿瘤分级和增殖相关的影像特征的复杂性。
深度学习模型表现出优于传统模型的性能,尤其是使用2.5D方法的模型。2D模型在测试集上较传统模型表现出适度提升,两项任务的准确率范围为67%至76%,AUC值范围为0.75至0.84。然而,2.5D模型取得了更大的提升。对于分级预测,2.5D ResNet50达到了88%(95% CI:84–91%)的准确率和0.90(95% CI:0.85–0.93)的AUC,2.5D Swin Transformer达到了84%(95% CI:80–88%)的准确率和相同的AUC。在预测Ki-67指数方面,2.5D Swin Transformer表现出最高的准确率81%(95% CI:76–85%)和0.89(95% CI:0.85–0.93)的AUC。
图3a展示了上述结果,并显示2.5D模型在两项任务的所有数据集上始终获得更高的AUC值。图3b进一步展示了2.5D模型优越的预测能力,这反映在准确率、召回率和F1分数等指标上。其他性能评估图,如决策曲线分析曲线(DCA)、校准曲线及其他相关指标,见补充图9–12。
为评估我们的模型在不同人口学群体中的公平性,特别是针对以女性脑膜瘤患者比例较高为特征的样本不平衡问题,我们基于性别和年龄进行了分层分析。在外部测试集的男性亚组中(n = 80),我们的2.5D模型在两项任务中均表现出优异的性能:2.5D ResNet50在WHO分级预测中达到了0.94(95% CI:0.87–0.98)的曲线下面积(AUC)和89%(95% CI:81–95%)的准确率。同样,在该亚组中,2.5D Swin-T在Ki-67预测任务中达到了0.91(95% CI:0.82–0.98)的AUC和89%(95% CI:81–95%)的准确率。跨各年龄亚组的分析进一步揭示,两种2.5D模型均保持了一致且稳健的预测性能。这些发现表明,尽管存在性别不平衡,我们的2.5D模型在不同人口学群体中提供了公平且高准确性的预测。详细的分层分析见补充表7–10。
临床、影像组学和深度学习模型的可解释性
Shapley加性解释分析为临床模型和影像组学模型的决策过程提供了有价值的见解(补充图13)。临床模型的预测主要由影像特征(如肿瘤直径和水肿)以及术前血液学参数(如氯和血红蛋白水平)驱动,突显了整合多模态数据的重要性。影像组学模型依赖于高级纹理特征,如灰度依赖矩阵和灰度尺寸区域矩阵,展示了捕捉肿瘤微观结构的潜力。然而,这些传统模型在解释复杂生物学行为方面存在局限性。
2.5D深度学习模型表现出更优越的可解释性,尤其是在引入CBAM后,能够更加聚焦于关键肿瘤区域。值得注意的是,CBAM的引入将模型的注意力重新导向肿瘤内部区域(图4)。例如,对于病例1,模型主要聚焦于肿瘤本身,其特征为均匀强化和规则形状,提示良性可能性较高和無进展生存期(PFS)较长。相比之下,在病例2中,CBAM增强模型更多地聚焦于肿瘤异质性内部区域,这些区域表现为不规则强化。这种注意力转移与肿瘤侵袭性行为的可能性相一致,并对应于高级别肿瘤且Ki-67表达升高患者的较短PFS。
讨论
我们开发了一种创新的、全自动的基于注意力的2.5D深度学习模型,该模型结合注意力机制来预测脑膜瘤的WHO分级和Ki-67表达水平。这是首次在包含952例病例的大规模双中心数据集上实施基于注意力机制的模型。该方法解决了现有模型的局限性,特别是在自动化、可解释性和泛化性方面。
为解决不同来源和参数导致的成像差异,我们比较了Z分数和白条纹归一化方法。白条纹方法产生了更一致的信号强度分布,从而确保了在多中心和多设备环境中的稳定性。这一比较为优化神经影像工作流程中的图像归一化技术提供了重要见解。
临床指标,如影像学和血液学特征,在预测WHO脑膜瘤分级方面已显示出前景。Zhao等人开展的一项单中心研究使用术前血液学特征达到了0.726的AUC,这与我们的临床模型所达到的0.768的AUC相似[7]。这表明仅凭临床指标可能无法完全反映肿瘤生物学的复杂性,凸显了对先进预测方法的需求。
影像组学从医学图像中提取高维纹理特征,以实现无创且客观的肿瘤表征。迄今为止,多项研究已证明使用影像组学预测脑膜瘤WHO分级和Ki-67表达的有效性。在Khanna等人开展的一项单中心研究中,测试集中预测Ki-67表达的AUC为0.83[16]。在另一项单中心研究中,Zhao等人预测WHO分级的AUC达到0.860[7]。然而,这些方法依赖于手动分割,并因外部验证有限而存在过拟合风险,以及显著的模型间特征变异性。在我们的研究中,内部测试集中预测WHO分级和Ki-67的AUC分别为0.74和0.76。这些发现强调了提高预测准确性和模型泛化能力的必要性,以及先进技术克服传统影像组学局限性的价值。
深度学习方法正越来越多地被用于预测脑膜瘤的WHO分级和Ki-67表达水平。例如,Chen等人利用T1CE序列图像开发了一个2D深度学习模型,在154例患者的外部测试队列中,预测WHO分级和Ki-67表达水平的AUC分别为0.669和0.591[12]。同样,Jun等人利用T1CE和T2WI序列图像开发了一个3D脑膜瘤分级模型,在61例外部验证集中达到了0.770的AUC[11]。然而,当前的深度学习方法往往缺乏全面的模型比较和大规模外部验证,这限制了其泛化能力。缺乏与传统方法的直接比较掩盖了性能与复杂性之间的权衡;2D模型可能无法完全捕捉MRI数据的三维信息,而3D模型面临计算和过拟合挑战,尤其是在样本量有限的情况下。
为克服这些局限性,我们开发了一个全自动nnU-Net分割模型并实施了2.5D分类方法。2.5D方法整合了相邻层面的信息,在空间信息捕捉和计算效率之间取得了平衡。尽管2.5D方法已被证明在胶质瘤研究中有效,但这是首次将此类方法应用于脑膜瘤[26, 27]。我们已证明其在空间信息捕捉与计算效率之间取得平衡的能力。
本研究开创性地将注意力机制应用于脑膜瘤分子亚型预测。我们将Swin Transformer集成到nnU-Net分割网络中,并将CBAM集成到分类网络中。CBAM帮助模型确定哪些特征通道(代表不同类型的图像特征)和空间位置(图像中的特定区域)更为重要,从而将计算资源分配到这些关键区域,有效聚焦于肿瘤内可能与恶性程度或增殖活性相关的细微特征。同样,分割网络中的Swin Transformer模块凭借其固有的注意力机制,有助于捕捉不同图像区域之间的长程依赖关系,这对于理解肿瘤的整体结构及其与周围组织的关系至关重要。如Grad-CAM可视化所示(图4),CBAM通过聚焦关键肿瘤区域提升了模型性能和可解释性。这些改进使得对WHO分级和Ki-67表达的预测更加准确。
本研究评估了模型的校准性能。虽然2.5D ResNet50和Swin-Transformer模型在内部和外部测试集中均表现出可接受的总体校准(HL p > 0.05),但分箱分析揭示了特定的局部偏差,例如2.5D ResNet50模型在外部测试集WHO分级分类任务中,在低风险区间(0.1–0.2)高估、在中风险区间(0.5–0.8)低估,这可能导致不必要的患者焦虑或影响治疗决策。临床医生在使用这些模型时应注意局部偏差。未来的改进应侧重于纳入更多样化人群的大样本量,并实施校准技术如Platt缩放或等渗回归以解决这些特定的校准缺陷。
DCA曲线进一步验证了模型的临床实用性。在分级预测方面,与传统模型相比,2.5D ResNet50模型在广泛的决策阈值范围内提供了更高的净临床获益:在低阈值(20–30%)时,它最大程度降低了遗漏高级别脑膜瘤的风险,而在高阈值(60–70%)时,它支持更积极的干预决策(如扩大切除)。同样,在Ki-67预测方面,2.5D Swin-Transformer在低阈值(20–30%)时有效识别需要加强随访的患者,在高阈值(60–70%)时为准确的复发风险评估和个体化治疗规划提供了可靠依据。在临床应用中,模型预测应结合Grad-CAM可视化和临床背景形成综合判断。
尽管结果令人鼓舞,但本研究存在若干局限性。作为一项基于两个中心数据的回顾性研究,选择偏倚和信息偏倚可能影响结果的普适性。未来需要开展涵盖多样化人群和设备的前瞻性多中心研究,以验证模型的稳健性。此外,由于不同机构之间临床参数定义和测量可能存在异质性,我们未将临床数据整合到深度学习模型中,这可能引入偏倚。未来使用标准化多中心数据集的研究可探索结合临床和影像特征的多模态模型。另外,我们仅考察了两种主干网络(即ResNet50和Swin Transformer)。未来研究应探索更广泛的架构。最后,我们仅关注常规MRI序列,排除了功能成像技术,如扩散加权和灌注加权成像。整合多模态MRI序列可能进一步增强预测性能和临床适用性。
纳入大规模独立外部测试集以及对多种模型的比较分析,增强了我们发现的可信度。我们的方法可协助临床医生进行肿瘤评估和治疗规划,这可能改善患者结局。未来工作应侧重于扩大研究范围、整合多模态影像数据并完善模型,以开发更稳健的脑膜瘤诊断和治疗工具。
补充信息
补充信息
引用
- Cheng X, Li H, Li C, et al. Attention-based deep learning network for predicting World Health Organization meningioma grade and Ki-67 expression based on magnetic resonance imaging. Eur Radiol. 2025. PMID: 40836018. doi:10.1007/s00330-025-11958-7
- 全文:PMC13035881(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13035881/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。