文献速递神经CTMRPET

计算医学影像(影像组学)在脑肿瘤中的临床意义与可解释性

The clinical implications and interpretability of computational medical imaging (radiomics) in brain tumors.
PubMed 文献 · Insights Imaging · 2025-03-30

本综述阐述了影像组学在脑肿瘤诊断、治疗计划和预后等方面的临床应用,并讨论了传统手工特征影像组学与深度学习影像组学的可解释性方法。提高可解释性有助于医生理解模型,促进影像组学向临床转化。

要点

  • 影像组学在脑肿瘤的诊断、治疗计划和预后等关键临床领域有重要影响。
  • 透明模型、生境分析和特征属性解释可增强传统手工特征影像组学的可解释性。
  • 多种可解释性方法已用于解释深度学习模型,但这些模型缺乏生物学机制。

核心结论

  • 提高影像组学的可解释性可使医生更易理解,最终促进其向临床实践转化。

研究设计与样本

  • 综述,检索并汇总脑肿瘤影像组学临床应用及可解释性方法的相关文献。

关键影像表现/征象

  • IDH突变型肿瘤在T1c上表现为无强化或轻微强化、边缘清晰,或在FLAIR上呈中央囊性区伴液体衰减。
  • IDH野生型肿瘤在T1c上表现为厚薄不均的强化或薄而不规则的周边强化,FLAIR上呈浸润性水肿模式。

诊断标准与关键数值

  • Dongming等分析胶质瘤、原发性中枢神经系统淋巴瘤和脑转移瘤的肿瘤生境特征,测试队列AUC为0.91、准确率为76.9%。
  • Wang等开发从无标注全切片图像分类胶质瘤的整合诊断模型,AUC为0.90。
  • Sebastian等开发单一多任务CNN预测遗传特征并自动分割T2w高信号区,全肿瘤平均Dice评分为0.84。
  • Ying等开发自动分割方法,在BRATS 2013高级别胶质瘤数据集上Dice相似系数为0.78、敏感度为0.81。
  • Hollon等开发无标记光学成像方法和深度CNN,CNN诊断刺激拉曼组织学图像的总体准确率为94.6%,病理学家解读常规组织学图像的总体准确率为93.9%。

临床应用与阅片要点

  • 原文未据此给出推荐。

局限性

  • 大多数研究未旨在解释其模型的机制。
  • 深度学习影像组学常被视为「黑箱」,因其学习到的特征提取器复杂。
  • 概念学习面临额外标注成本的问题,且学习到的概念可能因信息泄漏而编码非预期信息。
  • 基于案例的推理因易受噪声和压缩伪影影响而难以训练。
  • 当前建模方法过于简单,未充分利用生境分析的优势。
全文中译27 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Mar 30;16:77. doi: 10.1186/s13244-025-01950-6

引言

脑肿瘤是大脑或中央椎管内的异常细胞增生。它们分为原发性脑肿瘤,即起源于大脑的肿瘤[1],以及转移性脑肿瘤,即从身体其他部位扩散而来的肿瘤[2]。磁共振成像(MRI)和计算机断层扫描等常规影像技术对于脑肿瘤的诊断、特征描述和治疗规划至关重要[3]。然而,这些技术缺乏提供详细定量信息的能力,限制了临床医生全面评估肿瘤特征的能力。

影像组学涉及使用先进的计算方法从医学图像中提取大量特征[4]。它能够对组织特征进行定量评估并提供无创生物标志物,使其广泛应用于脑肿瘤研究[5]。影像组学通过无创成像增强肿瘤特征描述、提高诊断和预后准确性、实现个性化治疗,并推进我们对肿瘤生物学的理解。

影像组学可分为两种类型:传统影像组学,使用图像处理和统计方法提取特征;以及深度学习(DL)影像组学,采用卷积神经网络(CNN)等深度学习算法自动提取高级特征[6]。虽然影像组学在脑肿瘤研究中表现出良好性能,但复杂算法可能充当“黑箱”[6],使医生难以理解其过程,从而阻碍其向临床应用的转化。

可解释性弥合了人类与决策系统之间的差距,提供既准确又可理解的解释。许多可解释人工智能(AI)技术已被用于脑肿瘤影像组学研究[7],但大多数忽视了“目标受众”的重要性。可解释性意味着以人类可理解的方式解释模型。领域专家,如医生,需要信任影像组学模型并从中获得医学洞见。

我们将综述影像组学在脑肿瘤中的近期临床应用。我们还将讨论计算医学成像在脑肿瘤中的可解释性,并分享我们对未来研究的看法,以促进影像组学更好地被接受。

影像组学在脑肿瘤中的临床意义

影像组学使用数据表征算法从医学图像中提取大量定量特征,提供有价值的临床洞见。在脑肿瘤中,影像组学显著影响管理的关键领域,包括诊断、治疗规划和预后。影像组学在脑肿瘤中的临床应用如图1所示。

图1 影像组学在脑肿瘤中的临床应用 查看原图 ↗

诊断与肿瘤特征描述

肿瘤定位与分割

放射组学可以识别精确的脑肿瘤位置,随后进行分割以从健康组织中勾画出肿瘤边界。CNN和其他DL模型被证明对肿瘤分割有效。Xue等人开发了一种DL模型,使用3D U-Net并在训练、测试策略、网络结构和模型参数方面进行调整以用于脑肿瘤分割,对低级别胶质瘤和胶质母细胞瘤(GBM)患者均实现了高预测准确性[8]。Sebastian等人开发了一种单一多任务CNN来预测遗传特征并自动分割T2w高信号区域,实现了平均全肿瘤Dice评分为0.84[9]。自动放射组学分割确保了结果的一致性并增强了肿瘤可视化。

肿瘤类型和肿瘤分级的无创表征

尽管诊断脑肿瘤的金标准涉及组织病理学分析、立体定向活检或切除术,但这些技术是有创的,并受空间采样变异的限制。放射组学提供了一种无创方法来区分不同类型的脑肿瘤,如胶质瘤和脑转移瘤(BM)[10–12]。Dongming等人分析了胶质瘤、原发性中枢神经系统淋巴瘤和BM中的肿瘤生境特征,在测试队列中实现了0.91的曲线下面积(AUC)和76.9%的准确性[13]。全切片图像(WSI)也被证明可用于对成人型弥漫性胶质瘤进行分类。Wang等人开发了一种集成诊断模型,用于从无注释WSI中对胶质瘤进行分类,实现了0.90的AUC[14]。此外,放射组学准确区分了低级别和高级别肿瘤[9, 15–17],这对于制定针对肿瘤侵袭性的个性化治疗策略至关重要。

亚型分类

先进的放射组学技术识别了分子特征或肿瘤亚型,如胶质瘤中的IDH突变状态[18–20]。Houneida等人使用MRI开发并评估了一种通过迁移学习检测GBM中O6-甲基鸟嘌呤DNA甲基转移酶(MGMT)启动子甲基化的模型[21]。Jing等人使用治疗前18F-DOPA正电子发射断层扫描为基础的放射组学来预测MGMT状态,实现了80%的准确性[22]。Hongbo等人评估了多参数MRI放射组学中的DL,DL放射组学特征在预测端粒酶逆转录酶启动子突变方面表现出优越的判别能力,在外部验证队列中AUC为0.890[23]。Ye Li等人开发了一种放射组学模型来预测BM中的表皮生长因子受体(EGFR)耐药突变[24],而Yanran Li等人创建了一种T1-CE特征来识别脑腺癌中的EGFR突变和人EGFR2状态,辅助治疗计划[25]。放射组学与分子生物学相结合用于脑肿瘤分子亚型分类,推动了神经肿瘤学中的精准医学。

预后预测

生存预测

通过利用先进的影像分析技术,影像组学可以测量肿瘤异质性,并将其与生物学侵袭性和治疗反应相关联。这种方法可以预测脑肿瘤患者的总生存期(OS)和无进展生存期(PFS),有助于风险分层。Asma等人开发了一种影像组学模型,将胶质瘤患者分为短期、中期或长期生存者[26]。Anna等人在LUNG1数据集上评估了影像组学和基于深度学习的模型预测非小细胞肺癌(NSCLC)2年OS的能力,影像组学特征、深度特征和联合特征的AUC分别为0.67、0.63和0.67,直接CNN分类的AUC为0.64[27]。

治疗反应

影像组学为治疗效果提供了详细的洞察,指导更个性化和有效的治疗策略。Ying等人从BM扫描的MRI中开发影像组学特征,以预测伴有BM的NSCLC患者对EGFR-酪氨酸激酶抑制剂的反应,在外部验证队列中AUC达到0.808[28]。Jingwei等人基于MRI影像组学术前预测MGMT甲基化状态,并验证了其在评估替莫唑胺化疗效果方面的价值。结果表明,影像组学方法成功地将患者分为替莫唑胺化疗后OS的高风险组和低风险组[29]。Yixin等人开发了一种基于治疗前MRI的影像组学-临床模型来评估全脑放疗的治疗反应,在验证队列中识别有反应者和无反应者的AUC为0.851[30]。对于BM患者的立体定向放射外科(SRS),研究表明影像组学可以前瞻性地识别对SRS治疗不敏感的患者[31, 32]。

治疗计划

靶区勾画

影像组学特征突出细微的组织差异,改善放疗中的靶区勾画,以优化肿瘤剂量同时保护健康组织[33, 34]。Prasanna等人开发了一种基于影像组学的CNN(RadCNN),利用多模态MRI将高级别和低级别胶质瘤分割为不同的亚分区[35]。Ying等人开发了一种使用整体嵌套神经网络的自动分割方法,在脑肿瘤图像分割(BRATS)2013高级别胶质瘤数据集中达到了0.78的Dice相似系数和0.81的灵敏度[36]。

与多组学数据的整合

影像组学与临床、遗传和分子数据整合,为理解脑肿瘤生物学提供了全面的方法。Reum等人分析了高级别胶质瘤核心肿瘤组织每单位体积的免疫细胞数量,以将免疫微环境特征与临床预后和影像组学特征相关联,在预测免疫表型方面表现出良好性能[37]。Zizhuo等人识别了与预后相关的免疫特征,并使用MRI影像组学预测低级别胶质瘤患者的OS及其对免疫检查点的反应,可能指导免疫治疗的精准医学[38]。Guanzhang等人开发了一种基于术前MRI的影像组学模型来预测胶质瘤生存期,并使用RNA测序、单细胞测序和免疫组织化学染色将关键影像组学特征与生物学功能相关联,揭示了与免疫反应的关联[39]。

监测与随访

影像组学为脑肿瘤监测提供详细的、无创的评估,使治疗能够根据肿瘤反应进行调整,并有可能改善预后。

复发检测

Jun等人利用弥散加权成像(DWI)和动脉自旋标记的影像组学特征来区分胶质瘤患者的放射性脑损伤(RIBI)与肿瘤复发[40]。Leihao等人构建了一个结合年龄、切除范围、Ki-67指数、手术史和影像组学特征的临床-影像组学模型,用于非典型脑膜瘤的复发预测,曲线下面积(AUC)达0.840[41]。Zijian等人开发了一个使用delta影像组学和RUSBoost分类器的影像组学模型,用于在伽玛刀放射外科治疗后区分脑转移瘤的放射性坏死与肿瘤进展,预测准确率达73.2%[42]。

治疗相关改变

影像组学可以区分肿瘤复发与治疗相关改变,如放射性坏死和白质改变[43]。Ismail等人利用强化病灶的定量三维形状特征来捕捉假性进展与肿瘤复发之间的病理生理差异。结果表明,差异表达模式可能归因于白质结构通过浸润发生改变,导致表面形状不规则[44]。

随着放疗技术的进步,放疗的精确性和适形性显著提高。然而,脑白质对辐射更为敏感[45],导致放射性脑损伤(RIBI),影响患者的生活质量[46]。Mingming等人利用多序列MR影像组学分析放疗前后脑白质的细微变化,将影像组学特征变化与辐射剂量相关联,在5–10 Gy、20–30 Gy和30–40 Gy剂量梯度中发现了显著特征[47],可能为放射肿瘤科医生指导剂量递增提供参考。

研究与开发

影像组学有助于对患者进行临床试验分层、优化试验设计并提供定量终点,但缺乏标准化以及对可解释性的关注限制了其在脑肿瘤试验中的应用。Franco等人利用前瞻性SPORT试验,在影像组学分析流程中研究1H磁共振波谱序列。通过结合深度自编码器和线性判别模型,他们开发了一种分类算法,能够从磁共振波谱预测脑病灶的来源和IDH基因型,总体准确率超过90%[48]。另一项临床试验评估了影像组学用于脑肿瘤表征的价值。Hollon等人开发了一种无标记光学成像方法和深度卷积神经网络(CNN),可在手术过程中近实时地预测诊断。他们证明,基于CNN的受激拉曼组织学图像诊断不劣于病理学家对传统组织学图像的解释,总体准确率分别为94.6%和93.9%[49]。

影像组学在脑肿瘤中的可解释性

随着AI算法在脑肿瘤影像组学中的使用日益增多,可用肿瘤信息的数量和复杂性稳步上升。然而,大多数研究并未旨在解释其模型的机制[50]。

传统影像组学使用从图像病灶分割中提取的手工特征。主要步骤包括数据采集与预处理、肿瘤分割、特征提取与选择,以及使用机器学习(ML)方法进行建模[6, 51]。深度学习(DL)影像组学旨在采用端到端方法直接从整个原始图像中学习特征提取[6, 51]。由于其学习到的特征提取器的复杂性,DL影像组学常被视为“黑箱”[52–54]。相比之下,传统影像组学更具可解释性,因为其特征是基于预定公式明确定义和提取的[55]。传统影像组学和DL影像组学的主要步骤及可解释性方法如图2所示。

可解释人工智能(AI)可能解决这一可解释性挑战[7, 52–54, 56]。其标准及相应分类如图3所示。

透明模型在结构上设计为可理解的,例如线性回归模型或决策树模型(更多细节见表1)[57–60]。透明模型的优点在于其提供内在可解释性;模型结构本身解释了输出如何从输入生成。事后解释通过外部方法获得。这些解释不是模型本身的一部分,而是外部生成的。这些方法用于处理本身不具有可解释性的复杂模型。模型特定方法依赖于模型的特定结构,包括所有透明模型或神经网络的基于梯度的方法。模型特定方法的优点在于能够提供详细且量身定制的解释,但缺乏通用性,因为它们不能应用于其他类型的模型。模型无关方法对模型没有特殊要求。模型无关方法的灵活性使其适用于不同模型,但可能需要额外计算,有时缺乏模型特定解释的精确性。局部解释关注对特定决策有贡献的变量,这些解释侧重于理解每个输入特征对该特定病例结果的贡献。相反,全局解释阐释模型变量的交互机制,全局解释的主要优点在于提供对模型决策过程的广泛理解,这对于验证模型和确保符合法规很有用。在回顾文献后,我们基于生成的解释类型和技术相似性,识别了针对脑肿瘤传统和DL影像组学的各种可解释性方法。考虑到本综述的“目标受众”可能是临床肿瘤学家,我们还强调了基于领域知识的可解释性。

图2 传统影像组学和DL影像组学的主要步骤及可解释性方法 查看原图 ↗
图3 可解释人工智能的标准及相应分类 查看原图 ↗
表1 透明模型在影像组学中的应用 查看原表 ↗

传统影像组学在脑肿瘤中的可解释性

生境分析

栖息区(habitats)是具有与内在细胞群体或局部环境条件不同的影像学特征的肿瘤区域。多种类型的影像生物标志物有助于栖息区分析[61],如图4所示,并使提取的影像组学特征更具生物学意义。栖息区分析并不能解释机器学习(ML)模型本身;因此,我们在本节中提供生物学背景。

Verma等人使用多模态MRI勾画栖息区,包括坏死核心、强化病灶,并提取影像组学特征以预测GBM患者的PFS[62]。然而,他们未详细阐述将这些特征与PFS预后联系起来的病理机制。Ruchika等人从肿瘤栖息区中识别出对PFS具有预后价值的影像组学特征,并在GBM中通过相应的组织病理学属性评估其形态学基础[63]。他们发现,强化肿瘤的Laws特征与浸润性肿瘤和增生性血管相关,CoLIAGe逆差矩特征与坏死周围区域相关,波-波-边缘Laws特征与切除肿瘤的最外层部分相关[63]。Niha等人利用25个Gd-T1w MRI特征开发了影像组学风险评分(RRS)以预测GBM的PFS。他们还将RRS特征与GBM中涉及细胞分化、黏附、血管生成和化疗耐药的分子通路联系起来[64]。

基于临床医生的经验,脑肿瘤被划分为富含病理生理信息的区域,赋予影像组学特征更深的含义。然而,当前的建模方法过于简单化,未能充分利用栖息区分析的优势。可结合更多可解释性方法进行进一步探索。

图4 栖息区分析通过识别具有相同肿瘤生物学的相似体素来区分异质性肿瘤内的亚区域 查看原图 ↗

使用特征属性进行解释

三种主要的特征归因方法(更多细节见表2)为基于激活的方法、基于梯度的方法和基于扰动的方法[7]。基于激活和基于梯度的方法常用于深度学习(DL)模型;因此,本节重点介绍基于扰动的方法。

基于扰动的方法通过用不同输入探测模型并分析输入-输出对来揭示模型如何进行预测。这些方法是事后的且与模型无关。局部可解释模型无关解释(LIME)生成与被解释实例相似的新数据点,观察模型在这些扰动实例上的行为,然后拟合一个简单模型以突出重要特征[65, 66]。Xiuying等人提供了一个基于ML模型的自动化胶质瘤分级平台,并使用LIME揭示对分级重要的参数。他们发现,除Ki-67外,细胞最大轴和周长的标准差等形态学特征对胶质瘤分级有显著贡献,因为高级别胶质瘤常表现出强烈的异质性且细胞形状不规则[67]。Georgios等人使用基于MRI的影像组学预测胶质瘤中的IDH突变,采用LIME和Shapley加法解释(SHAP)揭示影像组学特征与体素大小变异性、纹理无序性、灰度分布和灰度值对比度相关[68]。这些解释提供了IDH突变状态与提取特征之间可理解的模式。

SHAP 是一个统一的框架,包含六种用于解释预测的方法,定义了一类加性特征重要性度量及理论结果 [65]。Wang 等人利用 SHAP 验证了一个评估全脑放疗治疗反应的影像组学-临床模型 [30]。SHAP 摘要图和力 plot 显示,无应答患者的“CET1w(3D)_firstorderM”值低于应答患者,可能由于血管供应不良导致钆基对比剂缺乏,有助于理解影像组学模型的病理生理机制 [30]。Laifa 等人开发了一个基于 MRI 的无创影像组学模型用于术前胶质瘤分级 [69]。结果显示,SHAP 选择的影像组学特征反映了图像异质性,可能提示更强的增殖能力、更多的囊性变或坏死以及更高的出血频率 [69]。上述传统影像组学研究详见补充表 1。

表 2 特征归因方法在影像组学中如何运作并为临床医生提供有价值的见解 查看原表 ↗

脑肿瘤深度学习影像组学的可解释性

概念学习模型

概念学习模型旨在基于给定示例(高级概念)理解和分类数据 [70]。该方法通过训练影像组学模型识别影像数据中抽象的、临床相关概念来运作。Chang 等人开发了一个 CNN 来预测胶质瘤的分子遗传突变状态,如图 5 所示。通常,IDH 突变型肿瘤在 T1c 上表现为无强化或轻微强化且边界清晰,或中央囊性区域在液体衰减反转恢复(FLAIR)序列上呈抑制。相反,IDH 野生型肿瘤在 T1c 上表现为厚薄不均的强化或薄而不规则的周边强化,以及在 FLAIR 上呈浸润性水肿模式 [71]。临床医生会观察到,具有不规则强化和浸润性水肿的胶质瘤更具侵袭性。尽管临床医生能够理解高级临床概念,但概念学习面临额外标注成本的问题,且学习到的概念可能因信息泄漏而编码非预期信息 [70–72]。

图 5 脑肿瘤中的概念学习模型。概念学习模型侧重于理解数据中的潜在模式和关系,使模型能够基于学习到的特征对新实例进行分类 查看原图 ↗

基于案例的推理

基于案例的推理(CBR)是一种问题解决方法,将输入图像的特征与类判别原型进行比较。CBR 系统不是从头生成解决方案,而是从先前已解决案例的数据库中检索相似案例,并调整其解决方案以适应当前问题 [73]。CBR 的过程包括构建案例数据库、匹配新案例,并通过相似案例生成预测和解释(如图 6 所示)。影像组学中的 CBR 提供了一种直观、可解释的方法,与临床医生通常通过参考相似过往经验进行病例推理的方式一致。

Sanja等人改进了用于脑肿瘤放疗治疗计划的CBR系统。他们在适配过程中使用神经网络和朴素贝叶斯分类器,以学习检索到的病例与新病例之间属性值差异如何影响输出[74]。该CBR系统通过基于病例库检索调整射束数量和角度,将成功率提高了29%。然而,它侧重于射束数量匹配,而医学物理师是根据剂量均匀性来评估治疗计划的。建议未来由医学物理师进行评估[74]。

ProtoPNet使用原型,即训练数据中特征的代表性示例。这些原型通过将新输入与它们进行比较来做出预测,从而增强预测模型的可解释性[75],这与CBR类似。Chong等人开发了InterNRL,这是一个由学生-教师模型组成的框架,其中学生是一个基于原型的可解释分类器(ProtoPNet)[76]。与其他方法相比,InterNRL在脑肿瘤分割方面取得了更优的结果。他们的研究结果表明,非肿瘤原型捕获了健康脑结构,而肿瘤原型则聚焦于异常脑肿瘤区域,这与临床诊断标准相一致[76]。

尽管学习了类判别性原型,且最终分类涉及将输入图像的特征与原型进行比较,但CBR因易受噪声和压缩伪影影响而难以训练。

图6 脑肿瘤中基于病例推理的过程 查看原图 ↗

反事实解释

反事实解释(如表3所示)展示了输入的微小变化如何可能导致不同的结果,揭示了模型决策发生变化的条件[77]。反事实解释的工作原理是识别对输入(例如肿瘤大小、形状或纹理)所需的最小变化,以将模型的决策从一种结果翻转为另一种结果(例如从良性转为恶性)。这些解释可以使用生成对抗网络(GANs),这是一种用于生成与真实数据无法区分的合成数据的深度学习模型。GANs由两个神经网络组成,如图7所示,即生成器和判别器,通过对抗过程同时训练[78]。

Rajeev等人使用循环GAN扩展脑肿瘤数据集,用于肿瘤检测和分期[79]。循环GAN由两个生成器和两个判别器组成,用于学习脑肿瘤像素映射的模式。该方法对原始图像施加最小扰动以显著改变分类器的预测,从而增强数据集以实现图像增强[79]。通过将Transformer应用于GANs,预测模型展示了在全局空间中学习长距离依赖关系的能力。Liqun等人提出了一种基于Transformer的GAN,用于使用多模态MRI自动分割脑肿瘤。他们的结果表明,在瓶颈层用Transformer模块替换CNN增强了特征捕获能力,改善了逐像素分割性能[80]。

GANs因生成逼真数据而受到广泛关注。然而,对GANs的理论理解仍然有限,其有效性背后的生物学和理论机制仍是一个活跃的研究领域。

表3 影像组学中可解释性方法的过程 查看原表 ↗
图7 脑肿瘤影像组学中生成对抗网络的过程 查看原图 ↗

潜在空间解释

潜在空间(如表3所示)是低维表示,将数据编码以捕捉 essential 特征和结构,同时降低维度。潜在变量表示该空间中的数据,包含压缩信息[81]。潜在空间的解释涉及分析这些内部表示,通常使用t-分布随机邻域嵌入(t-SNE)等技术在二维或三维中可视化高维数据[82]。Yun等人采用t-SNE可视化放射组学特征的分布,以减轻表征脑肿瘤区域时的肿瘤选择偏倚。该研究发现Wilcoxon符号秩检验中放射组学特征分布相似[83]。然而,该方法在将高维特征空间投影到二维时导致生物信息的丢失。

潜在空间中的表示解缠涉及在潜在空间的不同维度上分离数据中不同的、可解释的变化因素[81]。最近,多模态MRI交叉重建中解剖和模态特异性信息解缠的有效性受到质疑,涉及所学表示的真正解缠[84]。鉴于个体间脑形态的高度变异性,Jiahong等人假设来自同一受试者不同模态的解剖表示应比来自同一模态但不同受试者的表示更相似[85]。因此,他们引入了一种新的边际损失来调节受试者内跨模态表示相对于受试者间模态内相似性的相似性,解决现有解缠方法中的信息泄漏问题[85]。

β-变分自编码器(VAEs)引入超参数β来平衡潜在空间中重建准确性和解缠之间的权衡[86]。Bilal等人提出了一个框架,利用VAEs和GANs生成大量脑肿瘤图像数据集用于训练DL模型,增强脑肿瘤分类结果[87]。在他们的研究中,VAE包括编码器-解码器网络;编码器将图像转换为潜在向量,而解码器使用该向量生成封装脑肿瘤图像流形信息的噪声[87]。尽管具有可解释性的潜力,但潜在空间,特别是在高维模型中,通常仍然复杂和不透明,挑战了编码特征的直接解释。

内部网络表示

网络解剖用于解释神经网络的内部表示,特别是CNN[88]。它阐明了单个神经元所代表的概念,增强了网络操作的可解释性,并揭示了所学特征从简单边缘到复杂对象部分的层次结构(如表3所示)[88]。Parth等人探索了各种技术来阐明脑肿瘤分割模型的功能组织并可视化内部概念,阐明了这些网络如何实现精确的肿瘤分割[89]。网络解剖的应用表明,脑肿瘤分割网络中的滤波器可以学习显式和隐式解缠的概念,如整个肿瘤区域、水肿区域以及白质和灰质之间的区别[89]。

语言描述

符号涌现语言(如表3所示)是指在多智能体系统中自然发展出的通信协议[90],无需预先设计或显式编程。在这些系统中,智能体发展出高效的通信方法来优化集体行动,提高了可解释性[90]。Alberto等人将这一概念应用于脑肿瘤分割,引入了一个涉及两个智能体——发送者和接收者——的广义符号语义框架[90]。发送者网络接收输入并生成符号句子,而接收者解释该句子以生成分割掩码。该框架使得学习临床相关语言成为可能,能够区分组织类型和对象形态[90]。然而,如果符号过于复杂或抽象,涌现语言可能带来解释性挑战。上述深度学习影像组学研究详见补充表2。

归因图

梯度加权类激活映射(Grad-CAM)计算目标类别评分相对于最后一层卷积层特征图的梯度,突出输入中对特定预测重要的区域[91]。Francesco等人提出了一种使用MRI进行脑肿瘤检测和定位的方法。Grad-CAM将肿瘤区域以黄色高亮显示,将与病理无关的区域以紫色显示[92]。Mingyang等人使用Grad-CAM以金字塔结构可视化肿瘤分割,显示出对肿瘤核心的一致识别,同时聚焦于不同区域进行详细分析[93]。

基于扰动的方法通过系统性地扰动输入数据,观察输出效应来解释模型预测。与基于梯度的方法不同,这些方法侧重于输入特征被修改时预测的变化。LIME通过扰动输入数据并利用预测的变化来拟合局部代理模型,从而在特定预测附近用更简单的模型局部近似原模型[66]。Rezuana等人开发了一种使用MRI数据进行脑肿瘤分类的可解释深度神经网络,并应用LIME突出显示与临床相关模型关注区域高度吻合的重要图像特征[94]。

SHAP值通过考虑特征存在与缺失的所有可能组合来计算,基于合作博弈论计算每个特征的边际贡献[95]。Loveleen等人使用CNN结合SHAP预测脑肿瘤亚型,展示了个体特征如何影响模型输出。正的SHAP值(红色像素)增加类别可能性,而负值(蓝色像素)降低类别可能性[96]。

可训练注意力机制使神经网络动态关注输入的不同部分,允许模型为每个输出标记权衡各种输入标记的重要性。这些机制在图像识别和图像描述等任务中特别有用,能够聚焦于相关图像区域[97]。David等人在U-Net架构中添加注意力机制用于脑膜瘤分割,改善了对全局空间关系和不太可能包含脑膜瘤区域的识别[98]。

逐层相关性传播(LRP)通过将模型预测分解为每个输入特征的贡献来解释深度神经网络,揭示输入中哪些部分对模型决策影响最显著[99]。Hyungseob等将LRP应用于多参数MRI,以生成脑病变的临床转诊建议。该研究揭示了T1WI与DWI热图之间的显著差异,有助于区分肿瘤性与非肿瘤性病变,其方式是在非肿瘤性病例中突出显示不重叠区域,从而增强可解释性[100]。

归因图直观地展示每个输入特征的贡献,提高模型预测的透明度和可信度。然而,这些图通常提供局部解释,可能无法在不同输入之间一致适用。用于解释脑肿瘤深度学习影像组学研究的归因图方法详见补充表3。

关于使用可解释性方法与影像组学模型配对的建议

可解释性技术贯穿影像组学建模生命周期的始终——从模型开发到模型验证,选择合适的可解释性技术至关重要。这些技术应针对当前的具体挑战、预期受众(如临床医生)以及模型开发的当前阶段进行定制。因此,我们在表4中提供了一份结构化指南,以帮助确定不同情境下最合适的可解释性方法。

表4 用于确定脑肿瘤影像组学研究中最合适可解释性方法的结构化指南 查看原表 ↗

讨论

根据可解释人工智能分类法,文本解释等方法可用于解释机器学习或深度学习预测模型[52, 53]。然而,少数解释方法已应用于脑肿瘤影像组学,许多其他有趣的可解释方法值得探索。

为评估脑肿瘤影像组学中的可解释性方法,一些文献和评分标准提供了具体准则。影像组学研究评估清单(CheckList for EvaluAtion of Radiomics research)第43项评估可解释性和解释方法,要求影像组学研究描述用于增强模型可解释性和解释性的技术[101]。影像组学质量评分2.0包括解释手工影像组学模型和基于深度学习的模型的项目[4]。一种方法是检测并讨论生物学相关性。在本研究中,我们列出了模型的病理生理机制,以加深对脑肿瘤影像组学的理解。另一方面涉及详细说明所使用的内在或事后可解释性方法或不确定性估计方法。我们还概述了脑肿瘤影像组学中使用的方法。然而,很少有研究使用计算机模拟试验或临床医生输入来评估这些解释。脑肿瘤影像组学中的一个常见挑战是,大多数研究侧重于模型和算法层面进行解释。生物学机制的解释需要通过动物模型或分子病理学实验进一步验证。因此,未来需要更多创新的实验设计来阐明影像组学的生物学可解释性。

在影像组学可解释性研究中,模型可解释性与性能之间的权衡被强调[102]。高性能模型,如深度神经网络,通常具有复杂的结构和大量参数。虽然这些模型能够捕捉复杂的模式和非线性关系,但其内部工作机制难以解释,导致可解释性较低。相比之下,较简单的模型,如线性回归,由于其结构直观、参数较少而更易于解释,但往往性能不足,尤其是在处理高维复杂数据时。临床医生需要根据应用场景和需求在可解释性与性能之间进行平衡。在某些情况下,模型可解释性比达到最高性能更为重要。此外,临床实践中需要标准化和可重复的方法来评估和增强脑肿瘤影像组学的可解释性[103]。为实现脑肿瘤影像组学模型的临床转化,研究人员、神经外科医生、神经肿瘤科医生、放射科医生、机器学习工程师和人机交互领域之间的多学科协作至关重要。这种协作对于设计既有效又可解释的脑肿瘤影像组学模型不可或缺。

结论

通过分析大量影像数据,影像组学能够提取定量特征,以辅助脑肿瘤的诊断、预后、治疗规划及其他临床管理。本研究融合了生物学领域知识和可解释性方法,使临床医生能够理解和信任来自复杂影像数据的洞见。最终,这增强了神经肿瘤学领域的决策制定和患者照护。

补充信息

电子补充材料

引用

  1. Wang Y, Hu Z, Wang H, et al. The clinical implications and interpretability of computational medical imaging (radiomics) in brain tumors. Insights Imaging. 2025. PMID: 40159380. doi:10.1186/s13244-025-01950-6
  2. 全文:PMC11955438(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11955438/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。