影像组学分析中选择最佳分类方法的挑战:推荐及在肺癌CT图像中的应用
本研究基于270例早期非小细胞肺癌患者的CT影像组学特征构建模拟数据,评估六种分类器与六种特征选择方法在二分类预测中的表现。结果显示随机森林和极端梯度提升在不同样本量、结局平衡性和特征-结局关联强度下均表现良好(AUC≥0.73),特征选择方法一般未提升性能。作者建议影像组学研究应结合具体样本量、平衡性和关联强度来评估特征选择与分类器的选择。
要点
- 随机森林与极端梯度提升在各类场景下AUC≥0.73,敏感度与特异度权衡最佳。
- 小样本(N=100)性能普遍低于中大样本且变异更大。
- 特征选择方法一般未提升性能,部分方法(RELF、MRMR)表现最差。
核心结论
- 基于树的方法随机森林和极端梯度提升在不同样本量、关联强度和平衡性下均表现优于其他分类器,AUC≥0.73。
- 支持向量机和K近邻方法性能最低,平均AUC分别为0.63和0.63。
- 作者建议影像组学研究应结合具体样本量、平衡性和关联强度来评估特征选择与分类器的选择。
研究设计与样本
- 基于270例早期非小细胞肺癌(至pT3N1)患者术前CT图像的回顾性研究数据,构建模拟数据集评估分类方法。
- 从CT图像提取881个影像组学特征,经可重复性和稳定性分析后选取168个特征纳入主要分析。
- 模拟数据涵盖平衡(50% pN=1)与不平衡(30% pN=1)、高与低关联信号、以及N=600、300、100三种样本量场景。
- 评估六种机器学习分类器与五种特征选择方法或无特征选择步骤的组合,以AUC、敏感度和特异度评价性能。
关键影像表现/征象
- 高关联信号下,随机森林和极端梯度提升的AUC在大样本为0.94–0.99、中样本为0.84–0.95、小样本为0.70–0.87。
- 低关联信号平衡样本中,大和中样本下随机森林与极端梯度提升(除RELF和MRMR外的特征选择方法)AUC为0.79–0.83。
- 低关联信号小样本中,最佳性能为无特征选择的惩罚回归(AUC=0.72)和HC+WLCX(AUC=0.71)。
- 不平衡样本中支持向量机和逻辑逐步回归获得高特异度但低敏感度,提示不能很好分类少数类。
诊断标准与关键数值
- 以术后病理证实的淋巴结状态(pN=0 vs pN=1)为二分类结局。
- 性能指标为AUC、敏感度和特异度,在验证集上评估。
- 整体比较中,无特征选择方法的平均AUC为0.72 vs 其他所有特征选择方法合并0.68(p=0.08,未达统计学显著)。
- 仅考虑含选择步骤的分类器(惩罚回归、随机森林、极端梯度提升)时,无特征选择AUC=0.81 vs 其他所有特征选择方法合并0.73(p=0.0007)。
- 支持向量机和K近邻方法中,无特征选择AUC分别为0.58和0.65,优于任何特征选择(p=0.007)。
临床应用与阅片要点
- 作者建议在影像组学研究中评估特征选择和分类器的选择时,应考虑具体样本量、平衡性和关联强度。
- 作者指出在最优场景(高关联信号且数百例患者)下,惩罚回归在性能与资源成本间提供最佳权衡。
- 作者认为当关联强度未知时,可比较惩罚回归与树类方法的结果,若相似可假设为中高关联信号。
- 作者指出极端梯度提升对不平衡数据集处理更好,可能被指示为不平衡小样本的优选方法。
局限性
- 原文指出已发表的比较不同方法预测二分类结局性能的肺癌研究样本量有限,且真实潜在的特征-结局关联结构未知,限制了最佳性能模型的解释与选择。
- 原文指出外部验证是模型稳健性的决定性检验,但仅在少数情况下进行。
- 原文指出模拟算法本身可能带来缺陷,本研究同时在真实和模拟数据上实施分类框架以试图涵盖相关缺陷。
全文中译14 节 · 点击展开
1. 引言
放射组学侧重于从医学图像中提取和挖掘高维定量特征集,这些特征有望对肿瘤表型进行全面而详细的表征[1],并在整个病灶体积上计算。事实上,放射组学特征还被假设可提供关于肿瘤生理学的关键信息[2]。放射组学使用一组预定义的工程化特征[3]来描述病灶形状、其灰度强度及其纹理,或者使用可从图像中自动“深度学习”的特征[4]。放射组学与特定肿瘤的潜在生物学和/或临床结局(包括组织病理学、无病生存期、总生存期、治疗反应和诊断[2,5,6,7,8,9,10])之间令人鼓舞的关联已导致该领域的快速扩展,为研究放射医学成像的临床效用开辟了新途径[11]。作为兴趣异常增长的证明,2020年在PubMed中以“radiomics”为关键词进行简单检索,识别出的论文数量约为2015年的40倍。
以高准确性、可靠性和效率为特征的预测和预后模型是放射组学在肿瘤学中发挥积极作用以支持临床决策的关键因素[12,13,14,15,16,17]。迄今为止,已有多种统计模型被研究和应用,从简单的线性回归和曲线拟合到先进的机器学习(ML)方法,如决策树、支持向量机、随机森林、提升树或神经网络[6,16,18,19,20,21]。大多数已发表的研究评估了放射组学特征的预测能力[22,23,24,25]。然而,较少论文关注不同方法(如特征选择和分类)对预测建模的影响。事实上,不同的方法可能高度影响预测评分的变异性,从而影响结果在其他研究中的可重复性。分类方法的选择被认为是性能变异的主要来源[6,8,26,27]。因此,为放射组学应用确定最佳ML方法是迈向稳定且具有临床相关性的放射组学生物标志物的关键一步。
对于肺癌,很少有出版物利用患者数据比较不同方法在预测二分类结局方面的性能[6,8,28]。然而,这些研究的样本量有限,且真实潜在的影像组学特征-结局关联结构实际上是未知的,从而限制了对最佳性能模型的解释和选择,这也可能与所研究结局的频率、其关联强度以及所纳入的影像组学特征数量有关。这些问题使得结果难以推广至其他临床情境。特别是数据集中与结局的关联并非先验已知,因为它衡量的是影像组学特征能够解释并由此预测结局表达的数据变异性程度(高/低)。外部验证是对模型稳健性的决定性检验,但仅在少数案例中实施过[6]。一种广泛用于考虑上述所有方面但从未应用于影像组学的策略是使用定制化模拟程序生成合成数据集,以获得足够的统计效能来检测模型间的性能差异。
自Aerts等人[2]的首项影像组学研究以来,大量进一步研究在肺癌背景下评估了计算机断层扫描(CT)图像的影像组学特征,因此该成像技术与癌症类型的组合是文献中研究最多的组合之一,迄今为止收集的数据也最多。在我们研究所,我们此前获得了约300例非小细胞肺癌(NSCLC)患者的数据,以研究CT图像的影像组学特征与肺癌结局(淋巴结受累和生存)之间的关联[29]。
因此,在本研究中,我们探索了应用于NSCLC患者CT图像的最优分类方法的特征描述,在真实数据和合成数据上实施了一个分类框架,试图考虑与真实数据集的潜在结构及模拟算法本身相关的任何可能缺陷。临床结局为淋巴结受累,可将其视为二分类变量(存在/不存在),从而使我们的结果能够容易地推广至任何二分类临床情境。
2. 材料与方法
2.1. 数据集
非小细胞肺癌(NSCLC)患者原始数据集
我们团队最近发表的一项回顾性研究[29]收集并分析了2012年至2016年间在我院接受手术的270例早期NSCLC患者(最高至pT3N1)的干预前CT图像。机构审查委员会批准了该研究(UID 2172),豁免了知情同意的需要。所有患者均有术后病理评估的淋巴结阳性/阴性信息:其中71例(26%)显示淋巴结阳性(pN = 1),其余199例(74%)为淋巴结阴性状态(pN = 0)。关于原始数据集的更多信息见表S1。CT图像在注射对比剂后(门脉期)使用四台不同扫描仪采集。图像重建采用两种不同算法:滤波反投影(FBP)共187例患者(69%),迭代重建(IR)用于其余83例患者(31%)。使用IBEX v 1.0 β工具从CT图像中提取了共881个影像组学特征。经过可重复性和稳定性分析,选取了168个影像组学特征的子集纳入主要分析。关于图像采集、影像组学特征提取和选择的更多细节可见[29]。
2.2. 模拟数据集
2.2.1. 影像组学特征模拟
从上述NSCLC数据出发,我们模拟影像组学特征以构建合成的受控场景。影像组学数据模拟的详细内容见补充材料。简言之,我们的模拟流程分为两个主要步骤(图1):(1)模拟168个与结局无关联的特征;(2)选择平衡水平和信号水平,并将模拟特征和样本与结局进行关联。
我们将两种流程分别应用于FBP和IR衍生的特征,因为该算法被发现是影响图像中病灶纹理的主要问题之一[29]。在第一步中,我们根据真实NSCLC特征的相关矩阵、偏度和峰度,按照Vale和Maurelli[30]的建议,模拟了168个多元非正态分布。由于影像组学特征的范围可能差异很大,我们将获得的变量转换回其原始范围。
在模拟流程的第二个主要步骤中,我们将样本和特征与不同结局类别进行关联,并引入了创建平衡/非平衡数据集的可能性,其特征对结局具有高或低关联信号。首先,我们根据结局类别的等量(平衡)或不等量(非平衡)分布来选择样本平衡方式。在前一种情况下,我们随机将50%的样本分配到pN = 1类别,在后一种情况下仅分配30%。因此创建了两个初步数据集,每个数据集由600例模拟患者数据组成。然后我们将特征与结局关联以生成能够区分不同结局类别样本的信号(高或低,取决于与结局关联的强度)。我们选择了在原始数据集中被发现与阳性淋巴结显著关联的三个特征[29]:GLCM25类别中沿135°方向、四体素偏移计算的ClusterShade(F1),累积直方图中强度值的第70百分位数(F2),以及在3D病灶体积上评估的最大直径(F3)。
最终根据平衡(平衡/不平衡)与信号(高/低)的组合获得了四个数据集,每个数据集包含600名模拟患者(图1)。
2.2.2. 模拟数据集的构建
我们首先将四个主要数据集划分为训练集(样本的2/3,N = 400名患者)和验证集(样本的1/3,N = 200名患者)。在保持训练集和验证集划分不变的情况下,我们通过简单随机抽样构建了八个维度更低的数据集(四个N = 300,四个N = 100),同时考虑FBP组和IR组之间的原始比例(表1)。通过在训练集和验证集中分别对两个类别进行子采样,保证了pN = 0和pN = 1之间平衡(50–50%)和不平衡(70–30%)的比例。
2.3. 特征选择与分类器方法
研究了六种不同的机器学习(ML)分类器,结合五种特征选择(FS)方法或不进行特征选择步骤(表2),并将其应用于十二个模拟场景,最终目的是正确分类与二分类结局变量相关的样本。关于FS和分类器方法的详细信息见补充材料。
2.4. 模拟数据集和真实数据集的分类
2.4.1. 分类框架
我们设计了一个系统化的分类框架,包括以下标准步骤:预处理、交叉验证、性能评估和分类。最后,我们在验证集上以最优预测指标对模型进行表征,并总结了每种分类器和FS方法在不同场景下的性能。分类框架的主要步骤见图S1,并在补充材料中详细描述。所有模型均使用R软件(版本4.0.3)的“caret”包[31]实现。
2.4.2. 应用于模拟数据和非小细胞肺癌(NSCLC)数据
我们将所提出的分类框架应用于十二个模拟场景以及原始NSCLC数据。为了总结FS方法和分类器的整体性能,我们计算了每种分类器在所有场景中受试者工作特征曲线下面积(AUC)、灵敏度(SE)和特异度(SP)的均值和标准差。在第二步中,我们还将这些指标按信号强度进行了条件化分析。我们使用相同的方法研究FS方法的稳定性。我们还进行了Wilcoxon两独立样本检验(α = 0.05),以比较有无FS步骤时的平均AUC。
对于六种不同分类器中的四种,可以获取根据选择标准或重要性度量获得的前二十个特征的列表。根据这一排序,我们观察了通过设计而与临床结局相关的三个“对照”特征是否被每种FS和ML模型组合正确选择。
为了在真实数据上评估我们模拟研究的结果,我们还将我们的流程应用于270例受NSCLC影响的患者的原始数据。为了使我们的模型获得独立于先前发表结果[29]的应用,我们对数据集进行了新的随机划分,分为训练集(n = 175)和验证集(n = 95)。由于真实数据集的特点是阳性淋巴结比例不平衡(30%),因此应用了SMOTE(合成少数类过采样)[32]过采样技术。我们应用该流程来评估最佳分类器和FS方法在预测由类别pN = 0和pN = 1表示的二元变量中的表现。
3. 结果
3.1. 数据模拟步骤
为了确定在模拟放射组学特征时应解决的主要问题,我们首先对NSCLC患者的真实数据进行了一些描述性分析。
我们分别探索了从使用FBP(168个特征)和IR(168个特征)算法重建的CT图像中获得的放射组学特征。我们观察到,在来自两种算法的总共336个特征中,只有107个特征(32%)呈正态分布。此外,正如预期的那样,特征之间的相关性很高,我们能够在模拟数据中保持相似的相关结构,尽管总体相关性较低(图S2)。
与淋巴结状态的关联作为模拟程序的第二步进行,通过将三个选定特征F1、F2和F3的关联建模为低或高来计算。阳性和阴性类别中的特征分布由特定因子分隔,这些因子足够大,足以将它们全部(高信号)或部分(低信号)与阳性淋巴结状态显著关联(表S2)。
3.2. 平衡样本上的分类性能
图2报告了六种ML算法与六种FS方法组合在验证集中平衡场景下的预测性能。
当关联信号高时,几乎所有分类算法和FS方法都表现出良好的性能(图2,面板A),当样本量减小时,AUC值通常略有下降。然而,RF(随机森林)和XGBoost(极端梯度提升)在所有样本量下均保持优异的性能。这些方法在各FS下的AUC值分别为:大样本从0.94到0.99,中等样本从0.84到0.95,小样本从0.70到0.87。当未执行FS步骤时,PR(惩罚回归)在大样本和中等数据集中也获得了可比的高性能(AUC分别为0.99和0.97)。
相反,对于与结局低关联的平衡样本,分类性能出现了显著差异(图2,面板B)。特别是,对于大样本和中等样本,当与不同于RELF(Relief)和MRMR(最小冗余最大相关)的FS方法组合时,RF和XGBoost仍然是性能最佳的方法:大样本和中等样本的AUC均从0.79到0.83。对于小样本,最佳性能出现在无FS步骤的PR(AUC = 0.72)或HC + WLCX(层次聚类 + Wilcoxon)(AUC = 0.71)中。在所有其他情况下,无论采用何种FS方法,分类器返回的性能同样较差,所有样本量的AUC通常在0.40到0.70之间。
每种方法正确选择与结局存在真实但较弱关联的特征的能力展示于补充图 S3 的 A 面板。对于大样本和中样本,随机森林(RF)和 XGBoost 结合不同于 RELF 和 MRMR 的特征选择(FS)方法,能够在排名前 20 的最相关特征中选出与结局相关的三个特征。对于小样本,所有考虑的分类方法在与主成分分析(PCA)(Delta)+ WLCX(带 Delta 图停止准则的主成分分析聚类 + Wilcoxon)结合时,均能识别出三个相关特征中的两个。使用该 FS 方法时,PR 能够在大样本和中样本中识别出所有三个相关特征并将其列为最重要特征。从 FS 方法来看,RELF 在大样本和中样本中恢复重要特征的表现最差,而在小样本中观察到高变异性。
3.3. 不平衡样本的分类性能
由于不平衡样本的主要关注点是对代表性不足类别的良好估计,因此对于不平衡样本,我们除 AUC 外,还使用灵敏度(SE)和特异度(SP)来衡量分类器和 FS 方法的性能。
我们首先比较了不平衡样本在有和无 SMOTE 校正时获得的结果,并观察到校正后 SE 总体改善 [32](图 S4–S6)。因此,我们对所有不平衡场景应用了 SMOTE 技术,并报告了不平衡样本在不同样本量和关联强度下获得的 SE 和 SP(图 3)。
当关联信号高时,对于中样本和大样本,所有分类和 FS 方法均聚集在右上方面板(SE 和 SP ≥ 0.50),FS 方法之间差异较小,分类方法 RF、XGBoost 和 PR 的 SE 和 SP 最高。KNN(K-最近邻)方法的性能最低,使用 PCA(Delta)+ WLCX 方法获得的 SE 和 SP 最高(约 0.75)。SVM(支持向量机)和 LSR(逻辑逐步回归)获得高 SP 和较低 SE,提示它们不能很好地分类代表性不足的类别。最后,对于小样本量,SE 和 SP 在 FS 和分类方法之间存在高变异性,RF 和 XGBoost 表现最佳。
关于低信号场景,中样本和大样本场景通常获得较高的 SP(≥0.5),而最大 SE 明显低于高信号场景(≤0.75)。XGBoost 和 RF 的性能被确认为大样本和中样本的最佳预测模型,而 SVM 和 PR 的 SP 与高信号时一样好,但 SE 急剧降至 0.5 以下,而 KNN 表现中等。无特征选择的 XGBoost 在小数据集上提供了 SE 和 SP 之间的最佳权衡,尽管总体结果显示出广泛变异性。
在 AUC 方面,分类器和 FS 方法在验证集中的预测性能报告于图 S7。总体结果通常与先前描述的平衡样本结果相当。
每种方法正确选择与结局存在真实但较弱关联的特征的能力如图S3面板B所示。使用不同于RELF和MRMR的特征选择方法,RF和XGBoost(后者仅与预选择方法联合使用时)能够在排名前20的最相关特征组中,对大型样本选择出三个确实被模拟为与结局相关的特征。对于中型和小型样本,除LSR外,所有考虑的分类方法在与PCA(Delta)+ WLCX联合使用时,能够识别出三个相关特征中的两个。使用该特征选择方法,PR应用于大型样本时,将三个与结局相关的特征识别为最重要的特征。从特征选择方法来看,RELF在大型和小型样本中恢复重要特征的表现最差,而在中型样本中观察到高变异性。
3.4. 特征选择与分类方法的总体比较
分类算法和特征选择方法的总体性能如表3所示。独立于信号强度,在平均AUC、SE和SP方面给出最佳结果的分类器是RF和XGBoost,而根据AUC(0.63/0.63)、SE(0.44/0.43)和SP(0.68/0.65)的平均值,最低性能可归因于SVM/KNN(表3)。
不同特征选择方法在不同场景下的性能更为相似。总体而言,独立于信号强度,在平均AUC、SE和SP方面给出略好结果的方法是无特征选择方法,而根据AUC(0.63/0.67)、SE(0.41/0.44)和SP(0.14/0.13)的平均值,最低性能可归因于MRMR/RELF(表4)。总体而言,无特征选择的AUC与所有其他特征选择方法合并相比呈边缘性更优(AUC = 0.72 vs. 0.68,p值 = 0.08)。当仅考虑包含选择步骤的分类方法(PR、RF和XGBoost;无特征选择与所有其他特征选择方法合并的AUC分别为0.81 vs. 0.73,p值 = 0.0007)时,该差异变得显著。有趣的是,对于不包含特征选择步骤的SVM和KNN方法,观察到相反的结果(无特征选择与任何特征选择相比,AUC分别为0.58和0.65,p值 = 0.007)。后者的结果较弱,但即使排除两种最差的特征选择方法(MRMR和RELF),该趋势仍得到确认。
3.5. 应用于NSCLC真实数据
为验证我们基于模拟数据的优化策略的相关性,我们将该方法应用于我们先前发表的真实数据集[29](见补充表S1)。模型性能结果报告于表4。总体而言,基于树的方法(XGBoost和RF)的最佳性能得到确认,AUC在0.67至0.69之间,联合以下特征选择方法:HC + WLCX(用于RF)、HC + PCA(Proportion)和HC + PCA(Delta)(用于XGBoost)。XGBoost(AUC = 0.67)和LSR(AUC = 0.69)以RELF作为特征选择方法也提供了良好的性能。当未应用特征选择时,AUC略低。与先前关于中型不平衡数据集的结果一致,SP高于SE,在PR + RELF中最高达0.94,而除RELF中的某些例外情况外,SE通常在0.33至0.67之间。
4. 讨论
在我们的工作中,我们从真实的放射组学数据出发,构建了一个足够的合成数据集,以研究六种不同的机器学习(ML)算法与若干特征选择(FS)方法组合的二元分类性能。使用这一策略,我们表明,基于树的RF和XGBoost方法通常优于其他分类器,无论样本量、放射组学特征-结局关联强度和样本平衡如何。相反,观察到最低性能的是SVM和KNN方法。对于中等和大样本(300和600名患者),当关联信号高时(AUC ≥ 0.84),基于树的分类器的性能非常高;当关联信号低时,性能仍保持良好(几乎所有FS方法的AUC ≥ 0.73)。在高信号下,不使用FS步骤的PR在大型和中型数据集中也获得了可比的AUC。应强调的是,PR具有计算时间短和可解释性更高的优势:后者在临床应用中尤其相关,因为可解释的模型可以在外部验证数据集上复现。相反,RF,尤其是XGBoost,计算时间更长,结果的解释不那么直观,因为它们较少强调特定图像特征与结局之间可能关联的生物学和临床意义。因此,在最佳情景下(即高关联信号和数百名患者),PR在性能和资源成本之间提供了最佳权衡。当放射组学特征与结局之间关联的强度未知时,正如临床应用中的一般情况,可以将PR的结果与基于树的方法的结果进行比较:如果结果相似,我们可以假设存在中高关联信号。例如,这发生在我们的原始研究[29]中以及本中对这一NSCLC患者数据集的再分析中。事实上,对于我们之前的发表[29],我们选择呈现使用PR获得的结果,其显示出与基于树的方法相似的性能。
对于小数据集(N = 100),预测性能通常下降,并且如预期的那样,即使使用相同的分类器,它们也在很大范围内变化。当关联信号高时,基于树的方法RF和XGBoost仍取得良好性能,而PR在信号低的小型平衡数据集上效果良好。XGBoost更好地处理不平衡数据集,返回最佳性能,可被指示为不平衡小样本的首选方法。为简便起见,我们根据样本、平衡和信号强度在表5中收集了建议的方法。样本量是一个重要因素,尤其是在基于放射组学的研究中。已证明ML方法至少需要数百个样本才能在预测中实现低均方误差[33]。因此,对于放射组学研究,始终最好具有中/大样本量,尤其是在放射组学特征与结局之间关联低的情况下。正如我们的结果所表明的,在这种情况下,很难实现良好的模型性能并正确识别对结局分类有贡献的最重要特征。
既往研究发现,在类似的CT肺癌图像背景下,随机森林(RF)是最佳分类器[6,26],而其他研究则识别出其他方法,如朴素贝叶斯[8]、弹性网络和支持向量机(SVM)[28]为最准确的方法。文献中结果不一致并不令人意外,因为它们可能取决于不同的样本量、不平衡的类别以及关联信号的强度。例如,Wu等人(2016)[8]比较了在203个样本的不平衡数据集(25%鳞状细胞癌,75%腺癌)上训练的模型,发现RF的性能略低;这与Zhang等人(2017)[26]不同,后者对112名患者的数据集应用了SMOTE校正。考虑到Wu等人(2016)[8]和Delzell等人(2019)[28]所研究的机器学习方法普遍性能结果较低,低信号关联可能与这种行为有关,其中目标变量与[6]和[26]中应用生存分析的情况不同。我们通过数据模拟能够量化关联信号的强度,但在真实数据研究中这通常是未知的。不同研究中观察到的大量结果变异性进一步强调,如先前所报道[6,8,26,27],在选择分类器时应考虑多个方面。
经典机器学习算法通常假设每个类别中样本的平衡表示[34],当表示不平衡时偏向多数类。这通常发生在临床环境中,其中少数类往往是最需要分类的。这使得对于不平衡样本,不仅从准确度(AUC)方面,而且从敏感度(SE)和特异度(SP)方面评估分类器的性能变得极其重要。首先,我们强烈建议在不平衡样本中使用机器学习方法时采用重采样技术,尤其是当高SE具有临床意义时。事实上,与未重采样患者的分析相比,应用SMOTE校正[32]时,我们在所有场景中获得了更高的SE值。无论关联信号如何,RF和XGBoost在中等和大样本中获得了SE和SP之间的最佳权衡,表明这些方法也适用于不平衡研究(见表5)。在近期的影像组学指南[35]中,考虑不平衡数据的重要性未被充分指出,甚至未被提及。大多数影像组学研究确实应用了机器学习技术,并且仅计算预测的准确度,而未评估其对代表性不足类别分类的影响,即使该类别是主要临床关注的类别[36]。正确应用重采样和选择最合适的机器学习分类器可以部分克服不平衡数据集的影响。临床医生的职责仍然是确定在每个特定背景下SE和SP方面分类器的最低必要性能。
本研究中关于选择最合适分类器所获得的结果表明,当数据集如影像组学领域那样复杂时,在进行分类之前应探索更多的算法和更多与机器学习相关的技术:一些非线性机器学习算法,例如基于树的算法,可能产生比逻辑回归或惩罚回归更准确的预测,例如当结果变量不线性依赖于其他特征时。
在影像组学研究中,强烈推荐进行预筛选以克服影像组学数据的特征冗余和高相关性[35]。然而,我们观察到,当应用已经包含特征选择(FS)步骤的方法(RF、XGBoost和PR)时,预筛选技术在我们的模拟数据上通常并未改善预测性能。此外,在大-中等场景中,未进行特征选择的RF、XGBoost和PR能够在20个最重要的特征中保留与结局相关的三个特征。相反,KNN和SVM在预筛选特征后性能有所提高。从具体的FS方法来看,RELF和MRMR方法的性能最低,尤其是在与目标关联性较低的样本上。此外,RELF在恢复与结局相关的三个特征方面能力较差,这种行为可归因于该算法的单变量性质,其未考虑特征间的冗余。PCA(Delta)+ WLCX似乎在其他FS方法中提供了一定的小幅获益。
既往研究调查了FS方法的性能,确定PCA[26]、RELF[8]、线性组合或相关性[28,37]以及WLCX[6]为CT肺癌患者背景下的优选方法。仅有一项研究[26]应用了未经预筛选FS步骤的分类器,并获得了与其他FS方法对RF相当的结果,这与我们的研究观察一致。总体而言,FS方法似乎对分类性能影响较小,其选择对模型准确性的影响也较小,正如先前所指出[6,8,25,27]。当我们将FS和分类方法应用于原始数据集时,我们发现预筛选技术后的性能与无预筛选相比相似。一个可能的解释是,FS步骤可能随着影像组学特征间相关性的增加而变得越来越重要。事实上,通过我们的模拟过程,我们能够保持与原始相关性结构相似的相关性结构,但特征间的总体相关性较低。总之,我们建议在使用已包含选择步骤的分类器时仔细考虑FS方法的应用,并尽可能仅应用小幅特征缩减以降低特征间的总体相关性。对于其他分类方法如KNN和SVM,FS在其他情况下应是强制性的。
近期发表的研究[38,39]强调了影像组学分析中保障措施的必要性,如检查多重共线性和体积混杂效应。我们的分类框架可与其他预处理步骤整合,以考虑对临床变量(包括肿瘤体积)的调整以及其他保障分析,如协调化方法的应用[40,41,42]。
其他临床变量,如性别、侧别和部位,可能影响癌症患者的结局,在临床研究的分析中应予以考虑,正如我们在先前关于这些患者的临床发表中所做的那样[29]。此外,作为探索性分析,我们研究了这些相关临床变量在影像组学特征间是否呈现显著差异。具体而言,我们的数据显示,在模拟为与淋巴结状态高度相关的三个特征中,仅F3根据性别和部位存在显著差异。
我们研究的优势包括考虑了大量场景,用于评估在不同背景下FS和分类器的选择,这在考虑单一数据集时是不可行的。此外,利用模拟数据,我们事先知道哪些特征与结局相关,且具有预定义的低或高信号。据我们所知,这使我们有机会首次不仅评估模型在AUC方面的准确性,还能识别哪些方法最能正确识别真实关联,从而克服模型过拟合。正如Zhovannik等人[43]所报道的,影像组学特征可能依赖于图像采集设置,因此特征的变化可能导致预测性能下降。我们在原始数据集[29]上进行了ANOVA初步筛选,以选择不受不同扫描仪和重建算法使用显著影响的特征。事实上,我们通过选择168个结果独立于上述参数的影像组学特征,在 homogeneous 数据上应用了我们的分析(见我们之前的研究[29])。因此,可以避免引入不受控制的变异来源,这些来源可能存在于其他具有异质性影像组学数据采集的研究中。
最后,在局限性方面,我们的模拟数据是由早期NSCLC患者CT图像的特定数据集生成的,这可能部分降低结果对其他成像技术和肿瘤类型的可重复性。进一步的研究适合调查类似的建议是否可适用于其他背景。其次,训练集和验证集中的患者均由相同的患者样本模拟,因此可能比外部数据集中预期的彼此更相似。因此,我们在验证集上的性能结果可能普遍高于考虑外部验证时的结果。然而,由于这一考虑适用于所有场景、FS和分类方法,它不影响各种方法之间的比较以及我们研究得出的建议。
作为最后一点考虑,必须强调,本研究的非小细胞肺癌(NSCLC)数据集足以用于在这一特定临床场景中为放射组学研究得出有用的指征,更重要的是,足以用于实施和完善一种可适用于不同放射组学数据库和临床终点的方法学。就此而言,为提高此处所研究的特定早期NSCLC病理类型的临床意义,分析可扩展至除CT图像提取的特征外,还包括从PET图像提取的放射组学特征。既往研究在接受手术的NSCLC人群[44]、局部晚期NSCLC疾病[45]及多形性肺癌[46]中探讨了PET和PET/CT放射组学特征的预后作用,获得了有前景的结果。同样,PET/CT放射组学特征可能在肺部病理的分子特征描述中发挥作用[47]。更一般而言,整合来自不同图像模态和其他临床检查的多组学数据似乎是实现个性化医学临床转化的正确途径[48],这一情景不能排除对实施和充分利用人工智能方法潜力的最佳方式的探索。
5. 结论
我们的分析表明,放射组学研究中特征选择(FS)和分类方法的选择可一致地影响结果。
我们强烈建议仔细评估其选择,考虑特定样本量、平衡情况(平衡/不平衡)以及假设的关联强度。基于树的方法RF和XGBoost在所有情景中通常获得最佳性能,但对于信号强度高的中/大样本,PR可能更可取,因其更易解释且计算简单。当使用RF、XGBoost和PR方法时,通常可避免使用FS方法,而在应用KNN和SVM分类器之前则应使用FS方法。
引用
- Corso F, Tini G, Lo Presti G, et al. The Challenge of Choosing the Best Classification Method in Radiomic Analyses: Recommendations and Applications to Lung Cancer CT Images. Cancers (Basel). 2021. PMID: 34205631. doi:10.3390/cancers13123088
- 全文:PMC8234634(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8234634/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。