基于预训练深度网络提取特征的影像组学模型预测性能研究
该研究利用十个公开影像组学数据集,系统评估了预训练深度网络特征提取中网络架构、提取层、切片选择、分割使用及聚合方式五个选择对预测性能的影响。采用线性混合模型分析发现,架构、提取层和全切片使用对AUC有显著影响,但深度特征模型并未显著优于通用特征模型。
要点
- 深度特征提取参数需在交叉验证中优化,无单一最优选择。
- 使用ResNet-50架构、次顶层特征及全部切片可小幅提升AUC。
- 深度特征模型与通用特征模型预测性能无显著差异。
核心结论
- 深度特征提取的不同选择显著影响模型预测性能,但深度特征模型并未显著优于基于通用特征的模型。
研究设计与样本
- 研究类型为方法学基准测试,使用十个公开影像组学数据集(六个来自WORC数据库,其余来自TCIA),采用分层十折交叉验证训练模型,以AUC为预测性能指标,使用线性混合模型分析参数影响,并用DeLong检验比较深度与通用特征模型的AUC差异。
诊断标准与关键数值
- 在混合模型中,选择ResNet-50架构比DenseNet-169的AUC提高0.016(p < 0.001)。
- 从次顶层提取特征比顶层提取的AUC提高0.016(p < 0.001)。
- 使用全部切片比仅使用最大分割切片AUC提高0.023(p < 0.001)。
- 将分割作为额外通道比忽略分割AUC提高0.011(p = 0.023)。
- 特征聚合方法(均值 vs 最大值)对AUC无显著影响(p = 0.774)。
临床应用与阅片要点
- 在影像组学建模中,建议优先考虑中等规模网络(如ResNet-50)、次顶层特征、使用全部切片并将分割作为额外通道。
- 深度特征提取参数应在交叉验证中针对具体任务优化,而非固定使用默认设置。
- 深度特征与通用特征相关性中等(r=0.43),可能捕获互补信息,但当前未显示显著性能优势。
局限性
- 仅使用交叉验证,无法排除过拟合可能;样本量较小且无外部验证集。
- 仅评估预测性能,未考虑特征可重复性、分割变异性及成像协议影响。
- 仅使用预训练2-D网络,未涉及3-D网络或多模态聚合等其他技术。
全文中译16 节 · 点击展开
背景
影像组学可以概括为从放射学影像中自动提取定量数据,以支持诊断和预后等医学任务。尽管这种方法在20世纪70年代末就已被提出[1],但直到Lambin等人[2]在一篇开创性论文中引入后才备受关注。
与经典机器学习流程类似(图1),影像组学分为几个步骤[3]。一个关键问题是特征的生成,因为这些特征需要提取数据中的信息。在影像组学方法中,几乎只使用通用的形态学和纹理特征(如直径和强度方差),因为它们在肿瘤学背景下具有预测价值[4–6]。尽管这些特征已被证明对构建高预测性模型非常有用[7–9],但它们是通用的,并非针对特定问题定制,因此是次优的。
深度学习(DL)是机器学习的一个基于神经网络的子集,最近已成功应用于各种分类任务[10, 11]。在影像组学中应用DL的好处在于,它规避了通用特征的次优选择,因为网络可以学习针对当前任务的最优特征集,这反过来可能带来更高的预测性能[12–15]。然而,在实践中,影像组学数据集通常样本量非常小,这阻碍了网络学习高预测性的特征[16–18]。
作为一种替代方案,使用在其他领域数据上训练的神经网络进行特征提取[19–21]。使用适应于另一领域的特征的直觉基于这样一种期望:这些特征应用于影像组学数据时也可能具有信息量[22, 23]。此外,与通用特征相比,这些特征可以捕捉其他方面的信息,例如更全局的信息[24]。将预训练网络应用于影像组学数据还有其他优势。最重要的是,它们可能绕过应用通用纹理特征时通常需要的耗时的病理精细分割;一个简单的感兴趣体积可能就足以让网络具有预测性[25]。
因此,人们可能会认为应用预训练网络比使用通用特征建模更简单、更高效。不幸的是,使用预训练网络需要考虑多个选择,例如网络架构的选择以及是否以及如何利用精细分割。这些选择通常被称为超参数,一般而言会强烈影响所得模型[26]。然而,这些选择在影像组学背景下对预测性能的影响尚不清楚,且仅在特定数据集上进行了研究[27–29]。
据此,我们研究的目标是在多个影像组学数据集上基准评估五种选择对预测性能的影响,即关于网络架构、特征提取层次、分割的使用、所用切片数量以及特征聚合类型的选择。
方法
伦理声明
由于仅使用了公开可获取且先前已发表的数据集,本研究的伦理批准被当地伦理委员会(德国杜伊斯堡-埃森大学医学院伦理委员会)豁免。
数据集
本研究使用了十个公开可用数据集(表1);其中六个取自“WORC”数据库[30],其余来自癌症影像档案(TCIA)[31]。由于不同原因(例如分割缺失或不匹配、层厚过粗),少量扫描已从数据集中移除。更多信息见附加文件1。
预处理
所有扫描首先使用样条插值各向同性重采样至1 mm3分辨率。相应分割使用最近邻插值进行插值。MR图像首先重新缩放至0–1范围,而对于CT图像,低于-1024和高于2048的HU值首先设为零,然后将所有值重新缩放至0–1范围。
深度特征提取
深度特征从给定扫描的感兴趣体积(VOI)逐层提取(图3);此处,VOI由围绕分割的最小边界框确定。由于这些切片被输入到在ImageNet数据集上预训练的网络,它们首先被重新缩放至224 × 224像素,然后进行归一化,使其大小、均值和标准差与ImageNet数据集的相应值相匹配。
提取过程通过将每个扫描切片输入所选网络架构进行,该网络输出一个特征向量。这些特征向量随后被聚合以形成单个特征向量,该特征向量被输入到后续分类器。
提取应如何进行有几种选择,我们将其视为超参数(图3):(A)是使用所有切片还是仅使用具有最大(平面内)分割的切片;(B)是将分割用作额外通道(ROI通道)、将其用于移除区域外所有像素(ROI裁剪),还是忽略它(ROI完整);(C)使用哪种网络架构;(D)在网络哪一层提取特征;以及(E)如何聚合所有提取切片的特征向量。
altogether,我们考虑了96 = 4*2*3*2*2种不同选择(表2),因此有96个不同特征集。然而,这些选择中存在依赖关系:如果仅选择具有最大分割的切片,则聚合没有效果。因此,总共考虑了72个不同特征集。
通用特征提取
为进行比较,还提取了通用特征集。通用特征依赖于一种离散化方法,其中原始强度值被划分到不同的箱中[32]。考虑了两种不同的方法:使用固定箱宽(10、25、50和100个单位)以及使用固定箱数(10、25、50和100个箱)。提取的特征包括形状、一阶、灰度共生矩阵(GLCM)、灰度游程长度矩阵(GLRLM)、灰度尺寸区域矩阵(GLSZM)、邻域灰度差矩阵(NGTDM)和灰度依赖矩阵(GLDM)特征。所有预处理滤波器均已启用,每位患者共产生2016个特征。使用PyRadiomics 3.0.1进行提取[33]。完整的特征列表及其他详细信息可见附加文件1和源代码(https://github.com/aydindemircioglu/radPretrained)。
特征预处理
由于众所周知分类器可能对特征的不同尺度敏感,因此使用z分数对特征进行了归一化。常数特征从数据集中移除。
训练
在建模方面,采用了六种特征选择方法和五种分类器。超参数从预设集合中选择(表3)。特征选择方法为每个特征提供了一个与其重要性相对应的分数。由于事先不知道多少个特征效果最佳,因此测试了选择1、2、4、…、64个特征的情况。
采用分层十折交叉验证来训练模型;数据被分为十折,在每一轮中,一折用于测试,其余折用于训练。特征归一化、特征选择和分类器训练仅在训练折上进行[34]。然后将训练好的模型应用于测试折。这些预测在所有测试折上汇总,形成单一的受试者工作特征(ROC)曲线,并由此计算曲线下面积(AUC)。
评估
首先,评估了模型的预测性能。由于从实际角度来看只有最佳模型才是必要的,因此对每种参数组合选择了AUC最高的模型。然后对这些数据拟合线性混合模型,以衡量所选超参数对所得AUC的影响。在模型中,数据集被视为随机效应,即每个数据集具有自己的基线AUC;然后使用该基线值确定参数的影响。此外,使用DeLong检验比较了基于深度特征和通用特征的模型之间的预测性能。还绘制了校准曲线以判断预测的质量。
其次,计算了深度特征集和通用特征集之间的相关性,以衡量它们捕获相似信息的程度。为此,计算了每对特征之间的平均Pearson相关系数。
p值低于0.05被认为具有统计学显著性。使用Holm方法对结果进行了多重检验校正。混合模型使用Python 3.8和statsmodel包进行计算。
结果
总体而言,为七个数据集中的每一个提取了80个特征集(72个深度特征集和8个通用特征集)。
预测性能
考虑表现最佳的模型(表4),尽管忽略精细分割(ROI)的模型仅在一个数据集上表现最佳,但深度模型的参数未见明显规律。这在一定程度上也适用于使用通用特征的模型;在此,使用分箱计数作为离散化方法的模型较不可能表现最佳。
这些表现最佳的模型被用于拟合混合线性模型;由于采用了10个数据集,每个数据集有72个特征集,总体而言,回归中使用了10*72 = 720个数据点。在模型中,所有因素均具有统计学显著性(表5),但特征向量的聚合除外,使用均值或最大值之间未发现差异(p = 0.774)。然而,使用ResNet-50架构而非DenseNet-169产生了统计学显著的效应,AUC增加+ 0.016(p < 0.001),而使用ResNet-18或VGG-19时未达到显著性。关于特征提取层级,使用低于顶层水平的特征是有益的(AUC + 0.016;p < 0.001)。关于分割,不使用它与使用它来掩蔽强度值无差异(p = 0.455)。然而,将其作为额外通道添加略有帮助(AUC + 0.011;p = 0.023)。此外,仅使用具有最大分割面积的切片而非所有切片产生了更差的结果(AUC − 0.023;p < 0.001)。
比较基于深度特征的最佳性能模型与使用通用特征的最佳性能模型时,可以观察到AUC的差异(表4)。除三个数据集(ISPY-1、Melanoma和TCGA-GBM)外,所有绝对差异均小于0.03,这三个数据集的差异为0.08–0.10。然而,在所有数据集上,与DeLong检验相比,AUC的差异均不显著。关于校准曲线(附加文件1:图S1),除CRLM和ISPY-1外,模型校准良好。
相关性
不同深度特征集之间的平均相关性为中等,平均r = 0.4,变化范围为r = 0.25至r = 0.92(图4a)。对于通用特征集,相关性要高得多,r = 0.89,变化范围为0.83至0.98(图4b)。比较通用特征和深度特征时,相关性为中等,r = 0.43,变化范围为0.25至0.66(图4c)。
讨论
从预训练网络提取的深度特征已在放射组学中被使用,原因有多种;然而,尚未对这些选择对不同放射组学数据集的影响进行系统研究。我们的研究从实际角度使用十个公开可用的数据集调查了深度特征生成的不同选择,并证明这些选择对所得特征集的预测性能有很大影响。
然而,在考虑表现最好的模型时,并没有出现清晰的模式。例如,使用网络顶层的特征在三个数据集中产生了表现最好的模型。这表明并不是单一模型能给出最佳结果,而是需要在交叉验证过程中优化特征提取参数以达到最佳性能。
为了从统计学上确定哪些选择对预测性能有显著影响,我们采用了混合线性模型。在该模型中,影响最大的参数是使用所有切片还是仅使用掩膜最大的那一个切片(AUC − 0.023;p < 0.001)。这一发现并不意外,因为仅使用掩膜最大的切片可能忽略大量信息,尤其是关于病变空间结构的信息。
其次,网络架构的影响最大(AUC + 0.016;p < 0.001)。虽然DenseNet-169、ResNet-18和VGG-19之间没有统计学显著差异,但ResNet-50表现更好。这在一定程度上令人惊讶,因为没有进行训练。我们怀疑这可能与网络规模有关:较大的网络提取的特征对于影像组学背景而言可能过于精细,而较小的网络可能提取过于粗糙的特征。ResNet-50的中等规模似乎是一个良好的平衡。
此外,从顶层以下一层提取特征是有益的(AUC 0.016;p < 0.001)。一个原因可能是顶层的特征更适应于进行预训练时所使用的训练集。相比之下,来自较低层次的特征可能更具通用性,因而在放射学背景下更有帮助。
关于分割,忽略它与使用它裁剪出感兴趣区域之间没有看到相当大的差异(AUC + 0.005;p = 0.455);然而,将分割作为另一个通道添加略有裨益(AUC + 0.011;p = 0.023)。这一差异可能表明瘤周区域含有深度网络可以利用的某些信息,这已在一些研究中被观察到 [35, 36]。然而,尚不清楚病变必须勾画得多精细;在少数情况下,粗略的轮廓可以很好地起作用 [37],而在其他情况下,可能不可行 [38]。
最后,使用逐特征最大值将信息聚合到多个切片与使用逐特征平均值没有差异(AUC + 0.001;p = 0.774)。
因此,综合考虑所有这些观察结果,使用中等规模的网络(如ResNet-50)并从最后一个卷积层以下一层提取特征应该是有益的。应处理所有切片,并应将分割作为附加通道添加。
令人惊讶的是,在我们的研究中,深度特征并未始终优于通用建模。虽然总体AUC普遍较高(C4KC-KiTS除外),但差异始终没有统计学显著性。然而,有两点应牢记:总体样本量相对较小,且预训练深度网络基于单切片。可以设想,样本量更大的3-D网络将表现更好。
关于特征集之间的相关性,有些相关性非常低(r = 0.25),而有些则非常高(r = 0.92)。这表明提取深度特征的不同决策对所得特征产生了很大影响。同样,比较通用特征与深度特征之间的相关性,存在低相关性(r = 0.25)和中等相关性(r = 0.66)的特征集。因此,预期特征集相对不同并捕获不同信息是合理的。最后,通用特征集之间的相关性相当大,观察到0.83至0.98之间的相关性。换言之,箱宽和箱数选择对所得数据集的影响远低于使用深度特征。
我们的研究存在局限性。其一,仅限于使用了交叉验证这一事实。然而,放射组学数据集的样本量使得难以分割出合理大小的留出集,且我们所使用的数据集无法获得外部验证集。因此,我们无法排除本研究中可能发生了过拟合。然而,对于WORC数据集,与Starmans等人[39]的研究结果进行比较显示,我们从深度网络获得的AUC完全落在他们所声明的95%置信区间(CI)内。在Melanoma数据集中观察到了较大差异。Starmans等人指出他们未能为黑色素瘤数据集建立预测模型,并认为这是一件好事,因为医生也无法预测BRAF突变分期。因此,我们的结果可能表明存在过拟合。然而,这并非唯一的解释,因为放射组学模型被认为能比人类更好地利用给定数据中的结构[2];只有通过独立验证集才能在此方面做出判断。
此外,我们仅考虑了预测性能,尽管许多其他方面也起着至关重要的作用,尤其是在临床常规应用中。这包括特征的可重复性,而这又取决于成像协议和扫描硬件。众所周知,分割的组内和组间变异性对特征有显著影响[40–42]。不幸的是,分析这些方面需要相应的数据集,而这些数据集目前尚未公开可用。
此外,单个数据集的预测性能可能涉及比此处考虑的更多的超参数。例如,多参数MRI或PET-CT需要针对不同模态进行另一步聚合。我们还仅限于使用预训练的2-D网络,因为低样本量下的端到端建模可能不可行,并考虑了从中提取特征的五种不同选项。在实践中,许多其他技术被用于提高预测性能;例如,增强(训练时和测试时)可部分用于规避低样本量的问题。这些要点应在未来的研究中加以考虑。
结论
我们的研究表明,深度特征集显著依赖于从预训练深度网络中提取特征时所做出的选择。理想情况下,应通过交叉验证对这些选择进行优化,以获得性能最佳的模型。尽管如此,我们未能发现这些模型的预测性能相较于使用通用特征训练的模型有显著提升。
补充信息
附加文件1。训练过程的详细信息及由此得到的校准曲线。
引用
- Demircioğlu. Predictive performance of radiomic models based on features extracted from pretrained deep networks. Insights Imaging. 2022. PMID: 36484873. doi:10.1186/s13244-022-01328-y
- 全文:PMC9733744(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9733744/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。