利用影像组学与不同人工智能策略实现肺结节高效分类
本研究基于LIDC-IDRI数据集的551例患者共1007枚结节,比较统计机器学习与深度学习(含迁移学习)对肺结节良恶性分类的表现。统计机器学习中随机森林AUROC最佳(0.885±0.024),支持向量机准确率最佳(0.819±0.016);深度学习中DenseNet-121准确率最高(90.39%),简单CNN、VGG-16、VGG-19的AUROC分别为96.0%、95.39%、95.69%。
要点
- 深度学习结合迁移学习在结节预测性能上优于统计学习,并可节省训练大型数据集的时间与精力。
- 统计机器学习中SVM与随机森林表现最佳,SVM准确率81.9±1.6%、敏感度76.2±2.6%、特异度87.6±1.9%、AUROC 87.7±1.8%。
- 深度学习中DenseNet-121准确率90.39%、特异度93.65%,DenseNet-169敏感度最高达90.32%。
核心结论
- 深度学习结合迁移学习在结节预测性能上优于统计学习,并可节省训练大型数据集的时间与精力。
- SVM与DenseNet-121在各自类别中表现最佳。
- 作者认为仍有改进空间,尤其是可训练更多数据并以3D表示病灶体积时。
研究设计与样本
- 研究论文,基于LIDC-IDRI公开数据集,从551例患者获得1007枚结节(506枚良性、501枚恶性)。
- 结节被裁剪为64×64 PNG图像,预处理清除周围非结节结构。
- 统计机器学习提取Haralick纹理与局部二值模式特征,经PCA从18个特征降至4个主成分。
- 深度学习构建简单CNN,并使用VGG-16、VGG-19、DenseNet-121、DenseNet-169和ResNet预训练模型进行迁移学习与微调。
- 测试集125枚结节(63枚良性、62枚恶性),以AUROC、敏感度、特异度、准确率评价。
诊断标准与关键数值
- 统计机器学习中随机森林AUROC最佳为0.885±0.024,支持向量机准确率最佳为0.819±0.016。
- 统计机器学习中SVM准确率81.9±1.6%、敏感度76.2±2.6%、特异度87.6±1.9%、AUROC 87.7±1.8%;随机森林准确率81.4±2.4%、敏感度76.2±3.7%、特异度86.6±3.4%、AUROC 88.5±2.4%。
- 深度学习中简单CNN、VGG-16、VGG-19的AUROC分别为96.0%、95.39%、95.69%。
- DenseNet-121准确率90.39%、特异度93.65%;DenseNet-169敏感度90.32%;ResNet-152V2特异度93.65%。
- PCA第一主成分解释总方差77.7%,第二、三、四主成分分别为12.5%、4.1%、2.2%,合计96.5%。
临床应用与阅片要点
- 作者认为SVM可作为未来结节分类算法设计的可接受候选,但其特异度低于BNB和GNB,可能影响其在积极治疗决策或严格排除假阳性场景中的效用。
- 作者认为随机森林结果与SVM相似,值得在更大患者人群中研究并优化超参数。
- 作者认为深度学习迁移学习相比统计学习在结节预测性能上具有优势,并可节省训练大型数据集的时间与精力。
局限性
- 作者指出仍有更多改进空间,尤其是当可训练更多数据并以3D表示病灶体积时。
- 作者指出AlexNet在本研究中未使用,值得在未来研究中与其他模型比较尝试。
全文中译19 节 · 点击展开
引言
肺癌是美国及全球癌症死亡的主要原因[1]。2020年,约有超过200万新发病例被诊断为肺癌,占全球癌症负担的11.4%。同年,据报告估计有180万例肺癌死亡[1]。据估计,超过50%的肺癌患者在疾病诊断后1年内死亡[2]。这些流行病学指标强调了早期肺部肿瘤检测和诊断的重要性。
肺癌始于肺部,表现为孤立性单发结节或多发结节,并可扩散至淋巴结或身体其他器官,如脑组织。肺组织也是远处器官肿瘤转移的靶器官。
计算机断层扫描(CT)图像分析是放射科医师诊断肺癌的金标准,肺癌可表现为肺结节[3]。这些是异常的球形组织,根据其特征可为良性或恶性。问题出现在肺癌早期阶段,此时很小的肿瘤难以被检出。放射科医师在一天或一次工作时段内检查大量诊断图像,常常承受精神负担和不堪重负;这一原因可能逐渐影响其在值班时间内的表现[4, 5]。
影像组学旨在通过应用先进的统计描述符和数学分析来增强临床医生可用的现有数据。通过对信号强度空间分布和像素相互关系的数学提取,影像组学利用人工智能领域的分析方法来量化纹理信息[6]。
过去二十年见证了人工智能的巨大增长,许多研究者目前正聚焦于计算机辅助诊断。现代计算机更高的计算能力催生了影像组学,这是一个相对较新的领域,在提取有价值的诊断、治疗和预后信息方面具有若干特性。它已被证明在协助医学专业人员做出决策方面具有额外的协同益处。因此,将人工智能/机器学习技术与影像组学数据分析相结合来对肺结节进行分类,可以减少增加CT扫描次数的需求,有把握地识别病变,减轻与小病变相关的挑战,缩短放射科医师诊断肺结节的时间,从而提高准确性并减少观察者间变异性。它还可以降低与表征疾病的诊断检查相关的成本,并协助和/或加速数据分析。
因此,本工作的目的是研究不同人工智能策略,包括统计学习和深度学习方法,在肺结节良恶性分类中的性能。
材料与方法
图像数据集
肺图像数据库联盟图像集(LIDC-IDRI)是一个大型数据存储库,包含用于临床诊断和筛查的肺部扫描数据。它是一个开放获取资源,用于开发、假设检验、培训、教育目的和研究[7]。它包含1018个DICOM系列的肺部CT图像,这些图像已从癌症影像档案(TCIA)平台完整下载[7]。许多病例被注意到有多个结节。每个结节已由一位或多位放射科医生标注,并评为1至5级,其中1和2指良性结节,4和5指恶性,3级指中间概率。在这些影像系列中,大量病例未被纳入报告的坐标列表,许多病例有一个或多个标注为概率3级的结节。此外,一些患者的报告存在差异,未达成共识。由于这些问题,仅选取了LIDC-IDRI的551个DICOM系列进行处理和后续分析。最终,生成了1007个结节,其中506个病变报告为良性结节,而501个诊断为恶性。
图像预处理
数据预处理的目的是清理或去除任何可能的噪声来源,从而改善影像数据。它还有助于抑制不需要的失真或增强某些特征,以供进一步处理和分析。
以往的研究工作在展示肺病变自动识别、标注、分割、裁剪和特征提取的不同方法方面具有重要价值。在本工作中,我们采用了Andrei Teleron实施的经简单修改的成功工作[4]。由于肺数据集是按照从病变体积轴向方向提取的最大2D切片的x和y坐标进行标注的,因此使用Andrei的脚本从选定的肺患者中裁剪肺病变。获得的图像为矩阵尺寸64×64像素的灰度PNG文件。裁剪肺病变的过程在使用平均配置的笔记本电脑(Intel(R) Core i5-8250U CPU 3.4 GHz,4 GB RAM,Intel(R) UHD Graphics 620,配备NVIDIA GeForce MX 150)的情况下,分割1007个肺结节大约耗时4分钟。
不属于肺结节的附属组织在几秒内使用Otsu阈值脚本从所有图像中自动部分去除[8]。另一种名为Photo-Scissors编辑器的工具,这是一个用于图像编辑的开源工具,被用于手动从图像中去除任何剩余的非结节结构[9]。不包含任何肺结节结构的像素被赋值为0,以将其从掩膜区域中排除。本工作中实施的预处理步骤在图1中清晰展示。手动去除多余非结节组织所需的时间因患者而异,在最坏情况下最多为2分钟。
特征提取
图像预处理后,从图像中提取特征并放入数据框,每一行代表一个肺结节,每一列代表提取的特征。使用Python脚本进行特征提取。该脚本能够计算像素数(结节大小)、灰度共生矩阵(GLCM)和局部二值模式(LBP)特征。
GLCM和LBP
GLCM是一种统计方法,通过计算图像中具有特定值且处于指定空间关系的像素对出现的频率来描述图像纹理[10],而LBP特征通过将每个像素与其邻域像素进行比较来计算纹理的局部表示[11]。
共提取18个特征。第一个特征是肺结节大小,以单幅图像中值大于0的像素数表示。计算了13个称为Haralick特征的纹理特征。这些特征基于最常用GLCM的统计性质[12]。
LBP能量、GLCM能量、GLCM同质性、GLCM相异性是使用Python中实现的skimage库的“greycomatrix”和“greycoprops”以及LBP直方图函数提取的其他特征[13]。随后通过去除均值(将值中心化至0到1)并缩放至单位方差进行标准化,以减少数据中的偏倚。使用包括Pandas、Numpy、Matplotlib、Skimage、Cv2和Mahotas在内的标准Python库进行特征提取。
特征选择
为提高模型对新数据进行分类的性能并防止过拟合问题,通过最常见的数据降维技术之一将特征从18个减少至4个。该过程使用主成分分析(PCA)完成,PCA将数据投影到称为主成分的线性不相关向量上[14]。即第一主成分向量具有最大方差,而后续主成分向量也具有最大可能方差,但受限于其与前一分量向量正交,依此类推。一旦确定排序,取前4个成分,其余丢弃。使用Sklearn Python库中的PCA模块执行该操作。
机器学习方法/分类器
机器学习依赖于向计算机算法输入代表特定患者群体的训练数据,以建立一组系数/权重以及数据偏倚,最终生成模型。随后对模型进行验证和/或测试以评估任务性能。模型可针对多种临床目标进行训练,包括但不限于图像分割、检测、分类、分期和预后,因此在患者诊断和决策范式中具有重要地位[15]。
在将CT图像预处理为方便的形式并选择要使用的显著特征后,实施了监督式机器学习算法,即支持向量机(SVM)、逻辑回归(LR)、随机森林分类器(RFC)、K近邻(KNN)、Bagging分类器(BC)、自适应提升(ADB)、伯努利朴素贝叶斯(BNB)和高斯朴素贝叶斯(GNB),并采用了随机梯度下降(SGD)和极端梯度提升(XGB)。附加文件1中提到了这些算法主要特征的一般描述。
实施了分层k折交叉验证,使数据被拆分/划分为k折,其中每个分类器在K-1个训练折上进行训练,然后用于在剩余的折上进行测试。测试折在每次迭代结束时移动,直到所有数据都有机会在测试折中出现[4]。在每次迭代中,应用分类器算法,并计算准确率。测试了一系列K值(3–10),以观察哪个值导致最高的准确率。K值被选择为6,然后对各个值取平均以获得每个模型的平均准确率。使用Python中的Sklearn模块来实施该方法。
深度学习方法
深度学习是机器学习中特别复杂的一部分,被认为是一种通用拟合函数。它描述的算法以类似于人类识别得出结论的相似逻辑路径来分析数据。构建复杂的、多层的“深度神经网络”以允许数据以高度连接的方式在节点(如神经元)之间传递[15]。这使得能够处理非结构化数据(图像)。
输入图像的准备
首先,使用留出k折将图像分为测试集(包括125个结节用于模型评估)和训练集(包括882个结节)。根据诊断数据的csv文件,图像被标记为(疾病:良性/恶性)。然后,对882个结节的训练集应用分层拆分,使用80%用于实际训练,20%用于验证目的。提到的所有数据集都存储在单独的数据框中。使用Keras Image Data Generator,我们可以重新缩放像素值,并即时应用随机变换技术进行数据增强。我们定义了两种不同的生成器。val_datagen仅用于重新缩放验证集和测试集。train_datagen包括一些变换以增强训练集。这些生成器使用flow_from_dataframe方法应用于每个数据集。除了每个生成器中定义的变换外,图像还根据设置的target_size进行调整大小。
经典2D-CNN构建
卷积神经网络(CNN)架构的不同神经层如表1所示。该架构由三个块组成,每个块包括多个卷积层,具有修正线性单元(ReLU)激活函数、批量归一化、最大池化、丢弃、展平和全连接层。最后,有一个最终的全连接sigmoid层, assigned to执行结节分类的步骤,无论是良性还是恶性。该架构使用RMSprop优化器进行了测试。批大小为32,50个epoch,学习率设置为0.001,并使用二元交叉熵损失函数来编译模型。
使用预训练模型的迁移学习
迁移学习,顾名思义,是将先前的经验转移并利用/应用于新的但相似或相关情境数据的过程。在这一步骤中,我们使用了ResNet、VGG-16、VGG-19和DenseNet的多个版本作为预训练模型。这些神经网络模型的描述见附加文件1。
所有这些模型均可在Keras包中获取,且已在另一个数据集(ImageNet)上完成训练。我们在此所做的是将include_top设置为false,移除负责在該其他数据集中分配类别的“头部”,并保留所有先前的层。然后,我们加入最后几层,包括负责生成输出的层。用作“头部”的层为二维全局平均池化层、全连接层和丢弃层。最后,使用带sigmoid函数的全连接层作为最终层。图2展示了机器学习和深度学习的工作流程。
微调
微调是除特征提取之外的另一种模型重用方法。具体而言,微调是一个过程,即取一个已经为某一任务训练好的模型,然后调整该模型以执行第二个相似任务。其工作原理是解冻神经网络中用于特征提取的少数顶层,然后联合训练模型新加入的部分(例如,全连接分类器)和顶层[16]。
诊断性能/模型评估
每个模型均在测试集的125张图像上单独测试,其中包括63个良性结节和62个恶性结节,以评估每个模型的所有性能指标。
不同方法的诊断性能通过受试者工作特征分析的曲线下面积、灵敏度、特异度和准确度进行检验[17]。这些指标的对应公式为:灵敏度 = TP/(TP + FN)
特异度 = TN/(TN + FP)
准确度 = (TP + TN)/(TP + TN + FP + FN)
真阳性是用于描述模型正确预测的阳性百分比的指标,而真阴性是用于描述被正确诊断为阴性的阴性百分比的指标。相反,假阳性是用于描述错误预测阳性类别的百分比的指标,而假阴性是将阳性结节错误检测为阴性的百分比。
曲线下面积(AUC)是衡量分类器区分不同类别能力的指标,用作受试者操作特征(ROC)曲线的总结[18]。ROC曲线是二分类问题的重要评估/判别指标。它是一条概率曲线,在各种阈值下绘制真阳性率(TPR)对假阳性率(FPR),其中TPR = TP/(TP + FN)
FPR = FP/(FP + TN)
结果
对影像组学特征进行PCA分析产生了若干成分,其中第一成分PC1占总方差的77.7%,而第二、第三和第四成分分别为12.5%、4.1%和2.2%。总计占总体方差的96.5%。
统计机器学习
在统计机器学习方法中,基于10个监督分类器对所有数据进行分层K折交叉验证后(折数=6),各模型生成的ROC曲线如图3所示。此外,6折计算的平均准确率、AUROC、灵敏度和特异度在图4中展示。
在灵敏度指标最佳的模型中,排名前三的方法为BC、XGB和SVM,而测试特异度最佳的前三种方法为BNB、GNB和SVM。准确率最佳的前三个模型为SVM、RFC和BNB,而ROC指标最佳的前三个模型为RFC、BC和SVM。
如图4所示,SVM和RFC模型在分类准确率(81.9 ± 1.6% vs. 81.4 ± 2.4%)和灵敏度(76.2 ± 2.6% vs. 76.2 ± 3.7%)方面提供了可比的结果。此外,RFC在AUROC分析中表现略优(88.5 ± 2.4% vs. 87.7 ± 1.8%),但在测试特异度方面低于SVM(86.6 ± 3.4% vs. 87.6 ± 1.9%)。
深度与迁移学习
在深度学习方法中,将经典CNN模型在训练集的705个肺结节和验证集的177个肺结节上拟合50个epoch后,记录损失和准确率学习曲线如图5所示,以展示模型的稳定性。该模型在测试集的125个结节上进行了测试,性能指标汇总于图6。
采用迁移学习和微调方法,尝试提升模型性能;每个预训练模型使用测试集的125个结节单独测试,准确率、灵敏度、特异度和AUROC结果在图6中描述。准确率最佳的神经网络为DenseNet-121(90.4%)和DenseNet-169(89.0%)以及ResNet-152V2(88.0%)。数据分析显示,经典2D-CNN、VGG-19和VGG-16在AUROC性能分析中依次最高(≥ 95%)。DenseNet-169、DenseNet-121和VGG-19在结节分类中灵敏度依次最高(分别为90.3%、87.1和85.5),而特异度最佳的是DenseNet-121和ResNet152V2(均为93.6%),其次是VGG-16的92.1%。
讨论
人工智能已成为现代医学中一种引人关注的方法。计算机视觉和机器学习,以及用于检测、分类和预测肺结节恶性程度的深度学习方法,在研究人员和从业者中受到了特别关注[19]。若干相关论文开发了用于估计肺结节恶性概率的方法[19]。一项研究报道了关于增加特征是否能提高分类器性能的调查,重点在于哪些影像组学特征更有用[20]。在应用适当的数据预处理和清洗的情况下,使用2817个标注,非线性分类器 yielded 85.7 ± 1.1%的准确率和93.2 ± 0.01%的AUC。当纳入直径和体积特征时,AUC增至0.94 ± 0.01%,准确率为88.1 ± 1.1%。
另一篇报告从LIDC-IDRI数据库中提取的1006例病例中汇集了5385个有效3D结节[21]。特征提取中使用了奇异值分解。使用几种常用分类器,KNN、随机森林和SVM分别获得了77.3%、80.1%和84.2%的分类准确率估计。在本研究中,相同的统计分类器分别达到了更好的准确率,为80.5%、81.4%和81.9%。
有报道介绍了一种整合GoogLeNet、Denoise Network和SVM的混合方法用于分类肺结节,包括来自LIDC-IDRI的742个良性样本和553个恶性样本[22]。该混合模型达到了95.0%的准确率和89.0%的AUC[22]。这些结果略优于本文报道的准确率,但低于本文报道的AUC。
一篇报告采用迁移学习,使用三个ResNet-50对肺结节进行分类,以识别病灶外观、体素和形状[23]。该模型用于分类肺结节的准确率为93.4%[23]。这优于本文采用的ResNet-152V2算法,最可能是因为使用了显著更大的数据集数量。
另一种方法包括两种深度学习方法,即AlexNet和ResNet,用于提取深层特征以对从LUNA 16数据集获得的肺结节进行分类[24]。这种新架构能够达到94.3%、95.5%和91.1%的准确率、敏感性和特异性。同一模型还产生了96.0%的ROC和89.5%的阳性预测值[24]。这些结果优于本研究中呈现的数据;然而,本研究未使用AlexNet,值得在未来研究中与其他模型进行比较尝试。
在从LDCT提取的低剂量CT数据集上进行了影像组学数据与深度学习方法的比较,该数据集包含1297个肺结节[25]。影像组学特征是手工制作的,所包括的深度学习分类器有VGG、ResNet、DenseNet和EfficientNet。本文呈现的ROC结果(0.943–0.960)远优于那些迁移学习方法所报道的结果。
另一篇近期报告使用了LIDC-IDRI数据集的1018例病例,并实施了三种分类策略[26]。他们表明,对于模型修改,CifarNet比其他具有更复杂架构的修改CNN表现更好,ROC为0.90。他们的发现与本研究呈现的发现一致。
模型的敏感性和特异性是诊断测试的关键性能指标。提高对真阳性肺癌患者的检测,尤其是在肿瘤早期进展阶段,可能会产生理想的结果,因为治疗决策将对患者预后产生重大影响。这在筛查或流行病学研究中也很明显,因为早期发现与预后率的提高密切相关。根据统计学习方法排名,SVM在所有性能标准中均位列前三,包括敏感性(81.9%)、特异性(87.6%)、准确性(81.9%)和ROC(87.7%)。
这些发现表明SVM可作为未来结节分类算法设计中可接受的候选方法。然而,在特异性测量方面,它劣于BNB和GNB,这可能对其在积极治疗中的实用性提出质疑(因为假阳性会受到很大影响),或者当诊断测试被设定严格标准以不纳入或尽量减少假阳性和/或排除阴性患者时。虽然随机森林获得的结果与SVM相似,但在更大的患者人群中研究这两种方法并优化超参数是令人鼓舞的。
使用改进的VGG-16和迁移学习对来自PET/CT数据的孤立性肺结节进行分类,获得了94.0%的准确性[27]。同一研究组还报告了模型敏感性、特异性和AUC分别为92.0%、95.2%和AUC为93.9%。一种新开发的自适应提升自归一化多视图CNN(ADB-SNMV-CNN)策略被用于尝试提高筛查速度、克服错误发现率和漏检[28]。该方法能够达到92.0%的准确性、93.0%的敏感性和92.0%的特异性,计算时间为100分钟。ROC较高,略高于本文呈现的结果,分别为97.6%对95.4%[28]。然而,仍需进一步验证以证明该方法的有效性。
DenseNet-121是结节分类中最佳的深度学习分类器之一,因为其在准确性(90.4%)、敏感性(87.1%)、特异性(93.6%)方面具有优越的性能指标,且ROC测量值(94.3%)与其他方法相当。第二选择是DenseNet-169,因为它表现出优越的敏感性,且准确性和特异性略低于DenseNet-121。当对排除假阳性患者有严格要求时,DenseNet-121的这一缺点与SVM相似。
当前工作在很大程度上依赖于TCIA数据库,该数据库具有注释数据和列出的病灶坐标。这在某些公开可用的肺部数据集中或对于没有自动或手动注释的用户可能不可用。因此,为了将我们的模型整合到集成流水线的工作流程中,肺部病灶必须首先按照标准化程序进行定位、注释、提取、预处理,最后准备为输入。在未来的工作中,病灶的自动定位以及后续的数据分析和最终决策将是实现机器学习算法最优分类的理想目标。
本研究使用的数据集相对较小,分类任务是在二维代表性图像上进行的,而非整个病灶体积或三维图像。未来需要解决这一问题,同时增加数据训练和测试。还需要严格评估来自不同扫描系统和临床方案的外部验证。
结论
在利用CT数据集进行肺结节分类方面,深度学习方法比统计学习方法更准确、性能更优。在同一背景下,迁移学习在减少设计新神经网络架构的工作量和/或时间方面已展现出强大能力。
在预测任务中,SVM表现出与顶级统计学习方法相当的竞争力。同样,DenseNet-121是肺结节预测中更优越的深度学习方法,表现出高准确度、特异度、敏感度以及相当高的ROC测量值。DenseNet-169也较优越,但特异度降低且ROC测量值略低。这在一定程度上限制了DenseNet-169和SVM在需要高特异度时的实用性。迁移学习中的调优步骤对改善分类指标起到了关键作用。人工智能的竞赛,包括统计学习和深度学习,不会停止,目前正在做出多项努力以改善肺癌的诊断和治疗。
补充信息
附加文件1。肺结节分类中所用统计方法的简要描述。
引用
- Saied M, Raafat M, Yehia S, et al. Efficient pulmonary nodules classification using radiomics and different artificial intelligence strategies. Insights Imaging. 2023. PMID: 37199791. doi:10.1186/s13244-023-01441-6
- 全文:PMC10195968(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10195968/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。