文献速递腹部CT

基于深度神经网络的胰腺浆液性囊性肿瘤与黏液性囊性肿瘤CT分类模型

CT classification model of pancreatic serous cystic neoplasms and mucinous cystic neoplasms based on a deep neural network.
PubMed 文献 · Abdom Radiol (NY) · 2021-10-12

该回顾性研究纳入110例经病理证实的胰腺浆液性囊性肿瘤(SCN,63例)与黏液性囊性肿瘤(MCN,47例),构建MMRF-ResNet深度神经网络模型,利用多通道CT图像和ResNet特征提取,以病理为金标准分类。多通道ResNet的AUC达0.98,优于单通道手工勾画ROI的0.91;MMRF-ResNet模型AUC为0.96。结论认为该模型可有效鉴别SCN与MCN。

要点

  • 多通道图像预处理较单通道手工ROI显著提升分类效能,AUC从0.91升至0.98。
  • ResNet提取特征优于传统纹理方法(wavelet、LBP、HOG、GLCM、Gabor)和AlexNet。
  • MMRF-ResNet(随机森林整合KNN、Softmax、Bayes)对SCN与MCN分类AUC为0.96。

核心结论

  • MMRF-ResNet模型可有效鉴别胰腺SCN与MCN,多通道ResNet分类AUC达0.98。
  • 随机森林整合多分类器(MMRF-ResNet)的AUC为0.96,精确率93.87%、特异度93.80%、准确率92.69%、F1评分92.74%。

研究设计与样本

  • 回顾性分析2010年12月至2016年8月单中心病理证实的110例胰腺囊性肿瘤(SCN 63例,MCN 47例,含3例黏液性囊腺癌)的胰腺平扫及增强三期CT图像。
  • 采用256层螺旋CT(Brilliance iCT,Philips)行胰腺标准方案扫描,包括平扫、动脉期(注药后20秒)和门静脉期(注药后60秒),层厚3mm。
  • 以病理结果为金标准,比较不同图像分割方法(单通道手工ROI vs 多通道)、特征提取方法(wavelet、LBP、HOG、GLCM、Gabor、ResNet、AlexNet)和分类器(KNN、Softmax、Bayes、随机森林、多数投票法)的分类效能。
  • 共获得4104幅单通道图像(SCN 2171幅,MCN 1933幅)和4104组多通道图像,按80%训练、20%测试随机划分。

关键影像表现/征象

  • 单通道手工勾画ROI可能未完全包含病灶或误纳入周围正常组织,多通道图像经窗宽窗位调整、Canny边缘检测和梯度幅度调整后能更准确显示病灶区域。
  • SCN为良性病变,生长缓慢、恶变率低,多数无需手术;MCN有恶变潜能,发现后需手术治疗。

诊断标准与关键数值

  • 多通道ResNet分类SCN与MCN的敏感度92.58%、特异度92.58%、精确率92.31%、准确率92.45%、F1评分92.58%、AUC 0.98。
  • 单通道手工ROI ResNet分类的敏感度86.69%、特异度81.64%、精确率83.03%、准确率84.17%、F1评分84.78%、AUC 0.91。
  • MMRF-ResNet分类的精确率93.87%、特异度93.80%、准确率92.69%、F1评分92.74%、AUC 0.96;Softmax分类器AUC 0.97,KNN分类器AUC 0.96,Bayes分类器AUC 0.94。
  • AlexNet分类的敏感度87.89%、特异度92.11%、精确率86.85%、准确率89.52%、F1评分89.05%、AUC 0.94。

临床应用与阅片要点

  • 多通道图像预处理(窗宽窗位调整、Canny边缘检测、梯度幅度调整)可弥补手工勾画ROI的不足,提高SCN与MCN鉴别准确率。
  • ResNet深度特征提取优于传统纹理特征和AlexNet,可作为胰腺囊性肿瘤CT分类的首选特征提取方法。
  • 随机森林整合多分类器(MMRF-ResNet)的分类概率较多数投票法更合理,但AUC略低于单一Softmax分类器(0.96 vs 0.97)。

局限性

  • 研究为回顾性设计,样本量不大(110例),仅来自单中心。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Abdom Radiol (NY). 2021 Oct 12;47(1):232–41. doi: 10.1007/s00261-021-03230-5

引言

胰腺浆液性囊性肿瘤(SCNs)和黏液性囊性肿瘤(MCNs)是罕见的胰腺肿瘤类型。根据WHO(2010)消化系统肿瘤分类指南,SCNs为良性肿瘤,MCNs分为低/中/高级别异型增生和浸润性癌[1]。大多数SCNs无需手术,除非肿瘤生长速度明显加快或呈侵袭性生长,而MCNs一经发现即需手术治疗。因此,有必要将胰腺SCNs与MCNs进行鉴别。人工智能(AI)出现后,许多影像组学研究方法被应用于胰腺SCNs和MCNs的识别。例如,CT纹理分析是一种用于评估医学图像中病理变异性的工具[2, 3],其可对CT图像中病变的抽象纹理特征进行量化和归一化,以识别肿瘤类型并预测患者的疗效和预后[4–6]。目前,常用的图像纹理特征提取方法包括小波、LBP、HOG、GLCM和Gabor[7]。近年来,出现了许多新方法,如计算机深度学习方法——深度神经网络(DNN)用于CT图像上病变的检测和识别[8, 9],极大地提高了医学图像的诊断效率。我们使用了一种基于DNN的新型胰腺浆液性囊性肿瘤和黏液性囊性肿瘤CT分类模型——MMRF-ResNet(多通道-多分类器-随机森林-ResNet),该模型包括3个步骤。步骤1:图像分割。(1)获取单通道手动勾画ROI图像。两名具有15年工作经验的资深放射科医师在轴位CT图像上手动勾画病变,获得单通道手动勾画ROI图像,该图像作为原始CT灰度ROI图像。(2)获取单通道半自动矩形图像。基于单通道手动勾画ROI图像,由计算机自动识别单通道手动勾画ROI图像上、下、左、右像素的坐标,然后将该区域向外扩展2个像素,获得包含完整病变及其周围组织图像像素的单通道半自动矩形图像。在一定程度上,单通道半自动矩形图像可弥补手动勾画ROI图像可能未包含完整病变区域的局限性,该图像包含完整病变及其周围组织的像素。因此,该方法比第一种方法提供了更大的范围。(3)构建多通道图像。将单通道半自动矩形图像转换为多通道CT图像。转换过程中对单通道半自动矩形图像执行以下操作:(a)调整窗宽和窗位;(b)使用Canny算子(一种基于边缘识别的图像分割方法)检测图像边缘;(c)调整梯度幅值以增强病变与周围组织之间图像信息的差异。步骤2:特征提取。MMRF-ResNet分类器使用DNN ResNet提取多通道图像的特征。ResNet使用网络最后一层(池化层,其作用是通过合并超过2048维的特征来降维)输出的2048维特征作为每张多通道图像病变的特征。步骤3:分类。使用随机森林分类器整合三个单一分类器(KNN分类器、Softmax分类器和贝叶斯分类器)的分类概率,以区分胰腺SCNs和MCNs。本研究旨在使用MMRF-ResNet模型(MMRF-ResNet模型结构见图1)分析胰腺SCNs和MCNs的CT特征,并为胰腺SCNs和MCNs的识别提供更好的无创影像评估模型。

图1 MMRF-ResNet分类器流程图。步骤1:图像分割。步骤2:特征提取。步骤3:分类。WW:窗宽,WL:窗位,Canny:一种高效的边缘检测算法,Gradient magnitude:图像中像素梯度的幅值。梯度是具有方向和大小的向量,DNN:深度神经网络,Residual block and pool 5:卷积神经网络中的网络结构,Softmax、Bayes、KNN、Random forest:一类分类器 查看原图 ↗

材料与方法

浙江大学医学院附属第一医院伦理委员会批准了本研究,患者或其家属提供了签署的知情同意书。所有实验均按照相关指南和法规进行,涉及人类研究参与者的研究按照《赫尔辛基宣言》进行。

数据

对2010年12月至2016年8月浙江大学医学院附属第一医院放射科经病理证实的63例胰腺SCN患者和47例MCN患者(包括3例黏液性囊腺癌)的胰腺平扫及增强CT图像进行回顾性分析。110例患者中,68例在体检时偶然发现胰腺病变,无任何临床表现;16例表现为腹胀;20例表现为腹痛的临床表现;6例表现为体重突然下降。术前,所有110例患者均接受了CT检查,但由于医生术前无法确认这些患者胰腺病变的性质,也无法确定是SCN还是MCN,因此所有110例患者均接受了病变手术切除。病理科医生(J.Z.,具有20年经验)对计算机深度学习测试结果不知情,但获得了临床信息、CT图像和诊断报告。采用以下纳入标准:(1)所有患者术前均在同一台CT机器上接受胰腺增强三期CT扫描,包括平扫期、动脉期和门静脉期;(2)在CT横断面图像上,病变至少显示在连续7个横断面上;(3)所有手术切除标本以及经皮穿刺或内镜细针穿刺获得的样本均经细胞学或病理学检查。排除标准为对碘对比剂过敏或患有严重肾功能不全的个体,并排除接受过放射治疗或化疗的患者。

图像采用256层螺旋CT扫描仪(Brilliance iCT,Philips,Cleveland,OH,USA)获取,使用胰腺标准扫描方案(管电压120 kV,管电流300–550 mA)。扫描方案:平扫,扫描范围自膈顶至髂嵴,层厚3 mm。动脉期CT扫描在注射对比剂后20 s进行,扫描范围自腹腔干上方1 cm至十二指肠第三段,在能够包括整个肿瘤的条件下,如果我们在平扫时发现肿瘤大小超出上述范围,动脉期的扫描范围将扩大以包括整个肿瘤,层厚为3 mm。门静脉期CT扫描在注射对比剂后60 s进行,扫描范围和层厚与动脉期相同。CT增强扫描使用1.5 ml/kg碘对比剂(碘海醇注射液,300 mg I/ml,欧苏,扬子江药业集团)和20 ml生理盐水,经外周静脉以3 ml/s的注射速率通过自动泵注射器注入。扫描前,使用水(750–1000 ml)作为口服对比剂充盈胃腔和十二指肠。

病灶分割

采用两种方法对图像进行预处理。方法一为获取单通道手动勾画感兴趣区(ROI)图像。两名资深放射科医师(F.C.,具有15年经验;R.Y.,具有15年经验)在轴位CT图像上手动勾画病灶(包括所有轴位图像中存在肿瘤的区域),以获得单通道手动勾画ROI图像(即原始CT灰度ROI图像)。放射科医师对病理诊断不知情,但获得了临床信息。方法二首先通过人机交互将单通道手动勾画ROI图像扩展为单通道半自动矩形图像(Yizhou Chen,具有7年经验;Kangjie Li,具有10年经验,二者对病理诊断和临床信息均不知情)。方法二的第二步为构建多通道图像:将单通道半自动矩形图像转换为多通道图像。转换过程中对原始图像执行以下操作:(a)调整窗宽和窗位;(b)使用Canny算子(一种基于边缘识别的图像分割方法)检测病灶图像的边缘;(c)调整梯度幅值以增强病灶与周围组织之间的图像信息差异。

统计分析

本研究获得了以下包含胰腺囊性肿瘤的CT图像:4104幅单通道图像,其中2171幅为SCN,1933幅为MCN;4104组多通道图像,包括2171组SCN和1933组MCN(单通道图像数量与多通道图像组数相同)。在以下每个步骤中,80%的CT图像被用作训练数据,其余20%被随机用作测试数据[10]。

在相同特征提取方法和分类器下,比较两种图像预处理方法的胰腺肿瘤分类结果,以确定哪种图像预处理方法对胰腺SCN和MCN能获得更好的分类效能。(单通道人工勾画模型和多通道模型的结构见图2)。每张CT图像分别按上述两种预处理方法进行处理(两种预处理图像的示例见图3)。然后,使用ResNet进行特征提取,并使用Softmax分类器判定病变为SCN还是MCN。

比较不同的图像特征提取方法。使用DNN ResNet和AlexNet提取每张预处理后的多通道图像的特征。然后,使用Softmax分类器对胰腺SCN和MCN进行分类。此外,同时采用传统图像特征提取方法(小波、LBP、HOG、GLCM、Gabor)和DNN ResNet提取每张预处理后的多通道图像的特征。然后,使用SVM、KNN和Bayes分类器对胰腺SCN和MCN进行分类。

在相同图像预处理方法和相同特征提取方法下采用不同分类器,以确定哪种分类器对胰腺SCN和MCN能获得最佳分类效能。使用ResNet提取所有多通道图像的病变特征。然后,使用单一分类器(KNN分类器、Softmax分类器和Bayesian分类器)和多重分类器(多数投票规则法和随机森林分类器)对胰腺囊性肿瘤进行分类,以确定最佳分类策略。

基于上述三个步骤的分析结果,确定用于胰腺SCN和MCN的CT分类的最佳模型(图1)。

图2 基于单通道和多通道图像的胰腺SCN和MCN分类模型。WW:窗宽,WL:窗位,Canny:一种高效的边缘检测算法,Gradient magnitude:图像中像素梯度的幅值。梯度是具有方向和大小的向量。Softmax:一种分类器 查看原图 ↗
图3 单通道人工勾画ROI和多通道图像。A和C为一名45岁女性SCN患者的ROI图像。A 单通道人工勾画ROI图像。病变被不准确地人工勾画(红色曲线轮廓内区域),导致错误信息被纳入感兴趣区(绿色箭头显示部分正常结构被包含在ROI内)。C 同一患者的多通道ROI图像(蓝色圆圈内区域)未包含正常组织区域。B和D为一名56岁女性MCN患者的ROI图像。B 单通道人工勾画ROI图像(红色曲线轮廓内区域)显示部分正常结构被包含(绿色箭头)。D 同一患者的多通道ROI图像(蓝色圆圈内区域)比单通道人工勾画ROI图像更准确 查看原图 ↗

评价指标

以下六项指标被用作评价指标,以病理结果作为金标准:敏感度、特异度、精确率(真阳性数/(真阳性数+假阳性数)×100%)、准确率、F1分数(统计学中用于衡量二分类模型准确性的指标,考虑了分类模型的敏感度和准确率,F1分数=2×精确率×敏感度/(精确率+敏感度),F1分数的最大值为1,最小值为0)以及受试者工作特征曲线下面积(AUC)。

结果

两种图像预处理方法对胰腺SCNs和MCNs分类结果的比较

表1显示,使用单通道手工勾画ROI图像对胰腺SCNs和MCNs进行分类的六项指标(精确率、敏感度、特异度、准确率、F1分数和AUC)分别为83.03%、86.69%、81.64%、84.17%、84.78%和0.91。而使用多通道图像的上述六项指标分别为92.58%、92.58%、92.31%、92.45%、92.58%和0.98。单通道手工勾画ROI图像可能无法完全包含病灶区域,或可能包含病灶周围的正常组织区域(图3)。

表1 使用Manual-ResNet和Multichannel-ResNet对胰腺SCNs和MCNs分类结果的比较 查看原表 ↗

不同图像特征提取方法对胰腺SCNs和MCNs分类的比较

使用DNN ResNet在多通道图像和Softmax分类器对胰腺SCNs和MCNs进行分类时,获得的六项指标(敏感度、特异度、精确率、准确率、F1分数和AUC)分别为92.58%、92.58%、92.31%、92.45%、92.58%、0.97。而使用AlexNet的上述六项指标分别为87.89%、92.11%、86.85%、89.52%、89.05%、0.94(表2)。此外,从图2可以看出,在使用多通道图像和相同分类器(包括SVM分类器、KNN分类器或贝叶斯分类器)时,使用ResNet提取图像特征并对病灶进行分类所获得的六项指标值均高于使用目前常用的特征提取方法(小波、LBP、HOG、GLCM和Gabor)。

表2 常用方法与DNN图像特征提取方法对胰腺SCNs和MCNs分类结果的比较 查看原表 ↗

单分类器和多分类器对胰腺SCNs和MCNs分类的比较

表3表明,KNN分类器的敏感度(84.93%)在三种分类器中最低,但其特异度最高(97.52%)。随机森林分类器获得的准确率和F1分数(92.69%、92.74%)大于Softmax分类器(92.45%、92.58%)、KNN分类器(91.11%、90.68%)和贝叶斯分类器(91.23%、91.33%)。采用多数投票规则方法,使用多通道图像和ResNet对胰腺SCNs和MCNs进行分类。使用随机森林分类器(MMRF-ResNet)获得的四项评价指标(精确率、特异度、准确率和F1分数)分别为93.87%、93.80%、92.69%、92.74%,高于使用多数投票规则分类器获得的相应结果(89.98%、89.90%、91.47%、91.50%)。然而,AUC从大到小的顺序为:Softmax分类器(0.97)、MMRF-ResNet(0.96)、KNN分类器(0.96)和贝叶斯分类器(0.94)。

表3 基于多种分类器的胰腺SCNs与MCNs分类结果比较 查看原表 ↗

讨论

目前,胰腺SCNs和MCNs的诊断与治疗存在诸多挑战,如影像学评估方法的合理选择、正确影像诊断的要点以及保守观察还是手术切除。SCNs是良性病变,生长缓慢,恶变率低。大多数此类病变不需要手术。然而,如果肿瘤生长速度明显加快(直径增长率大于2 cm/年)或注意到浸润性生长的征象,应考虑手术治疗[11]。MCNs有发展为胰腺癌的潜能,最近一篇对90例切除MCNs的综述发现,其中10%含有高级别不典型增生或胰腺癌[12]。因此,有必要寻求胰腺SCNs和MCNs诊断的最佳策略。与CT和MRI检查相比,胰腺病变的超声检查易受胃肠道气体、肥胖等因素影响,且超声造影(CEUS)对囊性肿瘤的正确诊断灵敏度为78.2%,阴性预测值(NPV)为97.1%,均远低于CT检查[13]。因此,CT和MRI评估胰腺SCNs和MCNs的类型已成为决定治疗的重要因素。

过去,胰腺SCNs和MCNs的CT诊断依赖于放射科医师的主观经验判断[14],有时他们可以使用MR图像进行综合分析。影像组学分析方法无需丰富的临床经验,并避免了对经验性影像学指标的解读[15]。然而,目前许多影像组学方法依赖于大量预定义特征来定量描述医学图像的特征,如肿瘤体积和纹理[16],并使用统计方法选择与结果最相关的特征。最后,使用机器学习方法建立诊断和预测模型。其中,常用的方法包括逻辑回归、支持向量机(SVM)和随机森林[17]。计算机深度学习是机器学习研究中一个新领域,可用于医学图像分类、分割、识别和脑功能研究[8, 9]。例如,DNN可以使计算机模拟人脑进行分析学习,并模拟人脑视觉机制自动学习各层级数据的抽象特征,以更好地反映数据的本质特征。因此,在本研究中,我们使用DNN提取病变图像特征并进行分类,并获得了预期效果。

图像分割涉及感兴趣区(ROI)的提取。本研究首先依靠一位经验丰富的放射科医师在原始单通道CT图像上手动勾画并分割胰腺囊性病变。手动勾画不准确时容易产生容积效应,导致错误信息被纳入感兴趣区。因此,我们对单通道手动勾画ROI图像进行预处理,以构建多通道图像。在转换过程中,重新调整窗宽、窗位和梯度幅值,以增强病变与周围组织之间的图像信息差异。然后,使用Canny算子获取病变图像的边缘信息,这种有效的边缘检测方法基于以下概念:肿瘤边缘由图像的局部不连续性表示,如灰度突变、颜色突变和纹理结构突变[18]。我们的研究表明,使用多通道图像对胰腺SCNs和MCNs进行分类时,分类效果的六项指标(敏感性、特异性、精确率、准确率、F1分数和AUC)均优于使用单通道手动勾画ROI图像。经过人机交互和计算机后处理获得的多通道图像提供了更准确的病变区域图像。因此,与单通道手动勾画ROI图像相比,多通道CT图像能更好地区分胰腺SCNs与MCNs。

CNN(卷积神经网络)是DNN方法的一种类型[19],在不同层中提取相应特征,AlexNet和ResNet均代表优秀的CNN方法[20, 21]。在本研究中,以病理结果作为金标准,使用多通道图像和Softmax分类器对胰腺SCNs和MCNs进行分类时,DNN ResNet比AlexNet在分类效果的六项指标(敏感性、特异性、精确率、准确率、F1分数和AUC)上取得了更好的分类结果。在多通道图像和相同分类器(包括SVM分类器、KNN和Bayes分类器)的条件下,ResNet提取的特征比目前常用的特征提取方法(小波、LBP、HOG、GLCM、Gabor)提取的特征对胰腺SCNs和MCNs的分类更具代表性。ResNet在胰腺SCNs和MCNs分类方面表现优于AlexNet。由此产生以下问题:如果在使用ResNet和AlexNet提取图像特征后仅使用Softmax分类器对病变进行分类,研究是否会得出错误结论?如果由其他分类器进行分类,结果是否会改变?答案是否定的,因为当不同维度的特征输入同一类型分类器进行分类时,提取的特征而非分类器才是分类的决定因素。Alex的网络结构层数少于ResNet,提取的特征数量远少于ResNet所获得的特征。因此,ResNet提高了胰腺SCNs和MCNs的诊断效能。

分类器的作用是利用给定且已知的训练数据类别来学习分类规则,然后对未知数据进行分类(或预测)[22]。MMRF-ResNet使用随机森林分类器来整合KNN、Bayes和Softmax分类器的分类概率。本研究采用随机森林分类器,是因为它在分析训练数据时能够根据某个分类器的分类结果为该分类器提供一定的权重。效能较好的分类器具有较高的权重,效能较差的分类器具有较低的权重。随机森林分类器合理且全面地判断三个分类器的分类结果并整合分类概率。多数投票规则方法的分类结果与Softmax、KNN和Bayes分类器中两个或两个以上分类器的分类结果一致。因此,使用随机森林分类器方法(MMRF-ResNet)的结果比使用多数投票规则方法的结果更符合实际。

本研究仍存在一些不足之处。第一,本研究为回顾性研究,样本数量不够大,存在固有局限性。第二,MMRF-ResNet要求手动勾画病灶图像进行分割,无法实现自动分割。第三,我们仅分析了图像中的感兴趣区,未分析病灶的位置信息(如胰腺头、体、尾)和患者临床信息,如性别、年龄、家族史和临床症状,也未考虑肿瘤特征:例如大小、分级、血管化等是能够完善临床情况的 information,它们可能是非常有用的概念。第四,我们未使用患者的MR检查图像进行综合分析。第五,影像组学特征受CT扫描仪参数(如重建核或层厚)的影响,从而掩盖了潜在的具有生物学重要性的纹理特征。本研究未使用补偿方法来校正因使用不同CT协议所引起的影像组学特征值变化[23]。第六,在单分类器与多分类器的对比研究中,鉴于Softmax分类器使用的采样点多于其他三种方法,获得的AUC从大到小排序如下:Softmax分类器、MMRF-ResNet、KNN分类器和Bayes分类器。这些结果提示MMRF-ResNet的诊断性能低于Softmax分类器,但由于采样点数量的原因,该结果并不准确。最后,有多少病例的诊断与影像学表现和计算分类相匹配?上述不足仍有待进一步解决。

总之,在本研究中,通过基于单通道手动勾画ROI图像的预处理获得多通道CT图像,并使用ResNet提取胰腺SCNs和MCNs的CT图像特征。采用随机森林分类器整合KNN、贝叶斯和Softmax分类器的分类概率,以判定胰腺SCNs和MCNs的CT图像属性。最终,相对于常用的影像组学方法获得了更好的分类结果,提示MMRF-ResNet是区分胰腺SCNs和MCNs的理想CT分类模型。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 578 kb)

引用

  1. Yang R, Chen Y, Sa G, et al. CT classification model of pancreatic serous cystic neoplasms and mucinous cystic neoplasms based on a deep neural network. Abdom Radiol (NY). 2021. PMID: 34636931. doi:10.1007/s00261-021-03230-5
  2. 全文:PMC8776667(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8776667/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。