文献速递骨肌神经MR

基于深度学习和加权融合框架的MRI脊椎肿瘤良恶性诊断

Benign and malignant diagnosis of spinal tumors based on deep learning and weighted fusion framework on MRI.
PubMed 文献 · Insights Imaging · 2022-05-10

本研究提出基于矢状位MRI序列和年龄信息的多模型加权融合框架(WFF),用于585例脊椎肿瘤患者(270例良性、315例恶性)的良恶性诊断。在参考年龄信息时,WFF准确率(0.821)高于三位医生(D1:0.686;D2:0.736;D3:0.636);不参考年龄信息时,WFF准确率(0.800)也高于三位医生(D1:0.750;D2:0.664;D3:0.614)。

要点

  • WFF可自动检测MRI上的脊椎肿瘤并进行患者层面良恶性诊断。
  • 将年龄信息纳入AI模型可提高诊断准确率。
  • WFF的诊断准确率高于三位医生,且在大多数肿瘤位置错误率低于医生。

核心结论

  • 所提出的WFF对MRI上组织学类型复杂的脊椎肿瘤良恶性诊断有效。

研究设计与样本

  • 回顾性研究,纳入2006年1月至2019年12月合作医院连续585例脊椎肿瘤患者(259例女性、326例男性;平均年龄48±18岁,范围4–82岁),其中良性270例、恶性315例。
  • 所有患者均有穿刺活检或手术证实的明确病理结果,分为训练集445例(良性180例、恶性265例)和测试集140例(良性90例、恶性50例);训练集包括转移瘤和原发脊椎肿瘤,测试集仅包括原发脊椎肿瘤。
  • 共获取2150个序列(训练1625个、测试525个),层厚3–7 mm,每位患者接受T1WI和T2WI(含FS-T2WI)序列。
  • 由四名放射科医生和一名脊柱外科医生使用LabelMe以矩形标注肿瘤区域并相互核对,共标注20593幅图像(训练15778幅、测试4815幅),每例患者平均4个序列,每个序列平均9幅标注图像。
  • WFF包含基于Faster-RCNN的肿瘤检测模型(主干ResNeXt101,加入可变形卷积,五尺度特征图数量分别为128、256、512、1024、2048)、基于ResNeXt101的序列分类模型和年龄信息统计模块;训练集采用四折交叉验证。

关键影像表现/征象

  • 检测模型输出绿色框及标签表示良性肿瘤及其概率,红色框表示恶性肿瘤,黄色框表示真实标注。
  • 训练集中恶性肿瘤概率随年龄增加,40岁以上概率一般增至约50%,80岁以上几乎达100%。
  • 与仅用检测模型(Det,ACC:0.721,AUC:0.733)或仅用序列分类模型(Seq,ACC:0.693,AUC:0.753)相比,Det-Seq融合策略(ACC:0.800,AUC:0.830)表现更好。
  • 考虑年龄信息后,Det-Seq-Age策略(ACC:0.821,AUC:0.839)较Det-Seq进一步显著提高。
  • 仅用T2(T2WI、FS-T2WI)序列的ACC较仅用T1(T1WI)序列提高约3%至8%,T1与T2联合的结果与仅用T2相似。

诊断标准与关键数值

  • WFF不参考年龄信息时ACC为0.800,高于D1的0.750、D2的0.664和D3的0.614。
  • WFF参考年龄信息时ACC为0.821,高于D1的0.686、D2的0.736和D3的0.636。
  • 不参考年龄信息时,WFF的ACC较D1、D2、D3分别提高5%、13.6%、18.6%;参考年龄信息时,WFF的ACC较D1、D2、D3分别提高13.5%、8.5%、18.5%。
  • D3在不参考年龄信息时敏感度为92.0%,但其ACC(61.4%)和特异度(44.4%)较低。
  • WFF的敏感度和特异度均高于D1和D2。

临床应用与阅片要点

  • WFF可自动定位MRI上的肿瘤区域,并结合多序列结果和年龄信息进行患者层面良恶性诊断,可能辅助放射科医生阅片。
  • WFF在大多数椎体位置(颈、胸、腰、骶)的错误预测例数和错误率低于医生,在骶椎两者错误例数均最低。
  • D2和D3参考年龄信息后ACC提高,而D1参考年龄信息后ACC下降,原文认为原因是其过度关注年龄。

局限性

  • 回顾性研究设计不可避免产生偏倚,且所有数据来自单一中心,限制了研究样本量。
  • 为提高肿瘤区域召回率,检测模型会产生一定数量的假阳性区域,使患者层面融合复杂化。
  • 部分良恶性脊椎肿瘤的视觉特征不明显,某些情况下难以区分良恶性。
  • 由于实验条件限制,本研究仅使用了年龄信息;原文认为若可获得更多临床信息,诊断性能有望提高。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 May 10;13:87. doi: 10.1186/s13244-022-01227-2

要点

WFF从MRI中自动检测脊柱肿瘤,用于患者级诊断。

将年龄信息纳入AI模型可提高诊断准确性。

该模型显示出比医生更高的诊断准确性。

与医生相比,WFF在大多数肿瘤位置上显示出更低的错误率。

背景

脊柱肿瘤包括原发性和转移性肿瘤。转移性脊柱肿瘤通常为恶性,而原发性脊柱肿瘤可进一步分为良性和恶性肿瘤。如果良性肿瘤未及时诊断,可能造成局部损害并表现为向周围其他组织侵袭性生长,而恶性肿瘤可能导致全身多系统转移并威胁患者安全。对患者早期使用磁共振成像(MRI)在良恶性脊柱肿瘤的诊断中已显示出重要的临床意义。

随着深度学习技术的发展,越来越多的研究者将其应用于医学领域,包括肿瘤分割[1, 2]、检测[3, 4]和分类[5, 6]。然而,这些方法大多基于单一图像或序列,很少使用多序列进行患者级诊断,或参考临床信息。

在临床实践中,医生通常先定位肿瘤区域,然后根据多幅图像或序列以及患者的临床信息作出决策。受医生诊断过程的启发,本研究提出了一种多模型加权融合框架(WFF),用于患者级良恶性脊柱肿瘤的诊断,该框架包括肿瘤检测模型、序列分类模型和年龄信息统计模块。WFF可自动定位MRI图像中的肿瘤区域,将肿瘤检测模型的粗分类结果与序列分类模型的细分类结果相结合,通过多数投票聚合不同序列的结果,并同时参考患者年龄信息进行患者级诊断。

材料与方法

图像数据

在获得机构审查委员会(IRB)批准的情况下,回顾性审查了2006年1月至2019年12月期间在合作医院就诊的连续脊柱肿瘤患者的最终病理诊断报告。本研究纳入了从585例脊柱肿瘤患者(259例女性,326例男性;平均年龄48 ± 18岁,范围4–82岁)收集的矢状面MRI图像,包括270例良性和315例恶性患者。所有患者均通过套管针活检或手术获得明确的病理结果,并分为训练集(n = 445;180例良性,265例恶性)和测试集(n = 140;90例良性,50例恶性),如表1所示。训练集包括转移瘤和原发性脊柱肿瘤,而测试集仅包括原发性脊柱肿瘤。从585例患者中获得了2150个序列,其中1625个序列用于训练,525个序列用于测试,层厚范围为3至7 mm。每位患者均接受了T1(T1WI)和T2(T2WI、FS-T2WI)序列检查。四名放射科医师和一名脊柱外科医师使用LabelMe [7]以矩形标注了这些图像的肿瘤区域,并相互检查标注区域以确保可靠性。共有20,593张标注图像,其中15,778张用于训练,4815张用于测试。每位患者平均有四个序列,每个序列平均有九张标注图像。这些标注肿瘤区域的良恶性根据患者的病理报告确定。

我们的数据集是一个复杂的脊柱肿瘤数据集,包含20多种组织学亚型,如图1所示。需要注意的是,我们的合作医院是我国最大的脊柱肿瘤中心,每年接收大量脊柱肿瘤转诊患者并实施大量脊柱肿瘤手术。因此,我们的关注范围包括脊柱肿瘤以及一些延伸至或影响脊柱结构的神经源性肿瘤(如神经鞘瘤和神经纤维瘤)[8, 9],而硬膜内和髓内肿瘤则进一步转诊至神经外科。肿瘤位于不同的椎骨,包括颈椎、胸椎、腰椎和骶椎,如表2所示。诊断这样一个复杂的脊柱肿瘤数据集具有挑战性。

表1 脊柱肿瘤数据集详细信息 查看原表 ↗
图1 所有患者的病理分布 查看原图 ↗
表2 肿瘤位置对应的病例数 查看原表 ↗

所提出的框架

本研究提出了一种基于矢状面MRI序列的多模型加权融合框架(WFF),该框架可结合肿瘤检测模型、序列分类模型和年龄信息统计模块,在患者层面诊断脊柱肿瘤的良恶性,如图2所示,其中和图2中分别代表良性和恶性肿瘤的概率。首先,我们使用Faster-RCNN [10]检测每张MRI图像中的肿瘤区域,并提供粗略的良恶性概率。随后,应用序列分类模型对检测到的肿瘤区域进行分类,以获得序列级结果。最后,根据上述两个模型的结果和年龄信息进行加权融合决策,得出最终诊断结果。对训练集应用四折交叉验证来训练和验证WFF,并选择深度模型的适当超参数和融合权重。

图2 所提出的多模型加权融合框架(WFF) 查看原图 ↗

用于肿瘤定位和粗略分类的检测模型

本研究使用三分类的Faster-RCNN作为肿瘤检测模型。由于标注的肿瘤区域有限,采用多尺度自剪切混合(MultiScale-SelfCutMix)方法[11]进行数据增强,该方法随机提取标注的肿瘤区域,并以0.5至1的因子缩放宽度和高度。缩放后的肿瘤区域被随机放置在原始图像中脊柱区域附近。检测模型分为特征提取网络(FEN)、特征金字塔网络(FPN)[12]、区域候选网络(RPN)和感兴趣区域(ROI)提取模块。FEN提取可能包含肿瘤信息的图像特征,使用ResNeXt101[13]作为骨干网络,它是ResNet101的升级版本。我们还在ResNeXt101中添加了可变形卷积[14],以使其适应各种形状的肿瘤区域。使用原始图像的1/4、1/8、1/16、1/32和1/64五种尺度提取不同感受野的特征信息,如图3所示,特征图数量分别为128、256、512、1024和2048。

FPN用于融合五种不同尺度的特征。随后,RPN生成一定数量的可能包含肿瘤的候选框,ROI调整所选候选框的大小以将肿瘤识别为良性或恶性。非极大值抑制(NMS)[15]用于确定肿瘤的最终位置以及良性或恶性的概率。图4显示了所提出检测模型的结果。绿色框和标签分别表示良性肿瘤及其概率,红色框表示恶性肿瘤,黄色框表示真实标注。

图3 以五种尺度提取的特征图 查看原图 ↗
图4 检测到的肿瘤区域及粗略分类结果 查看原图 ↗

用于良恶性诊断的序列分类模型

肿瘤检测模型对同一患者的每张图像进行肿瘤区域定位和粗略识别,这可能导致假阳性。连续帧包含更多上下文信息,有助于准确诊断。每个序列中的图像对应连续的肿瘤区域;因此,我们提出了一种基于ResNeXt101的序列分类模型,以进一步对良性和恶性肿瘤进行分类。

在训练阶段,我们在序列中选择最大的标注肿瘤区域,并以该大小和位置获取N个连续区域作为整个序列中所有图像的肿瘤区域,然后将尺寸重新缩放为像素。如果序列中的标注图像少于N个,则重复提取。为扩充训练数据,有50%的概率随机提取包含肿瘤区域的图像,有50%的概率按照医学数字成像和通信(DICOM)的索引提取图像。采用不同的采样率以在训练过程中保持良性和恶性样本之间的平衡,这可防止模型对某一肿瘤类别过拟合。在测试阶段,基于上述肿瘤检测模型检测到的肿瘤区域,我们选择最大的检测肿瘤区域,并以该大小和位置获取N个连续区域作为整个序列中所有图像的肿瘤区域。尺寸被重新缩放为像素。该序列的多个相邻肿瘤区域被用作输入,该序列良性或恶性的概率为序列分类模型的输出。

用于良恶性诊断的年龄信息

我们确定了训练集中恶性肿瘤或良性肿瘤的概率与每位患者年龄之间的关系。图5显示恶性肿瘤概率随年龄增长而增加,恶性肿瘤概率在40岁以上一般增至约50%,在80岁以上几乎增至100%。我们使用不同年龄组中良性和恶性肿瘤的统计概率作为患者级别诊断的参考。

图5 不同年龄的良性和恶性肿瘤概率 查看原图 ↗

多模型加权融合策略

为进一步提高对良性和恶性肿瘤的诊断性能,我们提出了多模型加权融合策略,如式(1)所示。其中表示第i个序列第j幅图像的最终良恶性概率,其中表示来自肿瘤检测模型的第i个序列第j幅图像的概率,表示来自序列分类模型的第i个序列的概率,表示基于患者年龄的概率。是三项的权重。

使用式(1)获得每个序列中所有图像的良性和恶性肿瘤类别,并选择占比最大的类别作为序列类别。最后,选择所有序列中占比最大的类别作为该患者的良性或恶性类别。

指标

所有模型均在Intel E5-2640 CPU和NVIDIA GTX1080Ti GPU上训练。恶性肿瘤样本被视为阳性。曲线下面积(AUC)[16]、准确率(ACC)、灵敏度(SE)和特异度(SP)被用作评价指标。ACC、SE和SP分别在式(2)、(3)和(4)中定义。需要注意的是,我们的任务是基于患者的早期图像诊断肿瘤。这是一个使用深度学习的分类任务。AUC、ACC、SE和SP是衡量分类效果的常用指标。RECIST等评价方法不适用于我们的任务。

为了同时展示放射科医师、脊柱外科医师和我们模型的诊断水平,我们邀请了三名医生根据测试集中患者的图像和年龄信息进行诊断,包括一名放射科医师(D1:18年经验)和两名脊柱外科医师(D2:24年经验,D3:8年经验)。

结果

不同融合策略的比较

我们在测试集上比较了六种不同融合策略的结果。在我们的实验中,序列分类模型N = 16优于N = 4或N = 8。不同融合策略的结果如表3所示,其中Det、Seq和Age分别代表肿瘤检测模型、序列分类模型和年龄统计信息。不同策略对应Eq. 1中不同的λ值。例如,Det-Seq-Age为、、,Det-Age为、、,Det为、、。所有融合策略均基于检测模型检测到的肿瘤区域。

如表3所示,Det-Seq融合策略(ACC:0.800,AUC:0.830)优于仅检测模型方法Det(ACC:0.721,AUC:0.733)和仅序列分类模型Seq(ACC:0.693,AUC:0.753)。此外,在考虑年龄信息后,Det-Seq-Age的结果在良恶性肿瘤诊断方面显示出显著改善(ACC:0.821,AUC:0.839)。

表3 测试集上不同融合方法的良恶性肿瘤预测结果 查看原表 ↗

WFF与医生的比较

表4显示了WFF与三名医生的比较结果。“MRI”表示医生未参考年龄信息,仅参考MRI图像。“MRI-Age”表示医生参考了年龄信息和MRI图像。“Avg. Time”代表医生或模型诊断一名患者所花费的平均时间,即从模型和医生看到图像到得出诊断结果之间的时间。WFF对每名患者的平均诊断时间不到一秒,远快于所有医生。与D1、D2和D3相比,无年龄信息WFF的ACC分别提高了5%、13.6%和18.6%。有年龄信息WFF的ACC分别提高了13.5%、8.5%和18.5%。需要注意的是,D2和D3在参考年龄信息后ACC有所提高,但D1在参考年龄信息后ACC下降,因为其过度关注年龄。WFF的SE和SP均高于D1和D2。尽管D3在无年龄信息时具有较高的灵敏度(92.0%),但其ACC(61.4%)和特异度(44.4%)较低。

表4 WFF与三名医生对良恶性肿瘤预测的比较 查看原表 ↗

不同椎体位置的比较

为进一步探讨WFF与医生之间的差异,我们统计了预测错误的患者数量、不同椎体位置的错误率以及测试集中椎体位置的分布,如图6所示。

在大多数部位,WFF 预测错误患者数和错误率均低于医生。如图 6a 所示,D2 和 D3 在颈椎处预测错误数最多,D1 在胸椎处最多,WFF 在腰椎处最多,而 WFF 和医生在骶椎处均最少。通过观察图 6b 中不同椎体部位的患者数分布可见,颈椎和胸椎部位肿瘤患者数较多,医生的误预测趋势与部位分布一致,而 WFF 的趋势相反。出现这种现象的原因是,对于深度学习模型而言,样本越多,诊断效果越好,这表明对于同一椎体部位,模型可通过大量样本的学习超越医生。

然而,如图 6c 所示,WFF 和医生的错误率趋势与图 6b 不同;大多数医生和 WFF 在颈椎处错误率较低,在腰椎处错误率最高。我们的测试集代表了合作医院整体数据的分布。出现这种现象的原因是,WFF 和医生都需要从大量病例中积累经验。病例越多,经验越丰富,错误率越低。这表明对于深度学习模型而言,更具代表性的样本有助于提高其诊断性能。

图 6 a 不同椎体部位预测错误患者数。b 测试集中患者的椎体部位分布。c 不同部位的错误率 查看原图 ↗

不同序列的比较

以上结果是使用患者的全部序列获得的,包括 T1(T1WI)和 T2(T2WI 和 FS-T2WI)。为验证哪个序列对最终结果影响最大,我们进一步在测试集上获取了仅使用 T1(T1WI)或 T2(T2WI、FS-T2WI)序列时的 ACC。对于六种融合方法,如图 7 所示,T2(T2WI、FS-T2WI)序列的 ACC 较 T1(T1WI)序列提高约 3% 至 8%,且联合 T1(T1WI)和 T2(T2WI、FS-T2WI)序列的结果与仅使用 T2(T2WI、FS-T2WI)序列获得的结果相似。这表明 T2(T2WI 和 FS-T2WI)序列对人工智能模型中的肿瘤诊断更有帮助。然而,所提出的 WFF 并不限于特定扫描图像,如 T1(T1WI)和 T2(T2WI、FS-T2WI)。当有足够样本时,它也适用于其他图像,如增强后图像,甚至多种不同图像的组合。

图 7 基于 T1、T2 和 T1&T2 序列的不同融合方法的 ACC 查看原图 ↗

讨论

已有几项关于脊柱肿瘤的研究,与本研究相似。例如,Hammon等人[17]基于114例患者的CT图像开发了一个支持向量机(SVM)模型来检测脊柱转移瘤,O’Connor等人[18]也开展了类似工作。除了直接识别肿瘤类别外,Burns等人[19]使用分割方法基于49例患者的图像检测肿瘤区域,然后使用SVM识别这些肿瘤区域。Chianca等人[20]使用hCAD和PyRadiomics工具提取图像特征,然后基于单帧图像使用机器学习方法选择和识别特征,以鉴别146例患者的脊柱肿瘤良恶性,病灶区域由医生标注。Wiese等人[21]提出了一种基于分水岭和图割算法的自动化方法,用于检测CT图像中的脊柱转移瘤。Yao等人[22]进一步提出了一种基于SVM的算法,利用分水岭算法改进初始检测,用于CT图像中脊柱转移瘤的检测。上述方法在小样本病例规模上使用了传统特征提取和机器学习方法。

近年来,随着深度学习技术的发展,越来越多的新技术被应用于医学影像领域,包括病灶分割、检测和分类。U-Net系列模型通常用于从CT或MRI中分割病灶[23–26]。以Faster-RCNN为代表的检测模型已被用于检测医学图像中的病灶位置[27–30]。此外,一些研究将深度学习技术应用于病灶分类[31–34]。例如,Lang等人[35]使用归一化割算法生成3D肿瘤掩膜,从多个相邻图像帧中提取直方图和纹理特征,作为CNN和卷积长短期记忆网络的输入,用于鉴别起源于原发性肺癌和其他癌症的脊柱转移病灶,该研究基于包含61例患者的数据集,肿瘤区域由医生标注。Roth等人[36]使用深度卷积神经网络作为第二阶段,从CT图像中对第一阶段的病灶进行细化,用于脊柱转移瘤的检测。Zhang等人[37]提出了一种两步流程,包含用于检测异常高信号的Faster-RCNN和用于减少假阳性数量的RUSBoost分类器,基于121例患者,其中73例用于训练,48例用于验证。Liu等人[38]使用六种分类器基于89例多发性骨髓瘤患者的MRI来区分HRC和非HRC状态。上述方法均在小规模病例中进行了评估,其中大多数直接对手工标注的肿瘤区域进行分析,没有自动肿瘤检测处理,部分研究未使用临床信息。

与上述方法不同,本文提出了一种基于深度学习的多模型加权融合框架(WFF),利用患者矢状位MRI序列和年龄信息来诊断脊柱肿瘤的良恶性,该框架能够自动检测肿瘤位置,并基于患者所有序列进行患者级别的良恶性诊断。医生通常参考临床信息来诊断脊柱肿瘤,例如年龄信息。例如,患者年龄越大,恶性肿瘤的概率越高。然而,这一结论并非绝对,仍有一些年轻患者患有恶性肿瘤。因此,参考年龄信息后医生的准确率可能提高也可能降低,而WFF能够很好地调节年龄信息与模型结果之间的关系,从而可能避免误导融合结果。实验结果表明了所提出的WFF的有效性。

局限性

回顾性研究设计会导致不可避免的偏倚,且所有数据均来自单一中心,从而限制了研究的样本量。在所提出的方法中,对序列中每张图像的肿瘤区域进行检测和分类是实现患者级别诊断的基础和关键技术。为了提高肿瘤区域的召回率,肿瘤检测模型会产生一定数量的假阳性区域,这会极大地增加患者级别融合的复杂性。同时,部分脊柱良恶性肿瘤的视觉特征不明显,在某些情况下难以区分良恶性肿瘤。因此,提高检测模型的性能、降低假阳性率以及提高模型的分类准确率将是未来研究的重点。此外,由于实验条件的限制,本研究仅使用了年龄信息。如果可获得更多临床信息,相信诊断性能将得到提升。

结论

由于组织来源丰富、病理类型多样以及临床症状各异,从MR图像中诊断早期脊柱良恶性肿瘤非常困难,即使对医学专家而言也是如此。本研究提出了一种基于深度学习的多模型加权融合框架(WFF),该框架结合了医学图像和年龄信息。实验结果表明了所提出的WFF的有效性。

引用

  1. Liu H, Jiao M, Yuan Y, et al. Benign and malignant diagnosis of spinal tumors based on deep learning and weighted fusion framework on MRI. Insights Imaging. 2022. PMID: 35536493. doi:10.1186/s13244-022-01227-2
  2. 全文:PMC9091071(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9091071/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。