文献速递神经MR

机器学习算法在脑MRI胶质瘤分割中的性能:系统综述与荟萃分析

Performance of machine learning algorithms for glioma segmentation of brain MRI: a systematic literature review and meta-analysis.
PubMed 文献 · Eur Radiol · 2021-05-21

该系统综述与荟萃分析纳入42项研究,其中10项进入荟萃分析,评估机器学习算法自动分割胶质瘤的Dice相似系数(DSC)。总体DSC为0.84(95%CI 0.82-0.86),高级别胶质瘤为0.83(95%CI 0.80-0.87),低级别胶质瘤为0.82(95%CI 0.78-0.87)。研究间异质性高且存在发表偏倚,仅4项研究进行了外部验证,作者强调报告ML算法时需遵循质量指南并包括外部测试集验证。

要点

  • 机器学习算法自动分割胶质瘤总体DSC为0.84,提示分割准确性良好。
  • 高级别与低级别胶质瘤的分割性能相近(DSC分别为0.83和0.82)。
  • 仅4/42项研究进行了外部验证,报告ML算法时需遵循质量指南。

关键影像表现/征象

  • 高级别胶质瘤通常表现为更不均匀的MRI特征,其自动分割可能比低级别胶质瘤更具挑战性。
  • 低级别胶质瘤增殖状态低,可能导致受累组织灌注较低、扩散值较高。
  • 术后环境因脑实质术后改变及空气、血液产物的存在,可能影响机器学习算法的分割性能。

诊断标准与关键数值

  • DSC评分范围0.0(无重叠)至1.0(完全重叠),本研究将DSC≥0.8视为良好重叠,≤0.5视为差。
  • 总体荟萃分析(12个ML算法,10项研究)DSC为0.84(95%CI 0.82-0.86),异质性I²=80.4%(p<0.001)。
  • 高级别胶质瘤亚组(5项研究)DSC为0.83(95%CI 0.80-0.87),异质性I²=81.9%(p=0.001)。
  • 低级别胶质瘤亚组(2项研究)DSC为0.82(95%CI 0.78-0.87),异质性I²=83.62%(p=0.013)。
  • 系统综述中,高级别胶质瘤验证DSC范围0.78-0.90,敏感度84-85%(n=3),特异度98%(n=1);低级别胶质瘤验证DSC范围0.68-0.85,敏感度89%(n=2),特异度98%(n=1)。

临床应用与阅片要点

  • 自动分割可作为胶质瘤量化及放射组学分析的基础,减少人工分割的时间和观察者间变异。
  • 目前自动分割结果仍需由受训观察者监督,不能完全替代人工判读。
  • 术后胶质瘤分割的DSC评分低于术前,因术后改变及空气、血液产物影响算法性能。
  • 临床整合需将算法无缝嵌入日常工作流程而不增加额外时间,且需CE认证软件可用。

局限性

  • 多项研究因数据缺失被排除在定量合成之外。
  • 所有分析的异质性均相当高,可能源于不同ML算法方法的技术差异。
  • 仅4/42项研究进行了样本外外部验证,外部验证不足限制了对稳健性的评估。
  • 存在发表偏倚的迹象(漏斗图不对称)。
  • 所有纳入研究均使用回顾性收集的数据,多数使用BRATS数据库数据。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 May 21;31(12):9638–53. doi: 10.1007/s00330-021-08035-0

引言

胶质瘤是最常见的脑原发性肿瘤[1]。在临床磁共振成像(MRI)扫描上对胶质瘤进行准确分割,在诊断的量化与客观化、治疗决策及预后评估中具有重要作用[2–4]。在当前临床实践中,需要T1加权、增强后T1加权、T2加权和T2-液体衰减反转恢复(FLAIR)序列来表征不同成分并评估周围脑实质的浸润情况[5, 6]。胶质瘤分割需要放射科医师将肿瘤组织与周围健康组织区分开来[7],分割出的感兴趣区域或感兴趣体积可用于计算基于特征的影像组学和可量化测量指标[8, 9]。然而,分割是一项耗时的任务,且观察者间变异性较高[10, 11]。因此,人们一直在寻找自动分割方法,因为这些方法有助于实现一致性测量,同时可减少放射科医师在日常工作中花费在该任务上的时间。这些发展得益于每年举办的多模态脑肿瘤分割(BraTS)挑战赛(http://braintumorsegmentation.org/)的组织。在BraTS挑战赛中,组织委员会发布了相对较大数量胶质瘤患者的多模态扫描体积数据,随后不同研究团队致力于构建机器学习算法(MLAs)来自动分割胶质瘤。BraTS数据附有相应的分割结果作为参考标准[11]。近年来,使用MLAs进行自动分割的发展有助于实现更高的精度[12]。在BraTS挑战赛中,取得最准确结果的MLAs包括不同的2D和3D卷积神经网络(CNNs)[13–17],包括3D U-Nets[18, 19]。

尽管涵盖该主题的科学文献数量庞大,但仍缺乏对MLAs在胶质瘤分割中准确性的全面概述和荟萃分析[20, 21]。因此,促进MLAs用于胶质瘤分割进一步发展的因素仍部分不明。因此,本研究的目的是对基于MLA的胶质瘤分割工具在多模态MRI体积上的准确性进行系统综述和荟萃分析。通过提供这一概述,突出了该研究领域的优势与局限性,并为未来研究提出了建议。

方法

本系统综述和荟萃分析按照系统综述和荟萃分析优先报告条目(PRISMA)声明[22]进行。在研究启动之前,研究方案已在国际开放获取的系统综述前瞻性注册库(PROSPERO)中注册,编号为CRD42020191033。

本综述审查了开发或验证用于胶质瘤分割的机器学习算法(MLA)的论文。文献检索于2020年4月1日至2020年6月19日期间在MEDLINE(通过PubMed访问)、Embase和The Cochrane Library中进行。未施加语言限制。完整检索字符串(包括关键词和限制条件)见附录。纳入描述基于MLA的分割方法在胶质瘤患者MR图像上应用的研究。其他预设纳入标准如下:(1)平均结果定义为Dice相似系数(DSC)评分;(2)研究结果需要经过内部和/或外部验证。纳入信件、预印本、科学报告和叙述性综述。排除基于动物或非人类样本的研究或呈现非原创数据的研究。

两名研究者独立根据标题、摘要和全文筛选论文。两名研究者之间进行讨论以解决所有关于未达成共识论文的分歧。研究者在 predefined 数据提取表的基础上独立提取纳入论文的有价值数据,随后对数据进行交叉核对。从纳入研究中提取的数据包括以下内容:(a)第一作者和发表年份;(b)训练集大小;(c)训练集中参与者的平均年龄;(d)训练集中参与者的性别;(e)内部测试集大小;(f)是否存在外部验证;(g)研究设计,包括所使用的MRI序列和构成参考标准的分割;(h)AI算法的架构;(i)目标疾病;(j)算法在训练集以及内部和/或外部测试集上的DSC评分、敏感性和特异性方面的性能。当研究对所述AI系统进行外部验证时,将外部验证数据纳入数据提取表。当研究仅对所报告的MLA进行内部验证时,使用内部验证的数据。

纳入研究的质量未进行正式评估,因为正式的质量评估是该研究领域中众所周知的挑战[23–25]。尽管如此,Collins和Moons(2019)宣布了他们开发针对机器学习方法定制的个体预后或诊断多变量预测模型透明报告(TRIPOD)声明版本的倡议[26]。Pinto dos Santos在欧洲放射学会网站上提出了在审阅有关机器学习的文献时应考虑的各种条目[27]。这些条目已纳入本综述。

统计学评估

与一位独立统计学家进行了咨询,讨论有关该荟萃分析的统计分析方法与途径。为评估当前机器学习算法(MLA)的整体准确性,进行了随机效应模型荟萃分析。要纳入荟萃分析,研究需要报告感兴趣的结果(即DSC评分),并结合标准差(SD)、标准误(SE)和/或95%置信区间(95% CI)。对于报告SE和/或95% CI的研究,对SD进行了统计学评估[28]。对所有提供合适结局的研究的汇总数据进行了荟萃分析。随后,针对两个独立的目标病症进行了亚组分析,分别针对描述高级别胶质瘤(HGG)或低级别胶质瘤(LGG)分割的研究。

统计分析使用IBM SPSS Statistics进行(IBM Corp. 2017年发布。IBM SPSS Statistics for Windows,版本25.0。IBM Corp.)。当数据呈正态分布时,统计评估的变量和结局以均值±SD表示。当数据不呈正态分布时,以中位数及范围(最小值-最大值)表示。统计检验为双侧检验,当p < 0.05时认为具有显著性。

DSC评分代表一种重叠指数,是验证分割图像时最常用的指标。除了自动分割与真实分割之间的直接比较外,DSC评分也是一种常用的可重复性度量[29, 30]。DSC评分范围为0.0(无重叠)至1.0(完全重叠)。在本荟萃分析中,DSC评分≥ 0.8被认为重叠良好。DSC评分≤ 0.5被认为较差。

定量荟萃分析部分使用OpenMeta[Analyst]软件进行,该软件是R包(www.r-project.org;Metafor)的可视化前端[31]。创建森林图以描绘纳入研究的估计DSC评分以及总体DSC评分表现。当不同亚组分析的95% CI重叠时,未进行进一步的统计分析。

纳入研究的异质性采用Higgins I2检验进行检验。Higgins I2检验量化纳入研究之间的不一致性,其中值> 75%表明组间存在相当大的异质性。低异质性对应于Higgins I2在0至40%之间[28]。由于观察到纳入研究之间存在高异质性(Higgins I2 > 75%),汇总组的荟萃分析和亚组的荟萃分析均采用随机效应模型进行[32]。

为展示可能的发表偏倚,通过Stata创建了漏斗图(StataCorp. 2019。Stata Statistical Software:Release 16.:StataCorp LLC.)。

结果

最初,通过数据库检索共获得1094篇文献。通过交叉引用又额外识别出10篇文献。去除重复后,对剩余的734篇文献进行了筛选。基于标题和摘要,排除了509篇论文。共对225篇全文文章进行了 eligibility 评估,最终42项研究纳入系统综述。其中10项研究符合纳入荟萃分析的条件,因为它们提供了足够的定量数据(例如,仅这些研究提供了MLA性能的DSC评分及标准差)(图1)。描述使用(自动)分割将MLA应用于胶质瘤分子特征分类的文献(n = 135)被排除。14篇论文因描述使用MLA对胶质瘤进行纹理分析而被排除。11篇论文未报告DSC评分,另有11项研究在数据报告方面存在不明确之处。联系这些论文的作者未能获得所需数据。5项研究未报告内部或外部验证步骤的结果,另有3项研究未报告训练组的数据。3项研究描述了单独的联合特征,而非连贯的MLA方法学。1项研究因纳入除胶质瘤外的其他脑肿瘤(如转移瘤)而被排除(图1)。

图1 系统文献检索的PRISMA流程图 查看原图 ↗

纳入研究的综述

基于全文分析,42项分割研究[13, 17, 33–72]被纳入系统综述,其参与者人口统计学和研究特征见表1。所使用的MLA见表1,包括不同类型的CNN[13, 17, 34, 35, 37–43, 45–47, 49–53, 55–57, 60, 61, 63–65, 67]和随机森林模型[68–70]、多分类器系统[33, 44]以及自适应超像素生成算法[60]。此外,1项研究使用了半自动约束马尔可夫随机场像素标记[64],1项研究使用了端到端对抗神经网络[71],1项研究使用了基于3D超体素的学习方法[56]。

38项研究结合了不同组合的MRI序列用于脑肿瘤分割(表1)[13, 17, 33–42, 44, 45, 47–57, 59–72]。仅3项研究使用单一MRI序列供算法进行分割[43, 46, 58]。1篇会议论文未报告所使用的MRI序列[56]。4项研究报告未使用(任何部分的)BraTS数据集[36, 46, 50, 51]。其中2篇论文使用了原始数据[46, 51]。另外2篇论文使用了癌症影像档案(TCIA)的数据[50]或TCIA数据与原始数据的组合[36]。

在36项研究中,真实标注(即分割结果)来源于BraTS数据集[13, 17, 33–36, 38–45, 47–49, 52–55, 57–72]。其中两项研究的研究者额外添加了其他原始数据的分割结果。分割结果由两名经验丰富的专业人员按照BraTS分割方案独立手动标注[54, 64]。在一篇论文中,仅使用了带有相应分割结果的原始数据。这些分割结果由两名经验丰富的专业人员按照BraTS分割方案独立完成[51]。三篇论文使用的分割结果未遵循BraTS分割方案[36, 46, 50]。在一篇会议论文中,未描述分割方法[56]。请注意,BraTS 2015的真实分割结果首先由算法生成,然后由标注者验证,而BraTS 2013的真实标注则融合了多个手动标注。

机器学习算法(MLA)在灵敏度、特异度和DSC评分方面的性能见表1。所有研究均使用回顾性收集的数据。九项研究专门关注高级别胶质瘤(HGG)的分割,而七项研究关注低级别胶质瘤(LGG)的分割。其余研究(n = 31)描述了胶质瘤的总体分割,未区分LGG和HGG。纳入研究中有五项[33, 35, 38, 62, 65]描述了多个目标情况的分割(即同时分割HGG和LGG)。对于这些研究,各不同目标的结果也展示在表1中。所有纳入研究均对MLA进行了某种形式的交叉验证;然而,仅四项研究[35, 36, 51, 64]进行了性能的外部验证。

九项研究[33, 35, 36, 38, 51, 62, 64, 65, 72]特别描述了HGG的分割,其中四项研究[35, 36, 51, 64]对所报道MLA的性能进行了外部验证。纳入研究的性能评估在验证DSC评分方面范围为0.78至0.90。MLA灵敏度范围为84%至85%(n = 3)[33, 51, 64]。仅一项研究[33]报告了特异度(即98%)。

七项研究[33, 35, 38, 46, 50, 62, 65]描述了LGG的分割。一项研究[35]对MLA进行了外部验证。纳入研究的验证DSC评分范围为0.68至0.85。灵敏度为89%(n = 2)[33, 46],而特异度为98%(n = 1)[33]。

表1 纳入研究的参与者人口学特征、研究特征和结局,以及纳入研究中MLA的性能评估 查看原表 ↗

纳入研究的荟萃分析

汇总荟萃分析纳入十二个MLA,描述于十项独立研究[33, 36, 44, 47, 51, 54, 58, 62, 66, 72]中,显示总体DSC评分为0.84(95% CI:0.82 – 0.86)(图2)。异质性为80.4%,表明研究间差异显著(p < 0.001)。

针对聚焦高级别胶质瘤(HGGs)的勾画研究亚组分析,结果见图3。总体而言,纳入的五项研究[33, 36, 51, 62, 72]的DSC评分为0.83(95% CI:0.80 – 0.87)。组间估计的I2异质性为81.9%(p = 0.001)。另一项亚组荟萃分析纳入了两项聚焦低级别胶质瘤(LGGs)勾画的研究[33, 62]。总体而言,DSC评分为0.82(95% CI:0.78–0.87)(图4)。纳入组别的估计异质性为83.62%(p = 0.013)。因此,两项亚组荟萃分析均判定异质性为高。

图2 评估胶质瘤勾画准确性的纳入研究的森林图。图例:DSC,Dice相似系数;CI,置信区间。森林图显示,机器学习算法(MLAs)勾画胶质瘤的性能集中于DSC 0.837,95% CI范围为0.820至0.855 查看原图 ↗
图3 评估高级别胶质瘤勾画准确性的纳入研究的森林图。图例:DSC,Dice相似系数;CI,置信区间。森林图显示,机器学习算法(MLAs)勾画HGGs的性能集中于DSC 0.834,95% CI范围为0.802至0.867 查看原图 ↗
图4 评估低级别胶质瘤勾画准确性的纳入研究的森林图。图例:DSC,Dice相似系数;CI,置信区间。森林图显示,机器学习算法(MLAs)勾画LGGs的性能集中于DSC 0.823,95% CI范围为0.776至0.870 查看原图 ↗

发表偏倚

漏斗图中纳入的研究为经荟萃分析的十项研究(图5)。漏斗图显示不对称形态,提示纳入研究间存在发表偏倚。此外,并非所有研究均绘制在伪95% CI曲线下区域内,支持可能存在发表偏倚的提示[28]。

图5 纳入研究的漏斗图。图例:DSC,Dice相似系数;CI,置信区间。DSC评分作为效应量显示于横轴;SE绘制于漏斗图的纵轴 查看原图 ↗

讨论

综述了用于胶质瘤自动勾画的各种机器学习算法(MLAs)。尽管存在异质性,MLAs显示出良好的DSC评分,且LGG与HGG勾画之间无差异。然而,该研究领域内存在一些发表偏倚的迹象。

目前,肿瘤病灶的分割是一项主观且耗时的任务[58]。通过用自动化计算机辅助方法替代当前的人工方法,可以实现胶质瘤量化的改进,并进而改善放射组学。然而,由于患者之间肿瘤形态特征差异很大[11],胶质瘤的自动分割是一项具有挑战性的任务。由于HGG通常表现出更异质的MRI特征,其自动分割相比LGG可能更具挑战性。此外,LGG的低增殖状态可能导致受累组织的灌注较低、扩散值较高[73, 74]。在HGG和LGG的分割之间未观察到性能差异。鉴于HGG和LGG之间的差异,预期在自动分割任务中会出现显著差异。然而,ground truth分割是基于(神经)放射科医师的手工勾画,这表明自动分割的性能只能与ground truth分割相当。此外,BraTS 2015的ground truth首先由算法生成,然后由标注者验证,而BraTS 2013的ground truth则融合了多个手动标注。

尽管执行自动分割的MLA显示出相当有前景的结果(总体DSC评分为0.84;95% CI:0.82–0.86),这些方法在日常临床实践中仍未被广泛接受和实施。对此的一种解释可以在不同的MLA方法学中找到;不同的MLA方法及其具体细节对结果有显著影响,即使应用于同一数据集也是如此。例如,在BraTS 2019挑战赛中,分割任务排名前三的包括一个两阶段级联U-Net [75]、一个深度卷积神经网络[76],以及一个3D到2D CNN的集成[77]。

另一个原因可能是缺乏关于如何正确使用这些分割系统的标准化流程。提供计算机辅助分割的先进系统与神经放射科医生现行标准之间存在显著差异,这阻碍了机器学习算法(MLA)方法的整合。经CE认证的软件在临床实践中可及性有限,这是阻碍因素之一。此外,使用MLA的目的各不相同;放射科医生主要将这些技术用于随访,而神经外科医生大多将MLA用于治疗规划。此外,要使自动胶质瘤分割切实可行,需要将其直接整合到神经放射科医生的日常实践中,而不额外花费时间在该任务上。而且,当前的自动分割仍需由受过训练的人员监督。MLA在神经放射学中的实施更可能导致医生与计算机之间的交互,从而使神经放射科医生在建立诊断时利用更先进的技术[78]。MLA未来在胶质瘤诊断中的实施具有重要的临床意义,因为这些算法可以支持对肿瘤特征的无创分析,而无需组织病理学组织评估。更具体地说,自动分割构成了进一步复杂分析的基础,以阐明神经影像特征与生存率之间有意义且可靠的关联[79, 80]。总之,由于胶质瘤的自动分割被认为是这一过程的第一步,MLA的实施对神经放射学的未来具有巨大潜力。

关于术后环境下胶质瘤的自动分割,发现了多种出版物[81–84]。定量指标被认为对于术后环境下的治疗指导、风险分层和结局预测是必要的。MLA也可能成为术后环境下疾病负担自动定量测量的潜在解决方案。然而,如表2所示,这些研究的DSC评分与术前基于MLA的分割的DSC评分相比更低[81–84]。这些性能差异的一种解释可能是术后脑实质的外科改变以及术后环境中空气和血液产物的存在。据报道,这些因素共同影响了MLA的性能[81]。

应考虑本荟萃分析的若干方法学缺陷。首先,由于数据缺失,多项研究被排除在定量合成之外。此外,所有分析的异质性相当高,可能由不同MLA分割方法的技术差异所致。最后,42项研究中仅有4项进行了样本外外部验证,强调了外部验证对评估稳健性的重要性。很可能存在发表偏倚,因为对性能较差的MLA的发表缺乏兴趣。此外,MR序列输入、参考标准和其他变量的差异可能对结果产生影响,尽管这被认为是一个次要局限性,因为大多数研究中各研究的源数据相似。

未来该主题研究的收益可能包括集成方法,因为这种方法可能显著提升分割的性能。因此,除了将当前研究聚焦于训练个体分割系统外,探索多个系统的融合也可能值得关注(即分割不同的成像特征以获得不同的成像生物标志物)[11]。最后,所有纳入的研究均使用了回顾性收集的数据,其中大多数使用了来自BRATS数据库的数据。为了进一步验证分割系统在临床实践中的性能,更大规模的外部验证研究更为可取。此外,数据可及性以及提供所用机器学习算法(MLA)的在线工具或可下载脚本,可能显著促进该研究领域的未来发展。

表2 术后胶质瘤分割研究概览 查看原表 ↗

结论

在本研究中,对使用MLA进行胶质瘤分割的不同研究进行的系统综述和荟萃分析显示出良好的性能。然而,外部验证往往未开展,这应被视为该研究领域的一个显著局限性。因此,建议进一步验证这些模型的准确性。在报告MLA时遵循质量指南至关重要,其中包括在外部测试集上进行验证。

补充信息

ESM 1(DOCX 19 kb)

引用

  1. van Kempen EJ, Post M, Mannil M, et al. Performance of machine learning algorithms for glioma segmentation of brain MRI: a systematic literature review and meta-analysis. Eur Radiol. 2021. PMID: 34019128. doi:10.1007/s00330-021-08035-0
  2. 全文:PMC8589805(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8589805/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。