脑膜瘤MRI影像组学与机器学习:系统综述、质量评分评估与Meta分析
该研究系统综述了2000年至2020年6月间发表的23项脑膜瘤影像组学与机器学习研究,用影像组学质量评分(RQS)评估方法学质量,平均总分6.96±4.86、百分比19±13%,读者间可重复性中等至良好(ICC=0.75,95%CI=0.54-0.88)。对其中8项预测脑膜瘤分级的机器学习研究进行Meta分析,汇总AUC为0.88(95%CI=0.84-0.93),标准误0.02,异质性82.5%(P<0.001)。作者结论认为结果有前景,但需在应用于临床实践前开展充分标准化和更高质量的研究。
要点
- 脑膜瘤术前MRI影像组学机器学习预测分级的汇总AUC为0.88(95%CI=0.84-0.93),异质性82.5%(P<0.001)。
- 纳入研究的影像组学质量评分平均仅6.96±4.86(19±13%),方法学质量普遍偏低。
- 所有研究在特征对扫描仪或时间变异性的稳健性、前瞻性验证及成本效益分析等项目上均得0分。
核心结论
- 机器学习与影像组学已用于脑膜瘤影像的多种应用,在术前病变分级方面结果有前景。
- 但未来需开展充分标准化和更高方法学质量的研究,之后才能引入临床实践。
- 作者结论认为设计良好的前瞻性试验是必要的,且方法和结果报告需标准化后才能用于日常临床实践。
研究设计与样本
- 系统综述与Meta分析,遵循PRISMA-DTA声明,检索PubMed、Scopus和Web of Science从2000年1月1日至2020年6月30日的英文文献。
- 初始检索获256篇,去重96篇,余163篇中排除140篇,最终23篇纳入系统综述,其中8篇适合Meta分析。
- 由3名有影像组学经验的读者独立用影像组学质量评分(RQS,16项,总分范围-8至36)评估方法学质量。
- 用QUADAS-2工具由2名读者共识评估Meta分析纳入研究的偏倚风险,参考标准为组织病理学分级。
- Meta分析用随机效应模型汇总AUC,以I²评估异质性,用Egger有效样本量漏斗图检验发表偏倚,双侧P≤0.05为统计学显著。
关键影像表现/征象
- 影像组学质量评分总分6.96±4.86,百分比19±13%,读者间可重复性中等至良好(ICC=0.75,95%CI=0.54-0.88)。
- QUADAS-2评估中高、不明确、低偏倚风险的研究数分别为0、7、2项;患者选择领域4项研究因未清楚报告选择步骤评为不明确风险。
- 索引测试领域1项研究因同时从DWI和ADC图提取影像组学特征评为不明确风险;流程与时机领域6项研究未报告MRI与神经外科手术之间的时间间隔而评为不明确风险。
- 所有纳入Meta分析的研究在患者选择、索引测试和参考标准三个领域的适用性关注均为低。
诊断标准与关键数值
- Meta分析汇总AUC=0.88(95%CI=0.84-0.93),标准误0.02,研究异质性82.5%(P<0.001)。
- 单中心研究(n=4)汇总AUC=0.88(95%CI=0.84-0.92),标准误0.02,异质性42.17%(P<0.001);多中心研究(n=4)汇总AUC=0.88(95%CI=0.81-0.95),标准误0.03,异质性88.60%(P<0.001)。
- 仅用增强T1加权序列的研究(n=5)汇总AUC=0.87(95%CI=0.82-0.92),标准误0.02,异质性56.34%(P=0.05);联合T1加权、T2加权及增强T1的研究(n=3)汇总AUC=0.91(95%CI=0.85-0.97),标准误0.03,异质性85.94%(P<0.001)。
- 仅用k折交叉验证的研究(n=4)汇总AUC=0.92(95%CI=0.88-0.97),标准误0.02,异质性76.52%(P=0.005);使用测试集的研究(n=4,其中2项联合k折交叉验证)汇总AUC=0.84(95%CI=0.78-0.90),标准误0.03,异质性62.09%(P<0.005)。
- 基于预处理图像类型的亚组分析中,6项研究汇总AUC=0.89(95%CI=0.85-0.94),标准误0.02,异质性83.01%(P<0.001);其余研究报告的AUC分别为0.93和0.78。
临床应用与阅片要点
- 作者认为术前MRI无创预测脑膜瘤分级未来可能影响小脑膜瘤的治疗策略,甚至无需组织学确认。
- 作者指出影像组学目前因RQS发现的问题尚未准备好用于临床实施。
- 作者认为联合增强T1与其他序列的发现支持未来研究使用多序列成像而非仅依赖增强T1序列。
- 作者认为在流程中加入图像预处理步骤似乎有用(纳入6项研究汇总AUC=0.89)。
局限性
- RQS是较新的纯方法学评分系统,未考虑研究目的的差异。
- Meta分析中符合选择标准的论文数量相对较少。
- QUADAS-2分析存在一些不明确元素,但未发现高风险偏倚来源。
- 研究异质性高,但与其他机器学习Meta分析和诊断性Meta分析的一般情况一致。
- 并非所有文章都明确说明是否使用了2016年WHO中枢神经系统肿瘤分类。
全文中译9 节 · 点击展开
引言
脑膜瘤是成人最常见的原发性颅内肿瘤,在中老年女性中更为常见[1]。年龄调整后的年平均发病率为每10万人7.86例,过去30年间由于诊断影像学的进步,该发病率有所上升[2]。磁共振成像(MRI)是其放射学诊断和随访的首选方法,而当患者无法接受MRI检查时则使用计算机断层扫描(CT)。2016年世界卫生组织(WHO)中枢神经系统肿瘤分类将脑膜瘤分为三组:I级(生长缓慢的肿瘤)、II级(非典型脑膜瘤)和III级(间变性或恶性脑膜瘤)[3]。其中,II级和III级脑膜瘤与高复发率和过早死亡相关[4]。尽管常规影像学通常能够可靠地评估脑膜瘤,但仍存在一些局限性,尤其是在通过术前扫描确定病理分级方面[5]。
影像组学这一术语包括不同的定量放射学图像分析技术,从一阶统计量到纹理分析[6]。这些技术产生大量数据,用经典统计方法处理可能具有挑战性,但可能有助于发现新的影像生物标志物。机器学习(ML)是人工智能的一个子领域,在医学尤其是放射学中的众多应用方面引起了越来越多的关注[7–10]。特别是监督学习,基于专家对数据的标注,主要用于分类和回归任务。ML对临床实践的承诺包括病变的自动检测和表征,以及预测治疗反应和复发风险的可能性[11–13]。在神经放射学方面,它已在不同应用中显示出良好结果,尤其是在神经肿瘤学领域[14–16]。近年来,基于这些技术发表的研究数量使得数据汇总成为可能,有望通过系统评价和/或荟萃分析达到更高水平的证据。
本系统评价的目的是分析已发表的关于颅内脑膜瘤影像组学分析的前瞻性和回顾性研究的方法学质量。此外,对采用ML算法进行MRI术前评估脑膜瘤分级的那些研究进行了荟萃分析。
材料与方法
文献检索
本系统评价采用PRISMA-DTA(系统评价和荟萃分析优先报告条目——诊断试验准确性)声明[17]。在多个电子数据库(PubMed、Scopus和Web of Science)中检索了2000年1月1日至2020年6月30日期间发表的、使用影像组学和/或ML对脑膜瘤患者进行MRI检查的英文原始出版物。检索词包括machine learning OR artificial intelligence OR radiomics OR texture AND meningioma;详细检索式见补充材料。
两位研究者通过标题和摘要评估确定了文章的纳入资格。病例报告、非原创性研究(如社论、来信、综述)以及未聚焦于目标主题的研究被排除。对使用放射组学方法分析颅内脑膜瘤CT或MRI图像的文章获取全文以供进一步评估。还对纳入研究的参考文献列表进行筛选以寻找可能符合纳入条件的文章,并选择那些通过机器学习评估脑膜瘤分级的文章进行荟萃分析。
数据收集与研究评估
采用放射组学质量评分(RQS)评估系统综述中所纳入研究的方法学质量,而采用诊断准确性研究质量评估(QUADAS-2)评估荟萃分析中所纳入研究的偏倚风险[18, 19]。对于纳入荟萃分析的研究,预测准确性通过受试者工作特征(ROC)分析的AUC进行量化[20]。还记录了用于测试模型的低级别(I级)和高级别(II–III级)病变的数量、数据集来源、用于提取特征的MRI序列、机器学习算法以及验证类型。
RQS是一种为评估使用放射组学的研究的方法学质量而开发的工具。它评估图像采集、放射组学特征提取、数据建模、模型验证和数据共享。其包含的16个条目中的每一项均被评分,总分范围为−8至36,转换为百分比评分,其中−8至0定义为0%,36定义为100%[18](表1)。三位具有放射组学经验的研究者独立为系统综述中纳入的每篇文章分配RQS评分。
QUADAS-2评估不同领域(“患者选择”、“指标试验”、“参考标准”和“流程与时间”)的偏倚风险,并可根据具体研究问题进行个性化调整[21]。对于荟萃分析中选入的每项研究,由两位研究者协商一致进行评估。
统计分析
连续变量以均值±标准差表示。参照既往在RQS和其他评分系统方面的经验[22, 23],通过计算每项研究获得的总RQS评分的组内相关系数(ICC)来评估读者间可重复性。根据最新指南,采用双向、随机效应、单评分者、绝对一致性ICC模型[24]。对于其余描述性统计,报告由最资深读者分配的RQS评分。
关于荟萃分析,AUC标准误根据脑膜瘤阳性和阴性患者的总数计算。I2值用于评估统计异质性,提供纳入研究间变异百分比的估计。I2值为0–25%、25–50%、50–75%和>75%分别代表极低、低、中等和高异质性。I2统计量描述研究间变异由异质性而非偶然性所致的百分比[25]。I2计算如下:I2 = 100% × (Q − df)/Q。每项研究的权重采用逆方差法计算[26]。所有纳入研究的结果进行合并,采用随机效应模型评估效应量的总体估计。该方法有助于减少研究间的异质性。发表偏倚采用Egger等[27]描述的有效样本量漏斗图进行检验。双侧p值≤ 0.05被认为具有统计学意义。
上述统计分析使用R(v3.6.2,“irr”和“auctestr”包)和MedCalc统计软件(版本16.4.3,比利时奥斯坦德;https://www.medcalc.org)[28]完成。
结果
文献检索
初步检索共获得256篇文章,其中96篇为重复文献。在剩余的163篇中,140篇根据选择标准被排除。最终,23篇文章纳入系统评价,其中8篇符合荟萃分析条件。所述流程图见图1,表2包含研究目的、机器学习方法和性能的详细信息。
研究评价
RQS总分和百分比得分分别为6.96 ± 4.86和19 ± 13%(图2、3)。由最具经验的读者对RQS条目评分的详细报告见表3。读者间可重复性为中等至良好,ICC = 0.75(95%置信区间,95% CI = 0.54–0.88)。其他读者给出的RQS评分见补充材料。
关于通过QUADAS-2评估偏倚风险,在四个领域(患者选择、指标试验、参考标准和流程与时机)中,高、不清楚和低偏倚风险的研究数量分别为0、7和2(图4)。具体而言,4项研究在患者选择领域评分为偏倚风险不清楚,因为作者未明确报告患者选择过程的步骤[31, 37, 40, 47]。1项研究在指标试验领域评分为偏倚风险不清楚,因为影像组学特征提取同时从扩散加权成像(DWI)和表观扩散系数(ADC)图上进行[37]。最后,6项研究未报告MRI与神经外科手术之间的时间间隔,因此在流程与时机领域评分为偏倚风险不清楚[31–45, 49]。荟萃分析中纳入的所有研究在三个领域(患者选择、指标试验和参考标准)的适用性关注度均为低。
荟萃分析
纳入荟萃分析的文章报告于表4。用于脑膜瘤表征的机器学习(ML)模型显示总体合并曲线下面积(AUC)= 0.88(95% CI = 0.84–0.93),标准误为0.02(图5和图6)。研究异质性为82.5%(p < 0.001)。
进行亚组分析以比较使用单中心患者(n = 4)和多中心患者(n = 4)评估ML用于脑膜瘤表征性能的研究。单中心组的合并AUC为0.88(95% CI = 0.84–0.92),标准误0.02,异质性42.17%(p < 0.001);多中心组的合并AUC为0.88(95% CI = 0.81–0.95),标准误0.03,异质性88.60%(p < 0.001)。
在纳入的研究中,5项仅使用增强后T1加权成像。其合并AUC为0.87(95% CI = 0.82–0.92),标准误0.02,异质性56.34%(p = 0.05)。另一方面,3项研究除增强T1加权成像外还使用了常规MR序列,包括T1加权和T2加权成像。其合并AUC为0.91(95% CI = 0.85–0.97),标准误0.03,异质性85.94%(p < 0.001)。
基于预处理图像类型的亚组分析中,纳入分析的6项研究的合并AUC为0.89(95% CI = 0.85–0.94),标准误0.02,异质性83.01%(p < 0.001)。其余研究报告的AUC值分别为0.93和0.78。
4项研究仅采用k折交叉验证进行模型训练和测试。其合并AUC为0.92(95% CI = 0.88–0.97),标准误0.02,异质性76.52%(p = 0.005)。其余研究(n = 4)使用了测试集,其中2项与k折交叉验证联合使用。其合并AUC为0.84(95% CI = 0.78–0.90),标准误0.03,异质性62.09%(p < 0.005)。亚组分析的相应图件见补充材料。
讨论
放射组学在神经放射学中有许多潜在应用,有助于从常规医学图像中获取额外的定量信息。尽管目前正在努力标准化放射组学特征提取,但其在研究领域之外的使用尚不合理[50]。RQS是最近引入的一种评分,旨在评估基于放射组学的研究的方法学质量。它有助于在该领域大量出版物中识别高质量结果,以及识别限制其价值和适用性的问题。本系统综述纳入文章的平均RQS较低(6.96,19%),反映出总体方法学质量不足。这一发现与此前在其他放射学领域使用RQS工具进行质量评估的系统综述一致。具体而言,Ursprung等人在一项关于肾细胞癌放射组学CT和MRI研究的综述中报告总RQS评分为3.41 ± 4.43(平均9.4%),Stanzione等人报告前列腺MRI为7.93 ± 5.13(23 ± 13%),Granzier等人报告乳腺MRI为20.9%[22, 51, 52]。因此,影响放射组学研究并限制RQS评分的问题似乎是普遍性的,并不局限于特定应用。当前情况至少可部分解释为放射组学使用兴趣和投稿论文数量的指数增长,这一动态在更广泛的机器学习(ML)领域也已出现[7]。另一方面,RQS评分系统相对较新,使用次数有限[18, 22, 51–53]。因此,在初步反馈后的进一步修订和改进可能会对每个条目产生不同的权重和/或对条目本身进行修改。在我们的综述中,我们希望强调所有研究在第3、4、10、11和15条目上均获得0分。具体而言,特征对扫描仪或时间变异性的稳健性从未被测试,这也是由于所有研究均为回顾性性质。同样,也缺乏在适当试验中对放射组学特征进行前瞻性验证以及成本效果分析。
关于纳入荟萃分析的研究,QUADAS-2评估显示总体偏倚风险较低,但也突出了一些关键问题。特别是,在一篇论文中,DWI与ADC图一起用于特征提取[37]。由于ADC图是从DWI衍生而来的,仅使用两者之一进行特征提取会更为合适,而且由于ADC图的定量性质,可能更倾向于使用ADC图。此外,只有两项研究报告了MRI检查与手术之间经过的时间,这是一个可能的偏倚来源,应始终予以说明[11, 48]。所选文章中没有一篇在参考标准方面被评为高偏倚风险,因为始终采用了组织病理学分级。总体而言,采用机器学习方法分析的影像组学特征在脑膜瘤分级方面显示出良好前景,AUC为0.88。所有纳入的研究均使用手工影像组学特征,但Zhu等人采用了深度学习[48]。这是可以理解的,因为深度学习需要大量数据才能优于其他机器学习算法,而在此类场景中通常无法获得如此大量的数据。几乎所有研究(n = 7)都对病灶进行了3D分割,尽管目前尚不清楚这种方法是否明显优于2D分割[48]。只有Morin等人使用影像组学特征结合人口统计学数据训练了模型[40]。尽管如此,其AUC值属于最低之列(0.78),提示这些数据在脑膜瘤分级的术前判定中可能并非 essential。同样值得注意的是,大多数(n = 5)研究使用了线性机器学习模型[11, 31, 37, 48, 49],而只有一项研究纳入了数据增强技术[33]。
在亚组分析中,将T1增强序列与其他序列配对使用的研究(n = 3)AUC更高(0.91 vs 0.87)[11, 31, 40]。这一发现支持在未来的研究中采用多种成像序列,而非仅依赖T1增强序列。同样,在流程中纳入图像预处理的研究(n = 6)获得了良好的准确度(AUC = 0.89),也提示了该步骤的有用性[11, 33, 37, 45, 48, 49]。虽然单中心研究(n = 4)和多中心研究的AUC同样高(AUC = 0.88),但机器学习模型的外部测试始终是证明其泛化能力的更优选择。同样,虽然k折交叉验证有助于从小数据集中提取更多信息和获得更可靠的结果,但仅使用交叉验证可能会带来一些问题,因为不存在可在未见数据上测试性能的最终模型。总共有4项研究仅采用了交叉验证,结果优于其余研究(AUC = 0.92 vs 0.84)[11, 40, 48, 49]。理想情况下,更可取的做法是使用交叉验证进行模型调优和初步测试,然后在新数据上进一步评估,如2项研究所做的那样(AUC = 0.82和0.83)。这种方法结合了两种测试策略的优势[48, 49]。
如先前所报道,影像组学和机器学习研究中准确度指标的呈现往往不一致且不完整[21]。由于这一情况,我们的荟萃分析只能采用AUC值,因为这是最常报告的指标。然而,如果可行的话,敏感度和特异度分析本可提供额外的见解。
事实上,ROC AUC在所有阈值上取平均时,将敏感性和特异性视为同等重要。例如,敏感性差可能意味着漏诊和治疗延迟甚至死亡,而特异性差则意味着不必要的检查。ROC AUC忽略了“误分类成本”中的临床差异,因此,当患者和医生认为并非如此时,可能会认为一项新检查毫无价值。ROC AUC仅在曲线斜率等于1时才将敏感性和特异性的变化赋予相同权重。其他点赋予不同权重,由曲线形状决定,且不考虑临床有意义的信息,例如,敏感性提高5%在高特异性时对AUC的贡献小于低特异性时。因此,AUC可能认为在低特异性时提高敏感性的检查优于在高特异性时提高敏感性的检查[54]。
未来的研究应更加注意避免这一问题,理想情况下,如有可能应始终报告混淆矩阵。
基于术前MR图像区分低级别与高级别脑膜瘤的能力可影响个体化治疗决策。特别是,对于位于某些因死亡和并发症风险高而难以获取活检的部位的脑膜瘤患者(例如岩斜区脑膜瘤),对于高级别类型可能建议采用量身定制的放射治疗[55]。此外,对于无症状的小脑膜瘤患者,良性病变可避免放疗,而高级别脑膜瘤可在切除前接受放射治疗[56]。因此,脑膜瘤分级的无创MRI预测未来可能有助于制定小脑膜瘤治疗策略,且无需组织学确认。然而,由于RQS中发现的问题,放射组学目前尚未准备好用于临床实施。
我们的研究有一些局限性应予承认。RQS相对较新,是纯方法学评分系统,不考虑研究目的的差异。关于荟萃分析,符合选择标准的论文数量相对较少。虽然QUADAS-2分析呈现了一些不明确的要素,但未发现高风险的偏倚来源。研究异质性较高,但这与其他机器学习荟萃分析和一般诊断荟萃分析一致[21, 57, 58]。最后,并非所有文章都明确说明是否使用了WHO 2016年中枢神经系统肿瘤分类。然而,除引入脑侵犯作为II级病变诊断标准外[3],脑膜瘤分级与前一版本相比没有实质性变化。
总之,放射组学研究在改善颅内脑膜瘤管理方面显示出有前景的结果,但需要更严格的方法学。在我们的荟萃分析中,基于术前脑MRI预测脑膜瘤分级也显示出良好结果。需要设计良好的前瞻性试验来证明其有效性,并且在其用于日常临床实践之前,方法和结果的报告必须标准化。
补充信息
(PNG 550 kb)
高分辨率图像(TIFF 15883 kb)
(PNG 560 kb)
高分辨率图像(TIFF 16160 kb)
(PNG 300 kb)
高分辨率图像(TIFF 8787 kb)
(PNG 545 kb)
高分辨率图像(TIFF 15984 kb)
(DOCX 22 kb)
引用
- Ugga L, Perillo T, Cuocolo R, et al. Meningioma MRI radiomics and machine learning: systematic review, quality score assessment, and meta-analysis. Neuroradiology. 2021. PMID: 33649882. doi:10.1007/s00234-021-02668-0
- 全文:PMC8295153(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8295153/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。