文献速递乳腺技术与安全MR

基于机器学习的MRI预测乳腺癌腋窝淋巴结转移诊断性能的Meta分析

A meta-analysis of the diagnostic performance of machine learning-based MRI in the prediction of axillary lymph node metastasis in breast cancer patients.
PubMed 文献 · Insights Imaging · 2021-11-03

该系统评价与Meta分析纳入14项研究共2247例乳腺癌患者,评估机器学习(ML)基于MRI预测腋窝淋巴结转移(ALNM)的诊断性能。验证集中合并敏感度0.79、特异度0.77、AUC 0.80、阴性预测值0.83;MRI序列和算法是影响诊断性能的主要因素,其中T1CE序列和LDA算法的敏感度较高,SVM算法的特异度较高。作者认为ML目前尚不能常规用于临床,尤其当以患者生存作为主要结局指标时。

要点

  • ML基于MRI预测ALNM合并敏感度约0.79,意味着约1/5的阳性患者可能被漏诊。
  • T1CE序列的ML敏感度(0.80)高于T2-FS(0.67)和DWI(0.76)。
  • SVM特异度(0.79)高于LR(0.78)和LDA(0.75),LDA敏感度(0.83)高于LR(0.70)和SVM(0.77)。

核心结论

  • MRI序列和机器学习算法是影响ML预测ALNM诊断性能的主要因素。
  • ML合并敏感度约0.80,意味着每5例阳性SLN患者中约1例转移灶未被检出,可能对生存产生不利影响。
  • ML目前可能尚不能用于临床常规,尤其当以患者生存作为主要结局指标时。

研究设计与样本

  • 系统评价与Meta分析,检索PubMed、Embase、Web of Science和Cochrane Library截至2020年12月27日。
  • 纳入14项原始研究,共2247例乳腺癌患者(954个异常淋巴结和1508个正常淋巴结)。
  • 参考标准为活检和/或组织病理学确认的ALNM。
  • 采用QUADAS-2工具评估纳入研究的偏倚风险与适用性。
  • 使用固定效应模型合并效应量,并进行亚组分析、敏感性分析和发表偏倚评估。

诊断标准与关键数值

  • 验证集中ML预测ALNM的合并敏感度为0.79(95%CI 0.74–0.84),特异度为0.77(95%CI 0.73–0.81)。
  • 验证集中合并AUC为0.80(95%CI 0.76–0.83),阴性预测值为0.83。
  • 验证集中合并PLR为3.47(95%CI 2.91–4.14),NLR为0.27(95%CI 0.22–0.33),DOR为12.92(95%CI 9.34–17.87)。
  • T1CE序列ML敏感度为0.80,高于T2-FS的0.67和DWI的0.76(p<0.05)。
  • SVM特异度为0.79,高于LR的0.78和LDA的0.75;LDA敏感度为0.83,高于LR的0.70和SVM的0.77(p<0.05)。

临床应用与阅片要点

  • T1CE序列在ML预测ALNM中敏感度较高,阅片和建模时可优先考虑。
  • SVM算法特异度较高,LDA算法敏感度较高,可根据临床需求选择算法。
  • ML预测阴性时NPV为0.83,可能有助于避免不必要的侵入性淋巴结切除,但需注意每5例阴性预测中约1例为假阴性。
  • 3D分割的ML敏感度(0.80)和特异度(0.78)略高于2D分割(0.77和0.76),但差异无统计学意义。
  • 3.0T MRI的ML敏感度(0.86)高于1.5T(0.81),但差异无统计学意义(p>0.05)。

局限性

  • 仅纳入14项原始研究,样本量有限。
  • 部分研究无法提取足够数据。
  • 算法分类性能因特征选择和核函数不同而异,本研究选择最高性能可能影响结果。
  • 所有研究数据均来自单一机构,可能不足以证明结果的可重复性。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2021 Nov 3;12:156. doi: 10.1186/s13244-021-01034-1

要点

采用机器学习(ML)的前哨淋巴结活检(SLNB)可能对乳腺癌患者更有帮助,因为ML对腋窝淋巴结转移(ALNM)分类的敏感度约为0.80,可能避免过度治疗。

T1CE结合ML比T2-FS和DWI更敏感(分别为0.80比0.67比0.76)。

支持向量机(SVM)比线性回归(LR)和线性判别分析(LDA)更具特异性(分别为0.79比0.78比0.75),而LDA比LR和SVM更敏感(分别为0.83比0.70比0.77)。

引言

乳腺癌是全球最常见的恶性肿瘤之一,2018年占美国女性所有新发癌症诊断的30% [1]。由于乳腺癌患者的腋窝淋巴结状态对病理分期至关重要,它也被用作预后指标以及用于临床患者管理、治疗指导和生存预测 [2, 3]。尽管腋窝淋巴结清扫术(ALND)是评估腋窝淋巴结转移(ALNM)的金标准,但ALND可能并不带来生存获益 [4]。前哨淋巴结活检(SLNB)被广泛使用,并可减少ALND并发症 [5]。然而,SLNB是有创操作,可能伴随较少的缺点,如淋巴水肿和感觉丧失(风险分别为5%和11%)[6]。SLNB的一种方式是手术切除一个或少数几个腋窝淋巴结,而超过70%的SLNB为阴性,因此对该有创操作的普遍使用提出质疑 [7]。此外,SLNB的另一种方式是注射放射性示踪剂或超声联合细针穿刺,然而,由于缺乏实践经验以及核医学或其他相关设施,这在基层医院难以开展。因此,研究和开发一些无创方法以在术前预测ALNM将非常有益。

超声、乳腺X线摄影、PET/CT和MRI已被用于乳腺癌分期期间诊断ALNM。超声检查的敏感度和特异度分别为33–86.2%和40.5–96.2% [8–13]。乳腺X线摄影程序的敏感度和特异度分别为21%和99.5% [11]。PET/CT的总体敏感度和特异度据报道分别为20–80%和88.6–97% [8–10, 13, 14]。此外,超声检查方便,但也依赖于操作者经验。乳腺X线摄影和PET-CT可能导致不必要地暴露于有害的电离辐射。相反,由于其观察者间变异性低、几乎无辐射以及诊断对比度改善,MRI已成为一种常规的无创诊断工具。

机器学习(ML)是人工智能的一个分支,包含可通过分析大量复杂数据集来增强神经肿瘤学诊断、治疗和随访就诊的算法[15, 16]。近年来,已有一些关于使用机器学习预测乳腺癌患者腋窝淋巴结转移(ALNM)的研究。使用机器学习预测ALNM不依赖于操作者经验水平,且更为客观,具有良好的可重复性。此外,机器学习的诊断性能可能进一步提高。为避免过拟合并充分评估机器学习性能,适当的训练应涉及k折交叉验证或外部测试。然而,迄今为止的结果甚至彼此之间都远不一致。此外,此前尚无荟萃分析评估机器学习用于预测ALNM的情况。为解决这一问题,本荟萃分析汇总了所有已发表的关于基于机器学习的MRI在预测乳腺癌患者ALNM中诊断性能的研究。

材料与方法

文献检索与研究选择

在PubMed、Embase、Web of Science和Cochrane Library中进行了检索,截至2020年12月27日。检索使用了几乎所有可用的医学主题词(MeSH)以及“Machine Learning”“Transfer Learning”“Breast Neoplasms”“Breast Tumor”“Breast Cancer”“Lymphatic Metastasis”和“Lymph Node Metastasis”的自由关键词。还对纳入研究的参考文献列表进行了检索。

两名评价者根据标题和摘要独立选择可能相关的研究,分歧由第三名评价者解决以达成共识。

研究符合以下条件者被纳入:(1)研究对象限于人类受试者且为英文;(2)报告了有关灵敏度和特异度的诊断性能;(3)乳腺癌患者存在经组织病理学证实的ALNM;(4)应用机器学习预测ALNM,对年龄或样本量无既定限制。

研究符合以下条件者被排除:(1)出版物为动物研究、会议摘要或综述文章;(2)研究报告了重叠的患者队列。

数据提取

纳入研究的数据由两名研究者独立收集,分歧在第三名研究者的帮助下解决。每项研究最初通过确定作者姓名和发表年份进行识别。使用电子表格提取总患者人群、异常和正常淋巴结数量以及机器学习检测的灵敏度和特异度。其他信息包括研究设计、算法、数据来源、MRI序列、图像分割、磁场强度和制造商。

质量评估

研究和偏倚可能性根据诊断准确性研究质量评估-2(QUADAS-2)[17]进行,该工具包含两个主要方面,即偏倚风险和适用性关注。该工具由四个领域组成,包括患者选择、索引试验、参考标准和流程与时机。前三个领域还从适用性关注方面使用高、低或不清楚的评级进行评估。对于单项研究,每个领域被评定为高、低或不清楚的偏倚风险。如果某一领域所有信号问题的答案均为“是”,则偏倚风险判定为低。如果任何信号问题的答案为“否或不清楚”,则偏倚风险判定为高或不清楚。两名评价者独立进行质量评估,他们之间的分歧由第三名评价者解决以达成共识。使用Review Manager 5.3(RevMan 5.3)软件(Cochrane Collaboration,牛津,英国)。

统计分析

提取敏感度和特异度的数值,并重新计算其真阳性(TP)、假阳性(FP)、假阴性(FN)和真阴性(TN)值。进行阈值分析,获得Spearman相关系数和p值。根据使用有效性测量(MOEs)建模的b系数的p值,使用对称或非对称汇总受试者工作特征(SROC)曲线评估阈值效应。使用Cochran-Q检验以及敏感度、特异度、阳性似然比(PLR)、阴性似然比(NLR)、阴性预测值(NPV)和诊断比值比(DOR)的不一致性指数(I2)探讨异质性。如果I2 < 50%且p > 0.05,使用固定效应模型;否则,使用随机效应模型合并这五个效应量。I2值的异质性标准分别为0–25%(极低)、25–50%(低)、50–75%(中等)和> 75%(高)。进一步进行亚组分析以探讨异质性来源,亚组分析基于MRI序列、磁场强度、图像分割方法和机器学习算法进行。使用敏感性分析通过验证研究规模是否影响合并结果来评估荟萃分析的稳健性。使用Deeks漏斗图评估发表偏倚。数据分析使用Stata14.0(StataCorp LP,College Station,TX)和MetaDisc1.4(http://www.hrc.es/investigacion/metadisc_en.htm)软件进行。对于每个参数(1.5 T;3.0 T;T2-FS;T1CE;DWI;SVM;LR;LDA;2D和3D),我们构建了合并敏感度、特异度、PLR、NLR和DOR的森林图。其他如场强、序列、算法和分割使用Student t检验、Mann–Whitney U检验或单因素方差分析进行比较。对于因机器学习中多个核函数而在分类器中描述不同结果的研究,选择这些研究中性能最高的一项。

结果

文献检索和数据提取

图1展示了详细的研究选择过程。共有273条可能符合条件的引文。去除39条重复记录后,对234条记录进行了筛选。在根据标题和摘要排除了216条引文后,对18篇全文文章进行了资格评估。经过修订,最终共有14篇原创文章[18–31]纳入本研究,共包括2247例乳腺癌患者(954个异常淋巴结和1508个正常淋巴结)。患者和研究特征见表1,基线特征见表2。

图1 文献综述和研究选择的流程图 查看原图 ↗
表1 研究和患者特征 查看原表 ↗
表2 纳入研究的基线特征 查看原表 ↗

数据质量评估

QUADAS-2评估结果见图2和附加文件1:补充材料。大多数纳入研究被认为具有低至中等偏倚风险,对其适用性的关注较低。特别是,只有一项研究在所有领域均被评为低偏倚风险[19]。在患者选择领域,两项研究由于采用非连续或随机患者入组而被认为具有高偏倚风险[24, 27]。七项研究被认为具有不确定风险,因为它们未解释患者是如何入组的[20–23, 26, 28, 30]。在指标试验领域,七项研究[18, 22, 25, 27, 29–31]被认为具有不明确风险,因为它们缺乏预先指定的阈值。此外,在参考标准领域,所有研究均被归类为低风险,且所有纳入研究均使用活检和/或组织病理学作为参考标准。最后,在流程和时间领域,一项研究[21]被认为具有高风险,因为它未解释其所有患者是否均被纳入研究。

图2 根据诊断准确性研究质量评估2工具评估纳入研究的方法学质量,包括偏倚风险和适用性关注。绿色代表低风险,黄色代表不明确,红色代表高偏倚风险 查看原图 ↗

数据分析

训练、测试和验证研究的数据不同,因为有八项研究仅展示了验证或测试结果[18, 20, 21, 24, 25, 27, 29, 30],而另外六项研究仅展示了训练、测试/验证的结果[19, 22, 23, 26, 28, 31]。在测试集中,合并三项研究的灵敏度和特异度分别为76%和82%。在验证集中,合并十二项研究的灵敏度和特异度分别为79%和77%。验证集中的Spearman相关系数为− 0.083(p = 0.799),表明未发现阈值效应。此外,SROC曲线中未观察到“肩臂”图。由于灵敏度、特异度、PLR、NLR、DOR的I2 = 21.60%、0.00%、0.00%、24.20%、0.00% < 50.00%,p值分别为0.174、0.994、0.969、0.206、0.604,因此选择固定效应模型合并效应量(图3)。合并的灵敏度、特异度、PLR、NLR和DOR分别为0.79(95%CI 0.74–0.84)、0.77(95%CI 0.73–0.81)、3.47(95%CI 2.91–4.14)、0.27(95%CI 0.22–0.33)、12.92(95%CI 9.34–17.87)(图4)。AUC为0.80(95%CI 0.76–0.81)。更有趣的是,对于预测为SLN阴性的患者,其达到了较高的NPV,为0.83。剔除存在潜在偏倚研究的敏感性分析显示结果与主要荟萃分析一致,该分析旨在评估合并结果的稳健性。敏感性分析显示十二篇原始文献具有较好的稳定性和可靠性,质量相对较高(图5)。

由于测试集的研究过少,无法得出任何可靠结论,亚组分析仅在验证集中进行(表3)。T1CE联合ML的灵敏度高于T2-FS和DWI(0.80 vs. 0.67 vs. 0.768)(p < 0.05)。联合T2-FS和DWI或T2-FS和T1CE的研究仅各有一项,但仍因样本量过小无法得出任何可靠结论。此外,MRI磁场强度也影响ML的诊断性能。与1.5 T相比,使用3.0 T的研究具有更好的灵敏度(0.86 vs. 0.81)(p > 0.05)。在算法方面,SVM的特异度高于LR和LDA(0.79 vs. 0.78 vs. 0.75),而LDA的灵敏度高于LR和SVM(0.83 vs. 0.70 vs. 0.77)(p < 0.05)。ML在3D上的表现优于2D,合并灵敏度分别为0.80对0.77,特异度分别为0.78对0.76(p > 0.05)。此外,Deeks漏斗图显示无明显发表偏倚。(p = 0.870,图6)。

图3 验证组中各单项研究合并诊断比值比及95%置信区间(CI)的森林图。水平线代表点估计值的95%CI。每个红色圆圈代表各单项研究的曲线下面积(AUC),方框大小表示研究样本量。红色菱形代表所有十二项研究的合并AUC。 查看原图 ↗
图4 关于机器学习在预测乳腺癌患者腋窝淋巴结转移中诊断性能的汇总受试者工作特征(SROC)曲线。SROC曲线(实线)和汇总点(红色方块)。每个圆圈代表一项研究的灵敏度和特异度估计值,圆圈大小反映样本量。合并曲线下面积为0.80。 查看原图 ↗
图5 敏感性分析。a 拟合优度;b 双变量正态性;c 影响分析;d 离群值检测。所有原始文章在验证集中均具有高稳定性和可靠性,质量相对较高 查看原图 ↗
表3 数据集和亚组的性能评估 查看原表 ↗
图6 用于确定文献评价中发表偏倚的Deeks漏斗图不对称性检验(p = 0.76)表明不存在明显的发表偏倚。每个点代表一项独立研究 查看原图 ↗

讨论

腋窝淋巴结转移(ALNM)可决定乳腺癌患者的预后和治疗。因此,寻找一种准确且可重复的方法来检测ALNM势在必行。为解决这一问题,本荟萃分析旨在评估机器学习(ML)在MRI上对ALNM进行分类的适用性,以及识别影响ML诊断性能的潜在协变量。

弥散加权成像(DWI)是一种常用的序列,在评估乳腺病变方面具有良好的前景,因为其图像可在短时间内无需造影剂即可获得[32]。然而,大多数病变在DWI上显示的图像质量相对较差,模糊和变形增加,这可能使准确分割病变变得困难。相比之下,T2加权成像(T2WI)可以清晰地描绘水肿、出血、黏液和囊液,这对评估乳腺肿块具有重要价值[33]。T2-FS也能清晰显示病变边界。具有多个扫描期的动态对比增强(DCE)-MRI对组织血管灌注和通透性的变化敏感[34]。然而,与T2-FS相比,DCE-MRI具有更好的敏感性。Demircioglu等[21]报道,将T2-FS与T1CE联合进行ALNM分类的效果为中等,AUC为0.710,但本荟萃分析发现联合序列的数量不足以从中得出任何可靠的结论。Ren等[20]、Han等[26]和Liu等[28]使用T1CE第一轴位期图像预测ALNM,在验证集中分别达到AUC 0.91、0.78和0.81。Liu等[23]、Liu等[18]、Arefan等[22]、Fusco等[29]和Cui等[27]使用峰值增强期图像在验证集中分别达到AUC 0.85、0.74、0.82、0.81和0.77。理论上,3 T成像由于更高的空间分辨率而具有更好的性能,已被证明能够提高图像质量[35]。本荟萃分析显示,与1.5 T相比,使用3.0 T的研究具有更好的敏感性(0.86 vs. 0.81),尽管差异无统计学意义。未来需要更大样本量进一步验证。

尽管算法各不相同,但它们各有优势。线性判别分析(LDA)模型能够区分并识别类别之间的线性决策边界[36]。支持向量机(SVM)作为最流行的分类技术之一,是一种优秀的算法,可用于模型设定误差的建模,并能有效处理高维数据[37]。线性回归(LR)也适用于高维数据的回归。在本荟萃分析中,SVM表现出比LR和LDA更高的特异性,而LDA表现出比LR和SVM更高的敏感性。Yu等[38]使用LR在开发集和验证集中识别腋窝淋巴结转移(ALNM),AUC分别为0.88和0.85。Takada等[39]使用决策树预测ALNM(训练集和验证集的AUC分别为0.770和0.772)。Schacht等[40]和Ha等[41]使用神经网络分类器预测ALNM,分别达到AUC 0.880和准确率84.30%。作为概率分类器,朴素贝叶斯模型基于条件概率的贝叶斯定理构建[42]。XGBoost是一个优化的分布式梯度提升库,旨在实现高效、灵活和可移植。随机森林是大量树的集合,但通过随机选择变量来减少拟合树之间的相关性以使其差异化[43]。k近邻算法是一种用于在分类和回归问题中利用局部信息的工具[44]。卷积神经网络(CNN)可以直接从卷积核中获取全局和局部图像信息[45, 46]。然而,这些算法的数据不足。应在临床常规中使用多种机器学习(ML)模型,以使模型集成具有比单一模型更好的诊断性能。

二维图像分割方法使用单个肿瘤切片,使得二维分析容易受到人类专家所选单个代表性切片选择的影响,而三维分析不受这种变异的影响,因为它们覆盖了所有肿瘤体积。尽管使用三维成像进行手动分割非常耗时,但大多数肿瘤特征可以通过三维肿瘤体积来捕获。因此,这可能解释了为什么三维表现优于二维,尽管我们没有发现任何显著差异。

本荟萃分析的结果令人鼓舞,因为其合并敏感性约为0.80,然而,这意味着每5名女性中就有1名会伴随未被检测到的转移,这可能对20%的前哨淋巴结(SLN)阳性患者的总体生存产生不利影响。尽管0.83的高阴性预测值(NPV)意味着ML可能潜在地使SLN阴性者获益——这些患者占所有乳腺癌患者的70%以上[7]——通过帮助他们免除不必要的侵入性淋巴结切除,避免腋窝的过度治疗及其相关的严重并发症,但这将意味着每5次检测中就有1次为假阴性。鉴于此,我们愿意承认,ML可能尚未可用于常规临床检查,尤其是当以患者生存作为主要结局指标时。

我们的荟萃分析有几个明显的局限性。首先,只有十四篇原始研究文章符合选择标准,因为关于乳腺癌患者ALNM的研究并不多。我们也无法获取一些研究的足够数据。其次,算法分类性能从特征选择到线性、二次、三次和高斯核函数的变化各不相同;因此,我们选择了表现最佳者,这可能影响了性能结果。最后,在所有情况下,数据的使用仅来自单一机构,这可能不足以证明我们研究结果的可重复性。

总之,MRI序列和算法是影响机器学习诊断性能的主要因素。将SLNB与ML相结合,将对乳腺癌患者更有帮助。在未来的研究中,需要更大规模、设计良好、实施和报告规范的试验以获得更好的性能。

补充信息

附加文件1。详细的数据质量评估。

引用

  1. Chen, Qin, Chen, et al. A meta-analysis of the diagnostic performance of machine learning-based MRI in the prediction of axillary lymph node metastasis in breast cancer patients. Insights Imaging. 2021. PMID: 34731343. doi:10.1186/s13244-021-01034-1
  2. 全文:PMC8566689(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8566689/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。