深度学习模型用于前庭神经鞘瘤分割的准确性:系统综述与Meta分析
该系统综述与Meta分析遵循2020年PRISMA指南,检索四个数据库,纳入11项使用深度学习对前庭神经鞘瘤MR图像进行分割的研究。汇总56个模型的平均Dice评分为0.89(CI:0.88-0.90),异质性I²=95.9%;对比增强T1加权成像和混合MRI输入表现更优。作者指出存在发表偏倚和高异质性,未来需标准化设计和更大测试集验证。
要点
- 深度学习分割前庭神经鞘瘤的汇总平均Dice评分为0.89(CI:0.88-0.90),异质性I²=95.9%。
- 对比增强T1加权成像输入模型汇总Dice评分0.91(CI:0.90-0.92),优于T2加权成像的0.86(CI:0.85-0.87)。
- 2.5D网络Dice评分0.89(CI:0.88-0.90)与3D网络0.90(CI:0.88-0.91)表现相当。
核心结论
- 深度学习在前庭神经鞘瘤自动分割中显示出前景,但受高异质性、发表偏倚和方法学差异限制,需要进一步验证和标准化。
研究设计与样本
- 系统综述与Meta分析,遵循2020年PRISMA指南,检索PubMed、Web of Science、Scopus和Embase四个数据库,最终纳入11项原始研究。
- 纳入标准为使用深度学习进行前庭神经鞘瘤MR图像分割、具有明确验证方法且数据可提取的英文原创文章。
- 主要指标为Dice评分,辅以相对体积误差(RVE)和平均对称表面距离(ASSD),使用随机效应REML模型进行荟萃分析。
- 采用QUADAS-2工具评估偏倚风险:1项研究低风险,7项存在一些担忧,3项高风险。
诊断标准与关键数值
- 56个模型汇总平均Dice评分为0.89(CI:0.88-0.90,p<0.001),异质性I²=95.9%,最低报告值0.80,最高0.94。
- 43个模型汇总ASSD为0.46(CI:0.42-0.51,p<0.001),异质性I²=96.1%;24个模型汇总平均RVE为11.7%(CI:9.7-13.7,p<0.001),异质性I²=93.8%。
- 对比增强T1加权成像输入20个模型汇总Dice评分0.91(CI:0.90-0.92,I²=93.5%),混合MRI输入13个模型为0.90(CI:0.89-0.92,I²=94.9%),T2加权成像22个模型为0.86(CI:0.85-0.87,I²=86.3%),T1加权成像仅1个模型Dice评分0.82(CI:0.79-0.85)。
- 2.5D网络40个模型汇总Dice评分0.89(CI:0.88-0.90,I²=94.4%),3D网络13个模型为0.90(CI:0.88-0.91,I²=94.5%),其他网络3个模型为0.82(CI:0.81-0.84,I²=26.2%)。
临床应用与阅片要点
- 作者指出高Dice评分理论上可应用于临床实践,但目前因局限性需要更多测试才能全面临床应用。
- 作者认为自动化分割可能减少手动分割时间并降低观察者间偏倚,但需未来研究提供标准化设计和更大测试集。
局限性
- 无法获取两篇记录,导致发表偏倚。
- QUADAS-2分析发现纳入研究在患者选择、指数测试等方面存在偏倚风险。
- 结果异质性高(I²=95.9%),可能受测试患者数量、人群差异、深度学习架构功能和MR图像技术差异影响。
- 仅纳入英文文章。
- 多数研究未进行外部验证,外部数据集多依赖Shapey等提供的单一数据库,存在过拟合风险。
全文中译14 节 · 点击展开
引言
前庭神经鞘瘤(VS),又称听神经鞘瘤,是一种罕见肿瘤,发病率范围为每10万人0.3至6.1例,不同年龄组和种族之间存在差异[1–5]。VS主要影响60–69岁年龄组人群,引起渐进性听力下降、眩晕和耳鸣等症状。随着肿瘤体积增大,症状加剧,导致颅神经、脑干和小脑受压。这种压迫导致呕吐、头痛、恶心或意识模糊等症状[6–8]。
VS的诊断对于确定最佳干预措施至关重要,干预措施包括手术、放疗或基因治疗。目前MR扫描被视为金标准,利用T1加权(T1W)、T2加权(T2W)和对比增强T1加权(ceT1W)图像序列进行定位和肿瘤分割评估[9, 10]。
然而,由于VS的随访跨越数年,手动勾画和分割VS成为一种低效、费力的过程。自动分割可能为医生节省大量时间,提高工作效率。此外,肿瘤的手动分割是相对主观的过程,可能导致结果差异。目前,与手动分割局限性相关的挑战包括:
临床决策:准确的体积测量对于监测VS生长以规划下一步治疗至关重要。耗时的手动选项限制了快速决策的潜力。
体积分析的优势:3D体积分析比常规线性测量VS能够实现更全面和准确的分析。然而,由于分析所需的时间,这一选项的吸引力仍然较低。
方案的安全性:虽然对比扫描仍被普遍使用,但实施无对比的高分辨率扫描进行自动分割可通过最小化钆在脑组织中蓄积的风险而使患者获益。此外,囊性部分在这些扫描上呈高信号,有助于更好的决策。
成本:自动化工具可通过缩短总扫描时间和减少所需序列数量来降低潜在费用。
在人工智能(AI)时代,卷积神经网络(CNN)作为深度学习(DL)的一个子集,已展示出在病理自动化诊断方面的潜力。CNN能够模拟人类神经元,在医学应用中已展现出令人鼓舞的结果,包括放射学领域,DL网络已被应用于检测、肿瘤体积测量和肿瘤分割[11–15]。
尽管取得了这些进展,目前尚无工作综合关于使用DL技术进行VS自动分割的信息。因此,在本研究中,我们旨在进行系统综述和荟萃分析,描述应用于这一罕见肿瘤MR图像分割的算法的现状。通过进行此类综述,我们不仅旨在填补综合方面现有的空白,还提供可能影响与VS自动分割主题相关的未来工作的见解、局限性和指导。
方法学
本研究遵循2020年PRISMA指南进行系统综述和荟萃分析[16]。合格文章的识别涉及对四个数据库的全面检索:PubMed、Web of Science、Scopus和Embase。我们的检索策略纳入了MeSH术语,并涵盖了一系列关键词,包括人工智能、深度学习、机器学习、自动化、卷积神经网络,以及与听神经瘤、听神经鞘瘤和神经周围成纤维细胞瘤相关的特定术语。完整的检索策略见附录1。此外,还进行了参考文献的手工查阅,以识别初步检索中未捕获的任何研究。两位作者根据既定标准独立筛选文章的纳入和排除,分歧通过与其他作者共同讨论解决。筛选过程由两位作者使用ZOTERO软件辅助完成。
纳入和排除标准
我们为本研究建立了纳入标准,包括:(I)对发表时间不限,涵盖所有年份的文章;(II)仅纳入英文原创文章;(III)排除综述、仅摘要的研究、预印本及其他非原创文章;(IV)聚焦于深度学习MR图像分割;(V)排除其他人工智能技术,如传统机器学习(ML);(VI)纳入为荟萃分析规定了验证方法的研究,旨在减轻高估;(VII)纳入具有可提取数据用于荟萃分析的研究(标准差或误差),以Dice评分为主要性能指标,辅以相对体积误差(RVE)和平均对称表面距离(ASSD)数据。
Dice评分、RVE、ASSD及其他提取数据
Sørensen-Dice评分,即Dice评分,定量测量两个集合之间的相似度,作为分割算法性能的评估指标。RVE提供分割体积与真实体积之间偏差的百分比度量,而ASSD衡量分割表面与真实表面的一致性(在本研究中以mm为单位)。从每项研究中额外提取的数据包括来源国、软件和硬件规格、DL算法特征、验证类型、测试集大小、MRI输入、患者人口学特征、肿瘤体积、MR成像规格、标注、囊性分析、训练参数和数据集来源。数据由作者独立提取,随后通过与其他作者讨论解决分歧。
统计分析
每项研究均使用诊断准确性研究质量评估(QUADAS-2)工具进行单独评估,以评价潜在的偏倚风险[17]。Robvis软件有助于结果的可视化[18]。采用Stata v18软件进行统计分析,使用随机效应REML模型构建森林图。不同的技术、测试集、深度学习(DL)算法和MRI输入被视为独立结果。根据三维和2.5维架构算法、ceT1W、T2W、T1W和混合MRI输入,以及不同的测试集大小(< 50、50–100和> 100名患者)进行亚组分析。异质性使用百分比I2指数进行量化。显著性阈值设定为p < 0.05。分析采用95%置信区间(CI),并通过漏斗图分析评估偏倚。
结果
我们的文献检索详细过程见图1 [16]。我们在四个数据库中总共检索到752篇文章:PubMed 241篇,Web of Science 147篇,Embase 201篇,Scopus 163篇。使用ZOTERO,我们初步识别出371篇文章以去除重复。在筛选过程中,两位作者独立审阅了381条记录,通过协作解决分歧。
筛选后,我们排除了347篇与荟萃分析主题无关的文献。在随后的全文筛选中,纳入了34篇文献。遗憾的是,我们无法获取2条记录。对于荟萃分析,我们从34篇可能符合条件的文献中纳入了11篇。11篇缺乏可用于统计分析的可提取数据,1篇为预印本,1篇结果重复,另1篇为综述,还有7篇仅为摘要的文章。通过邮件联系作者的尝试未得到回复。
发表偏倚
我们使用robvis工具进行了QUADAS-2分析,对十一项研究逐一进行评估[19–29]。对于每项研究,我们评估了患者选择过程、索引测试、参考标准以及研究的流程和时间,详细描述见QUADAS-2声明[17]。一篇文章表现为低偏倚风险,七篇存在一些担忧,而三篇为高偏倚风险。主要关注点集中在患者选择过程,部分在索引测试中,参考标准及流程和时间部分无显著关注点。我们发现了缺乏(或未报告)明确的纳入或排除标准、数据集(患者)随机化过程不明确、缺乏索引测试盲法信息,以及两项研究在标记过程存在关注点。QUADAS-2偏倚评估结果图表见图2。
纳入研究
本荟萃分析纳入的11项研究中,4项来自英国,3项来自美国,1项来自台湾,1项来自荷兰,1项来自中国,另有中国与英国的合作研究。发表时间范围为2019年至2023年。Pytorch和Tensorflow是最常用的软件,同时使用NVIDIA GPU卡和Intel CPU。然而,并非所有研究都报告了软件版本或GPU类型等详细信息。所有工作均基于CNN平台,其中U-Net是最常用的选择,具有各种模块修改和维度处理。大多数工作(6项)采用拆分验证进行性能评估和进一步调优。各研究的MR成像技术不同,增强T1加权成像最为常用,出现在9项研究中。每项研究的详细信息见表1。我们还从每项研究中提取了补充数据,涉及人口统计学、剂量辐射、肿瘤体积和MRI规格,见表2。表3提供了关于标注、训练过程和数据集的补充信息[30, 31]。
总体性能分析
关于分割的总体性能,来自11项研究的56个模型报告了VS MR图像分割的平均Dice评分。合并平均Dice评分为0.89(CI:0.88–0.90,p < 0.001),异质性为95.9%(I2)。总体Dice结果的森林图见图3。报告的最低值为0.80,最高值为0.94。漏斗图显示不对称性(图4)。
来自43个模型的合并ASSD为0.46(CI:0.42–0.51,p < 0.001),异质性(I2)为96.1%。来自24个模型的平均相对体积误差为11.7%(CI:9.7–13.7,p < 0.001),异质性(I2)为93.8%。
架构亚组分析
在架构亚组分析中,我们比较了不同的DL架构,主要是2.5D网络(40个模型)、3D网络(13个模型)以及其他不符合这些类别的模型(3个)。在2.5D DL网络中,平均Dice评分为0.89(CI:0.88–0.90),异质性为94.4%(I2)。32个模型报告了ASSD,合并结果为0.45(CI:0.40–0.50,I2 = 94.9%)。来自15个模型的报告RVE为10.3%(CI:8.7–11.9,I2 = 86.6%)。
对于3D网络,合并Dice评分为0.90(CI:0.88–0.91),异质性为94.5%。来自8个模型的平均ASSD为0.45(CI:0.33–0.56,I2 = 95.7%),合并RVE为13.4%(CI:8.7–18.0,I2 = 95.8%)。
对于其他网络,平均Dice评分为0.82(CI:0.81–0.84),I2 = 26.2%,ASSD = 0.72(CI:0.55–0.88,I2 = 76.2%)。仅有一项工作合并了RVE,为18.0%(CI:13.1–22.9)。
MRI输入亚组分析
在MRI输入亚组分析中,模型根据其成像输入分为不同组。混合组为使用两种或以上不同MRI输入的DL网络。使用混合MR成像输入的13个模型的平均Dice评分为0.90(CI:0.89–0.92,I2 = 94.9%),来自8个模型的平均ASSD为0.37(CI:0.28–0.45,I2 = 94.7%)。4个模型报告了RVE,合并为7.8%(CI:6.9–8.6,I2 = 0.0%)。
对于22个T2W模型,平均dice评分为0.86(CI:0.85–0.87,I2 = 86.3%),19个模型报告的ASSD为0.59(CI:0.54–0.64,I2 = 70.4%)。来自10个模型的合并RVE为14.0%(CI:12.3–15.6,I2 = 57.6%)。
20个模型使用ceT1W输入——合并Dice评分为0.91(CI:0.90–0.92,I2 = 93.5%)。从16个报告ASSD的模型来看,合并的平均结果为0.36(CI:0.31–0.41,I2 = 94.5%)。10个模型报告了RVE,得出10.9%(CI:7.1–14.6,I2 = 96.7%)。
仅1个模型使用T1W输入,且仅报告了0.82的Dice评分(CI:0.79–0.85)。
测试集大小亚组分析
在最终的亚组分析中,我们根据测试集大小对模型进行分组,比较了模型的性能。深度学习算法被分为< 50、50–100和> 100患者集大小。有41个模型在小于50的集合上进行了测试。合并Dice评分为0.88(CI:0.87–0.90,I2 = 95.0%)。38个模型报告了ASSD,合并结果为0.48(CI:0.43–0.53,I2 = 95.4%),而来自19个模型的平均RVE为11.0%(CI:9.4–12.6,I2 = 87.1%)。
11个模型在大小为50–100患者的集合上进行了测试。合并Dice评分为0.88(CI:0.86–0.91,I2 = 97.6%)。一项工作报告了ASSD和RVE。
4个模型在超过100患者的集合上进行了测试。合并Dice评分为0.90(CI:0.89–0.92,I2 = 88.2%)。合并ASSD为0.37(CI:0.32–0.41,I2 = 45.1%),而RVE为14.2%(CI:5.3–23.1,I2 = 98.3%)。Dice评分亚组分析汇总见图5,ASSD亚组分析见图6,RVE亚组分析见图7。
讨论
在医学影像快速发展的格局中,我们的系统综述和荟萃分析旨在全面总结使用深度学习技术进行前庭神经鞘瘤自动分割的现状。随着人工智能,特别是卷积神经网络,不断重新定义诊断范式,理解这些技术的应用和可靠性至关重要。
VS的罕见性及其潜在严重性凸显了准确及时诊断的重要性。我们的荟萃分析强调了先进成像技术(主要是MR扫描)在评估肿瘤定位和大小方面的重要性。对于经验不足的放射科住院医师来说,罕见肿瘤的诊断可能尤其具有挑战性。深度学习的实施不仅帮助年轻专家,还减少了手动分割过程所需的时间。传统的金标准方法虽然有效,但正在被人工智能的出现所补充,在某些情况下甚至受到挑战。减少的工作量允许常规应用体积分析[32]。手动勾画存在操作者间偏倚[24]。自动分割为标准化和可重复的体积测量提供了潜力。传统线性测量缺乏敏感性,而体积测量更准确但耗时多得多[33, 34]。深度学习自动化允许高效准确的三维体积计算,促进更好的临床决策。据估计,自动化工具甚至可以将分割时间减少30%[35]。最后,仅使用T2加权MRI进行分割的能力解决了对钆对比剂的担忧,并可能降低成本,每次扫描甚至可节省10倍[36, 37]。
卷积神经网络(CNN)作为深度学习(DL)的一个子集,其整合在自动化前庭神经鞘瘤(VS)诊断流程方面具有前景。与VS诊断和随访相关的大量MRI扫描显著增加了医疗成本。基于人工智能的分割通过优化放射科医生的工作流程,为解决这些问题提供了一种新选择。我们的荟萃分析证实了利用深度学习进行病变检测、肿瘤体积测量和肿瘤分割的兴趣日益增长。
尽管人工智能在医学影像应用方面取得了进展,我们的研究揭示了关于使用深度学习技术进行VS自动分割的一个关键知识空白。据我们所知,这是该主题的首篇系统综述和荟萃分析。
遵循2020年PRISMA指南以及使用QUADAS-2工具,凸显了我们研究所采用的方法学严谨性。在主要数据库中进行全面检索、纳入特定关键词以及对参考文献的手工查阅旨在涵盖相关文献。我们的纳入标准虽然是必要的,但导致了缺乏可提取数据的研究被排除,这凸显了未来研究中标准化报告的重要性。
汇总平均Dice评分为0.89,表明分割体积与真实体积之间具有值得肯定的 согласованность水平。然而,观察到的95.9%的异质性引发了对各研究方法学一致性的疑问。高异质性可能受到用于测试、训练和验证模型的患者数量不同、人群(患者)差异、深度学习架构中所应用的不同函数以及MR图像技术差异的影响。
虽然Dice评分提供了分割准确性的综合衡量指标,但纳入相对体积误差(RVE)和平均对称表面距离(ASSD)为我们的评估增加了精细度。汇总RVE为11.7%,表明分割体积与真实体积之间的平均偏差。ASSD为0.46 mm,凸显了分割表面与真实表面之间的对齐程度,展示了深度学习算法在保留解剖细节方面的稳健性。
亚组分析进一步揭示了细微的性能差异。2.5D深度学习网络的平均Dice评分为0.89,表现出与3D网络(平均Dice评分为0.90)相当的效能,并优于其他模型(平均Dice评分为0.82)。成像输入分析揭示了对比增强T1加权成像和混合MRI输入的优越性,强调了输入模态对分割结果的影响。
各研究的MRI成像方案存在差异。扫描仪场强范围为1.5T至3T。对于ceT1扫描,MPRAGE序列是最常见的选择。T2W加权扫描使用了3D CISS、TSE和2D自旋回波序列。然而,层厚和平面内分辨率的显著差异(表2)可能影响算法在其他场景中的有效性。
尽管研究结果令人鼓舞,但仍存在局限性。我们无法获取两条记录,这导致了发表偏倚。通过QUADAS-2工具,我们识别了纳入研究在不同方面的偏倚——纳入研究中这些风险应予承认,同时结果的异质性较高。此外,仅纳入了英文文献。读者应意识到这些局限性,未来的系统综述应解决这些空白。
关于外部验证,大多数研究未对人工智能进行外部分析,这增加了对特定MRI设置过拟合的风险。此外,外部数据集大多依赖于Shapey等人提供的单一数据库[30]。这引发了以下问题:深度学习模型在随机试验或不同环境的前瞻性研究中将表现如何。研究还缺乏软件(所使用的类型和版本)和/或硬件信息(GPU类型),这些信息可为未来研究者提供指导。这些方面对软件设计者有用,应在未来研究中予以报告。
另一方面是对前庭神经鞘瘤(VS)囊性和实性部分的分析。由于影像学特征不同,并非所有研究都对其进行了深入分析,且通常仅提及囊性部分分析的困难[38]。最后,还应提供其他参数,如大小(除体积外)以及囊性病例的比例。这些方面在未来试验中至关重要,需加以解决,以对VS进行更全面的分析,从而更好地进行临床决策。
虽然较高的Dice评分显示了有前景的结果,理论上可应用于临床实践,但目前由于上述局限性,尚需更多测试才能实现全面临床应用。未来研究应报告经过充分验证的模型,采用更标准化的设计,以增加各研究间的同质性。此外,我们认为使用更大的测试集将减少对结果的高估,因为本研究中大多数深度学习模型是在100例或更少患者的集合上进行评估的。
结论
总之,本荟萃分析探讨了使用深度学习技术对VS进行自动分割的当前知识。虽然Dice、RVE和ASSD评分在该任务中显示出有前景的结果,但本研究受限于高异质性,其由MRI技术差异、人群差异和深度学习模型差异以及研究间的偏倚所导致。该领域的未来研究应解决这些局限性,以获得更标准化的结果。
引用
- Łajczak P, Matyja J, Jóźwik K, et al. Accuracy of vestibular schwannoma segmentation using deep learning models - a systematic review & meta-analysis. Neuroradiology. 2024. PMID: 39179652. doi:10.1007/s00234-024-03449-1
- 全文:PMC12003617(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12003617/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。