切除脑区半自动与全自动分割方法的准确性与实用方面
本研究以27例难治性颞叶癫痫患者术后T1加权MRI为对象,以手动分割为参考,比较ITK-SNAP半自动与lesion_GNB全自动分割切除脑区的准确性及耗时。半自动方法中位Dice系数0.78、中位平均Hausdorff距离0.44,均显著优于全自动方法(0.58、1.32,p<0.001);两者体积差异无显著差异。半自动分割耗时3.27分钟/例,显著低于手动分割的30.41分钟/例。
要点
- 半自动ITK-SNAP分割切除脑区中位Dice系数0.78,全自动lesion_GNB为0.58。
- 半自动方法中位平均Hausdorff距离0.44,显著优于全自动的1.32。
- 大切除区Dice系数显著优于小切除区,半自动与全自动方法均如此。
关键影像表现/征象
- 术后T1加权MRI上切除区与脑组织信号对比高、边界清晰,有利于半自动分割获得高重叠度。
- 全自动分类器在部分病例出现假阳性,1例未识别切除区(Dice系数0.05)。
- 半自动分割表现受限的7例中,3例切除区难以与扩大的侧脑室下角分离,3例切除腔不均匀、边界不清。
诊断标准与关键数值
- 以手动分割为参考,半自动分割中位Dice系数0.78(范围0.53–0.94),全自动分割0.58(范围0.05–0.76),差异p<0.001。
- 半自动分割中位平均Hausdorff距离0.44(范围0.14–1.85),全自动分割1.32(范围0.42–7.25),差异p<0.001。
- Dice系数大于0.6为良好、大于0.7为高、大于0.8为优秀。
- 半自动与全自动分割的中位体积差异百分比分别为0.04(标准差±21.57,范围−67.18–35.11)与−3.13(标准差±61.75,范围−229.32–41.37),两者无显著差异(p>0.05)。
临床应用与阅片要点
- 半自动ITK-SNAP分割切除脑区准确性最高,平均耗时3.27分钟/例,适合大样本研究。
- 全自动lesion_GNB无需人力但准确性较低,且处理时间平均13.41分钟/例。
- 手动分割平均耗时30.41分钟/例,成本显著高于半自动与全自动方法。
局限性
- 原文未报告局限性。
全文中译16 节 · 点击展开
引言
研究结构性脑病变与可观察功能缺陷之间的关联是神经科学研究中一种成熟的方法[1–3]。基于体素的病变-症状映射(VLSM)[1, 4]或病变与关键结构之间的重叠计算[5–7]等定量分析技术被用于将结构改变与行为标记联系起来[8],从而检测对特定行为至关重要的脑区。因此,在神经影像数据中精确确定病变组织成分是这些方法的关键步骤[5, 9, 10]。
迄今为止,由专家评估者逐层手动描记病变仍是金标准[5, 11, 12]。这种方法被认为最为精确[3],但也繁琐耗时[13],且需要丰富的经验[14]。因此,病变分割构成神经影像研究中重要的成本因素。半自动方法试图克服这些局限性[15, 16]。通常,其方法基于以下假设:组织均匀性[17]、组成、形状[18]或偏侧性[19]的改变代表病变组织,其识别仅需要由监督者微调参数[20]。尽管比手动描记省力,但仍需要大量的用户交互[20]。
近年来,已有多种使用机器学习(ML)[17, 21, 22]方法的全自动病变分割方法被提出。简言之,ML允许设计能够从训练数据集中学习并对新数据进行预测的算法。ML方法通常分为两大类,即监督学习和无监督学习[23]。在监督学习中,手动标记的训练数据被输入算法,以实现对New数据的分类——在训练期间提供监督[21]。相反,无监督方法依赖于识别数据中的潜在模式来识别分组或聚类[13, 24–28]。
在颞叶癫痫(TLE)中,精确的病变勾画可指导手术规划[29],并促进认知结局研究[30, 31]。虽然VLSM是卒中研究的核心组成部分[1],但其在TLE中的应用迄今有限。然而,随着激光杏仁核海马切除术[32]等选择性手术的引入,VLSM在TLE中正受到越来越多的关注[7],特别是用于记忆障碍研究[33, 34]。此外,评估病变体积数据可显著改善图像配准和向立体定向空间的标准化[35, 36]。此外,术后切除体积对于评估切除完整性[29]和预测癫痫发作结局[37]尤为有用。显然,有必要从TLE的影像数据中获取准确的切除体积。然而,迄今为止,尚未提出专门设计用于研究神经外科切除的分割算法。
在本研究中,我们因此试图确定:
a)与手动分割相比,监督式半自动和全自动算法在切除脑区是否均提供令人满意的准确性;
b)三种方法中哪种最省时且最具成本效益,并提供最佳的质量与成本比。
方法
受试者和影像数据
本回顾性研究获当地机构审查委员会批准,并豁免个体知情同意。从PACS(图像归档与通信系统)中调取了27例单侧前颞叶切除术(ATL)或选择性杏仁核海马切除术(sAHE)后颞叶癫痫(TLE)患者的高分辨率T1加权磁化准备快速梯度回波数据集,这些数据使用标准32通道头线圈(MPRAGE;TR = 2200 ms;TE = 2.15 ms;翻转角 = 12°;160–176层矢状位切片,体素大小1 × 1 × 1 mm3)在3-T TIM Trio临床MRI扫描仪(Siemens Healthineers AG,埃尔兰根,德国)上采集。术后影像于癫痫手术后常规随访期间进行,中位时间3个月(范围1–22个月)。研究组的临床和人口学数据总结于表1。所有统计分析均使用SPSS 23.0版(IBM,芝加哥,伊利诺伊州)进行。
预处理
所有影像数据预处理均使用统计参数映射软件(SPM 12版,fil.ion.ucl.ac.uk)在MATLAB R2016b(The Mathworks,纳蒂克,美国)中运行完成。在视觉检查图像质量后,所有右侧半球病灶的T1w图像均被翻转,以使所有病变对齐至左侧。
计算平台
手动、半自动和全自动分割均在Windows 10下运行的3.2-GHz Intel Core i7-6600U平台、12-GB内存上完成。MATLAB R2016b和SPM12用于运行GNB分类器。
手动分割
手绘切除区域图作为金标准[20]。勾画由一名经验丰富的评估者(CS,神经科学研究人员,在手动病灶勾画方面具有5年以上经验)完成,该评估者对其他分割方法的结果设盲。切除区域的边界在患者空间中使用MRIcron(www.mricro.com)在连续轴位切片上手绘,然后自动填充,得到三维感兴趣区(ROI)。
用户引导的半自动分割
使用ITK-SNAP工具箱3.6版本(以下简称SNAP)进行半自动分割[16]。“区域竞争”分割方法以及主动轮廓演化算法及其在ITK-SNAP中的实现此前已详细描述[16, 38]。简言之,评分者定义分割域以将算法限制在体积感兴趣区(ROI)内。对于预分割,我们使用基于软阈值的强度模式[39]:根据ROI(前景)的强度范围手动应用双侧阈值,生成强度分级向量“速度图像”,以大致定义病灶边界。在该速度图像中,低于和高于阈值的强度值被赋予正速度值,对应于图像中更可能代表ROI而非背景的部分。阈值之外的值映射为负速度值。为启动几何主动轮廓分割,评分者在ROI内随机放置至少一个种子点,该种子点将以兼顾遵循速度图像与几何正则化项的方式生长[40]。演化中的轮廓在二维切片中实时可视化,并以固定步长或连续方式演化,直至用户手动终止[41]。我们选择在图像中超过5秒无进一步可见传播时停止算法,或评分者判断演化中的分割开始泄漏至ROI边界之外时停止。这是其他研究此前描述的常用方法[42]。最后,对ROI进行质量检查,并在两例中进行了手动编辑(如图1f所示):第一,若主动轮廓分割渗入脑脊液空间,则使用画笔工具进行手动编辑。第二,若切除脑区的部分区域(如血性碎屑)未被识别为ROI的一部分,我们使用带插值模块的画笔,该模块允许仅在少数切片中勾画结构,由算法填充中间切片[43]。使用该分割方法是因为它仅需最少的用户交互,且可从单一模态MRI获得可靠结果。在本研究中,一位专家评分者(NAF,神经科学研究人员,具有10年以上病灶分割经验)在不知晓手动分割结果的情况下使用ITK-SNAP进行分割。图1展示了半自动分割过程的各个步骤。
全自动分割
Griffis及其同事[44]开发的lesion_GNB软件包采用基于高斯朴素贝叶斯(GNB)分类的监督方法,用于勾勒慢性卒中病灶区域。为提供分类器训练的真实参考标准,作者[44]对30例慢性卒中病灶患者的T1加权MRI数据进行了人工分割[44]。简言之,lesion_GNB依赖概率组织分割和图像代数来生成特征图,编码关于缺失或异常组织类别的信息。GNB分类器在人工勾勒病灶的真实参考标准上进行训练,并采用留一交叉验证方法进行验证。该方法不需要对照组。通过使用默认的SPM处理流程,在分析过程中生成标准化至蒙特利尔神经学研究所(MNI)空间的变换参数[44]。
空间相似性分析
大多数自动分割流程在算法特定的立体定向空间中运行,该空间可能不对应于MNI空间[45]。然而,研究较大患者队列最终需要标准化以进行组间推断。为避免将逆标准化(lesion_GNB)结果与原生空间(人工、ITK-snap)结果进行比较时产生潜在偏倚,我们选择在共同空间中进行空间相似性分析。因此,所有ROI均使用在个体受试者lesion_GNB预处理过程中获得的标准化参数标准化至标准MNI空间。
不同病灶分割技术与人工勾勒结果之间的重叠程度通过Dice相似系数(DSC)进行逐体素评估,DSC是衡量重叠度和可重复性的稳健指标[46]。DSC根据公式计算。在图像体积部分重叠的情况下,即参考体积(X;人工勾勒)和预测体积(Y;半自动/全自动方法),DSC范围为0(无重叠)至1(完全一致),值越大表示性能越好[42]。DSC高于0.6为良好,高于0.7被认为较高,超过0.8为优秀[13, 20, 44]。
尽管DSC稳健且易于解释,但它不以任何方式权衡假阳性或假阴性结果。这在复杂结构如手术病灶中尤为重要,因为分割之间的边界一致性可能具有意义[47]。因此,我们选择用一种空间距离度量来补充分析,即平均Hausdorff距离(aHD)。aHD表示一个数据集中所有体素到测试集中对应体素的最大距离[48],从而量化两个给定结构之间的相似性或差异[49]。两个点集X和Y之间的aHD定义为aHD(X, Y) = max(d(X, Y), d(X, Y)),其中d(X,Y)为有向aHD,由参考体积(X;人工勾勒)和预测体积(Y;半自动/全自动方法)给出。所有距离以体素为单位计算,值越小表示性能越好。
由于结果不符合正态分布,分别采用非参数Wilcoxon符号秩检验进行比较。为了评估各方法性能与切除区域大小之间的关系,按病灶体积(基于手动分割)进行中位数分割。采用Mann-Whitney U检验评估每种方法内两组(小/大病灶)指标差异,并采用Wilcoxon符号秩检验在每组内比较各方法。相关性采用非参数Spearman秩相关评估。
体积分析
还评估了手动与(半)自动分割结果之间的病灶体积差异百分比(单位:ml)。体积差异百分比(PVD)按以下公式计算;其中Vreference和V(semi-)automatic分别代表手动和(半)自动切除图的体积。由于切除体积不符合正态分布,采用Wilcoxon符号秩检验进行比较。我们还采用Mann-Whitney U检验评估每种方法内大切除与小切除之间PVD的差异。
工作量和成本
记录每种方法从开始分割到保存最终感兴趣区(ROI)所需的人工时间(对应人工投入),以分钟计。将图像加载到各程序所需时间相似,因此我们未将这一步骤计入。由于全自动方法在加载图像后无需人工投入,因此人工时间为0.00 min/受试者。经Shapiro-Wilk检验评估,手动和半自动分割的人工时间符合正态分布(p > 0.05)。采用配对样本t检验比较手动与半自动方法的时间消耗差异。分别采用单样本t检验将手动和半自动方法的人工时间与全自动方法(0.00 min/受试者)进行比较。
由于我们仅使用开源软件和可用的计算基础设施,本研究的总方法成本主要由基于德国研究基金会2019年薪资标准(可在www.dfg.de/formulare获取)的人员成本构成。
结果
患者特征
数据获取自27例患者(女性16例,男性11例),这些患者因药物难治性颞叶癫痫(TLE)(左侧17例,右侧10例)接受了单侧前颞叶切除术(ATL)(13例)或选择性杏仁核海马切除术(sAHE)(14例)。手术时平均年龄为39.1岁(范围16–69),癫痫起病平均年龄为16.7岁(范围0.5–39),平均病程为22.4年(范围1–52)。约63%的患者术后无发作(Engel IA级)。主要病理为海马硬化(16例),其次为双重病理(即海马硬化合并局灶性皮质发育不良;8例)。详细的人口学和临床数据见表1。
准确性
手动分割是金标准,并作为其他方法的参考标准。图2展示了27个手动分割的切除区域,叠加在相应的T1w图像上。
半自动方法相对于手动分割的DSC中位数为0.78(范围0.53–0.94),表明重叠度高。对于全自动方法,DSC中位数为0.58(范围0.05–0.76)。在p < 0.001(z = − 4.332)时,半自动方法的结果显著优于全自动方法(图3)。
如图3右侧面板所示,全自动分割方法除三例外在所有病例中表现较差,如图4所示存在若干假阳性结果。GNB分类器未能识别一个切除区域(P16,DSC 0.05),并在另外两例(P21、P22)中表现不佳。图5显示了所有方法在患者P16中的个体表现。即使排除该病例,全自动方法(DSC中位数0.60)与半自动方法(DSC中位数0.79)之间仍存在高度显著差异(p < 0.001,z = − 4.239)。在空间距离方面,半自动方法(aHD中位数0.44,范围0.14–1.85)同样优于(p < 0.001)全自动方法(1.32,范围0.42–7.25;图6—左侧面板)。
为评估实际病灶大小对准确性的影响,将所有病例按手动勾画获得的切除体积中位数(中位数 = 17.920 ml)二分分组,得到14个大切除区(平均体积26.02 ± 8.06 ml,范围17.92–48.23 ml)和13个小切除区(平均体积7.39 ± 3.08 ml,范围2.22–12.36 ml)。
如图7(左侧面板)和表2所示,两种方法中大切除均与显著优于小切除的DSC相关(p < 0.05)。此外,切除大小与半自动和全自动方法的DSC均显著相关(rs = 0.71,p = 0.001 vs. rs = 0.54,p = 0.004)。以aHD比较空间相似性,我们发现两种方法在小切除区和大切除区的表现分别均无显著差异(图6右侧面板和表3)。
然而,无论切除大小如何,半自动方法的准确性均显著优于全自动方法(DSC的p < 0.001,aHD的p < 0.05)。
参照手动分割,半自动方法的PVD中位数为0.04(SD ± 21.57;范围− 67.18–35.11),全自动方法为− 3.13(SD ± 61.75;范围− 229.32–41.37)。两种方法之间无显著差异(p > 0.05)。在小切除中,半自动方法的PVD显著优于全自动方法的PVD(p < 0.05,z = − 2.691),而在大切除中无显著差异(表4)。半自动方法的PVD在小切除或大切除方面未显示显著差异,而在全自动方法中,各组间PVD中位数存在显著差异(p < 0.05,z = − 3.057),大切除表现更好。
工作量与成本
手动分割所需的平均时间为30.41分钟/受试者(标准差 ± 6.43,范围17–50分钟)。用户引导的半自动病灶分割平均耗时3.27分钟/受试者(标准差 ± 0.96,范围1.33–5.53分钟),包括对不准确之处的手动校正。手动与半自动之间以及手动与全自动或半自动与全自动方法之间的工作量差异分别具有高度显著性,p < 0.001。
重要的是,必须提到全自动方法在我们的计算环境上需要一定的处理时间,为13.41分钟/受试者(标准差 ± 2.14,范围9–19)。然而这与成本计算无关,因为该步骤不需要监督,而主要的经济负担来自人力成本。
随后,我们对本研究的成本因素进行了探讨。对于手动分割,需要一名专家评估者,至少指一名博士后研究人员(标准工资6000€/月,34.62€/小时)。因此,平均成本为17.64€/每受试者。为确保手动校正的最佳结果,半自动方法同样需要一名专家评估者。对于该方法,平均需投入1.90€/受试者。使用GNB的全自动分割在图像分割方面不需要人工输入。在这种情况下,如果不考虑图像加载步骤,平均成本接近于零。
讨论
本研究比较了手动与半自动及全自动方法在高分辨率T1w图像上分割切除脑区的效果。关于医学图像分割,最重要的问题之一是准确性。我们以手动分割作为金标准,研究了所用方法的质量和有效性。所使用的指标包括作为全局重叠度量的DSC、作为空间距离度量的aHD以及用于体积一致性的PVD,因为我们的意图是聚焦于少数但相关的参数,这些参数直接易于获得和解释。DSC是一种稳健的重叠度量,已被广泛用于其他病灶分割方法的验证[17, 42, 44]。它同时考虑了假阳性和假阴性,因此是一个稳健的性能指标。
分析由aHD完成,当分割方法的边界描绘准确性具有重要意义时(如颞叶癫痫(TLE)手术中的情况),尤其推荐使用aHD [47]。然而,传统HD对离群值敏感且过度惩罚离群值,而在与手术分割结果的比较中离群值非常可能出现 [47]。平均HD克服了这些局限性,因此特别适用于解剖图像分析 [50]。无论使用何种度量指标,结果仍须谨慎解读——尽管总体aHD通常较为理想,但在复杂结构内部仍可能存在相当大的局部不一致 [49]。
在ITK-SNAP中实现的半自动方法优于全自动方法,且不受病灶大小影响,并达到了优异的准确性(DSC中位数0.78,aHD中位数0.44)。手术缺损区与脑组织之间的高信号强度对比以及明确的切除边界可能对这一良好表现有所贡献。
与既往研究一致,我们发现个体病灶大小对DSC有强烈影响 [20]。正如预期,使用任一方法的分割性能在较大切除中均显著更好,因为DSC对分割区域的面积大小敏感 [49]。分割误差确实大多位于边界处,因此可能使分析偏向较大的分割区域。空间距离分析的结果支持这一假设,因为它独立于分割区域的面积大小 [51]。
聚焦于半自动方法性能有限的病例(7例患者DSC < 0.7),我们发现了除病灶大小之外有趣的共同特征。在3例患者(P14、P16、P25)中,难以将切除区域与扩大的侧脑室下角分开。3个切除腔(P16、P17、P21)质地不均匀,且切除边界不清晰。使用ITK-SNAP进行分割相对稳健,在这些病例中甚至被证明比手动分割显著更具可重复性 [16]。任何具有手动分割经验的操作者均可执行该操作 [41]。此外,在感兴趣区(ROI)中放置种子点本身并非关键步骤,因为在速度函数为正的区域演化轮廓向各方向扩展,而在速度函数为负的区域则收缩。我们决定使用ITK-SNAP,是因为其操作简单、可实时动态显示三维体积演化,以及可使用集成的三维操作工具对分割结果进行后处理。
自动算法给出的结果不太令人满意(DSC中位数0.58,aHD中位数1.32),并且在一名受试者中未能检测到切除区域,仅检测到切除区域的部分(图4)。然而应当考虑到,该切除区域难以与周围组织分离,因为其中含有血液碎屑 [52]。这与既往研究一致,那些研究表明当组织信号强度相似或目标结构本身发生改变时,精确度会降低 [15, 21]。
这表明半自动方法具有明显优势,因为上述手动交互可确保即使在其他方法可能失败的情况下也能获得满意的结果。然而必须强调,GNB分类器是在卒中病灶上训练的,虽然手术切除腔和慢性卒中中被吸收的病变组织最终都含有脑脊液,但信号强度仍存在差异。尽管如此,迄今为止尚未提出专门为神经外科切除设计的分割算法,因此必须使用已有方法。
尽管存在可预期的局限性,选择lesion_GNB是出于若干潜在优势:它基于单模态T1w数据运行,无需对照人群或任意阈值设定,并与SPM整合,利用默认分割和归一化流程[44]。这排除了考虑缺血性卒中病灶分割(ISLES)挑战[53]中其他算法的可能性,因为它们需要多光谱数据[41, 42]或健康对照组[13],而这些在所有研究环境中可能并不 readily 可用。虽然我们的结果显示准确性降低,但将TLE特异性训练数据集纳入lesion_GNB显然会改善病灶检测。然而这超出了本研究的范围,将在未来工作中解决。
作为第二点,我们评估了不同分割方法的实际方面。关于研究环境中的实际实施,我们依赖 freely 可用的软件和标准计算硬件。正如先前研究所强调的,手动分割极其繁琐,且根据病灶复杂性,非常耗时从而昂贵[13, 20, 54]。我们研究中的手动分割平均需要每名受试者30.41分钟的人力投入,主要由于TLE切除的均匀性。手动勾画 furthermore 需要扎实的解剖学知识,至少达到博士后研究水平。对于更大规模的队列,手动分割因此将意味着巨大的手工工作量和成本。
半自动方法需要类似的专业知识;然而与手动勾画相比它显著更快(3.27分钟/受试者),从而使每名受试者成本降低15.74欧元。在这方面,全自动分割方法可能提供更好的成本效益。它们耗时更少且不需要专家,因为可由经验有限的人员应用[44]。处理过程中的交互极少,导致每名受试者成本趋近于零。lesion_GNB算法在标准计算机上表现良好(13.41分钟/受试者),而高性能计算设备的可用性将进一步增加吞吐量。
结论
我们的研究结果表明,半自动方法目前对于手术切除的分割最为高效。它们在精确度和工作量之间提供了最佳折衷,这对于更大规模队列的评估尤为重要。其与自动方法相比更优越的准确性证明,人工输入可以进一步改善计算机化分割。
局限性
本文未尝试对手动或半自动方法进行正式的评分者间信度评估,因为此前研究已对此进行了广泛探讨[55]。尽管队列规模较小,但样本量足以证明各方法之间存在显著差异。此外,尽管组内相关系数(ICC)常用于比较分割技术,但ICC强烈依赖于样本量和受试者分布,尤其是在较小队列中[56],因此在本研究中无法将ICC用作准确性指标。
引用
- Gau K, Schmidt CSM, Urbach H, et al. Accuracy and practical aspects of semi- and fully automatic segmentation methods for resected brain areas. Neuroradiology. 2020. PMID: 32691076. doi:10.1007/s00234-020-02481-1
- 全文:PMC7666677(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7666677/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。