面对神经影像中的隐私问题:去除面部特征会降低图像分析方法的性能
该研究评估三种公开的面部特征去除方法(QuickShear、FaceMasking、Defacing)对阿尔茨海默病、多发性硬化及胶质母细胞瘤患者自动化图像分析结果的影响。结果显示,去除面部特征可导致自动化分析方法失败,并引起体积测量的随机变异和系统性差异,其中胶质母细胞瘤体积受影响最大。作者认为需要进一步研究以确保在保护隐私的同时维持高质量神经影像研究。
要点
- 三种面部特征去除方法均可导致自动化体积分析失败,失败率在去除后图像中为0–19%,而完整图像为0–2%。
- 去除面部特征后,归一化脑体积、白质病变体积和胶质母细胞瘤体积均出现随机变异(ICC降低)和系统性差异。
- 胶质母细胞瘤体积受面部特征去除影响最大,FaceMasking后ICC低至0.312。
核心结论
- 三种面部特征去除方法对阿尔茨海默病、多发性硬化和胶质母细胞瘤的自动化体积测量均有不同影响,包括分析失败、随机变异和系统性差异;作者认为需要进一步研究以在保护参与者隐私的同时确保高质量神经影像研究。
研究设计与样本
- 研究纳入三个数据集:ADNI的110例阿尔茨海默病谱系受试者(平均年龄75岁,范围60–87岁)、MAGNIMS的70例多发性硬化患者(来自6个中心,平均年龄34.9岁,范围17–52岁)和PICTURE项目的84例胶质母细胞瘤患者(平均年龄61.4岁,范围21–84岁)。使用QuickShear、FaceMasking和Defacing三种方法去除面部特征,分别用SIENAX测量归一化脑体积和脑体积、LST-LPA测量白质病变体积、BraTumIA测量胶质母细胞瘤体积;以完整图像分析结果为参照,评估ICC、配对t检验及Dice相似指数。
诊断标准与关键数值
- 自动化分析在面部特征去除后图像中的失败率为0–19%,在完整图像中为0–2%。
- 归一化脑体积与完整图像的绝对一致性ICC范围为0.715(Defacing)至0.896(FaceMasking),脑体积ICC范围为0.933(Defacing)至0.982(QuickShear)。
- 白质病变体积与完整图像的ICC均≥0.988;FaceMasking后白质病变体积显著高于完整图像(Bonferroni校正p<0.001)。
- 胶质母细胞瘤体积与完整图像的ICC分别为0.843(QuickShear)、0.312(FaceMasking)和0.810(Defacing)。
局限性
- 作者指出自动化方法使用默认设置,未尝试纠正错误。
- 作者怀疑失败与图像配准步骤有关,配准方法可能受疾病相关伪影影响。
- 作者指出头部和面部形状的个体差异(如性别或种族相关)可能影响标准面部特征去除算法的性能。
- 作者结论为需要进一步研究以确保在保护参与者隐私的同时维持高质量神经影像研究。
全文中译23 节 · 点击展开
引言
共享参与者图像数据可为神经放射学研究带来诸多益处:通过获取合并多中心数据集中更大的参与者群体,可以更好地理解疾病;无法获得特定疾病自有数据的研究人员仍可通过使用共享数据集为其理解做出贡献;公开共享的基准数据集可促进方法学改进。
然而,对于共享数据,保护参与者隐私至关重要。图像文件不应包含姓名、出生日期或任何国家或医院登记号等可识别信息。此类数据通常保存在磁共振(MR)图像的元数据甚至文件名中,应在共享前移除。遗憾的是,这不足以缓解隐私担忧,因为典型的结构磁共振成像(MRI)提供了足够好的皮肤与空气对比度和空间分辨率,无论通过人眼还是使用面部识别软件,均可从图像的三维渲染版本进行面部识别[1–5]。因此,除识别元数据外,有人建议还应去除面部特征,并已被广泛接受[6–9]。然而,目前尚不清楚去除面部特征是否会影响脑病理定量指标的后续测量。
因此,本研究评估了面部特征去除(FFR)对临床相关结局测量的影响。我们选择了三种公开可用、文档完善且已用于数据共享计划的FFR方法[10, 11]:QuickShear [12]、FaceMasking [13]和Defacing [14]。我们评估了它们对三种不同疾病临床相关结局指标的影响:阿尔茨海默病(AD)的标准化脑体积(NBV)、多发性硬化(MS)的白质病变体积(WMLV)以及胶质母细胞瘤患者的肿瘤体积(GBV)。
材料与方法
受试者
本研究的受试者来自三个不同的数据集:AD受试者来自ADNI研究的数据集(http://adni.loni.usc.edu/)[15];MS受试者来自MAGNIMS研究组的多中心数据集(https://www.magnims.eu/)[16];初治胶质母细胞瘤患者来自PICTURE项目的临床数据集,该数据集收集于荷兰阿姆斯特丹的Amsterdam UMC、VUmc院区。所有三个数据集的主要研究均获得各自当地伦理委员会批准。人口统计学摘要见补充表1。
阿尔茨海默病
本文准备中使用的数据来自ADNI数据库。ADNI于2003年作为公私合作项目启动,由主要研究者Michael W. Weiner医学博士领导。ADNI的主要目标是测试系列MRI、正电子发射断层扫描、其他生物标志物以及临床和神经心理学评估能否联合用于测量轻度认知障碍(MCI)和早期阿尔茨海默病(AD)的进展。
从ADNI1数据集中,我们选取了具有3特斯拉(T)磁化准备快速采集梯度回波(MPRAGE)基线MRI的受试者子集,该子集是ADNI1数据集中562名受试者的一个子集[15, 17]。该子集共纳入110名受试者(23%为女性),平均年龄75岁(范围60–87岁)。该数据集包括39名健康老年对照、52名轻度认知障碍患者和19名AD患者。
多发性硬化
对于MS,此前曾使用MAGNIMS研究组的多中心数据集来研究深部灰质中的铁蓄积[18]和病灶分割软件性能[16]。该数据集由70名患者(67%为女性)组成,在六个不同的MAGNIMS中心进行扫描。平均年龄为34.9岁(范围17–52岁)。从发病起的平均疾病持续时间为7.6年(范围1–28年),疾病严重程度在扫描当天使用扩展残疾状态量表(EDSS)测量;患者的中位EDSS评分为2分(范围0.0–6.5)[19]。
胶质母细胞瘤
对于胶质母细胞瘤,从2012年和2013年在荷兰阿姆斯特丹UMC神经外科中心VUmc location接受治疗的队列中,共选取了84名患者(38%为女性)。平均年龄为61.4岁(范围21–84岁)。所有患者均经组织病理学确诊为WHO IV级胶质母细胞瘤。术前MRI平均在切除前1周内完成。
MRI流程
在MS和AD数据集中,所有成像均在3-T全身MR系统上进行,而胶质母细胞瘤数据集的成像则在1.5-T和3-T MR系统上进行。AD数据集的方案包括3D T1加权序列,而MS的方案包括3D T1加权序列以及2D液体衰减反转恢复(FLAIR)序列。胶质母细胞瘤的方案包括3D T1加权增强后扫描、3D FLAIR以及2D T2加权和非增强2D T1加权序列。表1列出了数据集数据采集的更多详细信息。
面部特征去除方法
选择了三种公开可用的方法:QuickShear [12]、FaceMasking [13]和Defacing [14](图1)。在本研究中,所有三种方法均使用默认设置。FaceMasking分别应用于所有MR模态。QuickShear和Defacing只能从3D T1图像中去除面部特征。为了从其他图像中去除面部特征,在应用FFR方法之前,使用FSL-FLIRT(https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/FLIRT [20])以12个自由度将每名受试者的完整3D T1图像配准到同一受试者的其他完整图像。使用得到的变换矩阵,将去除面部特征后的3D T1图像变换到其他每个图像空间,随后进行二值化并用作掩膜,以从其他图像中去除面部。
QuickShear
从用户提供的脑掩模开始,QuickShear [12] 使用两种算法 [21, 22] 创建一个平面,将 MRI 分为两部分。一部分包含面部特征,另一部分包含头部的其余部分,包括大脑。找到该平面后,将平面“面部特征”一侧所有体素的强度设为零。
在本研究中,脑掩模使用 FSL-BET(https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/BET)并采用先前确定的最佳设置 [23, 24] 制作。
面部掩蔽
面部掩蔽(FaceMasking)[13] 使用滤波器对人脸表面进行变形。在本研究中,使用了归一化滤波方法,这是推荐的滤波器。该方法首先选择颅骨和面部的边界,并将图像体积配准到带有标注面部坐标的图谱;然后,对识别出的面部感兴趣区域层进行归一化和滤波,最后变换回原始图像。
去面部化
去面部化(Defacing)[14] 使用一种算法,基于 10 个健康对照的标注图谱计算体素属于脑组织或面部部分的概率。被标记为面部部分且属于脑组织的概率为零的体素被认为包含面部特征,其信号强度被设为零以去除面部特征。
临床研究结局测量
对于所有三个数据集,使用常用的、先前已验证的自动化方法在完整图像(即未经 FFR 处理的图像)以及所有 FFR 后的图像上获取临床相关结局指标。在 AD 数据集中,NBV 和未归一化脑体积(BV)使用 SIENAX [23] 测量。在 MS 数据集中,WMLV 通过使用病灶分割工具箱(LST-LPA)软件 [25] 中的病灶预测算法在 FLAIR 图像上分割病灶来测量。在胶质母细胞瘤数据集中,GBV 通过取 BraTumIA [26] 生成的胶质母细胞瘤坏死核心和增强肿瘤分割的并集来测量。方法的简要描述见补充数据。
为对完整图像与 FFR 后图像结果之间观察到的任何差异提供背景参考,评估了 SIENAX、LST-LPA 和 BraTumIA 的可重复性。这是通过在每个数据集中对 10 幅原始图像重复分析来完成的,这些图像基于 FFR 后图像的分析结果选择,以在每个数据集中纳入 5 幅 FFR 影响较大的图像和 5 幅 FFR 影响较小的图像。
统计分析
首先,我们研究了 FFR 方法是否能成功处理数据,以及自动化方法在 FFR 后是否能成功处理数据。如果某方法在特定输入图像上给出错误或无输出,则认为该方法在该图像上失败。如果人工观察者认为输出质量差,图像未被排除。计算了 FFR 方法产生输出的图像百分比以及 FFR 处理后的图像可被自动化方法分析的图像百分比。
接下来,评估了 FFR 对结局指标的影响。为了允许 FFR 方法之间指标的直接和公平比较,仅纳入所有三种 FFR 方法均产生输出且完整图像和所有 FFR 处理后的图像均可被后续图像分析方法分析受试者。
体积分析
通过三种不同方式评估FFR对体积的影响:数据分布、变异性和系统性差异,具体为评估NBV和BV(AD数据集)、WMLV(MS数据集)和GBV(胶质母细胞瘤数据集)的变化。首先,为评估数据分布,计算了四幅图像(1幅完整图像;3幅FFR处理图像)的直方图特征(中位数、第一和第三四分位数、均值和标准差),并计算了3幅FFR处理图像相较于完整图像的差异特征(mL和百分比差异),同时绘制了散点图和Bland-Altman图。其次,为评估数据的变异性,我们分析了完整图像与FFR处理图像所得体积之间绝对一致性的组内相关系数(ICC)[27, 28],括号内为95%置信区间[CI]的下限和上限。第三,为评估系统性差异,在完整图像测量的体积与各FFR处理图像所得的体积之间进行了双尾配对t检验,以Bonferroni校正后的p = 0.05作为统计学显著性阈值。
重叠分析(MS和胶质母细胞瘤数据集)
在MS和胶质母细胞瘤数据集中,我们还比较了使用和不使用FFR所得分割之间的体素级差异,因为这些数据集中使用的图像分析方法会产生对感兴趣结构位置敏感的分割结果。完整数据集被用作“金标准”,并与三个FFR处理数据集分别进行比较,使用Dice相似性指数(SI)[29]量化空间一致性:其中TP、FP和FN分别为真阳性、假阳性和假阴性体积。SI的范围为0到1,SI = 0表示无重叠,SI = 1表示完全重叠。我们计算了SI、FP和FN的中位数以及第一和第三四分位数。
结果
流程失败情况
总结研究步骤的简化流程图见图2。各数据集中FFR方法和自动化方法未失败(即无错误执行并有输出)的图像百分比概览见表2。FFR仅在胶质母细胞瘤数据集中失败,具体为QuickShear有2%的病例失败,FaceMasking有1%的病例失败。自动化方法的失败情况各不相同:SIENAX在所有FFR处理图像上均成功完成(AD数据集);LST-LPA在QuickShear中有4%的病例产生错误,在Defacing中有19%的病例产生错误(MS数据集);BraTumIA在QuickShear中有17%的病例产生错误,在FaceMasking中有2%的病例产生错误,在Defacing中有1%的病例产生错误(胶质母细胞瘤数据集)。如果至少一种FFR方法在该受试者上失败,我们将该受试者从进一步分析中排除。最终AD、MS和GB数据集分别纳入110、55和66名受试者。
体积分析
完整图像结果
在所有数据集中,从完整图像获得的结局指标均在预期范围内,并显示出预期分布。如表3所示,这些方法在每组数据集10名受试者上表现出良好的可重复性,AD(NBV和BV)、MS和GB数据集的ICC(95% CI下限-上限带)分别为0.988(0.973–0.992)、0.998(0.992–1.000)、0.996(0.971–0.999)和0.998(0.998–1.000)。表4和表5的顶部行提供了完整图像的NBV、BV、WMLV和GBV测量值。
AD数据集
NBV和BV均受FFR处理影响,表现为变异性和系统性差异两方面。图3给出了FFR处理影响SIENAX的一个示例。图4 a和b显示了AD数据集中FFR处理图像与完整图像的NBV和BV散点图;相应的Bland-Altman图见补充部分。这些结果提示FFR对NBV变异性的影响大于对BV变异性的影响,ICC证实了这一点(表4):FFR处理图像与完整图像之间NBV的绝对一致性范围为0.715(Defacing)至0.896(FaceMasking),而BV的绝对一致性范围为0.933(Defacing)至0.982(QuickShear)。两两比较显示,使用QuickShear(中位数[第1和第3四分位数]1.26 [− 4.40; 8.62] mL)和FaceMasking(5.91 [− 1.57; 16.38] mL)处理数据后NBV通常被高估,而使用Defacing后通常被低估(− 2.17 [− 10.80; 7.81] mL)。FFR后BV通常被低估,中位数[第1和第3四分位数]体积差异为− 2.44 [− 5.11; − 1.22] mL(QuickShear)、− 0.52 [− 2.47; 1.10] mL(FaceMasking)和− 7.60 [− 12.13; − 4.71] mL(Defacing)。补充部分提供了均值和标准差。
MS数据集
对于WMLV,FFR处理图像与全图像之间的绝对一致性较高,但存在小而显著的系统性差异。在图5中,给出了一个受FFR处理影响的病变分割示例。图4c显示了WMLV散点图;相应的Bland-Altman图见补充部分。表5中相应的ICC均≥ 0.988。FFR后的WMLV中位数[第1和第3四分位数]分别为2.94 [1.35; 8.12] mL(QuickShear)、3.15 [1.60; 8.15] mL(FaceMasking)和2.77 [1.21; 7.77] mL(Defacing)。对于全图像,WMLV值为2.71 [1.32; 7.76] mL。在FaceMasking的情况下,WMLV显著高于全图像的WMLV,Bonferroni校正p < 0.001。补充部分提供了均值和标准差。
胶质母细胞瘤数据集
GBV似乎是受FFR影响最强的结局指标,在FaceMasking进行FFR后一致性低至差,并存在系统性体积低估。在图6中,给出了一个受FFR处理影响的胶质母细胞瘤分割示例。图4d中的散点图、补充部分中相应的Bland-Altman图以及表5中的ICC显示,无论肿瘤大小如何,FFR均受到影响。QuickShear、FaceMasking和Defacing在全图像与FFR处理图像之间的ICC分别为0.843、0.312和0.810,表明FFR具有实质性影响。FFR后GBV较低:与全图像值的差异分别为− 2.46 [− 7.08; − 0.54] mL(QuickShear)、− 1.31 [− 7.74; 0.57] mL(FaceMasking)和Defacing − 3.28 [− 8.16; − 0.72] mL(Defacing)。补充部分提供了均值和标准差。
重叠分析
MS数据集
表5还展示了白质病变(WML)分割的空间一致性。经FFR处理图像与完整图像相应分割的WML分割SI值中位数[第1和第3四分位数]分别为0.93 [0.86; 0.95](QuickShear)、0.90 [0.72; 0.94](FaceMasking)和0.86 [0.39; 0.94](Defacing)。经FFR处理图像的FN体积分别为0.27 [0.11; 0.76] mL(QuickShear)、0.24 [0.09; 0.66] mL(FaceMasking)和0.59 [0.17; 1.35] mL(Defacing)。FP体积分别为0.24 [0.11; 0.74] mL(QuickShear)、0.58 [0.12; 2.01] mL(FaceMasking)和0.48 [0.20; 1.10] mL(Defacing)。补充部分提供了均值和标准差。
胶质母细胞瘤数据集
胶质母细胞瘤分割的SI、FN和FP见表5。经FFR处理的胶质母细胞瘤分割与完整图像分割的SI值中位数[第1和第3四分位数]分别为0.87 [0.75; 0.92](QuickShear)、0.86 [0.74; 0.92](FaceMasking)和0.86 [0.74; 0.92](Defacing)。FN体积分别为5.33 [2.70; 9.74] mL(QuickShear)、4.81 [2.00; 11.75] mL(FaceMasking)和5.94 [2.79; 9.75] mL(Defacing)。FP体积分别为1.89 [0.79; 3.80] mL(QuickShear)、2.91 [1.79; 4.77] mL(FaceMasking)和1.85 [0.79; 3.21] mL(Defacing)。补充部分提供了均值和标准差。
讨论
在研究机构之间共享MRI数据时,保护参与者的隐私至关重要。除了从MRI中移除可识别身份的元数据外,还应移除面部特征。本研究评估了三种公开可用的FFR方法如何影响AD、MS和胶质母细胞瘤中使用常用自动化方法得出的临床相关影像结局指标。我们的结果表明,常用的FFR方法可导致自动化体积分析流程的后续失败。此外,FFR可导致自动化方法获得的体积发生显著变化——既包括随机变化(低ICC),也包括系统性变化(显著差异)。观察到的完整图像与FFR后图像之间结局指标的差异不能归因于SIENAX、LST-LPA或BraTumIA的随机变异,因为这些方法的重现性很高。
用于WMLV的自动化方法LST-LPA和用于GBV的BraTumIA在多幅经FFR处理的图像上未能成功执行。需要提及的是,我们以默认设置应用了这些自动化方法,并未尝试补救错误。然而,我们确实评估了这些失败,我们怀疑失败与图像配准步骤有关,因为配准方法可能易受(疾病相关)伪影的影响,正如Dadar等[30]最近所强调的那样。这项近期研究表明,自动化方法中使用的配准可能在图像噪声水平较高和不均匀性较高时存在问题,并且头部大小可能对配准方法有影响。可以设想,如果面部被移除或变形,噪声和不均匀性水平可能发生变化并导致失败。
与BV相比,FFR后NBV的变异性更高,这进一步提示了图像配准在引起FFR后变化方面可能的重要性。为了计算NBV,SIENAX将BV(在原始受试者空间中计算)乘以一个体积缩放因子,该因子通过将脑图像线性配准到标准脑图像获得,此外还使用了衍生的颅骨图像。FFR可能影响非脑组织的去除和颅骨的识别,从而导致不同的配准结果,最终导致NBV值改变。人与人之间头部和面部形状的差异(例如与性别或种族相关)可能影响标准FFR算法的性能,这可能尤其对后续使用颅骨的分析方法(如SIENAX)产生影响。然而,也存在NBV未受FFR影响的情况,因此可能存在一个截断值,即在不影响NBV测量的情况下可以去除多少头部组织。在一项进一步的研究中,可以在为去标识化应去除的面部特征量与为使用自动化方法进行正确分析应保留的量之间确定一个最优值。
因此,以系统的方式更详细地研究FFR方法对配准和其他处理步骤的影响将是有意义的。Milchenko和Marcus [13]以及Bischoff-Grethe等人[14]都探讨了其FFR方法对颅骨剥离的影响;然而,在同一数据集中分析这些方法对其他处理步骤以及多种颅骨剥离方法的影响以进行客观比较,也将是有意义的。接下来,为了弥补这些误差,分析方法 and 处理步骤应对面部特征的缺失或失真具有鲁棒性。例如,可以在配准步骤中或图像处理流程的参考模板(例如组织概率模板)中从固定参考图像中去除面部特征。此外,研究改变自动化方法的默认设置是否能改善分割也将是有帮助的。
自动方法测得的体积受到影响——既有随机影响(低ICC),也有系统性影响(显著差异)。随机效应主要体现在FFR处理后的NBV和GBV体积变化中,而显著差异则体现在BV和GBV的体积变化中。Bland-Altman图显示,体积变化不依赖于所测得的体积。如重叠分析所示,FFR不仅影响自动方法测得的体积,还影响WML和胶质母细胞瘤的范围及精确空间位置。对于MS中的WML,FP和FN比例的中位数分别约为WMLV总中位数的10%至25%。在胶质母细胞瘤中观察到类似效应,FN比例的中位数约为15%至20%,FP比例的中位数约为6%至9%。体积学和空间学结果均表明,完整图像分割与FFR处理后的分割之间的差异是实质性的。这是出乎意料的,尤其是对于LV和GBV而言,因为鉴于MS病灶和胶质母细胞瘤均位于本不应被脑组织占据、且从我们的视觉检查判断确实未受FFR方法影响的区域内。在MS和胶质母细胞瘤中,病变的精确位置和范围均具有重要意义;因此,应更详细地研究这些FFR后分割的伪影性变化,并设计和方法加以测试以减轻这些影响。
我们的结果表明,FFR对当前方法的影响是跨领域的共同问题:脑体积、MS病灶体积和胶质母细胞瘤体积均在一定程度上受到FFR的影响。下一步将是研究如何为SIENAX、LST-LPA和BraTumIA克服此类问题,或者更广泛地说,研究和减轻多种旨在进行脑体积、MS病灶或胶质母细胞瘤分割的方法在FFR后的误差来源。另一种选择是考虑在配准步骤中从固定参考图像中去除面部特征,或在图像处理流程的参考模板(例如组织概率模板)中去除面部特征。
应当指出,在本研究中,我们并未测试FFR方法是否确实使受试者无法被识别。然而,我们观察到FFR方法在某些情况下似乎保留了部分面部完整。我们未评估这是否使该人可被识别,因为这将需要超出本研究范围的更严格设置。然而,制定关于如何使受试者无法被识别的指南将很重要,特别是应去除或以其他方式处理面部的哪些部分以确保受试者的隐私。此外,为保护受试者隐私,考虑到被去除或变形的面部特征可能被重建[31]可能很重要。
总之,本研究凸显了神经影像研究界面临的一项新挑战,即在确保高质量神经影像研究的同时保护参与者的隐私。我们的结果表明,去除脑MRI中的面部特征既可能导致自动化分析方法(主要是LST-LPA和BraTumIA)失败,也可能导致分析方法所获得的体积发生变化,包括“随机”变异(主要是NBV和GBV)和系统性差异(主要是BV和GBV)。因此,体积图像分析方法需要针对FFR方法进行仔细评估和优化,以确保临床研究结果的可靠性,同时在多中心协作研究中保护参与者隐私。这可以通过提高FFR后的图像配准精度、更详细地解决FFR方法对其他处理步骤的影响,或开发针对已去除面部特征图像量身定制的方法来实现。
电子补充材料
ESM 1(DOCX 13339 kb)
(DOCX 20.4 kb)
引用
- de Sitter A, Visser M, Brouwer I, et al. Facing privacy in neuroimaging: removing facial features degrades performance of image analysis methods. Eur Radiol. 2019. PMID: 31691120. doi:10.1007/s00330-019-06459-3
- 全文:PMC6957560(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6957560/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。