基于深度学习的脑MRI与脑性瘫痪关联趋势研究
研究纳入716例受试者(327例脑性瘫痪患者、389例对照),每例采集四种MRI序列,构建单序列模型SSeq-DL与多序列模型SMSeq-DL。T2-w单序列累积准确率87.25%至90.19%;T1-w与Flair耦合、T2-w与Flair耦合的累积准确率分别为94.70%和94.31%,多序列学习优于单序列学习。
要点
- T2-w单序列在脑性瘫痪识别中累积准确率87.25%至90.19%,优于T1-w、矢状位和Flair。
- T1-w与Flair耦合、T2-w与Flair耦合的累积准确率分别为94.70%和94.31%,多序列优于单序列。
- 模型可视化提示脑性瘫痪相关易损区包括岛叶、小脑、左侧辅助运动区和海马。
核心结论
- 多序列MRI耦合学习较单序列MRI学习在脑性瘫痪识别中表现更优,T1-w与Flair耦合及T2-w与Flair耦合的累积准确率分别为94.70%和94.31%。
研究设计与样本
- 研究纳入716例受试者,其中脑性瘫痪患者327例、对照389例,每例采集四种MRI序列,使用Skyra、GE和Phillips设备,由放射科和神经放射科医师标注数据集。
关键影像表现/征象
- Flair序列模型关注较深层面切片,矢状位序列模型最后几层切片获得更多关注,T1-w序列模型学习早期切片特征,T2-w序列模型随机提取特征。
诊断标准与关键数值
- T2-w单序列用于脑性瘫痪预测的准确率为87.25%至90.19%,SSeq-DL模型准确率从矢状位的88.23%至T2-w的89.21%,T1-w与Flair耦合及T2-w与Flair耦合的累积准确率分别为94.70%和94.31%。
临床应用与阅片要点
- 模型可视化可报告脑性瘫痪相关易损区,包括岛叶、小脑、左侧辅助运动区和海马,以及覆盖切片随年龄范围变化的趋势,以辅助放射科医生早期康复评估。
局限性
- 现有文献研究在脑性瘫痪探究中选择合适对比度和利用对比耦合方面有限。
- 通过脑MRI视觉检查识别脑性瘫痪可能因早期年龄因素、单一模态缺乏及自动方法有限而导致误分类。
- 婴儿不配合的身体运动导致全脑映射解剖变异过大,使脑性瘫痪识别更具挑战性。
- 大多数现有分类尝试的年龄范围限于2至6岁,早期年龄结果较差。
全文中译15 节 · 点击展开
目的
脑性瘫痪(CP)是一种影响大脑皮层中与运动功能相关脑区的神经系统疾病,涉及运动、平衡和姿势 [24]。它是儿童中最常见的运动障碍,由大脑发育异常引起,影响个体控制肌肉的能力。CP并发症可由遗传和环境因素引起 [15]。除了运动和姿势相关问题外,CP患者还可能经历癫痫发作、脊柱改变、关节问题、智力障碍和视力问题 [12]。据报道,CP的发生率为每1000名儿童中3至10例 [15]。CP不可治愈且不可逆,但利用尖端技术进行早期识别有助于药物治疗和支持性治疗 [17, 27]。CP的理想治疗年龄为1至24个月,但由于年龄较小者不配合而具有挑战性 [16]。早期诊断至关重要,因为它可减轻终身问题 [28]。然而,寻找CP早期生物标志物的检测具有挑战性,因为婴儿和粗大运动功能存在潜在恢复 [4, 9]。每名CP儿童的神经系统症状构成各不相同,从而塑造其功能特征 [28]。脑成像可用于可视化这种构成,并有助于识别CP的发生、治疗意义和诊断 [11]。智能系统可以不可避免地从其大脑的功能和结构影像中捕捉这种构成。
CP的预测已通过多种数据集模态进行,包括自发性全身运动 [4, 18]、裸眼 [10]和身体运动 [21]、步态模式 [29]、DNA [4]以及神经影像 [1, 11, 19, 25],包括CP关联 [11]、分类 [19, 31]、探究 [32]和早期诊断 [9, 18, 25]。通过身体运动障碍的影像、智力障碍和其他表现来准确识别CP具有挑战性 [25]。磁共振成像(MRI)已成为诊断神经系统疾病最广泛使用的成像模态 [25]。MRI序列可提供与新生儿大脑脑结构发现相关病理因素的见解 [26]。大多数CP儿童已通过病灶勾画 [11]和使用脑MRI对CP进行分类 [19]进行检查。因此,脑MRI影像可能准确描绘与CP相关脑区的不同模式 [34]。
在MRI脑部图像中,针对特定病理选择适当的对比度仍然具有挑战性。此外,对比扫描的联合应用可以带来更好的脑结构表征和丰富的互补信息,有助于准确识别脑瘫(CP)[8, 30]。因此,多对比度或序列(MS-MRI)提供了丰富的互补信息,反映内部组织的特征,从而解析神经系统疾病的病理特征[8]。对比图像之间的共享信息有助于学习病灶和易损脑区[30]。尽管如此,选择信息量最大且最合适的MR(耦合)对比度至关重要。然而,通过脑MRI进行CP识别,在采用视觉检查、低龄因素、单一模态缺乏以及有限的自动方法来捕捉微小和病灶敏感区域的情况下,可能导致误分类结果[35–37]。视觉检查、低龄因素和单一模态缺乏所导致的误分类显著上升,需要稳健且高效的深度学习(DL)模型。DL模型从MRI中学习极其微小的信息,而临床医生通过肉眼检查可能无法观察到这些微小且难以察觉的病灶。
已开展基于自动化和数据驱动学习方法的尝试,以利用各种网络结构识别和分类CP[29]。基于DL的策略近来在广泛任务中显示出良好性能,尤其是在医学影像[13]、识别和分类神经系统疾病[3, 14]、重建[2]和预后[20]方面。一些研究[7]利用视频中婴儿的自发运动来识别CP并区分正常和异常身体运动[21]。大多数研究利用受试者明显的运动动作进行CP识别和分类[14]。在临床试验中,使用DL学习的CP患者诊断准确率达到88.6%[25]。研究[5]使用AI识别了患有CP的青少年中与自闭症谱系障碍相关的因素。然而,大多数现有分类尝试的年龄范围有限,为2至6岁,而在早期年龄观察到较差的结果[4, 18]。婴儿身体不配合运动导致的全脑标测中过度解剖变异使CP识别更具挑战性[6]。从文献中可以明显看出,从MRI分类CP具有挑战性,并且需要对解剖细节进行研究[6]。文献研究仅限于对SI-MRI或MI-MRI上易损病灶区域采用注意力机制对CP进行分类[18]。然而,研究[33]尝试使用通道注意力模块从婴儿身体运动预测CP,准确率为91.67%,而非使用MRI。此外,研究[38]利用Cascaded LeNet作为骨干架构,在分割特定脑区后将CP分类为亚型,然而,从模型训练权重中缺乏CP易损区域。大多数文献研究从身体运动、姿势和手势预测CP,其中提出了有限的DL架构用于从脑MRI识别CP,并嵌入注意力机制以勾勒HC与CP之间的易损脑区。在本研究中,提出的DL架构从脑视觉图像中识别CP,选择最佳单序列(SS-MRI)和MRI耦合(MS-MRI)序列,通过并行计算利用互补信息,并使用专门的注意力机制学习CP易损区域。引入的专门DL模型(SSeq-DL和SMSeq-DL)能够早期且准确预测,在最佳SS-MRI和MS-MRI方面建立了基准研究,并报告了CP相关区域。主要贡献是:引入在SSeq-MRI和MS-MRI上训练的专门DL模型。
最佳选择SS-MRI,以便从婴儿期到青春期进行CP识别的及时干预。
对MS-MRI耦合进行基准测试,以利用对比学习减少CP误分类。
可视化MRI扫描和切片中CP的易损区域,以辅助放射组学。
深入探讨从婴儿期到青春期与HC和CP相关的趋势。
材料与方法
开展了两项主要研究:(1)通过SS-MRI建立适合CP识别的网络架构模型;(2)对在伪代码(算法1)中运行的MS-MRI利用并行计算。第1至6行选择网络参数、输入和组合视觉图像,以及所引入的架构。第一个循环通过SS-MRI运行单序列深度学习(SSeq-DL)用于CP识别。第二个循环涵盖在MS-MRI上对单至多序列深度学习(SMSeq-DL)的训练和评估。伪代码(算法1)的输出是用于CP的最优选定SS-MRI和MS-MRI。
基于单次扫描MRI的建模
进行了大量实验以选择适合CP预测的扫描方案和架构(补充图1和表3)。SSeq-DL是竞争模型中的高效架构,其公式化描述如下:深度学习对所有样本进行训练并将其应用于MR图像。注意力机制(AM)以并行或顺序方式使用。并行结果,无论是通过残差连接还是通过AM获得的,均进行逐元素求和与相乘。不同的融合层级——早期E、中期M或晚期L——根据性能进行详细阐述。SSeq-DL是基于SS-MRI的有效模型,以SS-MRI作为输入,并最优放置了空间注意力(SA)和通道注意力(CA)(SCA)(图1)。SCA在SSeq-DL中放置两次,具体取决于性能。有四个基于卷积的最大池化(CRM 1-4)模块,随后是全连接(FC)和dropout层以预测CP。
多对比学习与CP识别
对比学习的引入旨在提高预测准确性。并行计算或部分孪生学习单元接收MS-MRI(图2和补充图2)。孪生网络中的相似或差异特征在CP预测中起关键作用。部分孪生网络在中间层融合并行单元,使网络能够理解融合前和融合后的信息。该模型保留每个输入扫描到中间层的权重,然后共享公共权重,并利用差异特征增强类别不平衡情况下的鲁棒性。因此,本研究以SSeq-DL和最先进技术(SOTA)等竞争模型为基准进行比较(详见补充材料)。SA和CA注意力与不同架构结合使用,以强调与CP相关的有意义的特征(补充图2)。
SMSeq-DL接收单个受试者的MS-MRI,并在对比信息的驱动下学习CP相关模式,其公式化描述如下:对比学习MC从范围内的MS-MRI中产生。预处理版本传递至部分并行单元,如和,并通过逐元素求和或相乘进行合并。合并操作在不同深度层级进行,并继续形成联合特征表示。类似地,每个网络可根据网络学习到的权重和偏置在不同位置应用注意力机制(AM)。SMSeq-DL由卷积层、CA、SA、顺序(Seq)、并行(Paral)、最大池化(MP)和FC组成(图2、补充图2和表4)。SMSeq-DL具有一个并行单元(PU),每个SA依次排列,中间穿插MP和卷积层(图2)。
数据集收集
共有716名受试者;327名为患者,389名为对照。按年龄分为八组的分布见表2(第一行)。每名受试者采集了四个MRI序列。对照参与者的MRI分别使用Skyra、GE和Phillips机器获取,比例分别为123、138和128。然而,大多数患者的MRI使用GE获取(282),少数患者的MRI使用Skyra记录(44)。下表(表1)提供了所获取MRI数据的统计分布。磁场强度1.5(T)和3(T)在多个方面影响深度学习模型的训练和测试结果。深度学习(DL)模型受益于3T MRI在學習大脑小解剖结构时更高的分辨率和对比度[39–41]。然而,包含来自1.5T和3T MRI扫描仪图像的多样化训练数据集,有助于开发更稳健的DL模型训练[42](补充表6)。所提出模型的训练配备了动态增强,以克服具有挑战性的低信号强度因素(更多细节见补充部分)。
纳入和排除标准见表2;更多细节见补充第0.4节。
该数据集从儿科康复中心的儿童获取,MRI在驻点医院被诊断并分类为脑性瘫痪(CP)或健康对照(HC)。为训练DL模型,使用跨平台图像查看器(MRIcron)将DICOM格式的MRI转换为NifTi(.nii)格式[43]。使用Python函数(Scikit)加载NifTi格式的MRI并转换为NumPy结构表示。转换过程在驻点儿童医院放射科放射科医生的监督下进行,同时展示了分布于一系列切片上的不同脑区的可视化[43]。随后使用Scikit对图像进行变换和对齐,使其具有相同的尺寸和深度。
患者的临床特征
本研究从驻点医院招募了健康对照(HC)儿童和脑性瘫痪(CP)儿童。CP儿童被诊断为CP障碍,且大多数为住院患者。然而,HC大多为门诊患者,并在驻点儿童医院作为健康者接受检查。患者的临床特征主要围绕被诊断为脑性瘫痪的个体展开,从临床特征方面突出了多个方面。被诊断为CP的患者的临床特征限于CP类型(例如,1=痉挛型;2=运动障碍型;3=共济失调型;4=肌张力低下型;5=混合型;6=强直型)、出生详情(例如,体重、早产或足月、胎龄)、分娩方式,以及特定的围产期危险因素,如呼吸窘迫、妊娠期糖尿病或出生时缺氧窒息的情况(表3)。它还详细记录了家族病史、是否存在运动障碍、智力低下,以及是否存在吞咽功能障碍、言语障碍或癫痫等问题。所记录的治疗和干预措施包括标准康复治疗、外科手术、运动发育迟缓训练、平衡功能训练、先进疗法如肉毒毒素注射、高压氧治疗和脐血移植治疗,表明对脑性瘫痪的管理采用了广泛、多层面的方法。每位患者的记录虽然在细节数量和具体情况上有所不同,但共同强调了脑性瘫痪照护的复杂性,反映了个体化治疗方案,既针对诊断的神经方面,也针对身体方面。简而言之,除人口学特征外,关键临床特征包括CP类型、瘫痪部位、出生数据、围产期危险因素、治疗和干预、神经发育和功能状态,以及康复和治疗。
MRI切片分布及覆盖的脑区
本研究所用数据集包括从轴位或矢状位视图获取的T1-w、T1-sag、T2-w和Flair序列。脑MRI的轴位视图可沿切片深度显示不同的脑组织,这些组织已被标注并展示于图3a。沿切片存在区域变化;然而,为便于理解,图3a中展示了一个带标注的单一层面。可视化使用MIcron软件工具制作,以展示分布于一系列切片上的不同脑区[43]。此外,我们还概述了脑MRI矢状位视图及其覆盖区域(图3b)。突出感兴趣区域旨在利用感兴趣区域的分析和评估结果,这些结果聚焦于DL模型的注意力机制并与CP神经系统疾病相关。所收集数据集的轴位和矢状位视图区域分布详情见补充部分。此外,十七个切片被分为四组,其中第1–4组分别包括切片1–4、5–8、9–13和13–17。所有分组及其覆盖区域列于补充部分(表S-1和S-2)。训练有素的放射科医师和神经放射科医师对收集的数据集进行了标注,包括标记低质量图像、分析结果和评估样本。
结果
单次扫描(SC)脑MRI与脑瘫关联
本研究的实验旨在发现一种基于单次扫描磁共振成像(SS-MRI)的最优深度学习(DL)架构,以及一种适用于脑瘫(CP)关联的合适SS-MRI。七种DL架构的训练结果以AUC曲线形式绘制于图4a–d。其中,T2加权成像(T2-w)的累积AUC评分高于相应的T1加权成像(T1-w)、矢状位(Sag)和液体衰减反转恢复(Flair)。T2-w扫描对CP预测的适用性通过混淆指标进一步阐述和验证,准确率范围为87.25%至90.19%(补充表7)。相反,Sag扫描被观察到性能较差。在网络架构的最优选择方面,Model-6(SSeq-DL)在SS-MRI扫描中表现稳健。从统计结果可以推断,Model-6(SSeq-DL)在SC扫描训练时更为合适(使用Sag为88.23%,使用T2-w为89.21%)。少数模型,包括Model-3(使用T2-w为89.21%)、Model-4(使用T2-w为90.19%)和Model-7(使用T2-w、Flair和Sag分别为90.19%、89.19%和88.23%),表现出略好的性能;然而,其余扫描(Flair、T1-w和Sag)的性能较差。因此,本研究采用Model-6的网络结构进行CP识别,并命名为SSeq-DL。
SS-MRI的累积预测准确率见表4。从训练统计(表4)来看,T2-w和Flair扫描在CP预测方面具有显著性。T1-w和Sag的CP预测累积结果略低。
使用基于多扫描磁共振成像(MS-MRI)的学习增强CP识别
提出了基于多对比的模型,包含六种架构版本(补充表4),使用MS-MRI的耦合。SMSeq-DL的架构(图2)在六种基础架构中被发现具有高效性能(表4)。在扫描间耦合方面,T1-w Flair和T2-w Flair的融合对CP预测显示出显著结果(图4e–f)。为进一步评估基于耦合的稳健性,T1-w Flair和T2-w Flair的五折交叉验证见表5L。耦合T1-w Flair和T2-w Flair的累积准确率分别获得94.70%和94.31%的评分。通过采用从MS-MRI耦合中学到的对比信息,临床实践中MRI对CP的误分类可降至较低水平。然而,矢状位与其他MRI扫描的联合应用导致性能较差(补充表10)。总体而言,基于MS-MRI的学习优于基于SC-MRI的学习。
SMSeq-DL的AUC曲线绘制显示T2-w Flair的耦合(图4e-d)具有稳健结果(详见补充图4)。混淆矩阵作为评估指标具有重要意义。AUC曲线和混淆矩阵显示了所提出的SMSeq-DL在T1-w Flair和T2-w Flair上的稳健性。
脑MRI沿层面的脆弱性
互补信息融合与CP识别
为规避关于使用MS-MRI改善CP识别所提出的问题,我们旨在如图5所示可视化学习到的特征。在耦合中,仅使用T1-w Flair进行说明(T2-w Flair见补充材料)。可视化旨在解释与CP相关的脆弱脑区。图5显示了接收输入T1-w(第一列)和Flair(第二列)的特征图,随后是互补信息融合作为融合(第三列)。可视化结果是对应于T1-w、Flair和T1-w Flair的网络权重的累积均值。两个MRI扫描的表示输入到并行网络单元,如图5所示。在所选网络层级有48个特征图。并行(孪生网络)单元中的滤波器捕获对应于白质和灰质比例的独特特征。中间的融合优于竞争者的融合(图2和补充表4)。第二行(图5)突出了不对称和对称特征。在合并( )之后,模型保留了CP识别所需的对比和对称信息。值得注意的是,SMSeq-DL可应用于具有多个副本的MS-MRI和SS-MRI。
MRI扫描中的CP脆弱切片
在临床实践中,利用类注意力机制来开发深度学习架构类似黑箱的 notorious 属性是不可避免的。因此,已展示了Flair、Sag和T1-w扫描的抽象可视化(图6)。每个扫描有两种类型的视觉图像,分别对应于采用注意力之前(第一行)和之后(第二行)。在Flair扫描案例中,模型关注更深的切片,如第二行所示,用于CP识别。在Sag中可以观察到类似的趋势,其中最后几个切片获得更多关注。相反,在T1-w扫描的案例中,模型从早期切片学习特征并丢弃不必要的信息(详见补充图11、12和13)。对于T2-w对比,模型随机提取特征(补充图10)。T2-w Flair的耦合已被用于阐述对照组和CP之间的趋势。
十七个切片被分为四个类别(补充图3和表1、2)。例如,视觉描绘显示CP与Sag在更深切片中深度相关(图6第二行)。这些切片覆盖的脑组织包括颞叶、外侧、顶叶、枕叶、角回、岛叶、小脑和海马(补充图13)。类似地,对于T1-w的描绘,我们推断最脆弱的区域包括左侧岛叶、小脑、初级运动区和海马(图7)。
健康对照和CP中的趋势
除了在每次扫描中描绘脑MRI中易受损病灶区域外,还必须展示深度学习针对健康对照和CP患者所捕获的广义特征。因此,我们采用T2加权Flair的耦合来突出CP病例中与病灶对应的RoIs,以及健康对照中不同于CP的通用特征(图7a)。红色球体覆盖的区域代表不同特征,而粉色球体表示对称特征。两组之间的不对称特征有助于深度学习模型识别CP和健康对照,其中特定MRI扫描的区分可以利用对称特征来实现。
从婴儿期到青春期的CP识别
从婴儿期到青春期的CP预测对于CP检查的放射组学至关重要。因此,本节旨在阐述从早期(几个月)到17岁期间的CP预测。测试样本被分为五个按年龄分组的组(AG)(图7b、c)(详见补充材料)。前五个垂直条显示五折交叉验证,而最后一个条显示每个年龄组交叉验证的平均值。为评估结果,仅考虑T1加权Flair(图7b)和T2加权Flair(图7c),因为它们的性能更优。在T1加权Flair的评估中(图7b),总体CP预测评分较低,而交叉验证统计显示准确性指标不规则。这推断出与青春期相比,早期大脑发育迅速。这一趋势持续到后面的年龄组(AG-5),在那里观察到更一致的CP趋势,预测准确性良好。此外,T2加权Flair(图7c)在早期(AG-1)的发现显示出与T1加权Flair(图7b)相似的趋势。然而,AG-2的预测评分较高,并平滑延续到AG-5。从模型的训练结果来看,累积CP识别评分在早期(AG-1)和后期(AG-5)之间存在明显差异。
结论
本文介绍了两种新模型,SSeq-DL和MS-DL,分别在SS-MRI和MS-MRI上训练,能够稳健地对CP和对照组进行分类。使用SSeq-DL(SS-MRI)进行CP识别的准确率达到90%,使用SMSeq-DL(MS-MRI)进一步提高了约94%。多次扫描保留了互补信息和易损区域,以提高CP预测能力。在SS-MRI中,T2-w的结果相比竞争序列获得了更高的预测评分,而Sag序列的报告结果较差。类似地,在可能的组合中,T1-w Flair和T2-w Flair报告了更优的结果;然而,Flair以单独形式报告时结果显著性较低。与Sag序列组合时也观察到较差的性能。T1-w Flair主要关注沿深度方向的早期切片来预测CP。T2-w Flair的所有切片受到更多关注。在Sag联合训练下训练的DL模型主要关注最后较深的切片,因此产生了较差的结果。从可视化结果来看,与CP相关的易损MRI切片扩散到大脑区域,包括左侧大脑的颞叶、根茎区、顶叶、枕叶、角回、岛叶、小脑、海马和上运动区。CP和对照组报告了对称和非对称的趋势。在年龄方面,早期年龄报告了不一致的趋势,推断从婴儿期到青春期大脑快速发育。所提出的研究仅限于CP,可以扩展到其他神经系统疾病。此外,该研究仅限于单一研究医院,但有潜力扩展并与其他研究医院整合。
补充信息
以下是电子补充材料的链接。补充文件1(pdf 48098 KB)
引用
- Hassan M, Lin J, Fateh AA, et al. Trends in brain MRI and CP association using deep learning. Radiol Med. 2024. PMID: 39388027. doi:10.1007/s11547-024-01893-w
- 全文:PMC11554846(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11554846/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。