基于深度学习框架从英国生物银行心血管MRI标记图像全自动估计心肌应变
本回顾性横断面研究利用英国生物银行4508例心血管MRI标记图像,构建并验证全自动深度学习框架(CNN定位+RNN与CNN联合追踪心肌标志点)估计左室径向与环向应变。测试集显示环向应变异与人工基准接近,并能复现糖尿病、高血压和既往心脏病发作人群的环向应变减低;处理速度约每秒260帧(约13层),而人工分析每层需6–8分钟。
要点
- 全自动框架无需人工输入即可从标记图像估计全层心肌应变,测试集环向应变异与人工基准接近。
- 自动分析可复现糖尿病、高血压和既往心脏病发作相关的环向应变减低,置信区间与人工分析相似。
- 处理速度约每秒260帧(约13层),人工分析每层需6–8分钟,提速约5000倍。
关键影像表现/征象
- 测试集心肌收缩末期环向格林应变误差(预测与人工差值均值±标准差)在基底、中间、心尖层分别为-0.001±0.025、-0.001±0.021、0.004±0.035。
- 径向应变误差在基底、中间、心尖层分别为-0.025±0.104、-0.010±0.100、-0.009±0.103。
- 168个标志点位置均方根误差在舒张末期为4.1 mm±2.0、收缩末期为3.8 mm±1.7,而40例观察者间位置误差分别为2.1 mm±1.8和2.0 mm±1.6。
- 定位网络测试集平均交并比为90.4%±5.4,最差交并比为53%,仅1/1245层(0.08%)标志点明显错位。
诊断标准与关键数值
- 定位网络以交并比评估,测试集平均90.4%±5.4。
- 标志点追踪以位置均方根误差评估,舒张末期4.1 mm±2.0、收缩末期3.8 mm±1.7。
- 应变以格林(拉格朗日)应变公式计算,环向应变取第二、第四、第六环分别代表心内膜下、中层、心外膜下。
- 自动与人工应变差异采用Bland-Altman分析,多数病例位于95%一致性界限(偏倚±1.96×精度)内。
临床应用与阅片要点
- 作者认为该框架使高通量无偏应变评估成为可能,区分糖尿病、高血压和既往心脏病发作损伤的能力与人工分析相似。
- 作者指出径向应变一致性界限最宽,与既往研究显示心血管MRI标记径向应变准确性较低一致。
- 作者观察到追踪误差在电影序列末段(舒张期标签消退时)趋于增大。
- 作者指出基底径向应变及基底与中间层中层环向应变的偏倚虽小但显著异于零,可能源于图像层面数量较多。
局限性
- 基底层面若受左室流出道影响的心肌总周长≥25%则不分析,心尖层面若收缩末期无腔室证据则不分析。
- 标记图像质量被阅片者认为不可接受者被排除。
- 自动预测精度(差值标准差)劣于观察者间精度,表明观察者比网络更精确。
- 径向应变一致性界限最宽,与既往研究显示心血管MRI标记径向应变准确性较低一致。
- 追踪误差在电影序列末段标签消退时趋于增大。
全文中译15 节 · 点击展开
摘要
通过使用深度学习框架,在全切片心肌应变分析中实现全自动分析在高通量工作流程中是可行的,并可用于检测疾病组(糖尿病、高血压和既往心脏病发作)中的功能损害,其置信区间与手动分析所获得的置信区间相似。
要点
■ 与手动参考标准相比,测试集心肌收缩末期环向全切片Green应变误差(差值的平均值±标准差)在基底段、中间段和心尖段切片中分别为−0.001 ± 0.025、−0.001 ± 0.021和0.004 ± 0.035;径向应变误差分别为−0.025 ± 0.104、−0.010 ± 0.100和−0.009 ± 0.103。
■ 该方法能够对标记图像进行全自动应变分析,无需任何手动输入,在具有12 GB RAM的计算处理器上速度为每秒13个切片,而手动分析为每个切片6–8分钟。
■ 手动分析中发现的糖尿病(95%置信区间[CI]:0.003,0.020)、高血压(95% CI:0.004,0.010)和既往心脏病发作(95% CI:0.008,0.042)环向应变的显著降低,在自动分析中对于糖尿病(95% CI:0.006,0.019)、高血压(95% CI:0.002,0.008)和既往心脏病发作(95% CI:0.009,0.037)得到了重现。
引言
心血管MRI组织标记是无创评估心肌应变的参考标准(1–4)。尽管心血管MRI特征追踪允许从标准稳态自由进动图像计算应变,但特征仅限于心肌边缘(5)和心肌外结构(6),而心血管MRI标记能够检测和追踪心肌内特征。刺激回波位移编码(7,8)有潜力提供更高空间分辨率的应变估计(9),但迄今为止尚未得到如此广泛的应用(10)。心血管MRI标记的实用性已在许多不同患者组中得到证实(4)。然而,缺乏用于从心血管MRI标记图像量化应变的稳健全自动分析工具,导致分析时间在高通量环境下令人望而却步,例如涉及数百例病例的研究或每周超过20例病例的高工作量临床中心(4,11,12)。
心血管MRI标记图像应变分析的最常见方法包括轮廓匹配和样条拟合(13)、可变形轮廓(14)、谐波相位分析(15)和正弦波建模(16)。然而,这些方法需要手动初始化且缺乏稳健性。近年来,深度学习方法,特别是卷积神经网络(CNN),在通用图像处理方面显示出前景,包括自动心血管MRI心室功能分析(17–20)。然而,尚未有报道使用专门设计用于稳健分析心肌运动和应变的神经网络。
在本文中,我们开发了一个全自动深度学习框架,使用两个神经网络在短轴心血管MRI标记图像上估计左心室(LV)周向和径向应变。该框架利用空间和时间特征来估计心肌标志点的位置和运动,这些标志点被置于一致的解剖位置,而不受叠加标记位置的影响。空间特征使用CNN架构提取和学习,而时间行为使用循环神经网络(RNN)学习(21)。这种时空神经网络架构在英国生物银行大规模数据上开发并验证(22),据我们所知,它是首个在高通量环境下从心血管MRI标记图像全自动估计应变的方法。
材料与方法
数据集
本研究检查了5065名英国生物银行参与者,他们在英国生物银行影像增强子研究试点阶段(2014年4月至2015年8月)接受了心血管MRI检查(22)。先前一份报告描述了该队列中的LV形状分析(23)。图像采集方案的细节已在先前描述(22)。英国国家医疗服务体系国家研究伦理服务处于2011年6月17日批准了本研究(11/NW/0382)。所有参与者均提供了书面知情同意。使用运行Syngo VD13A的Aera 1.5-T(Siemens Healthineers,埃尔朗根,德国)扫描仪。心血管MRI标记图像包括在三个短轴层面(基底、中间和心尖)采集的梯度回波图像,参数如下:重复时间毫秒/回波时间毫秒,8.2/3.9;翻转角,12°;视野,350 × 241 mm;采集矩阵,256 × 174;体素大小,1.4 × 1.4 × 8.0 mm;前瞻性触发;标记网格间距,6 mm;时间分辨率,41毫秒;以及约20个重建帧。
病例被分配给五名受过训练的分析者,图像使用先前经验证的软件(CIM,6.0版;新西兰奥克兰大学)进行分析(9,24)。大多数病例(74%)由两名专职图像分析者(J.P.、E.L.;分别占病例的41%和33%)分析,其余病例由三名心脏病学家(A.B.、K.F.和E.M.;分别占12%、9%和5%)审阅。分析者在心血管图像分析方面具有1–10年经验。每位分析者均按照书面标准操作规程接受培训,并在参与生成参考标准前满意地完成了至少30个训练病例。图1展示了生成参考标准标志点的逐步过程。该软件从室间隔中点(右心室前、后插入点之间的中点)开始,识别并追踪心肌内标准解剖位置的168个标志点。这些标志点在心肌内均匀分布,径向(透壁)方向有7个点,每个圆周有24个点。该软件使用可变形配准算法,通过最小化连续帧之间的平方差之和来尝试追踪标记(9,24)。分析者在若干关键帧手动校正追踪结果,以匹配图像标记的运动:舒张末期(ED,检测到R波后的第一帧)、收缩末期(ES,最大收缩帧)、快速充盈后以及周期结束时。软件将这些校正插值到中间帧。如果受左心室流出道影响的心肌总圆周达到25%或以上,则不分析基底切片;如果在ES无腔室证据,则不分析心尖切片。如果分析者认为标记图像质量不可接受,病例也被排除。这产生了4508例心血管MRI标记病例(12409个切片),每个病例每帧追踪168个标志点,可作为我们神经网络的参考标准。高血压、糖尿病或既往心脏病发作的参与者通过问卷数据被识别为具有自我报告的现有疾病、由医生诊断的疾病或正在服用这些疾病的药物。参与者特征见表1。
框架概述
该深度学习框架包括以下步骤:(a)找到包含左心室心肌的感兴趣区域(ROI),(b)对每一帧的图像ROI进行裁剪和重采样,(c)在所有帧中检测并追踪心肌标志点,以及(d)基于标志点的运动计算应变(图2)。
在图像输入流程之前,图像被零填充至256×256矩阵大小,每个 cine(一个层面中的帧序列)固定为20帧长度。大多数层面(n = 12355)已有20帧;少于20帧的层面(n = 13)用空帧填充,多于20帧的层面(n = 40)通过取前20帧进行截断。
神经网络使用Tensorflow 1.5.0(25)和Python开发,并在具有12 GB RAM的NVIDIA Tesla K40(NVIDIA,Santa Clara,Calif)上进行训练。该框架的最终输出为径向和周向应变,其通过Green(Lagrangian)应变公式从每个时间帧的标志点位移计算得出,该公式与有限应变张量兼容(9,26),其中Lt表示任意帧t处的节段长度,L0表示初始长度。
在训练过程中,数据被随机划分,90%(n = 4056)的病例进入训练和验证集,10%(n = 452)进入测试集。第一组进一步划分,80%(n = 3244)的病例进入训练集,20%(n = 812)进入验证集,验证集用于检查过拟合和收敛以及调整模型参数。
感兴趣区定位
定位网络设计用于检测ED帧中包绕LV心肌的ROI。该网络的输出是一个由心肌范围定义的矩形边界框,并扩大60%以确保纳入来自心肌外部的足够空间信息。网络配置见图E1(补充)。每个卷积层后接批量归一化(27)。除输出层为回归层外,每一层均使用修正线性单元(ReLU)作为激活函数(28)。第一个全连接层后使用丢弃概率为20%的dropout层(29)。
该网络通过使用预测边界框角点与真实边界框角点之间的均方误差作为损失函数进行优化。使用学习率为10-3的Adam优化器;在第10个epoch之后,每第5个epoch将学习率降低√2倍。准确率通过使用交并比(IoU)指标计算,其定义为预测边界框与真实边界框的重叠面积除以预测框与真实框面积并集。
获得ED帧边界框后,cine剪辑中的所有图像均使用同一边界框进行裁剪。由于在ED时心脏在收缩前完全扩张,ED之后帧中的心肌面积较小,从而确保边界框覆盖所有帧中的心肌。随后,所有裁剪图像使用双三次插值重采样至128×128像素,以输入标志点追踪网络。
标志点追踪
标志点跟踪网络(结合RNN和CNN)由两个组件构成:一个CNN组件用于提取空间特征,一个RNN组件用于整合帧间的时间关系。该网络的输入数据由来自定位流程输出的20帧(128×128像素)组成。结合RNN和CNN作为一个网络进行端到端训练。训练时间约为10小时。
结合RNN和CNN架构的概要如图E2(补充)所示。共享权重CNN组件中使用了带泄漏的ReLU(30)激活函数(α = .1)。CNN组件一次处理一帧,每帧输出一个1024长度的特征向量。动态RNN(最多20帧)使用具有1024个节点的长短期记忆单元(31)。RNN组件中使用ReLU作为激活函数。最终输出层为回归层,输出20个时间帧的168个标志点坐标。
结合RNN和CNN使用复合损失函数进行优化,该函数同时最小化每帧中的位置误差以及径向和室壁中层周向应变误差,按逐层切片定义如下(图3):其中MSEt为帧t时预测标志点位置(xi‘, yi’)与真实标志点位置(xi, yi)之间的均方误差(n = 168,即一帧中标志点的数量);ΔRkt为帧t时沿每条径向线k的心外膜与心内膜标志点之间的距离,以t = 1作为参考帧;ΔCkt为帧t时室壁中层周向线k中两个连续标志点之间的距离(图3)。应变误差被赋予权重(ω),以调整其与位移误差相比的相对尺度。径向和周向应变(分别为εR和εC)使用格林应变公式计算(公式[1])。在计算误差之前,应变在切片上进行平均(公式[2])。
基于该损失函数,网络通过位置(均方误差)和应变(径向和周向)约束得到了有效优化。使用学习率为10−4的Adam优化器;每第10个 epoch 学习率降低√2倍。测试集的总体准确性基于以下两方面计算:(a)收缩末期预测应变与真实值之间基于切片的应变误差,以及(b)舒张末期和收缩末期切片内所有标志点的均方根位置误差。
统计分析
所有统计分析均使用SciPy Statistics(32)完成,这是一个用于统计函数的开源Python库。连续变量以平均值±标准差表示,误差以切片间计算的平均差值±差值标准差表示。我们使用“偏倚”一词表示平均差值,使用“精确度”一词表示差值的标准差。这些分别在基底段、中间段和心尖段切片上计算,以给出每个位置的结果。采用Bland-Altman分析,通过绘制差值与两种测量平均值的散点图来量化一致性。自动结果与手动结果之间的差异以及观察者间差异采用Student t检验进行评估。使用Bonferroni校正,共15项检验(表2),以P < .0033表示差异有统计学意义。手动观察者间误差通过比较两名观察者对40例病例的标志点坐标和应变差异(平均差值±差值标准差,在切片间计算)获得。由于疾病过程(糖尿病、高血压和既往心脏病发作)导致的心室中部环向应变差异采用Welch不等方差t检验进行检验。
结果
感兴趣区定位
定位网络的性能在测试数据集(1245个切片)上进行了视觉和定量评估。对于视觉评估,我们审查了IoU最差的病例,并检查裁剪后的感兴趣区是否可接受(即是否包含左心室心肌)。所有测试病例均未被判定为感兴趣区不可接受。最差病例的IoU为53%,测试集的平均IoU为90.4% ± 5.4。图4展示了最差和典型示例结果,以及定位网络的准确度分布。
标志点追踪
在测试数据集上,168个标志点坐标的均方根位置误差在ED时为4.1 mm ± 2.0,在ES时为3.8 mm ± 1.7(切片间均值 ± 切片间标准差)。相比之下,40例观察者间位置误差在ED和ES时分别为2.1 mm ± 1.8和2.0 mm ± 1.6(均值 ± 标准差)。均方根位置误差主要归因于ED帧上标志点沿圆周方向放置的变异,对应于真实标注中从右心室插入点定位室间隔中点。
对最差病例(IoU <70%、位置误差 >4 mm、|误差 (εR)| >0.2或|误差 (εC)| >0.05)以及随机选择的病例进行了视觉检查,以验证标志点位置是否可接受(即位于心肌内)。1245张切片中仅1张(0.08%)存在严重错位的标志点,原因是ROI预测不准确(IoU = 53%),导致真实标注标志点(ED帧168个中的16个)位于预测ROI之外。表2显示了预测和真实标注的应变值,以及预测与真实标注应变之间差值的均值和标准差。除整个心肌的平均应变外,还分别使用第2、第4和第6圆周标志点环计算了心外膜下、壁中和心内膜下区域的圆周应变,如图3所示。所有应变偏倚(平均差值)均较小且与零无显著差异,但基底径向应变以及基底和心室中段壁中圆周应变除外(可能由于图像切片数量相对较多)。预测精度(差值标准差)劣于观察者间精度,表明观察者比网络更精确。作为进一步比较,表2还显示了网络的绝对误差和两名观察者之间的绝对误差。观察者间绝对误差与网络绝对误差相似。圆周应变在心内膜下区域最高、心外膜下区域最低,与既往研究一致 (33)。心内膜下估计显示出更好的精度,径向应变精度最差,这与既往研究一致 (9)。
表2还显示了用于比较的两名阅片者(n = 40)的指示性观察者间应变误差(其他阅片者之间也观察到类似的观察者间差异)。应变上微小但显著的差异主要归因于轮廓放置的差异。既往在患者中使用相同软件也发现了类似的观察者间差异 (9)。自动预测的应变显示出与手动观察者间应变误差相当的误差,精度较差但在更大数量的病例中偏倚有所改善。作为进一步比较,表2还显示了在用于计算观察者间变异性的40例病例上,未进行手动校正的可变形配准方法(使用CIM 6.0版软件)所产生的误差,并以观察者平均应变作为真实标注。这些误差大于自动RNN-CNN预测的误差。
图5显示了Bland-Altman图,比较了从标志点获得的预测ES应变与真实ES应变之间的差异。这些图使我们能够确认εR和εC的差异平均值 approximately 为零。大多数病例位于95%一致性界限内(偏倚 ± 1.96 · 精确度)。可以看到一些离群值,表明少数病例存在较大误差。εR的一致性界限最宽,这与既往研究一致,那些研究显示使用心血管MRI标记法测量径向应变的准确性降低(9)。我们观察到中间层切片上εC的一致性界限最小,而心尖层切片的一致性界限最大。
图6显示了在ED和ES时得到的标志点检测与跟踪示例,包括所有时间帧的应变估计。跟踪误差倾向于在电影序列末端增加,此时舒张期通常发生标记衰减。该全自动框架在使用该计算处理器时每秒可处理约260帧(约13层切片)。相比之下,人工分析通常每层切片需要6–8分钟,相当于约5000倍的改进。
表3显示了英国生物银行参与者自我报告的糖尿病、高血压和既往心脏病发作在心室中层周向应变方面的差异。在每项比较中,人工分析均发现疾病组与参照组(无高血压、糖尿病或既往心脏病发作的病例)之间存在统计学显著的损伤,全自动方法在每种疾病中均以相似的可信区间重现了这些结果。同时列出了来自MRI的左心室质量和体积(34)以供比较(按体表面积索引)。对于高血压,训练集中有818例,验证集中有195例,测试集中有108例。对于糖尿病,分别为135例、30例和16例;对于既往心脏病发作,分别为64例、13例和11例。
讨论
从心血管磁共振(MRI)标记图像估计应变是一个具有挑战性的问题。我们设计了一个全自动框架,用于从心血管MRI标记图像计算应变并提供解剖标志点。据我们所知,我们的研究是首个在高通量环境中提供全自动分析的研究。该方法可直接应用于英国生物银行影像子研究中的100 000名参与者,随着这些病例变得可用。该方法能够学习先前验证过的可变形配准方法和跟踪误差的人工校正。我们不知道在实践中还有其他不需要一些人工干预的全自动方法用于标记心血管MR图像。我们的结果表明,所提出的框架可以即时(实时)产生区域心肌应变的无偏估计,具有合理的精度,并能重现由疾病过程引起的差异。在高通量临床环境中,该方法可作为稳健的初步评估。
全自动框架的性能与先前比较心血管MRI标记与刺激回波位移编码或特征跟踪的研究相当(9,11,35)。特别是,先前一项在患者中使用相同人工校正标记分析程序的验证研究(9)发现,标记的观察者间圆周应变误差为−0.006 ± 0.034,刺激回波位移编码与标记之间的误差相似(9)。已知与刺激回波位移编码和特征跟踪相比,标记的径向应变被低估(9),并且由于标记间距相对于心内膜与心外膜之间距离较大,其精度较差(3)。在我们的研究中,收缩末期(ES)的圆周应变和径向应变均显示最小偏差。尽管基底εR、基底中层壁εC和心室中层壁εC在统计学上不同(P < .0033),但偏差的幅度(分别为−0.025、−0.004和0.003)不太可能具有临床意义。由于网络在训练集中看到了来自所有读者的病例,它可以学习所有读者的平均值,并避免通常与个体人类读者相关的特定偏差。
心血管MRI标记也已被纳入几项大型队列研究,包括动脉粥样硬化多种族研究(36)和英国生物银行心血管MRI成像扩展(22)。特别是,心血管MRI标记被纳入英国生物银行心血管MRI方案,以提供准确的心肌应变估计,用于分析发展中的疾病(22)。因此,全自动应变分析将提高心血管MRI标记在大型队列研究中的效用。该方法可应用于剩余英国生物银行心血管MRI队列的自动分析,估计到2023年约有100 000名参与者,以及在初次成像访问后2–3年重复成像的约10 000名参与者。
均方根位置误差相对较高,这是由于难以定位室间隔的精确中点。这在观察者间位置误差中也有体现。位置误差不会传播为应变误差,因为应变仅取决于舒张末期(ED)与收缩末期(ES)之间的相对运动。然而,心尖切片的应变误差增大,主要归因于心肌壁薄且呈斜向走行、部分容积效应(不同组织被平均进入单个体素)以及大的运动伪影(标记似乎消失)。
实验与超参数调优
对于定位卷积神经网络(CNN),较低的调整比例(λ< 0.3)可给出左心室(LV)感兴趣区(ROI)更精确的估计;然而,这使跟踪网络获得的空域上下文减少,从而导致准确度降低。在未来的工作中,进一步的增强(包括任意旋转和平移)可能会进一步提高准确度。然而,我们发现90%的IoU准确度是可接受的,且没有病例完全失败(即不包括LV)。
对于标志点跟踪网络,我们还实验了单独训练的标志点检测CNN以及随后的标志点跟踪循环神经网络(RNN)。单独训练的网络性能较差,因为CNN只能独立处理每一帧,因此无法保证帧与帧之间的运动一致性。端到端结合的RNN和CNN架构更难优化且对变化敏感。调整网络需要在CNN和RNN组件之间取得平衡。对应变误差的权重(ω = 1、5、10)、批大小(20、25、30)、CNN激活函数(ReLU和leaky ReLU)、长短期记忆节点数(400、512、600、800、1024和2048),以及在长短期记忆单元前后增加额外的全连接层,均导致训练期间性能下降。在结合的RNN和CNN网络中,我们发现leaky ReLU(37)是CNN组件中的关键超参数,它允许负值被更新,并防止遗漏可能对RNN组件有用的空间信息。整体精简的结合RNN和CNN架构受到Mari Flow(38)的启发。
局限性与未来工作
本研究使用的神经网络是用来自英国生物银行(U.K. Biobank)的一个数据集训练的,该数据集在成像方案上具有同质性,且主要由健康参与者组成(34)。需要对该数据集进行额外的增强,以使神经网络适应不同的数据集,例如英国生物银行中未见过的疾病或来自不同成像方案的数据。尽管偏倚表现极佳,但仍需更多工作来提高精度,以匹配人工分析的精度。表2显示,网络精度约为观察者间误差的两倍,这对于英国生物银行等大规模研究是足够的,但不适用于识别个体患者的细微变化。另一个局限性是帧数固定(n = 20),这是由当前TensorFlow实现的性质决定的。未来的工作将探索通过为每个标志点分配节段标签(根据美国心脏协会[39])来计算节段应变。此外,RNN的其他变体,如双向RNN(40)和卷积长短期记忆(41),是可能的候选方案,分别通过允许向后时间关系和保留空间信息来改进网络。对标记图像质量进行自动评估也将非常有用,特别是在标记衰减的背景下,以确定标记在心动周期的部分时段何时无法分析。
代码与数据可用性
该代码可在线获取(https://github.com/EdwardFerdian/mri-tagging-strain)。此外,本研究的原始数据、衍生数据、分析和结果可从英国生物银行中央存储库获取(申请号2964)。研究人员可通过英国生物银行申请程序(http://www.ukbiobank.ac.uk/register-apply/)申请访问这些数据。
结论
在本研究中,我们引入了一个全自动框架,使用深度学习框架从心血管MRI标记图像中估计径向和周向区域应变。该框架能够利用空间和时间特征在多个帧中检测和追踪168个标志点。该方法产生了无偏估计,精度合理,适用于无法进行手动初始化或交互的高通量环境中的稳健评估。该方法重现了糖尿病、高血压和既往心脏病发作导致的应变的显著降低。
补充图
引用
- Ferdian E, Suinesiaputra A, Fung K, et al. Fully Automated Myocardial Strain Estimation from Cardiovascular MRI-tagged Images Using a Deep Learning Framework in the UK Biobank. Radiol Cardiothorac Imaging. 2020. PMID: 32715298. doi:10.1148/ryct.2020190032
- 全文:PMC7051160(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7051160/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。