利用深度视频目标分割网络进行心脏自动评估
研究提出半自动神经网络 EchoRCNN,用于四腔心切面超声心动图序列中左右心室分割,左、右心室 Dice 相似系数分别为 94.03% 与 94.97%,射血分数与面积变化分数的平均绝对误差分别为 3.13% 与 2.03%。
要点
- EchoRCNN 在四腔心切面超声序列上左心室 Dice 相似系数 94.03%、右心室 94.97%。
- 分割后处理得到左心室射血分数平均绝对误差 3.13%,右心室面积变化分数平均绝对误差 2.03%。
- 左心室射血分数 R 方 0.72、Cronbach α 0.92;右心室面积变化分数 R 方 0.89、Cronbach α 0.97。
核心结论
- EchoRCNN 在左、右心室分割上表现优异,可较准确估算左心室射血分数与右心室面积变化分数等心脏参数。
- 作者认为该方法在临床筛查中可提供有把握、准确且可靠的心脏功能诊断预测。
研究设计与样本
- 研究为基于深度神经网络的超声心动图序列分割方法学研究,网络为半监督半自动 EchoRCNN,结合 Mask R-CNN 与参考引导掩膜传播视频目标分割网络。
- 左心室数据来自伊朗德黑兰心脏中心 2017 至 2019 年的 2D 超声心动图,使用 Affiniti 70 超声系统采集,共 750 个四腔心切面序列,平均每序列 45 帧。
- 左心室数据集划分为训练集 675 个视频、测试集 75 个视频;专家使用 Qlab Cardiac Analysis 的 Auto 2D Quantification 工具逐帧勾画左心室区域。
- 右心室数据来自伊朗 Rajaie 心血管医学与研究中心,使用 EPIQ 7 超声系统采集,共 80 例患者、175 个序列,每例最多 3 个四腔心切面序列、每序列最多 60 帧。
- 右心室数据集划分为训练集 160 个视频、测试集 15 个视频;两名专家分别使用 TOMTEC Imaging Systems GmbH 的右心室分割工具逐帧勾画。
关键影像表现/征象
- 左心室测试序列 75 个,Dice 相似系数 94.03%、Jaccard 相似系数 88.83%;右心室测试序列 15 个,Dice 相似系数 94.97%、Jaccard 相似系数 90.61%。
- 与 MaskRNN 和 RGMP 网络相比,EchoRCNN 的分割表现更优。
- MaskRNN 与 RGMP 对收缩末期(尤其右心室)预测较差,误差随时间传播,心室缩小时无法良好追踪边界,多数序列收缩末期不能分割任何区域。
- 左心室容积与右心室面积的预测值与手动值相关系数分别为 0.94 与 0.93。
- Bland-Altman 分析中,左心室长径、面积、容积的置信区间宽度分别为 0.90 cm、5.27 cm²、29.19 cm³,均值分别为 0.12 cm、0.46 cm²、0.62 cm³;右心室面积置信区间宽度 2.96 cm²,均值 0.68 cm²。
诊断标准与关键数值
- 左心室射血分数由分割后处理估算的舒张末期与收缩末期容积计算,平均绝对误差 3.13%,R 方 0.72,Cronbach α 0.92。
- 右心室面积变化分数由专家确定舒张末期与收缩末期帧后计算面积变化,平均绝对误差 2.03%,R 方 0.89,Cronbach α 0.97。
- 训练中锚框按交并比分配:交并比不低于 0.5 归为真实目标,交并比在 0 至 0.4 之间归为背景,交并比在 0.4 至 0.5 之间不参与训练。
- 分割评价指标包括 Dice 相似系数、Jaccard 相似系数、精确率、召回率与 F1 分数;参数评价指标包括均方根误差、平均绝对误差、R 方与 Cronbach α。
临床应用与阅片要点
- EchoRCNN 为半监督方法,需用户标注心脏周期第一帧,网络据此逐帧输出二值掩膜。
- 左心室舒张末期与收缩末期帧依据容积最大与最小线索自动判定;右心室需由专家确定舒张末期与收缩末期帧后再计算面积变化分数。
- 作者认为该网络可帮助医师以合理速度追踪心脏功能随时间的变化。
局限性
- 推理过程未进行微调,原因是超声心动图检查存在时间限制。
- 右心室测试序列仅 15 个,因右心室视频总量显著少于左心室视频。
全文中译15 节 · 点击展开
要点
EchoRCNN是一种深度视频目标分割神经网络。
EchoRCNN基于掩膜区域卷积神经网络(Mask R-CNN)图像分割架构。
该网络在超声心脏序列上进行训练,以勾画心室。
左心室射血分数由网络输出估计得出。
输出区域可确定右心室面积变化分数。
引言
在超声心动图序列上量化左心室(LV)和右心室(RV)功能,以表征心室大小、容积和射血分数(EF),是心脏疾病诊断和治疗的关键步骤[1]。通过美国超声心动图学会的努力,这些参数构成了指南中的标准临床测量指标[2]。其重要性源于超声心动图的便捷性和可及性,使其成为临床常规中最常用的成像系统。
用于功能评估的LV和RV手动分割非常耗时,且易受专家间和专家内变异性的影响。由于人类观察者在临床常规中需要查看整个心动周期以找到收缩末期和舒张末期帧,这一问题更加突出。尽管在通过自动化流程克服这些问题方面取得了许多成就,但由于低信噪比、边缘丢失、低对比度、致密肌肉产生的阴影以及整个心动周期分割时的大量处理数据,该问题仍然具有挑战性[3]。
这一时代的大多数研究集中于特定帧中的LV或RV分割[4–16]。然而,由于心动周期序列中包含有价值的信息,利用这些信息进行心腔分割非常有效。视频目标分割任务中最显著的研究为密集标注视频分割(DAVIS)挑战赛[17]做出了贡献,这是该领域的年度竞赛。MaskRNN[18]是利用光流信息洞察运动的算法的代表,参考引导掩膜传播(RGMP)[19]在其主路径中包含参考流,二者是DAVIS数据集上半监督架构的成功范例。在超声心动图序列分割方面有少量研究。文献[20]的研究者针对心脏序列分割,使用其先前提出的U-net版本[9]在超声心动图序列的每一帧中分割LV。在另一项工作[3]中,基于采样重要性重采样(SIR)[21]将深度信念网络(DBN)和LV跟踪的动态模型相结合。他们提出的模型利用了从所有先前帧和当前帧提取的特征以及先前的分割轮廓。文献[22]提出了一种具有两个网络流的方法。第一个是时空流,接收输入序列并估计EF参数;第二个独立处理每一帧以分割目标区域。该网络是半监督的,以舒张末期和收缩末期帧的弱手动分割作为输入[22]。
本研究提出了一种新颖的网络架构EchoRCNN,专门用于超声心动图序列。我们将训练该网络用于超声心动图序列中两个独立的左心室(LV)和右心室(RV)分割任务视为半监督过程,因为让医学专家对算法预测进行控制至关重要。该网络结合了基于掩码的区域卷积神经网络(Mask R-CNN)结构[23](一种基于Faster R-CNN目标检测网络的鲁棒图像分割神经网络)与RGMP视频目标分割网络[19]。它由两个流组成,一个流以原始帧和前一掩码为输入,另一个流以参考帧为输入,灵感来源于RGMP网络[19]。这两个流的输出随后被拼接作为最后阶段的输入,网络的输出为每帧的二值掩码。然后,对分割区域使用后处理方法以估计特定的超声心动图参数。该方法帮助放射科医生以合理的速度追踪心脏随时间的功能。
材料与方法
本节描述了从数据采集到从分割序列中提取参数的心室评估全过程。左心室计算流程如图1所示。
左心室数据集描述
准备了一组二维超声心动图序列。视频于2017年至2019年从伊朗德黑兰心脏中心获取。数据集由Affiniti 70超声成像系统(Philips)采集。全部数据包含来自不同患者、不同视角的3000多个视频。三位专家检查了所有视频,并选出了750个具有良好左心室形态的四腔心视图序列。每个选定视频平均有45帧。三位专家使用Qlab心脏分析(Philips公司的超声心动图定量软件)在每帧中勾画左心室区域。
勾画使用Qlab心脏分析中的自动二维定量(a2DQ)工具进行。鉴于a2DQ对舒张末期帧中左心室边界的弱监督,用户手动修正壁上的点以校正左心室的估计区域。软件根据舒张末期勾画自动分割所有帧,最后,用户通过修改收缩末期帧中的边界来修正分割区域。舒张末期和收缩末期帧的估计左心室体积、估计EF以及舒张末期和收缩末期帧编号也从a2DQ工具中提取,用于进一步评估和分析。
帧的分辨率为 。数据集被划分为训练集和测试集,因此训练数据集中有675个视频,测试数据集中有75个视频。
右心室数据集描述
从伊朗德黑兰Rajaie心血管医学与研究中心准备并获取了一组二维超声心动图序列。超声心动图序列由EPIQ 7成像系统(Philips)采集。专家选择了80名患者进行数据采集。每位患者最多获取三个四腔心视图的超声心动图序列,每个序列最多包含60帧。最终,从整个收集的数据集中提取了175个序列。两位不同的专家分别使用TOMTEC Imaging Systems GmbH在每一帧中勾画了右心室(RV)区域。
勾画使用上述软件中的右心室分割工具完成。该工具在舒张末期对右心室壁创建弱监督。在用户修改边界以在舒张末期帧中获得正确的右心室区域分割后,软件将自动分割其他帧。最后,用户可以在收缩末期帧中修正右心室区域的边界点,以适当地分割该序列。
帧的分辨率为 。数据集被划分为训练集和测试集,因此训练数据集中有160个视频,测试数据集中有15个视频。
预处理
左心室(LV)和右心室(RV)视频帧均转换为灰度图像并调整大小为 。对每张图像执行最小-最大缩放器归一化,每张图像的像素被归一化到0和1之间。真实标签掩膜也被二值化,仅保留0和1值。
对于主流的每个数据批次,我们有一个双通道输入,包含当前灰度图像和先前预测的掩膜。参考流的双通道输入包括参考灰度图像和参考图像的真实标签掩膜。
EchoRCNN架构
网络架构受[19, 23, 24]中介绍的RGMP、RetinaNet和Mask R-CNN网络启发。它由孪生编码器、特征金字塔网络(FPN)[25]、分类子网、回归子网和分割子网组成。图2展示了视频分割网络的完整架构。孪生编码器路径包括主流和参考流。主流接收当前原始帧和前一帧的预测掩膜(引导掩膜)。单通道图像和单通道引导掩膜拼接形成双通道图像。参考帧(心动周期的第一帧)被输入参考流。用户必须对该帧进行标注。因此,参考流接收灰度模式的原始帧及其标注拼接作为输入。两个流均基于ResNet50 [26],这是一种具有残差块的五层特征提取架构。
然后,两个流中第3阶段、第4阶段和第5阶段的输出分别被送入每个流的FPN。与[24]相同,我们使用FPN生成五个特征金字塔P3、P4、P5、P6和P7。网络该部分的所有特征图均有256个通道,每个层级用于不同尺度的目标检测。生成的每个特征金字塔被送入分类子网和回归子网。分类子网的预测是A个锚框(A为锚框数量)在每个空间位置上存在目标的概率。该子网是[24]中引入的一个小型全卷积网络,接收来自金字塔层级的每个256通道特征图。它由四个卷积层(3×3卷积核,256通道)后接ReLU激活、一个具有A个滤波器的卷积层和一个sigmoid激活层组成。回归子网与分类子网类似,但最后一层有细微差异。最后一层是一个具有4A个滤波器的卷积层。该网络对每个锚框回归其到最近的ground truth目标(若存在)的偏移量。这四个输出为每个空间位置上的每个A锚框预测锚框与ground truth框的关联偏移量。
另一方面,特征金字塔被送入锚框构建模块,生成与[24]类似的平移不变锚框。在每个金字塔层级使用9个锚框,具有三种不同的宽高比和尺度,在P3至P7金字塔层级上面积从322到5122。每个锚框被分配一个分类目标和一个框回归目标向量。使用交并比(IoU)度量,锚框以0.5的阈值分配给ground truth目标框,若其IoU在[0, 0.4)范围内则被视为背景。否则,该锚框为未分配状态,即IoU在[0.4, 0.5)范围内,这些锚框在训练过程中被忽略。框回归目标通过计算每个锚框与其分配的目标框之间的偏移量获得;反之,若没有分配,则省略该锚框。
回归子网的输出和锚框构建模块产生的锚框被送入Regress-Boxes层以对锚框应用回归。为使框的尺寸固定在图像形状内,它们通过ClipBoxes层。带有分类子网输出的新框被送入Filter detection层,在该层中来自所有层级的最高预测被剔除,并通过施加非极大值抑制和0.5的阈值,生成最终预测。最终框被送入RoiAlign层以修正错位并为分割子网产生合适的输入。分割子网是一个简单的全卷积网络,具有四个卷积层(3×3卷积核,256通道),后接一个上采样层、两个卷积层和一个sigmoid激活层。基于目标存在概率最高分的索引,选择二值掩码输出,调整尺寸并作为前一掩码反馈到输入。图3显示了子网的详细信息。
训练网络
使用反向传播算法分别在左心室(LV)和右心室(RV)数据集上对图2所示网络的两个实例进行端到端训练。左心室分割网络中主流程和参考流程的ResNet50骨干网络初始权重为ImageNet权重,其余层采用随机初始权重。对于右心室分割,ResNet50骨干网络的初始权重取自训练好的左心室分割模型,以应对右心室分割任务的数据不足问题。右心室分割网络中的其他层采用随机初始权重。序列从整个训练数据中随机选取。第一帧输入参考流程,其余帧作为一批逐一输入主流程。由于超声心动图检查任务存在时间限制,推理过程中不进行微调。
训练过程中使用的损失函数由3种损失组成,包括回归损失、分类损失和分割损失。分类损失采用[27]提出的Focal损失,该损失函数用于类别不平衡数据集的情况。在视频目标分割任务中,尤其是本研究提出的单实例分割中,大多数像素属于背景类,因此大多数锚点分配的类别应设为零或背景类。因此,分类分支在某种程度上存在类别不平衡。为惩罚网络将锚点归入多数类,定义了加权损失函数以解决该问题。式(1)给出了[27]中Focal损失的公式。
回归损失采用[28]提出的平滑L1函数。式(2)给出了该损失函数的公式。该函数的关键组件是σ超参数,它将正区间分为两部分。对于0到σ之间的目标值,该函数的作用与L2损失函数相同。对于超过σ参数的目标值,该函数与L1损失函数相同。这种结构有助于避免对异常值过度惩罚。分割分支中采用平均二元交叉熵作为损失函数。
寻找左心室参数
在训练网络并预测左心室区域后,我们将深入探讨本任务的主要目的,即估计源自超声心动图序列的心脏最有价值的参数。左心室最重要的参数是长度、面积、体积和射血分数(EF)。EF定义为左心室每次心脏收缩时泵出的血量。理论上,它是每搏输出量(左心室舒张末期容积与收缩末期容积之差)与左心室舒张末期容积之比。由于这些重要参数定义于舒张期或收缩期帧,第一步是在整个序列帧中检测这些帧。
根据[29],舒张末期帧是通过一些线索确定的,如二尖瓣关闭、心电图(ECG)的R波以及左心室(LV)容积的最大尺寸。此外,二尖瓣开放、LV容积的最小尺寸、主动脉瓣关闭和T波征象可用于检测收缩末期帧。由于我们拥有所有帧中LV的分割区域,并且可以从该分割表面估算LV容积,检测舒张末期帧和收缩末期帧最合适的方法是使用最小和最大容积线索。我们之前的工作[8]引入了一种后处理方法,通过在每个帧的分割部分上找到LV形状上的三个关键点来计算LV长度、面积和容积。这些点位于心尖和二尖瓣连接处,从分割部分的凸包中检测得到。
通过这些点之间距离的进一步计算可以得到LV长度,并且通过分割部分内像素的数量可以估算LV面积。使用改良Simpson法则[30],在拥有二维平面中LV的长度和面积的情况下,容积可以通过公式(3)确定,其中L和S分别表示LV长度和面积。
在此,我们使用该方法估算每个帧中的LV容积,并执行以下步骤来评估LV参数。估算每个帧中的LV面积、长度和容积
找到LV容积最大的帧;该帧为舒张末期帧
找到LV容积最小的帧;该帧为收缩末期帧
计算射血分数(EF)
寻找右心室参数
在训练过程成功完成后,我们应继续进行右心室(RV)功能的重要量化。对于该心腔,基本参数是面积和面积变化分数(FAC),即舒张末期帧与收缩末期帧之间RV区域面积变化的百分比[29]。
如前一节所述,第一步是估算哪些帧处于舒张末期和收缩末期阶段。根据[30],舒张末期帧的生物学征象与RV功能无关;因此,RV分割和面积追踪无法定义确切的舒张末期帧和收缩末期帧,必须由监督者来确定。因此,执行以下步骤来估算FAC参数。随时间追踪RV面积
由专家在整个序列中定义舒张末期帧和收缩末期帧。
提取所选帧中RV区域的面积
计算RV的FAC参数
实现细节
我们使用了一台具有16 GB内存、配备2176个CUDA核心的GPU显卡(GeForce RTX 2060-A8G)和Intel Xeon CPU的系统。网络在Python环境中使用Tensorflow 2 [31]和Keras 2.2.4 [32]实现。超参数优化通过在少量迭代上对学习率和正则化参数进行随机搜索来完成。我们使用随机梯度下降(SGD)作为优化器来训练网络,并将学习率设为10e-5。
评估指标
该方法通过两个主要步骤进行评估:分割过程和参数估计。对于第一步,即基于网络预测的分割,分割任务的鲁棒性基于该领域的一些关键指标进行评估,如Dice相似系数(DSC)、Jaccard相似系数(JSC)、精确率和召回率。在第二步中,使用后处理方法从分割帧中提取的左心室(LV)和右心室(RV)参数与真实参数进行比较。均方根误差(RMSE)、平均绝对误差(MAE)、R方因子和Cronbach's α是用于该部分的指标。“附录”部分对每个指标有详细解释。
结果
表1显示了EchoRCNN与MaskRNN和RGMP网络相比在LV和RV区域的分割结果。如前所述,我们使用了DSC、JSC、精确率、召回率和F1分数来评估该方法。就这些指标而言,结果显示了鲁棒性和可靠性。LV视频目标分割已在75个回声序列上进行了评估。RV的测试序列数为15,因为RV的整个视频数量显著少于LV视频。EchoRCNN在LV分割任务中达到了94.03%的DSC和88.83%的JSC,在RV分割任务中达到了94.97%的DSC和90.61%的JSC。EchoRCNN相较于MaskRNN和RGMP的优越性能在表1中显而易见。
在获得分割后的RV和LV部分后,通过前述后处理方法估计其重要参数。LV参数包括长度、面积、容积和射血分数(EF),RV参数包括面积和面积变化分数(FAC)。我们在LV的EF参数上达到了0.72的R方,在RV序列的FAC参数上达到了0.89。Cronbach's α用于测量预测值与相应真实值之间的内部一致性。LV中EF参数的内部一致性达到0.92,RV中FAC参数达到0.97。表2和表3分别展示了LV和RV在舒张末期和收缩末期各参数的回归指标。RGMP和MaskRNN网络对收缩末期的预测较弱,尤其是在RV分割中。换言之,误差随时间传播,当心腔缩小时,网络无法成功追踪边界。在我们的研究中,这两个网络在大多数序列中无法分割收缩末期的任何区域。因此,容积、面积和EF的进一步计算不可靠。
Bland-Altman分析和Pearson检验也在整个数据集帧的LV容积和RV面积上进行了。图4显示了这两种分析的图。对于LV容积和RV面积,分别达到了0.94和0.93的相关性。因此,手动参数与预测参数之间存在强相关性。
通过Bland-Altman图,我们可以更好地可视化每个参数手动值与预测值之间的差异。LV长度、面积和容积的置信区间宽度分别为0.90 cm、5.27 cm2和29.19 cm3,均值分别为0.12 cm、0.46 cm2和0.62 cm3。RV面积的置信区间宽度等于2.96 cm2,均值为0.68 cm2。
采用相关性检验评估两个关键参数,即左心室(LV)功能中的射血分数(EF)和右心室(RV)功能中的面积变化分数(FAC)。图5表明,手动参数与自动参数之间的相关性完全可接受。
图6为各参数实际值与估计值之间误差的箱线图。该图展示了左心室参数(长度、面积、容积和EF)以及右心室参数(面积和FAC)绝对误差的分位数。可以观察到箱体密集,特别是对于EF和FAC参数,没有令人困扰的离群值。
在图7中,从两个选定的左心室和右心室测试序列中采样的五帧图像被描绘出来,并标注了舒张末期和收缩末期阶段之间的实际边界与预测边界。显然,预测区域能够很好地跟踪室壁。
讨论
EchoRCNN是一种新型视频目标分割网络,基于稳健的图像分割架构Mask R-CNN和RetinaNet,以及RGMP视频目标分割网络,专门设计用于从四腔心切面超声心动图序列中提取心脏特征。该方法是半监督的,因为它以每个序列第一帧的手动分割作为引导。利用该网络的分割结果及后续后处理算法,可实现对左心室和右心室功能指标的准确估计。EF和FAC是临床筛查中的重要测量指标,也是本研究的两个主要目标。为计算这两个指标,还需在舒张末期和收缩末期阶段估计左心室长度、面积和容积,以及右心室面积。基于左心室容积在心动周期序列中的变化,存在寻找舒张末期和收缩末期帧的临床定义;因此,该方法可以通过跟踪超声心动图序列中的分割部分来自动找到这些阶段。
EchoRCNN的关键特征在于存在两个流:基于RGMP网络概念的主 stream 和参考 stream,并具有用于处理序列数据的循环路径。主流接受当前帧和先前预测的掩膜,参考流获取假定为第一帧的参考帧及其真实掩膜作为输入。循环神经网络组件在统一框架中连接随时间推移的预测,并有利于视频帧之间的时间依赖性。两个流都包括用于特征提取的层。基于Mask R-CNN网络,网络的其余部分包含用于分割、分类和边界框回归任务的三个分支。在两个数据集上对右心室(RV)和左心室(LV)分割的观察表明该网络在像素分类任务中的强度和准确性。
与一些在DAVIS挑战中表现优异的流行视频对象分割网络(如MaskRNN和RGMP)相比,所提出的EchoRCNN在超声心动图序列中优于其他方法。与DAVIS挑战相比,一些假设使网络预测更加直接。心脏数据集相对于DAVIS等自然视频数据集的一个优势是超声心动图视频的不变性特性。因此,测试示例具有与训练集相同的结构,似乎不需要微调。
心室腔视频分割中也存在一些关注点。首先是推理速度,这很重要,因为算法应在患者检查期间响应。其次是超声图像的固有噪声,使模型难以感知图像序列。EchoRCNN是一种学习方法,试图利用超声心动图序列的优势并处理上述问题。
一些方法,例如单次视频目标分割(OSVOS)网络[27],即使在DAVIS数据集上,也不关注帧间的时间相关性。换言之,具有相似架构的网络没有任何循环路径,无法关联两个连续帧之间的运动。MaskRNN利用光流算法添加帧间不同运动的信息来解决这一问题。它还具有一条循环路径,以便更好地洞察先前帧的预测。该网络最关键的缺点是时间和计算成本。光流算法是一种昂贵且耗时的方法。RGMP网络去除了光流,并创建了一种新颖的架构,使用参考流并选择参考帧,使网络保留所提议目标的整体结构。尽管这些网络在DAVIS挑战中取得了显著成果,但由于DAVIS数据集与超声心动图序列之间的内在差异,它们在超声心动图数据集上的表现并不令人满意。如表1所示并在结果部分所解释的那样,这些网络在心动周期的最后几帧中性能下降。当心动周期到达收缩末期时,随着收缩的发生和乳头肌的出现,网络在预测中变得更加不可靠,并且误差会传播到后续帧。对于某些序列,RGMP和MaskRNN在收缩末期无法预测任何区域。EchoRCNN具有稳健的架构,即使在收缩末期发生收缩时,也能显著地通过帧追踪心腔。使用Mask R-CNN基础组件以及受RGMP启发而在每一帧上具有用于预测的参考区域的思想,使网络对噪声超声心动图序列中随时间传播的误差具有稳健性。
适当的分割过程使后续用于提取心脏参数的后处理方法更加可靠。采用单平面数据的椭球模型假设心腔关于纵轴对称,用于提取LV容积和EF参数。该算法已被证明快速且可靠[33, 34]。根据美国超声心动图学会的建议[35],使用双平面数据的椭球模型计算LV容积更为准确,这意味着需要两个视图来评估该参数。然而,为每位患者处理额外的超声心动图序列(第二视图)可能会使计算量加倍,这意味着算法将变慢。因此,不应以速度损失为代价换取准确性的轻微提升,所以选择使用单视图和单平面模型,以保持算法足够快,从而成为放射科医生有用的助手。
结果表明,分别从LV和RV功能提取的两个主要参数EF和FAC存在可接受的不一致性。通过将我们的结果与手动测量进行比较,并考虑预测值与实际值之间的差异,EchoRCNN展示了准确的结果。
对于所选用于左心室(LV)分割的超声心动图序列,可以估计舒张末期和收缩末期帧。这些时相的定义基于整个心动周期中左心室容积的变化。因此,通过将分割部分对应于超声心动图序列中的左心室区域,可以将舒张末期时相估计为左心室容积最大的帧,将收缩末期时相估计为左心室容积最小的帧。然而,在超声心动图系列中,右心室(RV)功能中这两个时相没有准确定义,因此必须引入人工监督来辅助右心室参数估计方法。
在速度方面,仅在单个GPU上,网络预测每帧耗时0.08秒,速度相当快。我们可以将其称为一种实时方法,可用作辅助工具,帮助医生实现更准确、更快速的诊断。
我们的结果展示了通过深度神经网络进行半自动心功能评估,可作为自动心功能评估的重要一步。所提方法相较于该领域同类研究的优势在于对用户的依赖性最小。用户只需勾画序列的第一帧,无论其是否为舒张末期/收缩末期帧。右心室数据集不足是我们工作中明显的局限性。然而,尽管使用了这个小数据集,该方法在右心室分割任务中仍取得了良好性能。本文的主要关注点是超声心动图系列中左心室的分割。由于右心室视频数量不足,我们使用在左心室数据集上训练的EchoRCNN权重作为右心室网络的初始权重,因此获得了合理的结果。未来,通过增加数据集并进一步研究改进网络结构,该方法可以实现更好的预测。
结论
我们提出了EchoRCNN,一种用于超声心动图目标分割的深度神经网络架构。它仅需要第一帧的人工分割作为引导。利用序列通过网络后得到的分割结果并对预测掩膜执行后处理程序,我们得以提取超声心动图筛查中的主要参数,如左心室功能中的射血分数(EF)和右心室功能中的面积变化分数(FAC)。这一自动化流程的速度使我们将该方法标注为实时辅助工具。EchoRCNN在两个数据集上进行了验证,以评估左心室和右心室功能方面的策略。结果表明在分割质量和心脏参数估计方面具有良好的性能。未来工作将侧重于在其他心腔的超声心动图系列上验证该方法,并使用单一网络同时评估所有心腔。
引用
- Sirjani N, Moradi S, Oghli MG, et al. Automatic cardiac evaluations using a deep video object segmentation network. Insights Imaging. 2022. PMID: 35394221. doi:10.1186/s13244-022-01212-9
- 全文:PMC8994013(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8994013/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。