文献速递心血管胸部CT

深度学习用于介入前心电门控螺旋CT中心外膜脂肪组织的机会性端到端自动评估

Deep learning for opportunistic, end-to-end automated assessment of epicardial adipose tissue in pre-interventional, ECG-gated spiral computed tomography.
PubMed 文献 · Insights Imaging · 2024-12-19

本研究开发并验证了基于深度学习的端到端流程,用于在介入前心电门控螺旋CT上自动提取主动脉瓣层面并分割心外膜脂肪组织(EAT)。在1502例TAVR患者中,强化学习提取层面的平均绝对z轴偏差为1.8 mm(95%CI 1.6–2.0),2D U-Net分割EAT的Dice评分为91.3%(95%CI 90.7–91.8),优于BOA的85.6%(95%CI 84.7–86.5);端到端自动与手动测量EAT面积的平均绝对差异为1.1 cm²(95%CI 1.0–1.3),密度为2.2 HU(95%CI 2.0–2.5)。

要点

  • 自动流程在主动脉瓣层面提取层面的平均绝对z轴偏差为1.8 mm(95%CI 1.6–2.0)。
  • 2D U-Net分割EAT的Dice评分为91.3%(95%CI 90.7–91.8),显著优于BOA的85.6%(95%CI 84.7–86.5)。
  • 端到端自动与手动测量EAT面积的MAD为1.1 cm²(95%CI 1.0–1.3),密度的MAD为2.2 HU(95%CI 2.0–2.5)。

核心结论

  • 作者提出了一种在螺旋CT扫描中稳健自动评估EAT的方法,可在临床常规中实现机会性评估。

研究设计与样本

  • 回顾性单中心研究,纳入1502例TAVR患者(平均年龄80.6±6.3岁,709例(47.2%)女性)的介入前对比增强心电门控螺旋CT,用于方法开发。
  • 数据集随机分为训练集、验证集和留出测试集(n=1052/224/226)。
  • 扫描来自四种扫描仪:一台双源CT(Siemens Somatom Force)和三台单源CT(Philips Brilliance 64、Philips iCT 256、Philips Mx8000 IDT 16)。
  • 数据集包括948例对比增强胸腹部CT和554例心脏CT。
  • 额外测试集为2024年7月至8月间随机选取的50例心脏手术术前规划的心电门控螺旋CT(平均年龄63.9±15.7岁,18例(36.0%)女性),包括25例心脏CT(Test A)和25例对比增强胸腹部CT(Test B)。

诊断标准与关键数值

  • 层面提取:强化学习方法的平均绝对z轴偏差为1.8 mm(95%CI 1.6–2.0),2D CNN基线方法为2.0 mm(95%CI 1.8–2.3)。
  • EAT分割:2D U-Net的Dice评分为91.3%(95%CI 90.7–91.8),BOA为85.6%(95%CI 84.7–86.5),差异显著。
  • 端到端评估:EAT面积的MAD为1.1 cm²(95%CI 1.0–1.3),密度的MAD为2.2 HU(95%CI 2.0–2.5)。
  • 自动与手动EAT面积Pearson相关系数r=0.96(p<0.001),密度r=0.89(p<0.001)。
  • Bland-Altman分析显示无系统偏差,平均面积差异为−0.02 cm²,平均密度差异为0.57 HU。

临床应用与阅片要点

  • 本流程可在介入前心电门控螺旋CT上机会性自动评估EAT,无需额外扫描或手动分割。
  • 手动分割每例约需100秒,自动推理中强化学习层面提取在心脏CT约30秒、胸腹部CT约127秒,分割仅需2秒。
  • 作者指出,由于心外膜组织在主动脉瓣层面的 delineation 更可靠,2D方法可能优于3D容积方法。

局限性

  • 所有研究方法均在舒张期心电门控螺旋技术采集的图像上开发,未来研究应探讨该算法是否也适用于冠状动脉CT血管造影(CCTA)数据。
  • 数据仅来自一个中心,尽管基于不同扫描长度的多种CT开发,仍需多中心研究进一步验证泛化性。
  • 本研究未检查扫描协议差异和图像质量对EAT测量的影响。
  • 原文此处表述不完整,照录为「In a」。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Dec 19;15:301. doi: 10.1186/s13244-024-01875-6

引言

近期研究表明,通过CT测量的心脏脂肪组织(CAT)的体积和衰减值可作为多种心脏疾病预后的预测标志物[1–9]。在评估CAT时,需明确区分心外膜脂肪组织(EAT)与心包脂肪组织(PAT),前者定义为心肌与心包之间的脂肪组织,后者指心包外的脂肪组织。既往研究表明,尤其是EAT体积与冠状动脉疾病、心肌缺血、心肌梗死或主要不良心脏事件相关[1–5]。EAT体积增加还被发现是接受经导管主动脉瓣置换术(TAVR)患者全因死亡率的独立预测因子[6, 7]。在这些研究中,EAT体积通过手动或半手动勾画心包轮廓并应用适当阈值进行评估,或使用非开放、非免费的商业软件全自动评估[2–4]。

使用深度学习(DL)方法实现定量图像分析的自动化,使得机会性大规模评估成为可能,该方法已在身体成分分析中证明了其价值[10–15]。此外,多项研究也探索了EAT体积分割的自动化[16–18]。近期,Haubold等人提出了开源身体与器官分析(BOA)流程作为“TotalSegmentator”框架的扩展,该流程可实现自动化身体成分分析,包括EAT和PAT的评估[19–21]。

既往研究表明,特定解剖位置的三维与二维测量之间存在高度相关性[9, 22, 23]。因此,在手动分析中减少耗时标注工作的一种方法是在单层图像上评估EAT,而非评估整个体积的EAT。Salam等人证明了单层CAT测量对TAVR患者预后预测的价值,并发现EAT密度是死亡率的显著预测因子[8]。在该研究中,EAT在主动脉瓣(AV)层面进行评估,在该层面,心包的重要勾画在心电门控CT扫描中可可靠实现,这也使得自动化分析相比体积学方法可能更加稳健。然而,尽管多篇文献涉及腰椎层面的单层身体成分评估,迄今仍缺乏用于高度稳健的EAT自动化分析的流程[12, 13, 24]。

为了从单层CT扫描中自动评估心外膜脂肪组织(EAT),除分割步骤外,切片提取也必须实现自动化。过去,曾使用不同的深度学习(DL)方法来使这一任务自动化。对于腰椎水平的自动化身体成分分析,选择特定切片被视为一项分割任务,即将标志点作为椎体周围椭球体节段的质量中心 [13]。另一种方法使用卷积神经网络(CNN)直接预测每个轴位切片与目标解剖标志点的空间偏移 [12, 24]。除这些经典的监督学习方法外,基于强化学习(RL)的方法在解剖标志点检测方面也观察到了有前景的结果 [25–27]。RL是机器学习的第三种范式,与监督学习和无监督学习并列,迄今在图像分析中受到的关注很少。在RL中,智能体通过与环境交互进行学习,从而导致环境转移到新状态。基于智能体的动作,它以正奖励和负奖励的形式接收反馈,智能体努力随时间最大化这些奖励,以做出最优决策 [28]。

在本研究中,我们聚焦于开发一种基于单层切片的EAT评估方法,用于介入前心电图门控螺旋CT,通过自动化两个所需的处理步骤,即切片提取和组织分割。研究了一系列不同的DL方法,包括RL,目标是开发一种能够实现稳健大规模机会性分析的流程。

材料与方法

数据集

这项回顾性单中心研究获得了当地伦理委员会的批准,并豁免了书面知情同意。用于模型开发的数据集包括在波恩大学医院接受经导管主动脉瓣置换术(TAVR)的患者,这些患者具有2008年至2020年间采集的可用介入前增强胸腹或心脏CT扫描,均为螺旋CT,且全部为前瞻性或回顾性心电图门控(舒张期)。此外,训练好的模型还在接受心脏手术前术前规划CT的患者的介入前、心电图门控(舒张期)螺旋CT扫描上进行了评估。对于该评估,从2024年7月至8月采集的所有相应CT扫描中随机选择了50名患者。

对于EAT评估,在主动脉瓣(AV)水平选择单个轴位切片。在该单层图像上手动分割定义为心包内组织的心外膜组织,并通过应用−190至−30 Hounsfield单位(HU)的阈值来识别脂肪组织。手动数据标注由一名具有3年心脏影像经验的放射科住院医师(B.S.)完成,并由一名专攻心血管影像的委员会认证放射科医师(D.K.)监督,使用开源软件3D Slicer(版本4.11)[29]。

切片提取

研究并比较了两种不同的DL方法用于自动化AV水平的切片提取:一种称为基线方法的2D CNN和一种3D RL模型。两种方法的概览见图1。

对于基线方法,训练了两个遵循EfficientNet-B0架构的卷积神经网络(CNN),以预测每个轴位切片相对于目标主动脉瓣(AV)层面的空间偏移[30]。对于第一个CNN,整个数据集被重新缩放至10 mm的均匀切片厚度,以获得实际AV位置的初步估计。利用这些粗略预测,数据集被裁剪至心脏区域,然后第二个CNN在高分辨率心脏裁剪图像上进行训练,以确定精确的切片位置。两个CNN均使用L1损失函数和AdamW优化器(权重衰减为0.01)训练1000个epoch。学习率通过OneCycle学习率策略进行调度,最大学习率为10−4。当验证集上连续100个epoch未观察到改善时停止训练。自动切片提取的性能基于z方向上的平均绝对偏差(Δz)进行评估。在后处理步骤中,两个深度学习模型的输出预测使用移动平均滤波器进行平滑处理,其中评估了不同窗口大小的使用效果。关于基线方法(包括数据预处理和详细训练参数)的更多信息,见补充材料S1。

所研究的3D强化学习(RL)模型基于开源软件RL-Medical,该软件由Alansary等人开发,用于医学图像中的3D标志点检测[26, 31]。它在多智能体设置中使用强化学习,其中每个智能体被定位在3D医学图像的一个图像块内,该图像块被视为智能体的状态。智能体从图像体积内的随机位置开始探索,旨在通过逐渐的块移动来定位目标。动作空间定义了运动自由度,允许在3D笛卡尔坐标中沿六个方向移动。奖励基于欧几里得距离(ED),以激励向目标标志点位置移动。在训练过程中,学习一个Q网络作为Q函数的近似,通过估计状态下每个动作的预期收益来预测下一个移动方向,目标是获得尽可能高的累积奖励。训练后的网络架构(Network3D)由所有智能体共享的卷积层和智能体特定的全连接层组成。

标志点位置的结果通过训练Network3D模型获得,其中五个智能体同时搜索标志点AV。最终AV位置通过平均预测的智能体终点位置来确定,在平均之前对智能体位置执行离群值检测。该过程涉及使用基于中位数绝对偏差的z分数来识别和去除离群值[32]。性能通过计算所得预测与目标标志点之间的平均ED进行评估。此外,为了与基线方法进行比较,计算了Δz。

关于训练的更多信息和所用离群值检测的详细信息见补充材料S2。

图1 两种切片提取方法概述。A 基线方法由使用EfficientNet-B0架构的二维卷积神经网络(CNN)组成,预测每个轴位切片相对于主动脉瓣(AV)层面目标切片的偏移量。预测偏移量在最终预测距离目标最近的切片之前进行平滑处理。B 强化学习(RL)方法基于RL-Medical软件包。在此情况下,五个智能体从五个不同的随机位置开始,每个智能体最终给出自己对三维AV标志点位置的预测。在对五个智能体的结果应用离群值检测后,最终预测通过平均所有剩余智能体的标志点预测来确定 查看原图 ↗

组织分割

对于心外膜脂肪组织(EAT)的自动分割,使用开源MONAI Python框架(版本0.9.0)[33, 34]在AV层面的单切片图像上训练了带有残差单元的二维U-Net模型。训练进行了10,000个epoch,使用AdamW优化器,损失函数为交叉熵与Dice系数之和。通过网格搜索选择超参数,以寻找学习率(10−3、10−4)和权重衰减(10−3至0.5)的合适设置,其中学习率根据OneCycle学习率策略在每个迭代步骤中进行调整。使用固定批次大小200,并在两个批次上进行梯度累积。当验证损失连续100个epoch未见改善后停止训练。根据Dice评分在验证集上比较不同超参数设置的性能,据此选择最佳模型并最终应用于留出测试集。

此外,将公开可用的BOA流程应用于留出测试集[19]。所得的EAT分割仅在手动选择的AV层面上进行评估,并与放射科医师生成的参考标准分割进行比较。关于组织分割的更多信息,见补充材料S3。

端到端评估

最后,对整个流程进行端到端评估,分别分析和比较在预测AV层面自动EAT分割与在手动选择AV层面手动EAT分割所得的EAT密度(HU)和面积(cm2)的平均绝对差值(MAD)。因此,该流程应用于由接受TAVR患者的螺旋CT组成的留出测试集,以及从心脏手术前患者中随机选择的50份螺旋CT扫描。

统计评估

对于所有性能指标,通过对测试集进行1000次重采样的自助法确定95%置信区间(CI)。对于端到端评估,计算Pearson相关系数并进行Bland-Altman分析以检查任何系统性差异,使用Python软件包seaborn(版本0.11.2)、scipy(版本1.9.1)和pyCompare(版本1.5.3)。

结果

数据集

总体而言,可获得1583例患者的介入前CT扫描,其中81次扫描因伪影(例如由金属植入物引起)被排除。因此,1502例经导管主动脉瓣置换术(TAVR)患者(平均年龄80.6 ± 6.3岁,709例(47.2%)为女性)被纳入用于方法开发。扫描在四台不同的扫描仪上进行,一台双源CT(Siemens Somatom Force)和三台单源CT(Philips Brilliance 64、Philips iCT 256、Philips Mx8000 IDT 16)。该数据集包含948次增强胸腹部计算机断层扫描和554次心脏计算机断层扫描。 for方法开发,数据集被随机分为训练集、验证集和留出测试集(n = 1052 / 224 / 226)。该数据的一个子集已被用于另一项研究,探讨心外膜脂肪组织(EAT)或心包脂肪组织(PAT)炎症变化与心脏风险之间的相关性[8]。从接受心脏手术的患者中随机选取的50次介入前CT扫描(平均年龄63.9 ± 15.7岁,18例(36.0%)为女性)被用作端到端评估的额外测试集。该数据集包含25次在Siemens Somatom Force上执行的心脏CT扫描(测试A)和25次在Siemens Naeotom Alpha上执行的增强胸腹部扫描(测试B)。关于图像特征的信息,见表1。

表1 数据集图像特征的详细概览,包括像素间距、层厚、矩阵大小和管电压 查看原表 ↗

切片提取

对于基线方法,窗口大小为11的移动平均滤波器在验证集上取得了最高性能,Δz = 2.1 ± 1.9 mm。关于使用不同窗口大小应用移动平均滤波器的更多细节可见补充材料S4。应用于留出测试集后,平均偏差为2.0 ± 2.0 mm(95% CI:[1.8, 2.3] mm)。

强化学习(RL)方法的平均欧几里得距离(ED)为3.4 ± 4.2 mm(最大ED = 59.5 mm),平均Δz为1.9 ± 3.8 mm(最大Δz = 54.0 mm)。在对五个智能体的位置求平均之前应用离群值检测方法,改善了两个指标的性能(平均ED距离 = 3.3 ± 1.9 mm,最大ED = 10.0 mm;平均Δz = 1.7 ± 1.5 mm,最大Δz = 7.0 mm)。将此方法应用于留出测试集后,与基线方法相比,Δz更小,为1.8 ± 1.6 mm(95% CI:[1.6, 2.0] mm)。留出测试集上的平均ED为3.3 ± 2.2 mm(95% CI:[3.0, 3.6] mm)。表2提供了两种方法的详细比较。

表2 两种切片提取方法在留出测试集上的性能概览 查看原表 ↗

组织分割

所实现的2D U-Net在验证集上的最高性能在1512个epoch后达到,最大学习率为10−3,权重衰减为0.1(见补充材料S5)。平均Dice评分为91.6 ± 4.2%。将该模型应用于留出测试集,Dice评分为91.3 ± 4.4%(95% CI:[90.7, 91.8]%)。开源流程BOA在房室(AV)水平上与放射科医师分割的一致性显示出显著较低的Dice评分,为85.6 ± 7.1%(95% CI:[84.7, 86.5]%)。2D U-Net在密度和面积的平均绝对偏差(MAD)方面与放射科医师的一致性也显著高于BOA流程(见表3)。

表3 所实现的2D U-Net与开源身体和器官分析(BOA)流程的比较,以均值 ± 标准差及括号内95%置信区间表示 查看原表 ↗

端到端评估

基于验证结果,选择了一个包含基于强化学习的切片提取与异常值检测以及基于2D U-Net的组织分割的流程进行端到端评估。最终流程的概述见图2。训练和推理脚本可在 https://github.com/ukb-rad-cfqiai/EAT_Assessment 获取。

在留出测试集上,自动与手动评估主动脉瓣水平的EAT之间观察到高度一致性(平均绝对偏差密度 = 2.2 ± 2.1 HU(95% CI:[2.0, 2.5] HU),平均绝对偏差面积 = 1.1 ± 1.1 cm2(95% CI:[1.0, 1.3] cm2))。自动与手动测量的EAT面积之间发现显著相关性,Pearson相关系数为 r = 0.96(p < 0.001),自动与手动测量的EAT密度之间亦存在显著相关性(r = 0.89,p < 0.001)。Bland-Altman分析显示手动与自动端到端比较之间无系统性偏差,平均面积差异较低为 −0.02 cm2,平均密度差异较低为 0.57 HU(见图3)。在由术前CT扫描组成的额外测试集Test A和Test B中观察到类似性能(见表4和图3)。

图4展示了心脏和胸腹扫描中端到端评估的示例。使用开源软件3D Slicer进行手动分割每位患者约需100秒。相比之下,基于强化学习的切片提取推理时间对于心脏CT每位患者约需30秒,对于胸腹CT扫描为127秒。自动分割时间仅为每位患者2秒。推理时间在配备24千兆字节显存的Nvidia GeForce RTX 3090图形处理器上测量。

图2 最终流程概述,由用于主动脉瓣水平切片提取的强化学习(RL)方法和用于心外膜脂肪组织分割的2D U-Net组成 查看原图 ↗
图3 手动与自动测量的心外膜脂肪组织(EAT)面积的端到端比较相关性及Bland-Altman分析,面积以cm2表示(A),密度以Hounsfield单位(HU)表示(B),对象为由介入前TAVR患者组成的留出测试集以及由心脏手术前术前患者组成的测试集(Test A和Test B)。所有分析均提供Pearson相关系数(r) 查看原图 ↗
表4 最终流程在包含介入前TAVR患者的留出测试集、术前心脏(Test A)和术前胸腹(Test B)扫描上评估的端到端比较 查看原表 ↗
图4 对比增强心脏CT(A)和ECG门控胸腹CT扫描(B)中手动(绿色标记)与自动(蓝色标记)心外膜脂肪组织(EAT)评估的端到端比较两个示例。Δz表示手动选择的切片位置与自动预测的主动脉瓣水平切片位置之间的绝对差异 查看原图 ↗

讨论

本文提出了一种自动化流程,用于对接受TAVR或心脏手术的介入前患者的对比增强ECG门控(舒张期)心脏和胸腹螺旋CT扫描进行EAT的机会性评估。所提出的方法主要由两个步骤组成:主动脉瓣水平的自动切片提取和EAT的2D分割。

对于切片提取任务,强化学习(RL)方法取得了令人瞩目的准确率。基线方法旨在预测切片与目标切片的 z 轴距离,与之相比,RL 模型利用了三维数据,这很可能解释了其相较于仅接收单个轴位切片作为输入的二维方法的优势。此外,RL 方法采用了多智能体设置,即在推理过程中由五个智能体预测标志点的位置。在异常值检测之后对五个智能体进行类似集成平均的处理,有助于获得更稳健、更具泛化能力的模型。对于 AV 级别的组织分割,与体积分割方法相比,二维 U-Net 模型在 EAT 分割方面取得了更高的精确度,从而在端到端评估中使手动测量与自动测量的面积和平均密度之间具有高度一致性。

过去已探索了多种自动化 EAT 评估方法,从传统方法到深度学习(DL)算法,以避免耗时且繁琐的人工任务。为此目的的一种方法是基于图谱的分割,其中输入数据被配准到一组参考图像 [35–37]。近年来,DL 方法已在分割任务中确立地位,并且也已被用于 EAT 评估。2019 年,Commandeur 等人提出了一种用于非增强心脏 CT 中 EAT 分割的多任务 DL 框架,该框架以三个连续轴位切片作为输入。在第一个任务中,DL 算法对中心输入切片是否位于心脏区域进行分类,而在第二个任务中,对心包进行分割 [3, 4, 16, 38]。Hoori 等人提出了 DeepFat,一种带有空洞卷积的 CNN,用于在 CT 钙化积分图像中自动分割 EAT。进一步的方法使用生成对抗网络或各种基于 U-Net 的架构进行分割 [17, 18, 39–41]。最近,引入了一种名为 BOA 的开源 DL 模型,该模型将经典的身体成分分析扩展到 CT 扫描中心脏脂肪组织的体积评估 [19]。

在我们的研究中,我们聚焦于在接受TAVR患者介入前CT扫描中,于主动脉瓣(AV)层面进行自动化二维心外膜脂肪组织(EAT)评估,因为近期已在该队列中报道了在此单层测得的平均EAT密度与总生存期之间的相关性[8]。此外,我们已经证明我们的算法也能够在心脏手术前的术前CT数据上实现稳健的EAT评估。分割整个EAT的一个主要难点在于心包组织与心外膜组织之间的区分,因为心包并非在每张CT图像上都能被清晰勾画。因此,过去在比较两位阅片者的EAT评估时发现了显著差异,且据报道EAT体积测量的阅片者间变异性高达15%[16, 42]。相比之下,在AV层面,测得的EAT面积和平均密度的阅片者间变异性据报道仅为0.1%,提示该层面心外膜组织的勾画更为稳健和可靠,这很可能同样适用于自动化机会性评估[8]。这一方面可能解释了为何所提出的二维方法优于三维BOA流程,因为我们的方法明确在AV层面进行了训练,而在该层面EAT分割可以以更高的可靠性进行。然而,就开发预测模型而言,哪种方法最为合适仍是一个悬而未决的问题。特别是,EAT体积已在许多研究中被证明是多种心脏疾病总生存期的预后标志物,而稳健地测定EAT面积作为EAT体积的替代指标,与可能稳健性较低的EAT体积直接测定,二者哪一种更适合用于预测模型的开发,目前仍不清楚[1–7]。因此,未来的一项任务是研究二维与三维测量对结局分析的影响。

我们的研究存在若干局限性。首先,所有研究的方法均基于心电图门控螺旋技术采集的舒张期图像开发。未来研究应探讨所提出的算法是否同样适用于冠状动脉CT血管造影(CCTA)数据。与用于TAVR和手术规划的介入前CT不同,CCTA数据通常采用步进-曝光技术采集并在不同心动周期重建。步进-曝光采集的图像常显示阶梯伪影,可能影响自动化定位。这可能需要将此类数据纳入训练集。此外,数据仅来自一个中心。尽管方法基于不同扫描长度的多种CT扫描(心电图门控胸腹部和心脏CT扫描)开发,仍需多中心研究以进一步验证其泛化性。尽管本研究考虑了异质性数据集,但未考察扫描方案差异和图像质量对EAT测量的影响。此外,我们的研究仅纳入了增强CT扫描,因为这些是接受TAVR或心脏手术患者介入前诊断检查的一部分。

总之,我们提出了一套流程,用于在介入前心电图门控螺旋CT扫描中稳健地自动进行二维EAT评估。端到端自动化消除了任何手动交互的需要,并能够实现EAT的机会性大规模评估。

补充信息

电子补充材料

引用

  1. Theis M, Garajová L, Salam B, et al. Deep learning for opportunistic, end-to-end automated assessment of epicardial adipose tissue in pre-interventional, ECG-gated spiral computed tomography. Insights Imaging. 2024. PMID: 39699798. doi:10.1186/s13244-024-01875-6
  2. 全文:PMC11659545(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11659545/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。