CardiSort:用于跨厂商心脏MR图像自动排序的卷积神经网络
本研究回顾性收集4中心3厂商心脏MRI数据,训练双头卷积神经网络CardiSort按35个序列(17种序列类型、10种成像平面)分类。多厂商训练模型在留出测试集上序列/平面/联合准确率为96.1%/97.9%/94.3%,外部验证为92.7%/93.0%/86.6%。
要点
- CardiSort可仅凭像素数据将心脏MR图像按序列类型和成像平面自动分类,作为全自动后处理流程的第一步。
- 多厂商训练模型在留出测试集上联合准确率94.3%,外部验证联合准确率86.6%。
- 灌注成像等采集参数变异大的序列准确率低,外部验证中Vendor 1灌注序列准确率为0%。
核心结论
- 基于多厂商数据开发的深度学习网络可将心脏MRI研究分类为组成序列和平面,并已进行外部验证。
- 经改进后,该工具有潜力通过实现自动序列选择来改善工作流程,这是全自动后处理流程重要的第一步。
研究设计与样本
- 回顾性研究,从4个中心和3个厂商收集心脏MRI数据,训练双头卷积神经网络CardiSort按35个序列(序列类型n=17、平面n=10)分类。
- 单厂商训练(SVT)使用中心1单中心图像(n=234例患者),多厂商训练(MVT)使用多中心图像(n=434例患者,3个中心)。
- 外部验证(MVTexternal)在来自2个厂商的3个先前未见磁共振系统的数据上进行(n=80例患者)。
- 参考标准为一位具有15年心脏MRI经验的委员会认证心脏放射科医师(SCMR Level 3 equivalent)标注的 ground truth 标签。
诊断标准与关键数值
- SVT在留出测试集上序列/平面/联合准确率分别为85.2%/93.2%/81.8%,F1-score为0.82。
- MVT在留出测试集上序列/平面/联合准确率分别为96.1%/97.9%/94.3%,F1-score为0.94。
- MVTexternal序列/平面/联合准确率分别为92.7%/93.0%/86.6%,F1-score为0.86。
- MVT在Vendor 2数据上序列/平面/联合准确率为97.9%/99.2%/97.9%,Vendor 3为99.3%/96.2%/95.5%,Vendor 1为95.2%/97.9%/93.4%。
- MVTexternal在Vendor 1数据上序列/平面/联合准确率为85.6%/92.2%/78.1%,Vendor 2为96.1%/93.4%/90.8%。
临床应用与阅片要点
- CardiSort可作为自动化后处理流程的初始分类步骤,将图像按序列和平面自动分拣后送入相应定量工具或直接发送至PACS。
- 常见序列(如电影、MOLLI native及post-contrast、TI scout、WBLGE各平面)分类准确率高。
- 灌注成像、脂肪抑制T2WI短轴等采集参数变异大或训练数据少的类别准确率低,阅片时需注意模型可能误判。
- 图像导出方式(多层面存为单个或多个series)和厂商间序列参数差异会影响模型泛化性能。
局限性
- 对于深度学习任务而言数据集相对较小,使用了数据增强以让网络接触更多样化的输入。
- 训练数据和外部验证中某些类别并非每个厂商都有可用数据。
- 作者有意未将元数据纳入模型输入,因元数据在不同厂商/中心间存在变异,且可能不完整或不可用。
- 模型仅训练识别标准心脏解剖,先天性异常数据不足。
- 每序列仅采样3张图像的方法可能影响对采集过程中随时间、图像对比度或包含图像类型变化的序列的预测准确率,如MVTexternal短轴WBLGE所示。
全文中译11 节 · 点击展开
引言
心脏磁共振检查通常用于全面的解剖、功能和定量评估,且其操作和解读相对复杂。近期更新的心血管磁共振学会(SCMR)指南提倡标准化采集和后处理,以确保检查质量和可重复性[1, 2]。手动后处理耗时且容易出现人为错误。因此,目前正在积极努力实现一系列定量任务的自动化,包括心室分割、心肌组织 characterization 和灌注评估[3–6]。如果经过验证并向临床界开放,自动化后处理流程可有助于提高诊断、预后和治疗监测中测量的效率和一致性。
准确识别各个心脏MR序列是将图像引导至适当后处理工具的重要第一步。在临床中,序列标注目前依赖于已保存的扫描协议和/或扫描MR技师的实时注释,因此在不同中心之间存在很大差异,使得标准化变得困难。一致的自动分类将促进全自动后处理,建议的临床工作流程见图1。除了支持前瞻性自动后处理外,序列识别还可用于自动整理大型回顾性数据集,以训练深度学习模型。这种整理传统上依赖于专家人工劳动,耗时且成本高昂[7, 8],而自动化的数据整理手段将有助于使用更大的数据集来开发更稳健的工具并进行验证。
Van der Voort等人描述了一种卷积神经网络(CNN)方法,用于自动分类8种脑MRI序列,在图像标注中达到超过98%的准确率[9]。心脏MR图像分类可能更具挑战性,因为患者特定的心脏平面以及序列设计和参数的可变性,并且此前尚未对其进行详细研究。本研究的主要目的是开发一种深度学习工具CardiSort,仅使用像素数据对一系列临床心脏MR序列进行自动分类,并使用来自三个不同供应商的真实世界心脏MR数据。该模型还作为开源工具提供给社区使用。
材料和方法
研究设计与数据
这是一项回顾性研究,旨在创建一个模型,按序列类型和成像平面分类35种心脏MRI序列。经机构伦理批准,从4个中心和3个厂商(厂商1,Philips;厂商2,Siemens;厂商3,General Electric)获取了匿名化心脏MRI数据。从中心1获取了2011年至2020年间334例患者(224例男性,110例女性, mean ± SD 54.8 ± 15.8岁)的334个随机抽样研究,其中(a)147例在1.5T(Ingenia,Philips Healthcare)扫描;(b)87例在3T(Achieva,Philips Healthcare)扫描;(c)从另一台不同厂商的1.5-T系统(Aera,Siemens Medical)上对100例患者获取的额外选定序列,以补充厂商2的训练图像。中心1的常见扫描适应证为缺血性和非缺血性心肌病。从中心2获取了52例主动脉瓣狭窄患者(31例男性,21例女性,72.2 ± 7.7岁)的90个研究,2013年至2017年在1.5T(Symphony,Siemens Medical)扫描,其中37例患者在多个时间点进行了研究。从中心3获取了48例患者(33例男性,15例女性,60.0 ± 17.3岁)的48个研究,2017年至2018年在1.5T(Optima MR450w,GE Healthcare)扫描,最常见的适应证为非缺血性心肌病或心律失常。
首先进行了单厂商训练(SVT),仅使用中心1的数据(其是最大的单厂商训练集),随后进行了多厂商训练(MVT),从头重新训练,使用中心1至3的数据。最终的SVT和MVT模型在中心1至3的留出测试数据上进行了测试。
对于MVT外部验证(MVT外部),模型如前所述在中心1至3的所有内部数据上进行训练。在模型先前未见过的2个外部数据集上进行了测试:中心2的2020年数据,来自不同厂商(厂商1)的3T系统(Achieva,Philips Healthcare),n = 20例患者,14例男性,6例女性,58.9 ± 13.5岁;中心4的2016年至2020年厂商2的1.5T和3T数据(Avanto和Skyra,Siemens Medical),n = 60例患者,31例男性,29例女性,55.2 ± 14.6岁。外部数据最常见的临床适应证为非缺血性心肌病、致心律失常病灶评估和心肌炎。所进行的实验总结于图2。
预处理
所有图像均以医学数字成像和通信(DICOM)格式获取并进行了匿名化处理。二次采集图像被移除。由于不同厂商在导出具有多种图像类型(例如相位对比成像(PC))或多个平面(例如电影成像)的序列时存在差异,需要使用DICOM属性[10]进行略有不同的预处理。对于厂商1和厂商3,此类序列的所有图像类型被合并保存为单个序列;使用序列描述、序列实例唯一标识符(序列实例UID)和实例编号进行排序。对于厂商2,多种图像类型保存在不同序列中但共享协议名称,因此排序时还包括协议名称。数据流程总结于补充图1,序列标签和可用最终数据点按各磁体列于表1。
对于每个唯一图像序列,选择三幅图像(按位置和实例编号排序后的第一幅、中间一幅和最后一幅)作为模型输入。选择三幅图像作为固定输入大小是模型的要求。尽管这会丢弃某些图像序列中的图像,但保留了序列内一定程度的时间、对比度和空间信息。这是基于初步实验经验性选择的,以平衡模型性能与模型大小。图像使用双线性插值调整为256 × 256像素阵列,阵列值按通道以最小值和最大值归一化至0到1之间。三幅图像组合形成形状为256 × 256 × 3的“3通道”阵列,作为模型输入的单个数据点。对于图像少于3幅的MRI序列,根据需要将第一幅图像重复一次或两次。
真实标签
真实标签为半自动分配。每个唯一提取图像序列的序列描述首先由一位具有15年心脏MRI经验的委员会认证心脏放射科医师(SCMR 3级等效,RPL)分配至各类别。随后所有数据根据序列描述自动分类至不同类别。在可能的序列和平面组合中,如果整个数据集中该类别至少有20个唯一数据点,则该类别纳入分析,最终产生35个包含序列类型和成像平面的标签(表1)。其余未分配的类别被排除在进一步分析之外。
随后,由同一名放射科医师对标注图像进行人工审核,以评估其完整性、标注正确性和诊断质量。标注错误的图像若有正确标签则重新分配至正确标签,若无则予以排除。异常先天性解剖结构(n = 1 例患者)以及不属于35个标签之一、被认为非诊断性或不完全的图像集(2140/26,456 张自动提取图像,8.1%)被排除在进一步分析之外。最终数据集在网络训练前由同一名放射科医师重复审核以排查任何误分类,该审核至少在初次审核4周后进行。
数据划分
总体而言,SVT和MVT实验数据的64%用于训练、16%用于验证、20%用于测试,MVTexternal分别使用内部数据的80%和20%进行训练和验证,并在全部外部数据上进行测试(补充表1)。对训练集、验证集和测试集进行分层抽样以消除抽样偏倚,并采用研究级别的划分以确保每个给定类别的训练集中没有密切相关的图像出现在验证集或测试集中。对于MVT,206个数据点被排除在留出测试集之外,原因是训练数据中存在给定类别下具有多次检查的患者的图像。
模型
迭代开发了一个二维卷积神经网络(CNN)CardiSort,用于评估空间成像特征以进行双输出(序列和平面)多类分类。所有输入在呈现给网络之前均经过打乱。模型采用一个输入层和三个卷积核大小为3 × 3的深度卷积层,滤波器数量分别为32、32、64和128。随后在输出层之前接两个分别具有256和64个单元的全连接层,序列类型和成像平面分别独立输出(图3)。输出层之前的所有层均使用ReLU激活函数[11],分类使用softmax输出[12]。采用He正态权重初始化[13]。
训练细节
训练的详细信息,包括数据增强、所选超参数和训练平台,见补充方法。训练进行了480个epoch,所有实验的最低总验证损失至少在此前60个epoch时即已观察到,两个输出均使用分类交叉熵作为损失指标。
MVTexternal模型已在 https://github.com/cianmscannell/cardisort 公开,并附有将其应用于非 curated 数据分类及按序列和平面标签分拣为完整成像序列的相关代码。
评估
模型性能通过以下方面的总体和各类别分类准确率(真阳性率)进行评估:(a) 序列类型,(b) 成像平面,(c) 序列和平面联合准确率(联合)。还计算了联合加权精确率、召回率和F1分数。采用混淆矩阵和梯度加权类激活映射(Grad-CAM)评估所开发的模型[14]。
结果
对于SVT,总体测试集准确率、精确率、召回率和F1分数分别达到81.2%、0.86、0.82和0.82。测试集序列类型和切面准确率分别为85.2%和93.2%(表2)。与中心2和中心3相比,中心1数据取得了最佳性能,后两者的图像采集自与训练数据不同的厂商系统(各类别结果见补充表2)。图4a展示了不同厂商之间差异的示例(在白血晚期钆增强图像(WBLGE)中),这些差异导致SVT在未见过的厂商数据上准确率较差。
MVT总体测试集准确率、精确率、召回率和F1分数分别为94.3%、0.95、0.94和0.94。测试集序列类型和切面准确率分别为96.1%和97.9%(表2)。厂商2数据观察到优异的准确率(序列97.9%,切面99.2%,联合97.9%),厂商3数据序列准确率接近完美(序列99.3%,切面96.2%,联合95.5%),厂商1切面准确率优于序列准确率(序列95.2%,切面97.9%,联合93.4%)。最低的序列准确率出现在厂商1的原始改良Look-Locker反转恢复(MOLLI)成像(39.0%),最常被预测为电影成像,而厂商2的原始MOLLI序列准确率为100%,厂商3无MOLLI数据可用(补充表3)。Grad-CAM分析表明运动相关伪影是该序列错误预测的原因之一(图4b)。厂商2的脂肪抑制T2加权(FST2)短轴成像序列准确率较差(4/6数据点,66.7%),观察到脂肪抑制失败和条带伪影(图4c)。MVT序列和切面混淆矩阵见图5a。
MVTexternal在外部数据上总体测试集准确率、精确率、召回率和F1分数分别为86.6%、0.90、0.87和0.86(表2)。厂商1的序列、切面和联合准确率分别为85.6%、92.2%和78.1%,厂商2分别为96.1%、93.4%和90.8%。常见类别包括多切面电影成像、MOLLI原始和增强后成像、TI scout成像以及所有切面的WBLGE成像均获得较高的F1分数(补充表4)。
MVTexternal在电影(94–100%)、相位对比(100%)和长轴WBLGE(92–100%)方面观察到优异的总体序列准确率。最差的序列准确率出现在(厂商1)灌注成像(0%),最常被误分类为电影(10/17数据点)或TI scout序列(7/17)。序列参数、总采集时间和对比剂方案的差异(厂商1训练使用双团注[15],而外部数据使用单团注技术)导致图像特征在视觉上存在差异(图4d)。厂商1的WBLGE短轴成像序列准确率相对较低(16/21,76.2%),其中4/21例被分类为黑血LGE成像(DBLGE)。错误预测中观察到心肌置零欠佳以及所纳入的幅值重建图像在放置于左心室心尖远端时心肌和血池缺失,影响了区分WBLGE和DBLGE的能力(见图4a,厂商1)。
MVTexternal对大多数常见序列类型(包括电影、MOLLI、TI scout和WBLGE成像)表现出较高的平面预测准确率,其中四腔心(100%)、轴位(100%)和短轴成像(304/323,94.1%)最高,两腔心(115/129,89.1%)和三腔心(100/113,88.5%)平面也很高。主肺动脉(1/10,10%)、两腔心FST2(4/7,57.1%)和右心室流出道(5/10,50%)的平面表现较差,可用于训练的数据点相对较少。短轴FST2的平面表现较差(1/7,14.3%),并观察到外部测试(每个序列单层位置)与训练数据(每个序列多层位置)之间在图像导出方面存在差异。序列和平面的混淆矩阵见图5b。
讨论
本研究开发了一个多厂商深度学习模型,并在外部数据上进行了验证,其在识别常用序列(尤其是电影成像和全血低增强(WBLGE)成像)以及标准解剖和心脏平面方面具有高准确率和F1分数。我们的工作强调了在多样化、多机构、多厂商数据集上训练模型的重要性,单厂商训练(SVT)在同机构的留出测试数据上表现出高性能,但在其他机构和厂商的数据上表现较差,而多厂商训练(MVT)在留出的多厂商测试集上准确性有所提高。
临床上使用的心脏MRI序列的变异性也得到了强调,这影响了模型的泛化能力,本研究中多厂商训练(MVT)从内部测试到外部数据准确性下降即为例证。尽管模型对常见图像序列的性能仍然很高,但对于外部验证与训练图像之间参数和图像外观存在差异的序列,性能较低,我们使用灌注成像的经验表明了这一点。图像伪影,例如MOLLI因运动导致的配准不良、条带伪影或脂肪抑制失败,也影响了模型的准确性。厂商和机构之间图像导出的差异也影响了所开发模型的稳健性。厂商为用户提供了将包含多个层面的序列保存并导出为单个或多个序列的选项。这影响了MVT外部数据预测短轴FST2的能力,因为训练数据与外部数据之间存在图像存储方式的差异。即使对于看起来相对统一的序列,厂商间和厂商内的细微差异也可能影响模型的泛化能力,正如在短轴电影成像自动心室分割中观察到的那样[16]。数据增强有助于泛化,但不能完全解决问题。对于具有多个层面的类别,更多地接触更多样化的数据和图像存储排列方式可能会提高准确性。
我们已将CardiSort开放给科学界使用,通过允许自动选择所需的图像序列进行处理,促进了全自动流程的开发。我们还提供了训练好的模型权重,以便其他科学家希望使用迁移学习来纳入自己的数据、额外的类别或其他磁共振系统。迄今为止描述的自动化心脏MRI后处理流程中仍然需要手动选择所需序列[4–6, 17]。从非精选数据中自动提取将为人工智能在临床中的前瞻性应用提供关键的第一步,而非在受控环境中的回顾性应用。一个拟议的未来临床工作流程将纳入CardiSort,对直接从扫描仪接收的图像进行分类,分类后的图像随后自动发送到适当的后处理流程以获取定量指标,例如心室分割[18]、心肌应变[19]、灌注定量[5]以及瘢痕定量和分类[20],后处理结果自动返回用于图像解读。
我们的工作存在一些局限性。对于深度学习任务而言,这是一个相对较小的数据集,使用了数据增强来使网络接触到更多种类的输入。在训练数据和外部验证中,某些类别并非每个厂商都具备。我们有意选择不将元数据纳入模型输入,因为元数据在不同厂商/中心之间存在差异,且在公开数据集中可能不完整或不可获取。虽然这些数据集反映了临床成人心脏磁共振成像的真实构成,但模型仅被训练用于识别标准心脏解剖结构,可用于先天性异常的数据不足。
我们的方法每个序列仅采样3幅图像,这可能影响了对于那些在整个采集过程中随时间变化、图像对比度变化或包含多种图像类型的序列的预测准确性,正如在外部验证中短轴白血晚期钆增强(WBLGE)所观察到的那样。这是一种实用且高效的方式,用于向需要一致形状数据进行训练的模型表示序列。心脏磁共振成像序列可能包含单幅或多幅图像,以及单一或最多三种图像类型,该方法确保了这些情况的代表性。未来的工作可能会纳入其他架构,例如,每序列输入图像数量更多的三维卷积神经网络(CNN)和/或用于纳入更多序列信息的循环神经网络,但代价是训练效率。
总之,我们已在多机构、多厂商数据上训练了一个深度学习网络,通过序列类型和成像平面推断35种独特的心脏磁共振成像序列,对最常见的图像类型具有高性能。我们还公开了我们的工作,供其他科学家在其自己的非 curated 数据集上使用,或进行调整以纳入额外序列。非 curated 数据的排序代表了迄今为止在开发高效且全自动处理流程中缺失的一环,如果这些流程最终要从研究领域转化到临床领域,这一点至关重要。
补充信息
ESM 1(DOCX 609 kb)
引用
- Lim RP, Kachel S, Villa ADM, et al. CardiSort: a convolutional neural network for cross vendor automated sorting of cardiac MR images. Eur Radiol. 2022. PMID: 35368227. doi:10.1007/s00330-022-08724-4
- 全文:PMC9381634(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9381634/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。