基于三维卷积神经网络的门静脉期MR图像肝脏分段自动分割
回顾性研究开发并验证3D-CNN模型在门静脉期MRI上自动分割肝段,训练、验证、测试分别用367、157、158例,测试集平均DSC 0.920,分割时间由手动26分钟降至8秒,临床连续100例中79%分割质量评为良好,93.4%(99/106)病灶可仅依据自动分割结果归入正确肝段。
要点
- 门静脉期MRI上3D-CNN自动肝段分割平均DSC为0.920,MSD 3.34、HD 3.61、RV 1.01。
- 自动分割耗时8秒,较手动分割的26分钟明显缩短。
- 临床连续100例中分割质量良好79%、中等15%、差6%,差的分割多见于肝硬化或弥漫转移。
核心结论
- 所提出的模型可能作为MRI图像上肝脏解剖区域自动标注的有效工具,为肝脏MR图像的计算机辅助分析奠定基础。
研究设计与样本
- 回顾性研究,经北京友谊医院机构审查委员会批准并豁免知情同意,最终纳入682例腹部多期增强MR扫描用于模型开发,其中训练集367例、验证集157例、测试集158例。
- 使用1台1.5T和4台3.0T MR扫描仪,采用机构标准化肝脏MR方案中的3D T1加权屏气序列,仅使用注射后约60秒采集的门静脉期图像。
- 以两名具有5年以上腹部影像经验的放射科医师使用Mimics软件(19.0版)按Couinaud描述进行的手动分割作为参考标准。
- 模型以3D U-Net为骨干,输入前按间距归一化并裁剪为160×160×160,进行灰度归一化,输出层设肝脏边界和逐像素肝段分割两个分支,使用SGD优化器、Dice-Loss损失函数、批大小8、训练150个epoch。
- 临床评估纳入2021年4月1日至24日在本院接受上腹部增强MR的连续100例患者,进行定性评估和间接评估。
关键影像表现/征象
- 定性评估中两名医师一致性kappa=0.858,6%(6/100)病例评为差;6例差的分割中5例为肝硬化患者、1例为肝脏弥漫转移。
- 肝病引起的肝脏形态严重改变和血管异常似乎是分割差的主要原因。
- 图5示例包括肝硬化肝右叶明显段间误识别、肝转移瘤全肝过度分割、异位胆囊致AI将S4归入左叶、肝静脉变异时AI可能将粗大的右后肝缘静脉误认为右肝静脉致右前叶与右后叶边界右移。
诊断标准与关键数值
- 定量评价指标:DSC衡量预测与参考标准的体素重叠,MSD和HD量化表面距离,RV为模型分割体积与手动分割体积之比。
- 测试集平均DSC为0.920、MSD为3.34、HD为3.61、RV为1.01;不同MR制造商数据间的定量评价结果无显著差异。
- 定性评估分级:沿肝静脉的三个垂直平面偏移≤5 mm为轻度、5–10 mm为中度、≥10 mm为重度;沿门静脉的两个水平平面偏移≤2层为轻度、2–5层为中度、≥5层为重度。
- 定性分级标准:两个及以下轻度偏移且无其他错误,或仅一个中度偏移且无其他错误评为良好;超过两个轻度偏移或超过一个中度偏移但无重度平面偏移和段间分割错误评为中等;出现重度偏移或段间分割错误即评为差。
- 间接评估中93.4%(99/106)病灶仅依据自动分割结果被归入实际所在肝段;106个病灶中7个定位失败,其中2个源于严重分割错误,4个位于两段交界处,1个位于肝脏边缘未被纳入分割。
临床应用与阅片要点
- 模型可在门静脉期MRI上将肝脏自动细分为8个解剖区域,平均运行时间8.2±2.4秒,远少于手动分割平均26分钟。
- 定性评估中分割质量良好79%、中等15%、差6%,差的病例需手动校正。
- 阅片时需注意肝硬化形态改变、肝静脉显示不清、血管异常路径或肿瘤侵犯血管等情形下可能出现段间误识别或过度分割。
- 间接评估提示大多数定位失败病灶位于段交界处或肝脏边缘,仅依据自动分割结果可能将推压边界的病灶误判为跨段病灶。
局限性
- 本研究为回顾性单中心研究,仍需从前瞻性多中心采集更多图像数据评估模型性能。
- 定性评估数据集的手动分割由放射科住院医师而非经验丰富的专家完成。
- 模型分割性能仅在门静脉期MR图像上验证,未来工作应将方法扩展至更多序列和模态。
- 方法对肝脏变形的可接受程度较好,但在肝血管严重变形或显示不清的病例中仍有限。
全文中译19 节 · 点击展开
要点
三维卷积神经网络(3D-CNN)在MR图像上对肝段分割表现出令人满意的性能。
它在不同的MR扫描仪和可变的肝脏背景中具有稳健性。
它为肝脏MR图像的计算机辅助分析奠定了基础。
引言
将人类肝脏细分为解剖区域是放射科医生日常工作的一部分,尤其是考虑到需要对局灶性肝脏病变进行精确的术前定位。目前,选择何种类型的肝切除术主要取决于病变的段位定位[1]。此外,肝段的识别对于降低肝脏手术风险也至关重要[2]。由于某些肝脏疾病具有异质性,一些定量参数(如肝脏脂肪分数和R2*值)也需要在段水平上进行测量[3]。这些任务通常由放射科医生通过视觉判读或手动分割来完成,这些方法劳动强度大、耗时且容易出现观察者内和观察者间变异。因此,一种可行的自动化肝段分割工具对于临床目的而言是非常需要的。
在过去的二十年中,计算机辅助肝段分割方面已经开展了大量研究工作[4–21],其中大多数使用传统机器学习技术[4, 7–21],这些技术在分割性能和效率方面无法满足临床应用的需求。Lebre等人[8]提出的方法需要首先使用骨架化过程分割肝血管,然后提取最大血管的主方向以实现不同肝段的分离。然而,整个过程耗时超过8分钟,且良好的结果高度依赖于准确的血管分割,而由于肝脏中复杂交织的血管解剖结构,这很难实现。为解决这一问题,在最近发表的一篇论文中,Wu等人[4]引入了一种基于多特征的方法。他们的方法提高了血管分离的准确性,并因此有望改善肝段的分割。然而,该论文未给出肝段分割的定量结果,且他们的方法每个病例平均需要20.8秒来获得肝段。
近年来,深度学习的快速发展,特别是卷积神经网络(CNN)的出现,将医学图像分割推向了新的水平[22]。Tian等人[5]使用具有空间自适应的2.5维(2.5D)类感知深度神经网络从CT图像中获得肝脏的Couinaud分段。他们达到了0.882的平均Dice评分,整个运行时间相当快(约5秒)。结果证明了深度学习在提高分割效率和准确性方面优于传统方法的潜力。对于MR图像,Mojtahed等人[6]最近报道了一种基于深度学习的Couinaud段体积测量工具,但该设备是半自动的(需要人工放置八个标志点)。据我们所知,目前仍缺乏一种基于深度学习的全自动工具用于MR图像上的肝段分割。在本研究中,我们希望开发一种基于3D U-net的算法,在MR图像上自动将肝脏分割为Couinaud区域。
材料与方法
数据集
本回顾性研究经北京友谊医院机构审查委员会批准,并豁免知情同意。所有腹部MR扫描均作为患者常规临床诊疗的一部分进行。为开发模型,我们最初通过随机检索图像归档与通信系统(PACS),于2017年1月至2019年2月期间获取了744例多期对比增强MR扫描。在排除以下病例后:(1)因晚期肝硬化或大肿瘤导致明显肝脏变形的病例(n = 33)。(2)图像质量差或存在严重伪影的病例(n=8),以及(3)部分肝切除或肝移植术后的病例(n = 21)。最终队列共纳入682例MR扫描(训练集、验证集和测试集分别为367、157、158例)。
为进行临床评估,收集了2021年4月1日至24日期间在我院接受腹部增强MR检查的连续100例患者样本。
图像采集
本研究使用了1台1.5T和4台3.0T MR扫描仪(GE,GE Health care,Boston,USA;Siemens Medical Solutions,Forchheim,Germany,Siemens Medical Solutions,Forchheim,Germany;Philips Medical Systems,Best,the Netherlands)。对比增强成像采用我院标准化肝脏MR成像方案中的3D T1加权屏气序列。各设备间参数有所不同,范围为TR 3.4–4.1ms、TE 1.15–1.91ms、翻转角10–15°、带宽125和500 Hz、层厚3–4.4 mm、图像矩阵216 × 188至288 × 216、视野380 × 342 mm至400 × 369 mm、采集时间10 s。本研究仅使用注射后约60s采集的门静脉期(PVP)图像。以DICOM格式匿名化的MR图像从PACS导出。
手动分割
肝段分类基于Couinaud描述[23],如图1所示。参考标准由两名具有5年以上腹部影像经验的放射科医师(Z.Y.S.和Z.X.L.)使用Mimics软件(version 19.0;Materialise,Leuven,Belgium)生成。所有图像分为两组并均匀分配给每位放射科医师。为确保分割结果的一致性,两名放射科医师在正式分割前参加了培训课程并共同分割了若干病例。
模型开发
我们使用3D U-Net作为主干网络,该网络由3D卷积、ReLU、BN和池化层构建而成[24]。网络以3D图像作为输入,并产生与输入图像形状相同的输出。在输入模型之前,图像通过间距进行归一化,并以滑动窗口方式裁剪为固定形状(160 × 160 × 160)。与CT扫描相比,MR扫描图像灰度分布的变异不容忽视,因此在间距归一化之后应用了减去均值并除以标准差的灰度归一化。
我们在输出层引入了两个分支。如图2所示,上部分支产生肝脏边界,另一分支为肝段的逐像素分割。后一个输出作为最终输出,而前一个输出有助于产生更好的边界。模型在训练数据集上使用SGD优化器进行端到端训练。训练的学习率从1e−3开始,每50个epoch衰减0.1。我们使用Dice-Loss作为损失函数,批大小设为8。训练在150个epoch时结束。
评估
定量评估
定量结果在内部测试数据集(158例未用于训练的病例)上得出。使用了以下四个参数:
Dice相似系数(DSC)
DSC用于衡量预测(X)与金标准(Y)之间的体素重叠程度。该指标的值范围为0到1,最小值和最大值分别表示无重叠和完全重叠。
平均表面距离(MSD)和Hausdorff距离(HD)
MSD和HD旨在量化X与Y之间基于表面的差异。MSD计算两个表面之间的平均距离,而HD测量它们之间的最大距离。
体积比(RV)
RV计算两个分割结果中肝段的体积比,定义为RV (X, Y) = VX/VY,其中VX和VY分别代表模型分割和人工分割的体积。
计算每个肝段以及八个肝段平均的DSC、MSD、HD和RV值。不同MRI制造商的所有这些定量参数也被计算。此外,比较了基于AI的分割和人工分割所消耗的时间。
临床评估
我们的模型应用于2021年4月1日至24日在我院接受上腹部增强MR检查的共100例连续患者。临床评估包括以下两个部分:
定性评估
模型生成的分割结果由两位具有15年以上经验的放射科医师(X.H.和Y.D.W.)独立评估。每位患者的分割质量根据以下两个主要要素分为好、中等或差:a. 分界面放置的准确性;b. 是否发生段间分割错误。分界面放置的准确性由其偏离中心的程度决定。对于沿肝静脉的三个垂直平面,偏移≤5 mm定义为轻度,5–10 mm为中度,≥10 mm为重度。对于沿门静脉的两个水平平面,偏移≤2个层厚定义为轻度,2–5个层厚为中度,≥5个层厚为重度。段间分割错误是指无法用分界面放置错误解释的错误,通常形状不规则。最终,具有两个或以下轻度偏移且无其他错误,或仅有一个中度偏移且无其他错误的分割被分类为好;具有超过两个轻度偏移或超过一个中度偏移,但无重度平面偏移且无段间分割错误的分割被分类为中等。一旦分割出现重度偏移或段间分割错误,即被分类为差分割。分歧由一位具有30年以上经验的腹部亚专科放射科医师(Y.Z.H.)裁定。
间接评估
分割的准确性基于肝脏病变的定位进行间接评估。步骤如下:首先,排除病变不可计数或无病变的病例。然后,对于其余每个病例,识别PVP中可见的所有局灶性异常发现(大于5 mm)。如果肝脏有超过五个病变,仅选择最大的五个病变。最后,对于每个符合条件的病变,记录其所处的具体肝段(仅参考自动分割结果)并由放射科医师判断。病变的检测、筛选和定位判断由两位放射科医师(X.H.和Y.D.W.)协商一致完成。一位放射科医师(Y.Z.H.)在存在分歧时进行仲裁。图3以两个示例说明了间接评估。
统计分析
连续变量根据数据的正态性以均值±标准差(SD)或中位数和四分位间距表示。分类变量以频率和百分比汇总。阅片者一致性通过线性加权kappa系数检验。所有统计分析使用SPSS软件25.0版(IBM,Armonk,纽约)进行。显著性设定为p < 0.05。
结果
患者和图像特征
本研究纳入了在本院接受多期对比增强MR扫描的782例患者。平均年龄为59 ± 15岁,男性略多(404例;51.7%)。用于各数据集的人口学和MR扫描概况总结于表1。
定量结果
实验结果表明,我们的方法能够准确地将输入的肝脏MR图像细分为八个解剖区域,平均DSC为90.20%。包括HSD、MSD和RV在内的其他指标的良好值进一步证实了所提方法的准确性。表2和表3分别总结了整个数据集上以及按不同MR制造商分组的数据上的所有四项指标(DSC、MSD、HD和RV)。如表3所示,该分割模型在不同制造商数据上确定的定量评估结果无显著差异。
使用所开发模型在配备Xeon(R) Silver 4210R(CPU)和GeForce RTX 2070(GPU)的GPU加速计算平台上的平均运行时间为8.2 ± 2.4 s。这比手动分割所需时间少得多,后者对一组肝脏MR图像平均需要26 min。
临床评估结果
定性评估
两位评估者之间的一致性令人满意(kappa = 0.858)。6%(6/100)的病例被评为差,意味着这些病例存在需要手动纠正的较严重分割错误。在六例分割较差的病例中,五例见于肝硬化患者,1例为肝脏弥漫性转移。肝脏疾病引起的肝脏形态严重改变和血管异常似乎是分割较差的主要原因。图4和图5展示了来自不同肝脏状况的一些AI分割示例。
间接评估
排除46例无病灶或病灶不可计数的病例后,共使用54例患者的106个病灶评估AI分割的准确性。MRI上所有病灶的最大径范围为0.6至6.0 cm(均值+/−标准差,1.6 cm+/−0.8 cm)。根据结果,93.4%(99/106)的病灶被归属于其实际所在的段。此外,所提出的方法不仅能准确定位单一段内的小病灶,对跨段的大体积病灶同样有效。106个病灶中共有7个未能准确定位,其中2个归因于严重分割错误。其余错误中,4个病灶位于两段交界处,1个病灶位于肝脏边缘未被纳入分割。
讨论
在本研究中,我们提出并验证了一种基于PVP MRI图像的全自动Couinaud肝脏分割深度学习模型。当前实验结果表明,我们的模型能够准确将输入的肝脏MR图像细分为八个解剖区域,且在不同MR扫描仪间具有稳健性。所提出方法的有效性也在临床场景中得到验证,有望成为一种自动辅助病灶定位的工具。
将肝脏细分为解剖区域至关重要,因为这是肝脏影像学中潜在的计算机辅助诊断的基本步骤。大多数从事肝段分割的研究人员在CT上展示其结果。尽管CT应用更为广泛,但MRI具有若干非常明确的优势,可作为CT的重要补充用于肝脏疾病的筛查和诊断[25, 26]。Lebre等[8]介绍了一种适用于MR图像的肝段分割方法。然而,该方法需要先进行肝脏分割和血管网络提取,才能最终获得Couinaud分类。整个流程的时间成本超过8分钟。此外,其模型性能仅在非常小的数据集(4例)上进行了不充分的验证,且未给出定量结果。Zhang等[9]提出了一种在4D动态对比增强MR(DCE-MR)成像上分割肝脏的方法。他们获得的平均DSC值为88.43%。考虑到该结果是在空间分辨率较低的DCE-MR图像上产生的,该精度是可以接受的。然而,该方法并非完全自动化,因为过程中需要手动特征提取。在本研究中,我们的全自动方法在更大的测试数据集上接受了定量评估,结果证实其在三家大型MR制造商设备上均高效、准确且稳健。我们相信这是朝着实现肝脏MR图像智能诊断迈出的一步。
以往,肝段分割的评价大多通过视觉检查[7]和体积验证[16–18, 20, 21],或两者结合[10, 19]来进行。这是一项重大挑战,因为它要求拥有实际的段标本。近期几项研究采用了新方法,包括定量评估、定性评估和间接评估[4, 5, 8, 9]。然而,它们都存在样本量小的问题。在本研究中,我们使用三种不同方法对模型进行了全面评估。定量评估提供精确结果,并允许不同研究之间进行比较。为此常用的指标是DSC。迄今为止,既往方法产生的肝段分割准确率不超过88.2%的DSC[5]。在本工作中,我们的模型产生了90.2%的平均DSC。在HD、MSD和RV方面也获得了良好结果,这些指标尚未在类似研究中报道,但已广泛用于分割评估。作为实验的一部分,该模型被应用于真实临床场景进行评估。正如预期,我们的模型在大多数病例中生成了良好的分割图像,涵盖了从正常到异常的广泛肝脏表现。值得一提的是,一些伴有晚期肝硬化或多发肝转移的病例也被我们的模型准确分割,一些大的跨段肿瘤并未影响边界线的检测。分割效果较差主要发生在存在严重血管问题的病例中,包括血管路径异常或血管被肿瘤严重侵犯。该问题可能通过收集此类病例并重新训练模型来解决。此外,我们的方法在辅助病灶定位方面显示出良好前景。如图所示,仅通过参考分割结果而不使用任何医学经验,93.4%的病灶被定位在右段。考虑到自动化病灶定位对未来肝脏计算机辅助诊断系统的重要作用,这是有意义的。进一步研究定位错误的病灶,我们发现大多数位于段边缘,并推动两个相邻段之间的边界线(图3b)。根据自动化分割结果,它们常被误认为跨段病灶。只有少数定位错误是由肝段真正的严重分割误差引起的。
尽管结果令人鼓舞,我们的研究仍存在若干局限性。第一,这是一项回顾性单中心研究。尽管评估数据集最大程度模拟了真实临床场景,仍需要从多中心前瞻性收集更多图像数据来评估模型性能。第二,定性评估数据集的手工分割由放射科住院医师而非经验丰富的专家完成。尽管如此,这具有一定合理性,因为在临床实践中住院医师往往是进行分割工作的人。第三,模型分割的性能仅在PVP MR图像上得到验证。未来工作应包括将该方法扩展到更多序列和模态。第四,尽管我们的方法对肝脏变形的可接受水平良好,但在肝血管严重变形或可见度差的病例中仍有限。我们将在未来工作中研究该问题。
总之,我们设计了一个3D U-Net模型,通过联合采用逐像素损失和边界损失,用于MRI图像上的肝段分割。从三个方面进行了全面评估,显示出有前景的分割性能。我们预期这一实用工具未来将有助于规划手术策略并增强肝脏MR图像的计算机辅助定量分析。
引用
- Han X, Wu X, Wang S, et al. Automated segmentation of liver segment on portal venous phase MR images using a 3D convolutional neural network. Insights Imaging. 2022. PMID: 35201517. doi:10.1186/s13244-022-01163-1
- 全文:PMC8873293(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8873293/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。