文献速递腹部MR

基于显著性的三维卷积神经网络用于多序列MRI上常见局灶性肝脏病变的分类

Saliency-based 3D convolutional neural network for categorising common focal liver lesions on multisequence MRI.
PubMed 文献 · Insights Imaging · 2021-11-24

本研究回顾性纳入557个经多序列MRI检查的局灶性肝脏病变,构建可解释的三维卷积神经网络模型对7类病变进行分类,模型在测试集上二分类AUC为0.969,七分类AUC为0.919至0.999,七分类准确率79.6%高于放射科住院医师的66.4%(p=0.035),低于学术型放射科医师的85.4%(p=0.291),显著图可解释模型决策依据。

要点

  • 模型对肝囊肿和肝细胞癌诊断表现好,中位准确率均为0.991,对转移瘤和脓肿表现较差,中位准确率分别为0.805和0.885。
  • 模型七分类准确率79.6%显著高于放射科住院医师66.4%(p=0.035),与普通放射科医师73.5%(p=0.346)和学术型放射科医师85.4%(p=0.291)无显著差异。
  • 显著图显示模型关注囊肿的T2高信号和T1低信号无强化、血管瘤的周边结节状向心性强化、肝细胞癌的动脉期强化及门脉期和延迟期廓清等典型影像特征。

核心结论

  • 该可解释深度学习模型在多序列MRI上对局灶性肝脏病变的鉴别诊断中表现出高诊断性能,其预测分析原理可通过显著图解释。

研究设计与样本

  • 回顾性研究,共纳入557个经多序列MRI检查的病变,分为训练-验证集444个和测试集113个,来自445例患者,每例一个匿名化肝脏MRI,检查时间为2017年1月至2019年12月。
  • 使用1.5-T和3-T MRI扫描仪,包括Siemens Prisma、TrioTim,GE Healthcare GE 750w、Signa和Philips Ingenia系统,分析T2WI、DWI(b值800 s/mm2)、ADC图、T1WI、晚动脉期(注射后15–20 s)、门静脉期(注射后60–70 s)和延迟期(注射后3–5 min)共7个序列。
  • 对比剂为钆贝葡胺,剂量0.1 mmol/kg(最大剂量20 mL),注射速率2 mL/s,随后以2 mL/s推注50 mL生理盐水。
  • 参考标准:大多数恶性肿瘤经组织病理学确诊,其他恶性肿瘤和良性肿瘤经随访报告由两名分别有10年和20年经验的放射科医师支持诊断,随访3–12个月。

关键影像表现/征象

  • 显著图显示模型对囊肿关注T2高信号和T1低信号无对比增强,对血管瘤关注不连续周边结节状强化并向心性进展,对FNH关注动脉期明显强化、门静脉期近等信号及中央瘢痕缓慢渐进强化。
  • 显著图显示模型对脓肿关注扩散受限和典型周边强化模式,对HCC关注动脉期明显强化、门静脉期和延迟期廓清及延迟期包膜强化,对ICC关注动脉期边缘强化和延迟期中心强化,对转移瘤关注扩散受限和边缘强化。
  • 各序列/期相在7类局灶性肝脏病变分析中的重要性可变,显著图中红色区域标示更重要的序列/期相。

诊断标准与关键数值

  • 模型二分类(良恶性)AUC为0.969(95% CI 0.944–0.994)。
  • 模型七分类AUC范围为0.919(95% CI 0.857–0.980)至0.999(95% CI 0.996–1.000)。
  • 七分类中模型中位敏感度范围为0.909(0.623–0.995)至1.000(0.806–1.000),特异度范围为0.781(0.689–0.852)至0.990(0.944–0.999),阳性预测值范围为0.432(0.287–0.591)至0.941(0.730–0.997)。
  • 模型对囊肿和HCC诊断中位准确率分别为0.991(0.951, 1.000)和0.991(0.952, 1.000),对转移瘤和脓肿中位准确率分别为0.805(0.723, 0.868)和0.885(0.813, 0.932)。

临床应用与阅片要点

  • 模型七分类准确率79.6%(113个病变中90个正确)显著高于放射科住院医师66.4%(113个中76–78个正确,p=0.035),与普通放射科医师73.5%(113个中80–88个正确,p=0.346)无显著差异,低于学术型放射科医师85.4%(113个中96–98个正确,p=0.291)但差异未达统计学显著。
  • 混淆矩阵显示模型与学术型放射科医师的错误分布相似,但所有放射科医师在某些HCC病例中出错而模型未犯相同错误,模型在17例转移瘤中误判10例,其中4例误判为脓肿。
  • 肝脏背景(肝硬化和脂肪肝)对模型分类性能无显著影响:二分类中肝硬化患者准确率100.0% vs 无肝硬化87.0%(p=0.358),脂肪肝95.7% vs 无脂肪肝86.7%(p=0.401);七分类中肝硬化100.0% vs 无肝硬化77.0%(p=0.116),脂肪肝65.2% vs 无脂肪肝83.3%(p=0.102)。
  • 作者推测若将临床信息和实验室检查结果纳入模型训练过程,诊断准确性和判读可靠性也可有效提高。

局限性

  • 本研究为回顾性研究,样本量未预先设定。
  • 放射科医师在诊断时未参考相关病史或实验室检查结果,可能影响诊断准确性。
  • 模型在小型脓肿和转移瘤中表现较差。
  • 少数典型病变被模型误分类,表明模型性能仍有提升空间。
全文中译20 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2021 Nov 24;12:173. doi: 10.1186/s13244-021-01117-z

要点

人工智能有潜力通过自动化流程来减轻医师的负担。

该模型能够在多序列MRI上准确分类常见的肝脏肿块。

不同的MRI扫描仪和肝脏背景未影响模型性能。

显著性图可以解释模型的决策过程,并让放射科医师验证诊断。

引言

随着影像技术的发展,大多数局灶性肝脏病变(FLL)可通过MRI准确检出[1]。然而,仅依靠影像学诊断FLL仍是一项挑战。FLL的影像学特征多样且复杂,不同病变的特征存在重叠。一些常见病变中的不典型特征使诊断具有挑战性,包括不典型的形态学特征、不典型的位置或可能模仿其他原发性肝脏肿瘤的病变[2]。最大限度地提高FLL的影像诊断准确率对于避免不必要的活检[3]和优化患者管理至关重要。同时,医学图像的评估和分析通常是主观的,可能受到不同专业水平放射科医师经验的影响[4]。人工智能(AI)可以帮助医生诊断FLL,并可能在帮助经验不足的医师以及弥合新手与专家放射科医师之间的差距方面发挥作用[5]。

作为AI的一种策略,基于卷积神经网络(CNN)的深度学习系统在放射学领域已被广泛考虑[6, 7]。与通过影像学特征诊断疾病的放射科医师以及依赖手工特征的传统机器学习算法不同,CNN可以自动从医学图像中学习复杂特征[8]。因此,通过从足够大量的训练数据中学习,CNN可能在不依赖放射科医师经验的情况下准确分类FLL。

已有若干关于FLL分类的AI研究,但主要集中于二维(2D)CNN模型[9, 10]或基于计算机断层扫描(CT)图像[11]。目前缺乏基于MRI数据的三维(3D)CNN研究。与2D CNN相比,基于磁共振成像(MRI)数据的3D CNN可以更有效地对肿瘤切片进行重采样,扩大样本量,获取丰富的3D肿瘤信息并更准确地捕捉组织特征[12, 13]。此外,既往研究仍缺乏对“黑箱”的可解释性。目前,3D CNN热图的输出在技术上仍难以解释,这使得无法验证模型是否遵循人类专家知识的某些方面。我们研究的目的是通过自动化流程来潜在地减轻医师和工作人员进行初步诊断的需求,从而减轻放射科医师的负担。我们开发了一种基于多序列的可解释3D CNN,用于七类常见FLL的分类,并验证了其与不同专业水平放射科医师相比的性能。

材料与方法

本回顾性研究经机构伦理审查委员会批准(批准号:2019-P2-230-01),并豁免了书面知情同意的要求。在本研究中,未预先指定样本量。非雇员或非顾问作者对数据进行了分析和控制。

患者与疾病

共有445例研究患者,每例均有一次于2017年1月至2019年12月间采集的匿名化肝脏MRI(研究)检查。研究图像按照附加文件1:图S1中详述的流程从我院图像存档与通信系统(PACS)中获取。

纳入标准如下:(1)受试者接受了平扫和增强肝脏MRI检查;(2)受试者具有以下常见局灶性肝脏病变(FLL)之一,包括肝囊肿、海绵状血管瘤(HEM)、肝脓肿(HEP)、局灶性结节性增生(FNH)、肝细胞癌(HCC)、肝内胆管癌(ICC)和肝转移瘤(MET);(3)每位患者最多纳入一次影像检查,每次检查最多使用6个病灶。我们从每例病例中仅选择一种类型的病灶用于以下评估。排除标准如下:(1)MRI图像质量不足的患者。(2)在MRI检查前接受过与病灶相关治疗的患者;(3)边界无法勾画的弥漫性病变或累及门静脉、肝静脉或邻近器官的恶性肿瘤。大多数恶性肿瘤经组织病理学确诊,而其他恶性肿瘤和良性肿瘤则由两名放射科医师(分别具有10年和20年经验)支持的长达3–12个月的随访报告进行诊断。

MRI采集方案

患者取仰卧位,使用1.5-T和3-T MRI扫描仪行腹部MRI检查,包括Siemens(Prisma、TrioTim)、GE Healthcare(GE 750w、Signa)和Philips(Ingenia)系统。根据标准机构肝脏MRI方案行T2加权成像(T2WI)、扩散加权成像(DWI)(b值:800 s/mm2)和表观扩散系数(ADC)图,采集时间为2–2.5 min。所有平扫序列和增强期相均按照机构肝脏MRI方案采集。不同扫描仪和时间段的成像参数有所不同。用于采集图像的参数总结于表1。对比增强T1WI序列的采集时间为12–18 s。所有患者均使用钆贝葡胺行MRI检查,静脉注射剂量为0.1 mmol/kg(最大剂量,20 mL),注射速率为2 mL/s,随后以生理盐水冲管(50 mL,2 mL/s)。除平扫T1WI、T2WI、DWI和ADC图外,还分析了增强后图像,包括晚动脉期(LAP,注射后15–20 s)、门静脉期(PVP,注射后60–70 s)和延迟期(DP,注射后3–5 min)。

表1 图像采集 查看原表 ↗

基于CNN算法的模型构建与评估

分类任务分为两组。第一组任务是将所有肿瘤分为两类:良性和恶性。第二组任务将病变分为以下七类:0,囊肿;1,FNH;2,血管瘤;3,脓肿;4,HCC;5,ICC;6,转移瘤。其中,0、1、2和3表示良性病变,而4、5和6表示恶性肿瘤。多任务框架已被证明可提高任务特定模型的学习效率、潜在预测准确性和过拟合问题。

数据预处理

MR图像从PACS下载并以医学数字成像和通信(DICOM)格式存储。随后将图像转换为NIFTI格式以隐藏患者信息。肝脏肿瘤由两名接受过亚专科培训、平均具有9年腹部诊断经验的放射科医师手动分割。所有序列上的肿瘤轮廓均在我们自主开发的三维Slicer软件(版本4.8.1,哈佛大学,波士顿,马萨诸塞州,美国)模块中绘制。该模块可提供肿瘤区域更有价值的信息。当两名放射科医师对该区域是否为病灶或病灶类型存在分歧时,进行联合复核直至达成共识以作出最终决定。

图像处理

将七序列(T2WI、DWI、ADC、T1WI、LAP、PVP、DP)图像及匹配的标注图像以相同的体素间距[1, 1, 1]采用最近邻插值算法进行重采样。我们将MRI图像的强度归一化至[0, 1]范围。对于不同直径的病灶,裁剪策略不同。小于16 mm的病灶直接裁剪为32 * 32 * 32 mm,大于16 mm但小于32 mm的病灶裁剪为64 * 64 * 64 mm,其余病灶通过扩张病灶区域进行裁剪。(扩张尺寸在训练阶段随机改变。)然后,将包含目标病灶的裁剪 patch 图像及匹配的标注图像采用双线性插值和最近邻插值算法调整为64 * 64 * 64(mm)。裁剪后的标注图像采用高斯模糊方法处理。应用在线数据增强,包括旋转、翻转、平移、缩放、光照改变和高斯噪声添加。

模型训练

我们的深度学习模型在GeForce GTX 1080Ti(NVIDIA)图形处理器上使用Python 3.7和PyTorch 1.4.0进行训练。模型架构如图1所示。我们采用2D ResNet-18的3D扩展作为骨干网络[14]。对于每个序列,将MRI图像和匹配的高斯标注图像输入3D ResNet-18网络,然后获得特征表示。所有七个特征表示被拼接为一个融合特征。T2WI、DWI和ADC图像的特征表示被拼接为一个融合特征,该特征与所有七个序列的融合特征一起用于二分类(融合特征2)。LAP、PVP和DP图像的特征表示被拼接为另一个融合特征,该特征与所有七个序列的融合特征一起用于七分类(融合特征7)。为获得两个任务的分类结果,融合特征2和融合特征7均被输入全连接(FC)层。交叉验证方法将开发队列的数据集分为训练集和验证集,并采用五折交叉验证。

图1 所提出深度学习模型的架构 查看原图 ↗

模型评估

该模型在包含113个病变的未见测试数据集上进行了性能评估。对于五项实验中的每一项,选择在验证数据集上表现最佳的模型。使用五个选定的模型对测试数据进行二分类(良性和恶性)和七分类推断。五项实验在测试数据上的平均预测结果作为最终结果。还分析了患者的一般人口学特征、病变类型、病变大小和MRI扫描仪。我们评估了肝脏背景(肝硬化和脂肪肝)对模型分类性能的影响。最后,模型输出显著性图以解释分析原理。

与放射科医生表现的比较

测试数据经过匿名化处理,并独立呈现给三类放射科医生,包括两名放射科住院医师(分别具有1年和2年经验)、两名普通放射科医生(分别具有8年和12年经验)以及两名学术型放射科医生(分别具有17年和22年经验)。所有医生均常规阅读肝脏MRI图像。使用ITK-SNAP(版本3.6.0,www.itksnap.org)读取包含病变及其周围肝实质的图像。放射科医生获得了与AI系统可用的相同的MRI序列。

统计分析

开发和测试数据集的特征描述如下:连续变量根据数据的正态性以均值±标准差或中位数伴四分位距(IQR)表示;分类变量以频数(百分比,%)表示。连续变量采用Student's t检验或Kruskal–Wallis检验,分类变量采用卡方检验或Fisher精确检验。

还计算了受试者工作特征(ROC)曲线下面积(AUC)、准确率、灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)、阳性诊断似然比(PLR)和阴性诊断似然比(NLR)。此外,采用改良Wilson法计算95%置信区间(CI)。不同肝脏背景的比较采用Pearson卡方检验和Fisher精确检验。使用带95%CI的准确率比较模型与放射科医生之间诊断性能的差异。读者间一致性采用Cohen's kappa统计量评估。绘制混淆矩阵以评估模型和放射科医生的优势与不足。p < 0.05被视为具有统计学意义。

结果

患者人口学特征

共445名参与者被分为开发数据集(n = 356)和测试数据集(n = 89)。开发数据集与测试数据集之间在年龄(p = 0.795)或性别(p = 0.647)方面无显著差异,肿瘤类型、大小或MRI扫描仪方面也无显著差异(p > 0.05)(表2)。

表2 数据和患者特征 查看原表 ↗

深度学习模型性能

该模型在包含113个病灶的测试数据集中表现出高性能,双向分类的平均AUC为0.969,七向分类的AUC为0.919(0.857–0.980)至0.999(0.996–1.000)(图2)。使用测试数据确定的每个病灶类别的准确率、灵敏度、特异度、PPV、NPV、PLR和NLR见表3。发现该模型在诊断囊肿和HCC方面表现良好,中位准确率分别为0.991(0.951,1.000)和0.991(0.952,1.000),但在诊断转移瘤和脓肿方面表现较差,中位准确率分别为0.805(0.723,0.868)和0.885(0.813,0.932)。七个类别的模型中位灵敏度范围为0.909(0.623–0.995)至1.000(0.806–1.000),特异度范围为0.781(0.689–0.852)至0.990(0.944–0.999),PPV范围为0.432(0.287–0.591)至0.941(0.730–0.997)。

肝脏背景对模型性能无影响。在模型的双向分类中,测试队列中伴有和不伴有肝硬化的患者准确率分别为100.0%和87.0%(p = 0.358)。伴有和不伴有脂肪肝的患者的准确率分别为95.7%和86.7%(p = 0.401)。在模型的七向分类中,测试队列中伴有和不伴有肝硬化的患者准确率分别为100.0%和77.0%(p = 0.116)。伴有和不伴有脂肪肝的患者的准确率分别为65.2%和83.3%(p = 0.102)。

图2 (a)双向和(b)七向深度学习模型分类的ROC曲线 查看原图 ↗
表3 深度学习模型在测试数据集上双向和七向分类的诊断性能 查看原表 ↗

深度学习模型性能与放射科医师性能的比较

我们将模型的性能与三类放射科医师进行了比较。模型的性能(113个病灶中90个病灶正确;参与者平均正确百分比79.6%)优于放射科住院医师(113个病灶中76–78个病灶正确[67–69%;参与者平均正确百分比68%])(p = 0.035)和普通放射科医师(113个病灶中80–88个病灶正确[71–78%;参与者平均正确百分比74%])(p = 0.346)。模型的准确率低于学术型放射科医师(113个病灶中96–98个病灶正确[85–87%;参与者平均正确百分比86%])(p = 0.291)(图3)。模型与放射科住院医师之间的诊断性能差异具有统计学意义,但模型与普通或学术型放射科医师之间无统计学显著差异。随后通过比较同一专业水平内的放射科医师来衡量一致性(表4)。同一类别的两名放射科医师显示出良好的一致性(kappa > 0.75,p < 0.01)。

图3 模型与不同专业水平放射科医师的性能比较。性能以准确率衡量。每个点代表一位放射科医师,水平线代表每个放射科医师类别的均值。水平虚线为模型的性能。误差条代表95%二项概率CI。*模型与两类住院医师之间的性能差异具有统计学意义(p < 0.05) 查看原图 ↗
表4 同一类别放射科医师之间的一致性评价 查看原表 ↗

评估放射科医师和模型的错误

我们通过混淆矩阵评估了模型和放射科医生的鉴别诊断分布。模型与学术型放射科医生之间的混淆矩阵彼此相似,但在某些情况下,模型和放射科医生犯了不同类型的错误。随着放射科医生专业化程度的提高,错误发生得更少。具有不同专业化水平的放射科医生可能会将某一种类型的病变误认为另一种。所有放射科医生在某些HCC病例中犯了错误,但模型没有犯同样的错误(图4)。模型的平均错误数为23。模型在诊断HCC方面表现良好,没有任何错误。模型在诊断良性病变中的FNH和恶性病变中的转移瘤方面表现较差。在17例转移瘤病例中,有10例被错误识别,其中4例被识别为脓肿。

图4 混淆矩阵显示七类常见局灶性肝脏病变(FLL)的诊断预测分布,分别为(a)模型、(b)放射科住院医师、(c)普通放射科医生和(d)学术型放射科医生。真实疾病标签沿x轴显示,预测结果沿y轴显示。与真实疾病标签相同的预测结果在从左上到右下的对角线上显示为黄色方块。每一类放射科医生在鉴别诊断中都会犯错,但随着放射科医生专业化程度的提高,错误发生得更少 查看原图 ↗

显著性图

我们从测试集的七个类别中选取了示例显著性图。红色突出显示与预测类别更相关的放射学影像特征的激活区域(图5)。对于囊肿,模型关注T2高信号和T1低信号且无对比增强。对于血管瘤,模型将注意力集中在不连续的外周结节状强化上,该强化呈向心性进展。对于FNH,模型关注强烈的动脉期高强化,门静脉期(PV)近等信号以及中央瘢痕的缓慢渐进性强化。对于脓肿,模型关注扩散受限和典型的外周强化模式。对于HCC,模型将注意力指向强烈的动脉期强化、门静脉期(PVP)和延迟期(DP)的廓清以及延迟期(DP)的包膜强化。对于ICC,模型将注意力指向环状动脉期高强化和延迟期中央强化。对于MET,模型集中于扩散受限和环状高强化。

图6显示了每个序列/期相在鉴别诊断中的权重。显著性图中的红色突出显示更重要的序列/期相。每个序列/期相在七类FLL分析中的重要性各不相同。

图5 测试集7类别分类中示例图像的显著性图。红色突出显示与预测类别更相关的放射学影像特征的激活区域。(a)囊肿、(b)HEM、(c)FNH、(d)HEP、(e)HCC、(f)ICC和(g)MET显示良好,这些图揭示了不同FLL的一些典型放射学影像特征 查看原图 ↗
图6 测试集7类别分类中示例图像的显著性图。红色突出显示鉴别诊断中每个序列/期相权重的激活区域。(a)囊肿、(b)HEM、(c)FNH、(d)HEP、(e)HCC、(f)ICC和(g)MET显示良好,这些图揭示了不同序列/期相在每类FLL分析中的重要性不同 查看原图 ↗

讨论

我们开发了一个可解释的基于三维卷积神经网络(3D CNN)的分类模型,用于七类常见局灶性肝脏病变(FLL)的分类,使用七个序列并输出显著性图来解释模型决策原理。该模型表现出良好性能,双向分类的AUC为0.969,七向分类的AUC从0.919(0.857–0.980)到0.999(0.996–1.000)。

我们模型的准确率高于放射科住院医师,但略低于学术型放射科医师。放射科医师对医学图像的评估具有主观性,可能受个人经验影响。为提高放射科医师的准确性和一致性并减少判读变异性,肝脏影像报告和数据系统(LI-RADS)不断更新[15–20]。即便如此,放射科医师之间的诊断一致性仍存在差异[21–24]。Kierans等[24]证明,使用LI-RADS 2017时,主要特征的阅片者间一致性为中等(k = 0.661),辅助特征为差至一般(k = 0.257–0.436)[24]。我们的模型可能有助于保持诊断一致性,帮助经验不足的医师,提高普通放射科医师和放射科住院医师的诊断准确性,减轻学术型放射科医师的工作量,并弥合新手与专家放射科医师之间以及不同医院之间的诊断差距。

我们的模型在诊断肝细胞癌(HCC)方面表现出良好性能,而不同专业水平的放射科医师则出现了一定数量的错误。放射科医师将廓清不清晰的HCC病变误分类为局灶性结节性增生(FNH)或肝内胆管癌(ICC)病变,并将强化微弱的HCC病变误分类为转移瘤。该模型能够通过学习图像正确识别HCC病变。显著性图显示动脉期(LAP)动脉强化、门静脉期(PVP)和延迟期(DP)廓清以及延迟期强化包膜,这与LI-RADS的主要影像学特征一致。该结果表明,人工智能可以帮助放射科医师并减少临床工作中误诊的发生。同时,显著性图可以帮助放射科医师验证模型的预测,并帮助临床医生理解模型性能。

该模型在脓肿和转移瘤方面表现出较差性能。脓肿的显著性图显示,模型将注意力集中于周边强化的模式。然而,脓肿与恶性肿瘤之间存在许多重叠的影像学特征(附加文件1:图S2)。此外,随着脓肿进展,会出现多种影像学特征[25]。原发性恶性肿瘤具有不同的生物学行为和病理变化,并随肿瘤生长而影响转移瘤的影像学特征。由于我们研究中的转移瘤来源不同,其特征也不同[26]。转移瘤的强化模式受结节大小、肿瘤血管分布以及随肿瘤生长而变化的病理行为影响。小转移瘤可能表现为过度强化,而较大肿瘤可能表现为结节内坏死或血管血栓形成[27]。因此,该模型在小脓肿和小转移瘤方面表现出较差性能。此外,少数典型病变被模型误分类,这表明模型性能仍有改进空间。

混淆矩阵显示,模型和学术型放射科医师对每种疾病的诊断误差来源相似。为与模型保持一致,放射科医师通过阅读图像(包括病灶及周围部分肝实质)来诊断病变,而不参考可能影响诊断准确性的相关病史或实验室检查结果。放射科医师可以通过参考临床信息来提高准确性。因此,我们推测,如果将临床信息和实验室检查结果纳入模型的训练过程,诊断准确性和判读的可靠性也可以得到有效提高。

我们的模型基于三维卷积神经网络(3D-CNN)。二维卷积神经网络(2D-CNN)基于病灶以对称和球形方式生长和缩小的假设,这并不准确[28]。三维卷积神经网络能够准确反映肿瘤的实际大小[29],评估肿瘤形态的不对称性[30],并学习MRI上病灶的组织特征。此外,我们的模型使用从5种类型MRI扫描仪获得的七序列图像进行训练,包含500多个病灶。脂肪肝和肝硬化不影响模型性能。该模型可靠、稳健且具有预测性。尽管病灶总数低于先前研究[9],但模型仍表现出相似性能。此外,我们的网络涉及注意力机制,其中肿瘤边界被给予更多关注,随后网络学习更具代表性的特征以实现更好的诊断性能。我们的研究中应用了多任务框架以提高学习效率、潜在预测准确性并改善过拟合问题。

先前的研究未纳入T2WI、DWI和ADC等平扫序列的图像信息。全面的肝脏MRI方案需要评估肝实质、血管系统和胆道系统,这是通过平扫序列与增强期相结合来实现的[31]。脂肪抑制T2WI代表关于液体含量和纤维化组织的信息,并提高病灶的可见性[32]。DWI和ADC可以检测和表征局灶性肝脏病变,并评估肿瘤微环境的治疗后变化[33]。采集T1WI,其提供关于病灶T1特征的信息,并作为评估增强期的基线[34]。缺乏平扫成像无法全面评估局灶性肝脏病变(FLL)的特征。

尽管先前研究中的分类模型性能良好,但它们难以可视化和解释。然而,解释模型决策并让放射科医生和临床医生验证诊断是至关重要的[35]。因此,我们直接在包含病变最大区域的图像上展示了3D特征图的有趣切片,并生成了基于放射学成像特征的显著性图和基于序列/期相权重的显著性图。基于放射学成像特征的显著性图突出了与预测类别更相关的放射学成像特征的激活区域。基于序列/期相权重的显著性图通过评估每个序列/期相的重要性,突出了哪些图像特征在分类中更具优势。我们表明,应用可视化方法对于理解模型的决策非常重要,并且是增加深度学习模型临床影响力和信任度的关键步骤。

我们的研究有几个局限性。首先,我们的研究聚焦于七种常见类型的局灶性肝脏病变(FLL),而临床实践中的FLL类型更为广泛。深度学习需要大量样本进行模型训练。由于某些类型FLL的样本数量较少,模型难以训练。因此,我们仅纳入7种常见FLL类型作为初步模型,以减少放射科医生的日常工作负担。未来,需要纳入更多不同类型的FLL患者(如肝硬化结节和其他罕见肝脏肿瘤),以使模型适用于临床实践中不同的疾病谱。我们将添加从外部中心获得的验证数据集,使模型更具通用性和可靠性。其次,我们研究中不同原发来源的转移瘤具有不同的影像学特征。因此,模型无法很好地学习病变特征,其性能较差。未来,我们需要增加训练中转移瘤的数量或按其来源进行分类。第三,我们的研究是单中心研究,且仅使用了一种类型的静脉造影剂,这可能限制模型的适用性。未来,我们需要收集来自不同医院使用不同造影剂的图像,使模型具有广泛适用性。第四,显著性图仅评估了单个序列/期相在诊断中的重要性,而未评估序列/期相组合。在诊断过程中,我们需要考虑MRI上不同序列和期相所反映的病变特征。因此,我们将在未来继续分析序列/期相组合的重要性。

结论

这一可解释的深度学习模型在多序列MRI上对肝脏肿块的鉴别显示出高诊断性能,并使用显著性图来解释有助于预测的分析原理,使其更加可靠。由于临床对医学影像的需求不断增加以及不同地区放射科医生水平参差不齐,我们期望深度学习模型能够减少日常工作负担,并可能在放射科有需求[36]。

补充信息

附加文件1:图S1。流程图显示根据纳入和排除标准的研究筛选过程,从初始患者检索到训练-验证集和测试数据集的随机分组。图S2 一名55岁男性脓肿患者的轴位MRI。(a) T2WI显示V段内一形态不规则的高信号肿瘤性病变。该病变在(b) DWI上呈高信号,(c) ADC值低,(d) T1WI上呈低信号,(e) 在LAP期、f) PVP期和(g) DP期呈靶环状边缘强化。该病变被AI模型误判为ICC。

引用

  1. Wang SH, Han XJ, Du J, et al. Saliency-based 3D convolutional neural network for categorising common focal liver lesions on multisequence MRI. Insights Imaging. 2021. PMID: 34817732. doi:10.1186/s13244-021-01117-z
  2. 全文:PMC8613326(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8613326/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。