基于自监督学习的深度学习模型用于动态对比增强MRI识别增殖型肝细胞癌亚型
这项回顾性研究纳入两个医学中心381例接受根治性切除的肝细胞癌患者,利用动态对比增强MRI构建基于自监督学习的深度学习模型(pHCC-SSL)预测增殖型肝细胞癌。模型在训练集AUC为1.00,内部测试集AUC为0.91,外部测试集AUC为0.94;无自监督预训练时内部和外部测试集AUC分别降至0.81和0.80。模型预测性能优于当前的单序列模型。
要点
- pHCC-SSL模型基于DCE-MRI多序列预测增殖型肝细胞癌,外部测试集AUC为0.94。
- 去除自监督预训练后,外部测试集AUC由0.94降至0.80。
- 模型性能优于五个单序列模型及AFP(内部/外部AUC 0.70/0.64)。
核心结论
- pHCC-SSL模型采用动态影像组学与两阶段训练方法,可从多序列DCE-MRI有效预测肝细胞癌增殖性,在准确性和速度上优于传统单阶段模型。
- 自监督预训练阶段显著增强了模型分析肝细胞癌患者DCE-MRI图像的能力并提升预测性能。
研究设计与样本
- 回顾性研究,纳入两个医学中心2018年4月至2023年2月接受根治性切除的381例原发性肝细胞癌患者。
- A中心队列随机按7:3分为训练集(n=220)和内部测试集(n=93),B中心68例作为外部测试集。
- 采用3.0T MRI(Signa HDxt 3T,GE Healthcare)行DCE-MRI,包括1个平扫和5个增强序列。
- 病理参考标准为2019年WHO分类,CK19阳性(超过5%肿瘤细胞表达)常规型肝细胞癌及巨梁状-团块型、中性粒细胞丰富型、硬癌型和肉瘤样肝细胞癌归为增殖型。
关键影像表现/征象
- 类激活映射热图显示五个MRI序列的网络活跃区域均位于肿瘤病灶,但不同序列间存在差异,部分序列聚焦肿瘤实质,部分聚焦肿瘤与正常肝组织交界处。
- 增殖型肝细胞癌患者的热图倾向于在肿瘤区域高亮,而非增殖型肝细胞癌患者的热图区域较分散。
诊断标准与关键数值
- pHCC-SSL模型训练集ACC、AUC、敏感度、特异度、NPV、PPV均为1.00。
- 内部测试集ACC 0.86、AUC 0.91、敏感度0.83、特异度0.87、NPV 0.89、PPV 0.80;外部测试集ACC 0.84、AUC 0.94、敏感度0.80、特异度0.87、NPV 0.88、PPV 0.79。
- 无自监督预训练模型内部测试集ACC 0.81、AUC 0.88、敏感度0.83、特异度0.81、NPV 0.88、PPV 0.72;外部测试集ACC 0.80、AUC 0.90、敏感度0.86、特异度0.76、NPV 0.90、PPV 0.69。
- AFP预测增殖型肝细胞癌的内部测试集AUC为0.70,外部测试集AUC为0.64。
临床应用与阅片要点
- 模型基于DCE-MRI的平扫、早期动脉期、晚期动脉期、门脉期和延迟期五个序列提取动态深度特征进行预测。
- 采用UNet++肝脏分割模块自动定义ROI,减少手动勾画负担和主观性。
- 每位患者选取5个最能显示病灶的代表性层面作为模型输入。
局限性
- 原文未报告局限性。
全文中译21 节 · 点击展开
引言
肝细胞癌(HCC)起源于肝脏,是全球癌症相关死亡的第三大原因[1]。慢性肝炎常通过纤维化和肝硬化阶段进展为HCC[2, 3]。早期HCC往往无症状,但具有侵袭性,且常被晚期诊断,限制了治疗选择并恶化预后。尽管外科和药物治疗取得了进展,但术后两年内的高复发率凸显了这些肿瘤的侵袭性[4]。特别是快速生长、血管侵袭性增殖型HCC提示预后不良,需要迫切关注[5, 6]。目前,检测主要依赖有创的组织病理学技术,存在显著风险和局限性[7]。
磁共振成像(MRI),特别是动态对比增强MRI(DCE-MRI),通过详细显示血管结构和评估侵袭性,在肿瘤的无创诊断中发挥关键作用[8],并通过对比剂动力学提供对肿瘤生物学的洞察[9]。尽管DCE-MRI对于评估HCC血管生成和改善肿瘤分类至关重要,但其在HCC诊断中的全部潜力尚未被充分利用,原因是图像分析的主观性,这阻碍了标准化分类和风险评估[10]。解决这种主观性,尤其是在诊断增殖型HCC时,对于提高DCE-MRI评估的准确性(ACC)和一致性至关重要。
影像组学利用定量分析的力量从医学图像中揭示肿瘤的复杂性,为诊断和预后预测提供了相当大的前景[11]。Qu等人开发的动态影像组学方法更进一步,通过从DCE-MRI序列的时间数据中提取更丰富的影像特征[12]。该技术提高了诊断精度,并为利用多时间DCE-MRI数据精确预测HCC进展铺平了道路。
尽管前景广阔,影像组学面临操作挑战,特别是临床医生手动勾画感兴趣区(ROI)耗时且劳动强度大,这阻碍了其融入常规临床工作流程。这一手动过程还引入了主观性,影响影像组学特征的一致性和可重复性[13]。深度学习(DL)[14, 15]作为一种复杂的人工智能形式,通过端到端学习模型自主分析医学图像提供了解决方案。DL可以通过识别影像数据中的复杂模式和检测可能逃逸人类观察的细微特征,显著减轻手动ROI标注的负担[16–18]。这些能力增强了影像组学的临床实用性,有望通过提高肿瘤诊断和治疗策略的ACC和个性化来改变癌症诊疗。
本研究旨在将动态影像组学的概念与DL技术相结合,探索DL在模拟各种动态影像组学工作流程中的应用。利用DCE-MRI的多序列数据,本研究专注于开发能够区分增殖型和非增殖型HCC表型的模型,最终目标是增强术前患者评估并定制个性化治疗策略。
材料与方法
本研究遵循CLEAR(放射组学应用评估清单)清单中概述的原则,确保放射组学研究的透明性和可重复性。方法学(包括图像预处理、特征提取和模型验证)按照放射组学指南进行构建,以提高严谨性和可重复性[19]。
研究患者
本回顾性研究按照《赫尔辛基宣言》进行,并获得中国医科大学附属第一医院(A中心)和辽宁省人民医院(B中心)机构审查委员会的批准。由于本研究的回顾性性质,豁免了知情同意。纳入2018年4月至2023年2月在A中心和B中心接受肝细胞癌(HCC)根治性切除术的连续成年患者(≥ 18岁)。纳入标准如下:(1)组织病理学确诊为HCC;(2)术前进行了动态对比增强磁共振成像(DCE-MRI),且为单个HCC病灶。排除标准如下:(1)既往接受过HCC治疗;(2)有肝外转移或多原发癌的证据;(3)DCE-MRI与手术之间的间隔超过两周;(4)临床数据不完整;(5)图像质量差。应用这些标准后,381例原发性HCC患者被纳入分析。详细筛选过程见图1。A中心队列中的所有患者按7:3的比例随机分为训练集和内部测试集。此外,我们收集了B中心队列中68例HCC患者的数据作为外部测试集。
临床和影像学特征评估
从患者记录中提取临床特征,包括年龄、乙型肝炎病毒(HBV)和丙型肝炎病毒(HCV)感染史、饮酒史和甲胎蛋白(AFP)水平。从DCE-MRI扫描中评估影像学特征。关键特征包括肿瘤大小(以轴位图像上的最大肿瘤直径测量)、环形动脉期高强化(Rim APHE,表现为影像动脉期环形高强化)和延迟中心强化(定义为DCE-MRI后期肿瘤内低信号或延迟强化区域)。这些影像学特征用于进一步表征肿瘤,并提高模型区分增殖型HCC亚型的准确度(ACC)。
MRI图像采集
所有MR均使用3.0特斯拉(T)MR系统(Signa HDxt 3 T,GE Healthcare)配合8通道体线圈进行。非增强序列包括脂肪饱和快速自旋回波T2加权序列(TR/TE:7500/105 ms)和同相位/反相位T1加权梯度回波序列(TR/TE:260/2.4 ms和260/3.2 ms)。这些序列的层厚为6 mm,层间距为1.2 mm,平面内分辨率为0.70 mm × 0.93 mm(对应矩阵大小224 × 320,视野约160 mm × 300 mm)。轴位(z)方向的总覆盖范围约为96 mm,由层数和层厚加层间距计算得出。
对于动态对比增强磁共振成像(DCE-MRI),采用脂肪抑制T1加权三维快速扰相梯度回波序列(TR/TE:3/1.3 ms;翻转角:15°;层厚:5 mm;无间隔;矩阵:160 × 276)采集1个平扫序列和5个增强后序列。平面内分辨率约为1.0 mm × 1.1 mm,轴向覆盖范围由层数和层厚决定,在z轴上覆盖约100 mm。钆喷酸葡胺(马根维显;拜耳先灵制药)以0.1 mmol/kg、2 mL/s的速率静脉注射,随后以20 mL生理盐水冲洗。早期动脉期在15 s采集,晚期动脉期在35 s采集,门静脉期在35 s采集,延迟期在240 s采集。
组织病理学分析
来自A中心和B中心的所有标本均由同一位具有15年经验的病理学家评估,该病理学家对影像学和临床数据均设盲,以确保一致性。肝细胞癌(HCC)的组织学分类按照2019年世界卫生组织(WHO)分类进行。对代表性全组织切片进行细胞角蛋白19(CK19)免疫组织化学分析。组织学评估为常规型且肿瘤细胞中CK19表达超过5%的HCC被归类为CK19阳性常规型HCC,并归入增殖型亚组。其他组织学亚型,包括巨梁状-团块型(MTM)、富中性粒细胞型、硬化型和肉瘤样HCC,同样被归类为增殖型HCC。相反,脂肪型肝炎型、透明细胞型、富淋巴细胞型和CK19阴性常规型HCC被归类为非增殖型HCC。
数据预处理和病灶层面选择
原始MRI图像上传至ITK-SNAP医学影像软件(版本3.8.0,网址www.itksnap.org)[20],在其中将四个动态增强序列配准至平扫序列。两位具有五年以上经验的放射科主治医师在对临床和病理数据均设盲的情况下,独立选择最能显示病灶的层面。任何分歧均通过共识解决。每位患者获取五个代表性病灶层面。这些层面随后作为预测模型的输入纳入数据集。若病灶太小而无法提供五个不同层面,则将所有包含病灶的层面加入数据集。
pHCC-SSL
动态影像组学涉及四个关键步骤:感兴趣区(ROI)勾画、影像组学特征提取、动态特征构建和预测模型开发。我们的pHCC-SSL模型适应这一工作流程,创建了一个两阶段深度学习(DL)架构,包括预训练阶段和预测模型训练阶段。该模型旨在通过先进的DL计算技术提高HCC的诊断准确率(ACC)。
肝脏分割
在影像组学(包括动态影像组学)中,精确的ROI勾画对于特征提取至关重要,但往往耗时且主观。在pHCC-SSL模型中,放射科医师对输入图像进行肿瘤存在的预筛查,这对于通过MRI准确检测HCC至关重要。我们将输入限制为此类图像,以确保模型仅接收包含病灶的相关二维图像,最大限度地减少对医生时间和精力的额外需求。
在我们的多序列分类模型中,我们使用UNet++网络[21]实现了肝脏分割模块,该网络在带有肝脏和肿瘤区域标注的ATLAS2023 MRI数据集上进行训练[22]。通过将肝脏和肿瘤标注合并为UNet++的统一训练数据集,该模型能够准确分割整个肝脏,包括正常肝组织和肿瘤区域。该分割有助于模型学习与肝脏和肝细胞癌(HCC)相关的特征,增强可解释性并减少对医学专业人员大量手动输入的依赖。该方法不仅简化了工作流程,还实现了感兴趣区域(ROI)定义的自动化,从而提高了模型的自动化程度。
深度特征提取
使用预定义函数从ROI中提取的影像组学特征缺乏疾病特异性且类型有限,可能影响模型的预测准确率(ACC)。在pHCC-SSL模型中,我们使用了样本加权全卷积掩码自编码器(SW-FCMAE),这是Qu等人提出的一种自监督学习(SSL)模型,无需标注数据即可在患者图像上进行训练。如图2所示,SW-FCMAE通过采用掩码自编码机制和特征去相关模块来增强特征学习,该模块减少特征冗余并提取更适合信息丰富的MRI图像的多样化特征。该方法使编码器能够捕获HCC动态对比增强MRI(DCE-MRI)特有的内在特征和结构,从而提高模型在描述和诊断HCC方面的相关性和准确率。该方法的具体细节见补充材料。
在训练阶段(图3),我们加载并微调SSL预训练的编码器,以更好地适应特定的预测任务。该方法使模型能够利用复杂的无监督学习特征,增强其分析和预测HCC患者DCE-MRI图像的能力。
深度动态特征的构建
在动态影像组学中,动态特征的构建捕获特定影像组学特征随时间的变化模式。在pHCC-SSL中,我们开发了一个深度动态特征提取模块(图3),该模块将来自不同时间序列的相同深度特征聚合到全连接层中,以提取指示特征变化的各种时间序列特征。这些特征随后使用自注意力机制模块进行整合和处理。
自注意力机制模块应用多头自注意力层[23]。在该层中,每个头使用以下公式计算注意力权重:其中,Q表示查询矩阵,K为键矩阵,V为从输入数据导出的值矩阵。KT指键矩阵的转置,dk表示键向量的维度,用于缩放点积以确保梯度稳定。应用softmax函数将分数转换为总和为一的概率。
然后将所有头的输出拼接并进行线性变换,使模型能够同时关注特征序列的不同部分。拼接合并了多个头的输出,并保留了每个头捕获的信息。
随后是一个前馈神经网络(FFNN),它使用以下操作处理注意力输出:其中是FFNN的输入,是权重矩阵,是偏置向量。该函数表示非线性激活函数。在pHCC-SSL中,我们使用修正线性单元(ReLU),其将非线性引入模型,使其能够学习更复杂的模式。
该方法结合多头自注意力和FFNN,同时分析深层特征的时间序列变化,增强数据理解,并生成更丰富的动态特征。
HCC的增殖预测
动态放射组学通常使用支持向量机(SVM)和随机森林(RF)等机器学习算法来分析放射组学特征并建立预测模型。在pHCC-SSL中,我们将深层动态特征输入多层感知机(MLP)[24]以预测HCC的增殖活性。该方法使模型能够进行梯度反向传播以支持端到端学习和模型优化,并确保预测准确性和模型的有效性。
训练与实现
我们将整个训练集按7:3的比例分为训练集和验证集。在预训练阶段,SSL模型训练了100个epoch。我们在预测模型训练阶段加载了预训练阶段的预训练权重,并额外训练了100个epoch。训练期间,我们使用二元交叉熵作为损失函数,使用Adam优化器进行参数更新,将学习率设为10−4,权重衰减设为10−5。我们实施了随机翻转、旋转和缩放等动态数据增强技术以丰富训练数据集。训练在PyCharm平台上使用Python 3.8.16进行了100个epoch,以充分捕捉数据特征。训练后,使用验证数据集评估PHCC-SSL模型的性能。
模型可视化
为更好地理解pHCC-SSL模型的决策过程,我们采用了类激活映射(CAM)技术[25],该技术可可视化模型在图像上的关注区域,突出对预测至关重要的区域。我们从每个序列分支的最后一个卷积神经网络层提取特征图,并通过反向传播为每个特征分配权重。我们通过将这些权重与特征相乘并应用ReLU激活函数来生成热图。这些以红色显示的热图清晰地展示了模型中的关键关注区域。
统计分析
定性变量采用χ2检验或Fisher精确检验进行比较,定量变量采用Mann–Whitney U检验或t检验(视情况而定)进行比较。采用受试者工作特征(ROC)曲线评估在训练队列、验证队列和测试队列中正确评估增殖的概率。计算了曲线下面积(AUC)及其95%置信区间、ACC、灵敏度、特异度、阳性预测率(PPV)和阴性预测率(NPV)。使用Python(v3 8.16,https://www.python.org/)进行统计分析。所有检验均为双侧检验,p < 0.05被认为具有统计学意义。
结果
基线特征
本研究纳入353例HCC患者队列,分为220例患者的训练组、93例患者的内部测试组和68例患者的外部测试组。如表1所示,在所有评估组中,非增殖性HCC均比增殖性HCC更常见(训练组:增殖性HCC占24.1%,53/220;内部测试组:增殖性HCC占23.7%,22/93;外部测试组:增殖性HCC占22.0%,15/68)。统计学上,三组间所有特征的分布均无显著差异;所有特征的p值均大于0.05。
pHCC-SSL的模型性能
pHCC-SSL模型在训练集上取得了满分(ACC、AUC、敏感度、特异度、NPV和PPV均为1.00),证实模型已收敛。内部测试集的各项评分分别为0.86、0.91、0.83、0.87、0.89和0.80;外部测试集分别为0.84、0.94、0.80、0.87、0.88和0.79。消融实验将pHCC-SSL与未经过基于SSL的预训练阶段训练的模型进行了比较。如表2和图4所示,后者虽然在训练中收敛并取得满分,但在测试集中表现较低:内部测试集评分为ACC 0.81、AUC 0.88、敏感度0.83、特异度0.81、NPV 0.88和PPV 0.72;外部测试集评分为ACC 0.80、AUC 0.90、敏感度0.86、特异度0.76、NPV 0.90和PPV 0.69。这表明SSL预训练阶段显著增强了模型分析HCC患者DCE-MRI图像的能力,并提高了其预测性能。
我们将其与五种单序列预测模型进行比较,以证明pHCC-SSL能够从多序列图像中提取更具信息量的特征。所有模型(包括单序列模型)均采用相同的编码器架构,并配备SSL预训练权重,以中和SSL预训练对其预测能力的影响。如表3所示,pHCC-SSL在内部和外部测试数据集上的ACC和AUC均优于其他方法。
除传统临床-影像学特征外,我们根据既往研究识别出与HCC增殖潜能相关的肿瘤大小、环形动脉期高强化(rim APHE)和延迟期中央强化[26, 27]。这些影像学特征连同肿瘤标志物甲胎蛋白(AFP)一起被纳入训练集的单因素和多因素分析(表4)。尽管AFP和pHCC-SSL评分在多因素分析中均显示出统计学显著性,但其预测性能差异显著,内部和外部测试集中的ROC曲线证明了这一点。具体而言,pHCC-SSL评分表现出更优的预测性能,内部测试集AUC为0.91,外部测试集AUC为0.94,而AFP的AUC分别为0.70和0.64(图4)。这些发现凸显了影像组学特征相较于传统临床-影像学特征和AFP等肿瘤标志物在预测HCC增殖行为方面的重要增量价值。
模型可视化
CAM热图显示,网络在五个MRI序列中的活跃区域均位于肿瘤病灶内(图5),但不同序列之间存在差异。部分序列关注肿瘤实质,而另一些序列关注肿瘤与正常肝组织之间的交界区。在增殖型HCC患者中,pHCC-SSL的热图倾向于在肿瘤区域呈现高亮,而在非增殖型HCC患者中,热图区域分布较为分散。
讨论
在本研究中,我们开发了一个针对多序列DCE-MRI数据定制的深度学习(DL)模型,采用两阶段训练方法预测HCC增殖。该方法有效提取了五个MRI序列的深层特征,并利用深层动态特征提取模块生成反映时间变化的动态深层特征。该模型预测HCC增殖的性能超过了单阶段训练模型和传统单序列模型。
增殖型HCC是一种高度侵袭性的亚型,早期准确诊断对于有效治疗至关重要[28]。虽然肝活检一直是传统的诊断方法,但其有创性及相关风险凸显了对无创替代方案的需求。先进影像技术,如多参数MRI,提供了一种更安全的无创方法,能够实现更早期的检测和更频繁的肿瘤特征监测,从而支持个性化和及时的治疗干预。传统DCE-MRI特征,如环形动脉期高强化(Rim APHE)和肿瘤形状,具有重要价值,但增殖型HCC的复杂性可能被忽视[27, 29, 30]。相比之下,影像组学和pHCC-SSL等DL模型能够分析复杂的影像数据并揭示细微的肿瘤特征,从而提高诊断准确率(ACC)。这一诊断技术的进步不仅改善了HCC亚型的分类,还直接影响治疗决策,促成更精准有效的治疗,最终改善患者预后[26, 27]。
pHCC-SSL模型通过利用自监督学习(SSL)预训练其编码器,从而与其他多序列图像预测模型区分开来,增强了其从DCE-MRI图像中提取结构和细节特征的能力[31, 32]。该策略显著提高了模型对复杂生物医学图像的可解释性。此外,受动态放射组学的启发,我们引入了一种构建动态深度特征的方法,该方法利用自注意力模块识别不同序列间的时间序列变化规律[33],并将其转化为动态深度特征。该方法提高了模型分析时间序列数据的准确率(ACC),并为医学图像处理开辟了新的研究途径。为辅助临床应用并增强可解释性,我们利用类激活映射(CAM)技术开发了一种热图工具,通过可视化突出肿瘤增殖区域,实现快速直观的诊断支持。这种无创方法简化了诊断流程,有助于临床医生为增殖性肝细胞癌(HCC)制定个体化治疗方案,从而提高医疗决策的效率和准确率。
然而,本研究存在若干局限性。首先,由于研究的回顾性设计,选择偏倚不可避免地被引入。其次,研究主要在乙型肝炎病毒(HBV)流行地区进行,这可能限制模型在病因多样化地区的普适性。此外,尽管组织病理学被认为是诊断增殖性HCC的金标准,但瘤内异质性和组织采样的局限性可能导致误分类。同时,对于深度学习(DL)模型的构建,本研究的数据量相对较小,未来需要通过扩大样本量来改进,包括在更多中心开展回顾性或前瞻性研究。此外,增殖性与非增殖性肝癌患者数量的差异也可能影响模型的泛化能力,导致模型在训练集和测试集上的性能存在较大差异。而且,模型表现出过拟合的迹象,表现为训练集上的完美性能与测试集上略低的AUC。为解决这一问题,未来研究应着重于增加样本量、纳入更多样化的患者群体,并优化模型训练技术,如数据增强、dropout和更广泛的外部验证。这些努力将有助于提高所提出模型的稳健性和临床适用性。
结论
在本研究中,我们提出了pHCC-SSL,一种用于DCE-MRI的深度学习模型。它能够高效地从每个序列中提取深度特征,并生成反映时间序列变化的深度动态特征。该模型在多中心队列测试中表现出令人满意的性能,并有效识别了增殖性HCC。这一成果为未来无创、高效地预测HCC提供了新方向,展示了深度学习技术在医学图像分析领域的巨大潜力。
补充信息
电子补充材料
引用
- Qu H, Zhang S, Li X, et al. A deep learning model based on self-supervised learning for identifying subtypes of proliferative hepatocellular carcinoma from dynamic contrast-enhanced MRI. Insights Imaging. 2025. PMID: 40244356. doi:10.1186/s13244-025-01968-w
- 全文:PMC12006648(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12006648/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。