预训练基础模型框架用于直肠癌MRI多平面分类壁外血管侵犯和直肠系膜筋膜侵犯

引言

直肠癌约占结直肠癌病例的三分之一，并且仍然是全球癌症相关死亡的主要原因之一[1–3]。准确的 staging 对于制定个体化治疗策略和改善患者预后至关重要[4]。在关键预后标志物中，壁外血管侵犯（EVI）和直肠系膜筋膜侵犯（MFI）在指导治疗决策中发挥关键作用。EVI 是指肿瘤细胞穿透固有肌层延伸至直肠周围血管，与局部复发、远处转移和较差的总生存期密切相关。即使在淋巴结阴性患者中，其存在也可影响管理决策，支持推荐新辅助放化疗（nCRT）以降低复发风险[5]。MFI 描述肿瘤侵犯直肠系膜筋膜，即环绕直肠的结缔组织包膜。识别 MFI 表明环周切除缘（CRM）受累风险高，促使指南推荐 nCRT 以使肿瘤降期并提高手术时获得清晰 CRM 的可能性[6]。

MRI 可直观显示 EVI 和 MFI，被认为是直肠癌局部区域 staging 的金标准[7]。在 T2 加权 MRI 上，EVI 表现为肿瘤超出固有肌层进入直肠周围血管的不规则延伸[8]。虽然轴位图像最能描绘这些血管突起[9]，但矢状位图像可提供血管受累纵向范围的补充信息[10]。相比之下，MFI 的特征是正常清晰的直肠系膜筋膜消失，反映肿瘤向该边界延伸或侵入该边界[11]。尽管矢状位图像在界定筋膜边缘方面不够精确，但它们对于评估肿瘤的头尾方向扩散及其与肛管和盆底的关系仍有价值[12]。总体而言，这些观点强调了多平面 MRI 评估对于准确评价 EVI 和 MFI 的相关性。

虽然经验丰富的放射科医师能够在 T2 加权 MRI 上识别这些特征，但判读具有主观性，因机构而异，并且在临界病例中变得尤其多变。这些局限性凸显了需要基于人工智能（AI）的方法来提供客观且可重复的评估，从而支持一致的 staging 决策[13]。

放射组学和深度学习已成为提取人眼不可察觉的高维成像特征的有前景策略[14–16]。这些方法已在预测直肠癌患者的治疗反应、淋巴结转移和生存方面显示出临床效用[17]。然而，标准深度学习模型对扫描仪类型和采集方案的机构间变异性高度敏感[18, 19]，尤其是在多中心研究中[20]。为应对这一挑战，已提出诸如 ComBat[21] 或 CycleGAN[22] 的协调方法，而更近期的频域和自监督方法旨在以最少监督学习模态不变表示[23]。

近年来，基于大规模异质性医学图像数据集训练的基础模型已成为一种有前景的方法，通过实现可泛化且可迁移的特征学习来缓解这些局限性[24]。例如，用于视网膜成像的RETFound[25]和用于组织病理学的BEPH[26]展示了大规模预训练如何产生可迁移的特征。然而，这些模型仍局限于特定模态的应用。通用生物医学预训练模型（UMedPT[27]）是一个跨域基础模型，旨在支持跨多种生物医学成像模态的诊断任务。其在直肠MRI分类任务中的潜力尚未被探索。

在本研究中，我们提出了一种基于基础模型的框架，用于使用来自多个供应商和中心的轴位及矢状位T2加权MRI对直肠癌中的EVI和MFI进行自动分类。我们的方法利用UMedPT基础模型以及对从UMedPT提取的深度特征应用逻辑回归分类器（UMedPT_LR）。为减轻机构间变异性，我们纳入了自监督频域 harmonization 策略，为提高可解释性，我们应用梯度加权类激活映射（Grad-CAM）来可视化模型预测的空间依据。

方法

本研究遵循结构化工作流程，涵盖数据整理、模型开发和评估，整体研究设计和分析流程如图1所示。

数据整理

数据集

本回顾性研究使用了欧洲CHAIMELEON[28]项目的数据，该项目是一项大规模倡议，旨在开发用于多种肿瘤类型（包括肺癌、结肠癌、乳腺癌、前列腺癌和直肠癌）癌症诊断的AI算法。所有影像和临床数据均在CHAIMELEON平台内处理，该平台确保了安全处理和隐私法规的合规性。在本研究中，我们纳入了来自三家医院的331例直肠癌患者——La Fe大学与理工大学医院（La Fe，n = 194）、罗马大学Sapienza分校Sant'Andrea大学医院（ULS，n = 113）和昂热大学医院中心（CHU Angers，n = 24）——使用的MRI扫描仪主要来自两家制造商——GE（n = 221）和Siemens（n = 106）。

患者纳入标准为：（1）活检确诊的直肠腺癌；（2）年龄 ≥ 18 岁（诊断年份 ≥ 2014）；（3）基线无远处转移（M0）；（4）可获得治疗前盆腔 MR 检查，包含轴位和矢状位 T2 加权图像。（5）患者自首次治疗起随访 ≥ 12 个月，除非死亡、复发或进展发生更早。该随访标准用于确保数据完整性和充分的临床记录；研究终点为诊断性而非纵向性。排除标准为缺乏基线盆腔 MR（n = 12）或序列不完整（n = 4）。

如图 2 所示，数据划分遵循 CHAIMELEON 挑战赛组织者提供的预定义划分。原始挑战队列包括训练集（n = 231）、验证集（n = 34）和独立测试集（n = 66）。在本研究中，原始训练队列和验证队列合并为单一 train_val 集（n = 265）。在该 train_val 队列中，80% 的病例（n = 212）用于模型训练，其余 20%（n = 53）用于内部验证。测试集（n = 66）与原始挑战赛划分保持一致，以便与使用相同基准的其他研究进行直接比较。EVI 和 MFI 的真实标签来源于治疗前 MRI 结构化放射学报告。病理 CRM 状态（受累/未受累）从组织病理学报告中提取，并作为辅助临床病理变量使用。所有病例均由两名放射科医师评估。第一位放射科医师为专科医师，提供临床实践中的原始临床报告。第二位放射科医师在本研究框架内进行了专门审阅。

图像预处理与直肠定位

数据从 DICOM 转换为 NIfTI，并使用结构化自动流程进行处理。盆腔解剖结构使用 TotalSegmentator [29] 进行分割。结肠掩膜作为直肠定位的主要线索，邻近结构（如膀胱）用作辅助参考。我们计算了结肠掩膜内的直肠质心，并对轴位和矢状位平面应用固定大小的中心裁剪 patch，确保患者间直肠覆盖和对齐的一致性。所有序列均重采样至统一体素间距 0.39 × 0.39 × 3.3 mm，以标准化各扫描的分辨率。为减少患者间强度变异，体素值被裁剪至第 2.5–97.5 百分位数，随后进行 Z-score 归一化。

频域 harmonization

为解决多中心 T2w MR 数据集中的机构间变异性，我们采用了由 QUIBIM 作为 CHAIMELEON 项目一部分开发的频域 harmonization 流程。精选参考集定义了目标对比度分布，通过傅里叶域扰动生成合成变体，基于自监督 UNet 的自动编码器学习从扰动输入重建标准化图像。所得输出与原始图像一起用于下游分类。完整规格和训练计划见附录 A1。

模型开发

SeResNet

我们采用了一种改进版的挤压与激励残差网络（SeResNet）-34，其具有各向异性主干（3 × 3 × 1）和早期（2,2,1）步幅，以尊重盆腔MRI的穿平面分辨率。该网络以全局平均池化和sigmoid输出结束，用于二分类EVI/MFI分类。完整的层配置和训练设置见附录A2。

UMedPT

UMedPT [27] 是一个基础模型，旨在学习跨多种生物医学成像模态和任务的可迁移表示。在本研究中，我们将UMedPT适配用于从T2加权MRI盆腔图像中分类EVI和MFI。如图3所示，输入3D体积首先被分解为2D切片堆栈。每个切片通过一个在UMedPT框架内预训练的共享编码器-压缩器模块独立处理。编码器基于Swin Transformer架构，提取高层次模态无关特征并产生具有288个token的分层表示，每个token由压缩器压缩为512维特征向量。这些特征随后由分组器聚合为单个512维表示用于分类。其后是多层感知机（MLP）分类器，由两个带有ReLU激活和dropout的全连接层组成，输出EVI或MFI的二分类预测。

在微调期间，仅优化分组器和分类器层，而编码器和压缩器组件被冻结以保留预训练特征表示。输入图像在三个通道上复制以符合编码器的要求。该架构能够实现高效的迁移学习和稳健的体积级分类，同时最小化领域适应所需的可训练参数数量。

UMedPT_LR与多平面融合

UMedPT_LR将MLP头替换为应用于512维UMedPT分组器特征的逻辑回归分类器。在拟合逻辑回归模型之前，使用主成分分析（PCA）降低特征维度。该设计降低了计算成本并通过组件级系数增强了可解释性。

在多平面融合设置中，我们将来自轴位和矢状位模型的512维UMedPT分组器特征拼接为1024维向量。该融合表示随后经过与UMedPT_LR相同的流程。

训练策略

数据增强（MONAI [30]）包括随机仿射变换、强度调整、高斯噪声和平滑以及MRI特定伪影。详细设置见附录A3。所有图像被重新缩放到第2.5至第97.5强度百分位范围。采用192 × 192 × 36的 patch 大小以捕获完整病变上下文，同时最小化周围解剖结构的干扰。

SeResNet 使用 α 平衡焦点损失进行优化，并使用随机梯度下降（SGD）训练 200 个 epoch，学习率为 1 × 10⁻³。使用了 10 个 epoch 的预热和 ReduceLROnPlateau 调度。UMedPT 使用加权二元交叉熵损失和 AdamW 优化器，学习率为 5 × 10⁻⁴。使用余弦退火进行学习率衰减。两个模型均以批次大小 8 使用半精度浮点运算进行训练。

评估

评估指标

模型性能使用曲线下面积（AUC）作为主要指标进行评估，同时使用平衡准确率、敏感度、特异度和 F1 分数以考虑类别不平衡。使用 Bootstrap 重采样（1000 次迭代）计算 95% 置信区间（CI），以确保稳健可靠的估计。敏感度和特异度由二分类预测计算得出，通过在 0.5 处对预测概率进行阈值化获得。在实际部署中，操作阈值可在验证集上选择，例如通过最大化约登指数或根据临床目标选择目标敏感度操作点。

敏感度和特异度定义为：

平衡准确率同时考虑敏感度和特异度，在类别分布偏斜时提供更公平的评估：

F1 分数提供精确率和召回率的调和平均值：

模型可解释性

为解释模型决策背后的空间依据，我们将 Grad-CAM [31] 应用于训练好的基于 UMedPT 的分类器。具体而言，对于每个轴位原始 T2 加权 MRI 扫描，输入图像被归一化并转换为 RGB 格式。Grad-CAM 热图通过定位第 7 个顺序块中第一个 SwinTransformerBlockV2（UMedPT 编码器内的分层 transformer 模块）的 norm1 层生成，该层对应高级上下文特征。生成的热图被归一化并叠加在原始 MRI 切片上。

报告质量评估

我们使用影像组学质量评分 2.0（RQS 2.0）[32] 评估方法学质量。该框架提供标准化标准，以评估影像组学和基于人工智能的影像研究的透明度、可重复性和临床适用性。

结果

患者特征

患者队列的特征总结于表 1。患者的中位年龄为 65 岁（范围：28–89 岁），60.7%（n = 201）为男性。EVI 阳性率为 31.1%（n = 103），而 MFI 阳性率为 23.6%（n = 78）。患者主要来自三家医院：LaFe（58.6%，n = 194）、ULS（34.1%，n = 113）和 CHU Angers（7.3%，n = 24）。MRI 扫描主要使用 GE 扫描仪获得（66.8%，n = 221），其次为 Siemens 扫描仪（32.0%，n = 106），少数来自其他制造商（1.2%，n = 4）。人口学、临床、机构和扫描仪特征在 train_val 和 test 队列之间具有可比性。队列之间未观察到统计学显著差异（所有 p > 0.05）。

分类结果

我们评估了SeResNet、UMedPT和UMedPT_LR在轴位和矢状位T2加权MRI上对EVI和MFI进行分类的性能，分别在有协调化和无协调化条件下进行。以下报告的所有性能指标均在测试集上获得。总体而言，我们的模型始终优于CHAIMELEON挑战赛获胜者的模型[28]，在不同方向和预处理条件下展现出更优的泛化能力。

对于EVI分类，UMedPT_LR取得了最佳性能。在单平面图像块上，其在轴位图像上获得AUC为0.76（平衡准确率0.70），在矢状位图像上获得AUC为0.73（平衡准确率0.68），优于SeResNet和UMedPT（表2）。当轴位和矢状位平面融合时，UMedPT_LR模型取得最高性能，AUC为0.82，敏感度为0.75，F1分数为0.73（表3）。如受试者工作特征（ROC）曲线所示（图5，左），融合模型在所有评估方法中提供了最佳的判别能力，并优于CHAIMELEON挑战赛获胜者（AUC = 0.74）。值得注意的是，协调化损害了EVI检测，在两个方向上性能均显著下降。

对于MFI分类，UMedPT在轴位协调化图像块上表现出最佳性能，AUC为0.77，平衡准确率为0.72，代表所有条件下最高的MFI结果（表4），并超过CHAIMELEON挑战赛获胜者（AUC = 0.75）。UMedPT_LR在轴位原始图像块上表现相当（AUC 0.75，平衡准确率0.71；表4），而矢状位结果普遍较低，SeResNet在协调化矢状位图像上有适度提升（AUC 0.73；表4）。使用UMedPT_LR对轴位和矢状位图像块进行多平面融合得到的AUC为0.71，未超过最佳单平面性能。这一模式在ROC曲线中同样明显（图4，右），其中UMedPT在协调化轴位图像上取得最佳性能。

Grad-CAM可视化

为增强可解释性，我们在轴位T2加权MR图像上应用Grad-CAM以突出对模型预测影响最大的区域。如图5所示，每对图像展示原始图像及其对应的热力图，突出模型关注区域。

对于EVI分类，模型主要关注肿瘤边界附近的局部区域。相比之下，MFI预测始终涉及更广泛的区域，特别是直肠系膜筋膜周围。

RQS评分

所提出的框架获得了RQS 2.0评分35分中的25分（71%），对应于放射组学就绪等级6，表明这是一项经过验证的多中心研究，展示了良好的可重复性和临床转化潜力。详细的分类别评分和数据见附录A4。

讨论

在这个多中心队列中，基础模型流程（UMedPT/UMedPT_LR）在EVI和MFI分类任务中均优于传统卷积神经网络（CNN）。对于EVI，多平面UMedPT_LR达到了0.82的AUC（对比SeResNet 0.52–0.57），表明预训练表征和跨平面特征聚合的价值。对于MFI，在轴位协调化图像块上运行的UMedPT达到了0.77。这些发现将基础模型、多平面融合和协调化定位为稳健直肠MRI分析的互补策略。

既往基于放射组学的研究在直肠癌分类中已显示出有前景的结果。对于EVI，Shu [33]等和Liu [34]等均报道在整合列线图中将手工放射组学特征与临床变量相结合时AUC有所提高（≥ 0.83）。对于MFI，Liang [35]等（n = 301）使用结合肿瘤和筋膜区域放射组学的联合模型达到了0.91的AUC。然而，这些方法通常依赖手工特征工程，这可能阻碍泛化性和可扩展性。Cai [36]等最近的一项深度学习研究开发了一个结合nnU-Net分割和MLNet分类器的自动化流程，在九个中心使用DWI进行EVI分类，达到了0.76的外部AUC。我们基于基础模型的框架尽管在较小的三中心数据集（n = 331）上进行了微调，仍实现了更高的EVI性能（AUC = 0.82），突显了基础模型表征相对于任务特定CNN的优越泛化性和数据效率。

大多数既往关于直肠癌MRI局部 staging 的研究集中于轴位T2加权图像，矢状位图像主要用于肿瘤定位或肛管和盆底评估 [7, 12]。据我们所知，这是首批定量比较轴位和矢状位T2加权图像及多平面融合用于EVI和MFI自动分类的研究之一。在我们的实验中，轴位平面在两个任务中始终产生更高的性能，可能由于其更广泛地覆盖了血管和筋膜结构。当平面之间存在互补信息时，多平面融合提高了性能 [37]，但当某一方位占主导地位时增益有限。这可能突显了在直肠MRI人工智能应用中明确选择平面的重要性。

我们还观察到，协调化改善了MFI分类，特别是对轴向图像上的UMedPT，但降低了EVI的性能。这表明过度的协调化可能会减弱细微的诊断线索[38, 39]，尤其是那些反映血管异常的线索。这些结果表明，协调化可能并非普遍有益，应根据潜在的生物学问题和模型的特征依赖性进行调整[40]。

本研究存在若干局限性。第一，尽管数据来自三个中心，但我们未进行逐中心验证，因此可能无法完全捕捉中心特异性效应。第二，总体样本量适中（n = 331），其中测试集包含66例，这可能限制统计效力和泛化性。尽管基础模型的强特征表征可能减轻了其中一些影响[41, 42]，但仍需要在更大规模的多机构队列和独立外部数据集中进一步验证。第三，虽然使用Grad-CAM展示了代表性的正确和错误预测，但由于测试队列规模有限，未进行系统性错误分析。未来工作还应包括更广泛人群的前瞻性验证、弥散加权和动态对比增强序列的整合，以及纵向结局预测以支持个体化治疗决策。最后，比较单独放射科医师、单独AI和AI辅助放射科医师诊断性能的计算机模拟试验将为临床转化提供有价值的证据，正如我们先前研究所示[43, 44]。

结论

总之，基础模型UMedPT和UMedPT_LR在多中心直肠MRI的EVI和MFI分类中达到了最先进的性能。多平面融合（轴向+矢状面）、频域协调化和一致的居中裁剪直肠图像块促成了性能提升。我们的发现凸显了基础模型在直肠癌分期中的潜力，并支持其未来在临床工作流程中的应用。

补充信息

电子补充材料