基于影像的Transformer模型预测局部晚期鼻咽癌早期治疗反应:一项双中心研究
该双中心研究纳入184例局部晚期鼻咽癌患者,利用治疗前多序列MRI构建2.5D Transformer模型预测同步放化疗后3个月早期反应。Transformer模型在训练集、验证集和测试集的AUC分别为0.968、0.957和0.830,结合肿瘤体积的联合模型在测试集AUC达0.874,提示其可能有助于个体化治疗决策。
要点
- Transformer模型在测试集预测早期治疗反应的AUC为0.830,联合临床因素后升至0.874。
- 自动分割模型SegResNet在验证集Dice系数为0.866,用于生成肿瘤掩膜。
- 肿瘤体积是唯一进入联合模型的临床预测因子(多因素OR 1.124,95%CI 1.033–1.223,p=0.024)。
核心结论
- 基于Transformer架构并结合临床因素的联合模型在预测局部晚期鼻咽癌患者同步放化疗早期反应方面表现出较强效能,可能有助于改善个体化治疗。
研究设计与样本
- 回顾性双中心研究,纳入184例局部晚期鼻咽癌患者,来自南京和广州两个中心,训练集89例、验证集39例、测试集56例。
- 使用3.0 T MRI扫描仪获取轴位T1WI、T1-C、T2WI、DWI和ADC图像,以T1-CE MRI为金标准手动勾画感兴趣区。
- 采用SegResNet、Unet和UnetR三种模型自动分割感兴趣区,SegResNet因验证集Dice系数最高(0.866)被选用。
- 构建2.5D数据集(以ROI最大横截面为中心,上下和前后方向偏移±1、±2、±4,共7张2D切片),通过迁移学习和Transformer多实例学习框架提取特征。
- 治疗反应依据RECIST 1.1标准在同步放化疗后3个月MRI上评估,分为完全缓解(CR)和非CR(PR+SD+PD)。
诊断标准与关键数值
- Transformer模型在训练集、验证集和测试集的AUC分别为0.968、0.957和0.830。
- 临床模型在训练集、验证集和测试集的AUC分别为0.898、0.759和0.658。
- 联合模型在训练集、验证集和测试集的AUC分别为0.972、0.948和0.874。
- 多因素分析显示肿瘤体积为唯一显著临床预测因子(OR 1.124,95%CI 1.033–1.223,p=0.024)。
- 联合模型 calibration 的Hosmer-Lemeshow检验p>0.05,DeLong检验显示联合模型优于临床模型(p<0.05)。
临床应用与阅片要点
- 模型可基于治疗前多序列MRI自动分割肿瘤并预测同步放化疗后3个月是否达到CR,可能辅助风险分层。
- 联合模型公式为Combined_Score = −0.039 × tumor_volume_std + 15.914 × Transformer_Feature_std − 3.491。
- 作者指出NCCN 2025指南推荐放疗后4–8周评估CR作为主要临床决策点,残存病灶需增强影像和积极治疗。
- 作者认为该模型在成功前瞻性验证后,有潜力作为临床决策支持工具。
局限性
- 回顾性设计结合相对较小的样本量,存在选择偏倚和未测量混杂因素的风险,并限制了亚组分析(特别是PR/SD患者)的统计效能。
- 缺乏长期随访数据,无法评估模型预测的持久性。
- 仅依赖MRI且缺乏组织病理学验证,限制了生物学全面性和影像-病理相关性分析。
全文中译15 节 · 点击展开
引言
鼻咽癌(NPC)是中国的常见恶性肿瘤,表现出显著的地域聚集性,全球80%的病例发生在中国南方各省[1–4]。目前,鼻咽癌的主要治疗方式是放疗。70%的患者在晚期(III期和IVA期)才被诊断[5–9]。早期(I–II期)鼻咽癌治疗后预后良好,10年总生存率为87.1%至100%,而III–IVA期患者的10年总生存率为55.5%至75.6%[10]。与放化疗后3个月内达到完全缓解的患者相比,存在残留肿瘤的局部晚期鼻咽癌(LA-NPC)患者预后更差[5, 11–14]。既往研究发现,残留病灶是一个负性预后因素,导致生存率降低[15, 16]。因此,一个能在鼻咽癌诊断时提供近期疗效信息的模型将有助于治疗优化和监测,对个体化临床管理和患者生存率产生显著影响。
MRI是鼻咽癌诊断和分期的标准临床工具[3, 17]。尽管基于MRI的传统手工放射组学可用于预测化疗反应、预后和分子亚型,但其应用受限于依赖耗时且精确的手动肿瘤标注,这阻碍了广泛的临床采用和高效的信息获取[17–19]。深度学习(一种有前景的机器学习技术)通过自动处理原始数据并识别肿瘤区域而无需手动特征提取,克服了这些局限性[20–24]。该方法在一系列医学图像解读任务中已表现出与专家相当的性能[25–30]。此外,目前尚无经过验证的深度学习方法能够预测局部晚期鼻咽癌(LA-NPC)的早期反应。此外,2.5D——一种整合2D和3D元素以通过结合切片数据与空间上下文来增强医学Transformer特征提取的建模方法——和Transformer模型等先进技术在该领域中尚未被探索。
在本研究中,我们开发并验证了一种基于Transformer方法的Transformer模型,使用治疗前多序列MR图像来预测LA-NPC的早期反应。此外,我们的研究还包括鼻咽肿瘤的自动分割模型和2.5D Transformer切片分割,使用CNN进行特征提取,可进一步增强预测模型的效能和泛化能力。双中心数据的使用为模型提供了稳健的验证。
材料与方法
伦理批准与知情同意
本研究遵循《赫尔辛基宣言》的伦理标准。伦理批准由南京医科大学第一附属医院伦理委员会提供(批准号:2024-SR-609)。此外,纳入了中山大学附属第二医院LA-NPC患者的数据,并获得了其机构伦理审查委员会的授权(批准号:SYSKY-2024-613-01)。鉴于回顾性设计和使用匿名化患者数据,根据机构指南,免除了知情同意的要求。
患者队列
我们组建了两个独立的患者队列。第一个队列来自南京,被分为训练集和验证集。该队列包括289例经病理确诊的鼻咽癌患者,均在2020年1月至2024年3月期间于南京医科大学第一附属医院接受治疗。肿瘤分期遵循美国癌症联合委员会(AJCC)第8版TNM分类系统指南[31]。
患者根据以下纳入标准进行回顾性筛选:(1)组织学确诊为III–IVA期鼻咽鳞状细胞癌,(2)完成了完整疗程的根治性同步放化疗(CCRT),(3)具有治疗前后采集的鼻咽部多参数MRI(包括轴位T1-WI、T1-C、T2-WI、DWI和ADC),(4)临床资料完整可用,(5)骨髓、肝脏和肾脏功能正常[15]。排除标准为:(1)MRI图像存在明显伪影、清晰度差或序列缺失,(2)有其他恶性肿瘤病史或既往接受过鼻咽癌治疗,(3)长期使用类固醇或患有免疫相关疾病。图1详细展示了患者筛选流程。
我们从中山大学附属第二医院收集了外部测试队列的数据,该队列包括2023年6月至12月期间105例经病理确诊的鼻咽癌患者。该队列所采用的纳入和排除标准与主要队列相同,详见图1。
MRI图像采集与分割
图2展示了本研究的完整工作流程。所有患者的影像检查均使用3.0 T MRI扫描仪完成。通过PACS(Carestream,安大略,加拿大)检索每例患者的轴位T1WI、T1-C、T2WI、DWI和ADC的DICOM格式图像。在ITK-SNAP软件中,所有感兴趣区(ROI)由两名分别具有3年和8年鼻咽癌经验的放射肿瘤科医师基于T1-CE MRI(金标准)独立手动勾画,T1-CE MRI可提供最清晰的解剖结构。勾画轮廓经过配准、差异比较和共识讨论,达到了较高的评估者间一致性(Cohen's Kappa κ = 0.86 > 0.8,表明两名放疗医师之间几乎完全一致,详见补充表S1)。其余四个序列配准至T1-CE空间,分割结果由一名资深专家(8年经验)统一校准[15]。
自动分割与ROI处理
我们将主要队列中符合条件的患者按7:3的比例随机分为训练集(n = 89)和验证集(n = 39)。为显著提升医学图像分析的自动化程度,我们采用SegResNet、Unet和UnetR模型对感兴趣区(ROIs)进行自动分割,从而最大限度减少人工干预需求并提高操作效率。为验证自动分割算法在后续建模中的性能[32]。选择验证集上Dice系数最高的模型(SegResNet;见表S4)用于所有后续分析。使用训练好的SegResNet模型自动生成3D肿瘤掩膜,并从中裁剪出ROIs。
2.5D-transformer特征融合
我们应用2.5D技术从选定的中心切片沿上下方向和前后方向提取相邻切片。应用± 1、± 2和± 4的偏移量,每位患者以ROI最大横截面为中心共获得七张2D切片,称为2.5D数据集。通过使用多种预训练模型(包括DenseNet121、ResNet50、ResNet101、VGG19)和InceptionV3 [33]对这些2.5D数据集进行迁移学习分析,我们有效地提取和利用了深度学习特征。此外,我们的方法纳入了一个基于Transformer的多实例学习框架,将各切片特征综合为统一的预测模型,从而增强医学诊断的分析能力和整体准确性。
临床特征选择与模型融合
对临床特征进行分析以确定用于模型整合的预测因子。我们首先进行单因素分析;将p值 < 0.05的变量纳入多因素分析。多因素模型中的显著性(p < 0.05)作为最终选择的标准。为构建联合模型,首先对选定的临床特征(tumor_volume)和深度学习衍生的Transformer_Feature进行标准化(Z分数归一化),然后进行拼接。该联合特征向量用于训练逻辑回归分类器。所得模型系数报告于“结果”部分。为进行比较,使用ExtraTrees分类器构建纯临床模型,选择该分类器是因为其擅长建模非线性交互作用,仅使用选定的临床特征(tumor_volume)进行训练。选择过程见表S3。
结局定义与统计分析
治疗反应由两位放射科医师在CCRT后3个月根据RECIST 1.1指南[34]在MRI上评估。患者被分类为完全缓解(CR)或非CR(将部分缓解(PR)、疾病稳定(SD)和疾病进展(PD)归为一组)。评估者间一致性极好(Cohen's κ = 0.93;见表S2)。模型性能通过受试者工作特征曲线下面积(AUC)评估。Hosmer-Lemeshow检验和校准曲线评估模型校准度。决策曲线分析(DCA)评估临床实用性。
我们采用Shapiro–Wilk检验评估临床特征的正态性。对于符合正态分布的连续特征,我们应用t检验;对于不符合正态分布的特征,我们使用Mann–Whitney U检验。我们使用卡方(χ²)检验评估分类变量。我们在Python(版本3.7.12)和scikit-learn(版本1.0.2)中进行了所有统计分析并开发了机器学习模型。我们在配备MONAI 0.8.1和PyTorch 1.8.1的NVIDIA 4090 GPU上进行了整个训练过程。我们将所有统计检验视为双侧检验,并将p < 0.05视为具有统计学显著性。
结果
患者人口学特征
在主队列中,我们共纳入128例患者,其中训练集89例,内部验证集39例。对于外部验证集,共纳入56例患者。表1显示,训练集与验证集之间的基线信息未观察到统计学差异(p > 0.05),确保了后续建模和验证的可比性。
自动分割性能
在三种评估的分割架构(UNETR、Unet、SegResNet)中,SegResNet表现出最高的Dice系数(训练集:0.857;验证集:0.866,表S4),因此被选择用于生成所有后续肿瘤掩膜以进行特征提取。
预测因子选择与模型开发
临床特征的单因素分析确定肿瘤体积(OR:1.147,95% CI:1.055–1.247,p = 0.008)和身高(OR:1.126,95% CI:1.035–1.225,p = 0.022)为显著预测因子(p < 0.05)。经多因素分析优化后,肿瘤体积(OR:1.124,95% CI:1.033–1.223,p = 0.024)成为唯一显著的临床预测因子。因此,肿瘤体积被选为唯一纳入综合模型和ExtraTrees分类器开发的临床特征。完整的统计结果见表S5和图S2。
最终联合模型通过将标准化特征拼接后输入逻辑回归分类器,整合了深度学习衍生的图像特征(Transformer_Feature)与显著临床预测因子(tumor_volume)。所得公式为:Combined_Score = −0.039 × tumor_volume_std + 15.914 × Transformer_Feature_std - 3.491。可视化该模型的列线图见图S4。
预测模型的比较性能
表2使用AUC指标比较了三个预测特征在各队列中的表现。Transformer模型取得了优越的AUC(训练集:0.968;验证集:0.957),表现出高可靠性。其在测试中保持了稳健性(AUC = 0.830),优于临床特征。联合特征在测试中超过了Transformer的表现(AUC = 0.874),突显了临床-深度学习整合的价值。ROC曲线见图3。
我们使用Hosmer-Lemeshow(HL)检验评估模型预测与实际结局的匹配程度。HL统计量越低表明匹配越好。如图4所示,我们的联合模型(临床+深度学习特征)获得了最佳的校准(HL p > 0.05)。在训练集和测试集中,联合模型均优于单特征模型。与单独临床模型相比,其显示出明显改善(Delong检验 p < 0.05)。图4中的决策曲线分析(DCA)进一步证实,联合模型提供了更大的实际获益——与其他方法相比,在不同预测概率下均带来更高的净获益。
模型可解释性
为增强基于深度学习的图像特征的可解释性,我们采用梯度类激活图(Gradient CAM)。该方法生成热图,突出对模型预测至关重要的区域。通过将这些热图与原始输入图像进行视觉比较,我们可以精确识别和解释驱动分类决策的关键解剖特征。尽管模型架构复杂,其合理的特征激活模式(图S3)仍增强了对模型核心区域的信心。
讨论
我们开发了一种基于Transformer架构的多实例联合学习模型。该方法将2.5D Transformer技术与自动分割相结合以生成诊断切片,随后基于CNN进行特征提取,用于预测局部晚期鼻咽癌(LA-NPC)患者的早期治疗反应。
已知局部晚期鼻咽癌(LA-NPC)患者在接受放化疗后若未能达到完全缓解(非CR),其生存结局显著劣于达到CR者[5, 13, 14, 35–37]。因此,准确且早期预测早期治疗反应对于风险分层和后续治疗决策至关重要。如Cao等[38]所证明,非CR患者可能从强化治疗方案中获益——例如曲拉西利联合卡培他滨——该方案可显著改善生存。这凸显了可靠的CR预测在指导及时和个体化治疗干预中的关键作用。此外,NCCN 2025指南明确建议,放疗后4–8周的CR评估应作为主要临床决策点。有残留病灶的患者需要及时进行增强影像检查和积极治疗,包括可能的挽救性手术或新药临床试验,而CR患者可以安全地继续接受强度较低的监测。因此,开发稳健的早期CR预测模型不仅具有方法学意义,而且对于实现分层患者管理、优化资源配置以及最终改善LA-NPC生存至关重要。
当前从医学图像中提取预后特征面临双重挑战:传统放射组学尽管能够捕捉瘤内异质性,但需要费力的肿瘤勾画;而深度学习则难以从全图像分析中分离出肿瘤特异性信号。我们的方法通过将自动肿瘤分割与针对掩膜ROI的迁移学习增强2.5D特征提取相结合来解决这一问题。
我们用自动分割替代手动肿瘤勾画,以提高效率和一致性。使用标准Dice评分测试了三种模型。这种自动方法比手动方法更快、更可靠地生成肿瘤勾画,从而提高了我们基于AI的早期治疗反应预测的一致性。这些改进直接帮助医生规划治疗和照护鼻咽癌患者[20, 39]。
既往研究依赖传统的2D深度学习方法[26, 40],这些方法往往无法捕获足够的空间上下文信息。为克服这一局限性,我们采用了一种2.5D方法,整合相邻的鼻咽癌(NPC)MRI切片,增强空间信息利用率和模型泛化能力。通过在正交平面(轴位、矢状位、冠状位)上进行训练,同时保持2D网络效率[41],我们的方法与传统2D框架相比显著提高了分割性能、可重复性和可扩展性。本研究聚焦于开发一种基于Transformer的组合模型,并采用多实例学习方法整合代表每位患者的七个切片的结果,超越了传统的平均概率方法。该方法独特地将每个切片确认为单一实例。鉴于我们2.5D深度学习框架中所使用模型的多样性,我们选择性地将表现最佳模型的结果合并到验证集中。Transformer作为一种深度学习模型,在非医学计算机视觉任务中已成为CNN的替代方案[42–44]。据我们所知,尽管Transformer相比CNN具有更优的性能,但尚未广泛应用于鼻咽癌的早期治疗反应预测[45]。
我们研究组此前使用影像组学预测局部晚期鼻咽癌(LA-NPC)的早期反应[15]。在单中心环境中进行了内部验证。组合模型(整合临床和Transformer因素)表现出优于纯临床模型的性能。相比之下,我们基于Transformer的模型不仅表现出更优的性能,还在更大样本量和不同中心中进行了验证。在本研究中,将已验证与预后相关的临床因素整合到Transformer模型后,AUC提高了0.07,与此前一些研究一致。结合多任务深度学习和影像组学的策略已用于头颈部肿瘤的预后预测,在HECKTOR 2022挑战赛中用于头颈部肿瘤分割和结局预测取得了最高的预后性能之一。我们的研究进一步验证了这一策略。识别高危非完全缓解(non-CR)患者仍然具有挑战性。我们的深度学习模型可帮助识别可能从更积极治疗中获益的高危患者。
本研究存在若干局限性。第一,回顾性设计结合相对较小的样本量,存在选择偏倚和未测量混杂因素的固有风险,并限制了亚组分析的统计效能——尤其是对部分缓解/疾病稳定(PR/SD)患者。为解决这一问题,我们将通过多中心合作扩大队列,这将有助于对PR/SD亚组特征进行稳健验证,并促进个体化治疗策略的探索。第二,缺乏长期随访数据,无法评估模型预测的持久性。未来的前瞻性研究将追踪持续结局,以确定早期反应预测是否与长期生存相关。第三,仅依赖MRI且缺乏组织病理学验证,限制了生物学全面性并阻碍了影像-病理相关性分析。我们计划在后续研究中整合互补模态(如PET-CT影像组学)并开展组织病理学采样,以增强生物学可解释性和预测稳健性。
总之,我们在两个独立中心开发并验证了一个稳健的自动化深度学习模型,用于准确预测LA-NPC患者的早期治疗反应。通过将自动化2.5D分割与基于Transformer的多实例学习框架相结合,我们的方法有效克服了传统影像组学和深度学习方法的关键局限性。在成功进行前瞻性验证后,该模型具有作为临床决策支持工具的强大潜力,能够优化治疗后监测并促进对高危患者的及时干预以改善总体结局。
补充信息
补充信息
引用
- Shi K, Chen C, Fei Y, et al. Imaging-based transformer model predicts early therapy response in advanced nasopharyngeal carcinoma: a dual-center study. Insights Imaging. 2025. PMID: 41329405. doi:10.1186/s13244-025-02142-y
- 全文:PMC12673000(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12673000/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。