文献速递胸部CT

利用Swin Transformer深度学习模型预测纯磨玻璃结节病理亚型

Predicting pathological subtypes of pure ground-glass nodules using Swin Transformer deep learning model.
PubMed 文献 · Insights Imaging · 2025-10-17

该回顾性研究纳入3家医院590例经病理证实的纯磨玻璃结节(pGGN),基于Swin Transformer构建三分类深度学习模型区分AAH&AIS、MIA与IAC,在外部验证集上模型准确率91.41%、F1-score 91.42%,分类效能优于放射科医师。

要点

  • Swin Transformer模型可无创预测pGGN的病理亚型(AAH&AIS、MIA、IAC)。
  • 外部验证集模型准确率91.41%、F1-score 91.42%,优于放射科医师。
  • 模型可作为术前辅助诊断工具,提高pGGN诊断准确率。

核心结论

  • 基于深度学习的多分类模型对pGGN的病理亚型具有较好预测能力,分类效能优于放射科医师,可提高pGGN诊断准确率。

研究设计与样本

  • 回顾性收集3家医院2015年1月至2022年12月经手术病理证实的590例pGGN,其中462例(机构1)用于训练与内部验证,128例(机构2和3)作为外部验证集。
  • 采用Swin Transformer网络、五折交叉验证训练模型,并以混淆矩阵、准确率、精确率、召回率和F1-score评估分类效能;病理诊断依据2021年WHO肺癌分类标准。
  • CT扫描使用Siemens Definition AS+ 128层、Canon 640层(Aquilion ONE Vision)和GE Optima CT660 128层CT,管电压120 kV,层厚1.0 mm,标准算法和肺算法重建。

关键影像表现/征象

  • CT图像上表现相似的pGGN具有不同的病理表现,结节内高密度区经连续断层图像证实为血管穿行征而非实性成分。

诊断标准与关键数值

  • 深度学习模型训练集和测试集准确率分别为95.21%和91.41%,集成准确率94.65%。
  • 最优模型准确率87.01%、精确率87.57%、召回率87.01%、F1-score 87.09%。
  • 外部验证集中模型分类效能显著优于放射科医师。

临床应用与阅片要点

  • 模型可识别病灶所在区域,CAM可视化显示其在AAH&AIS、MIA和IAC三组中均能定位病灶。
  • 作者认为深度学习模型可作为辅助工具,提高放射科医师对pGGN病理亚型的准确诊断,为临床诊疗提供指导。
  • 作者提出将模型整合入放射工作流程需开发专用软件接口或插件,实现图像自动传输、模型自动调用和结果自动返回,并培训放射科医师熟悉使用流程和结果解读。
  • 作者认为建立多中心数据共享平台、采用数据增强和迁移学习方法可提高模型对不同数据分布的适应性,并可针对不同中心需求微调或定制模型。

局限性

  • 本研究存在选择偏倚:一方面为回顾性研究,另一方面数据集中于单一国家,可能导致某些疾病过度代表或人群偏倚。
  • pGGN除GPL、MIA和IAC外,还可为局灶性炎症、肺泡出血或纤维化,后续研究可纳入更多类型pGGN以提高模型泛化性。
  • 本研究仅分析了年龄和性别两项临床特征,未来将积累更多病例并补充更多临床特征以增强其实用性。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Oct 17;16:223. doi: 10.1186/s13244-025-02113-3

引言

肺癌是全球最常见、最严重的癌症相关死亡原因之一[1]。肺腺癌是肺癌最常见的组织学类型[2]。在2021年世界卫生组织(WHO)肺腺癌新分类中,肺上皮性肿瘤分为腺体前驱病变(GPLs)、微浸润性腺癌(MIA)和浸润性腺癌(IAC),其中GPLs包括非典型腺瘤样增生(AAH)和原位腺癌(AIS),临床实践中建议对GPLs进行定期观察,而MIA和AIC需要手术干预[2, 3]。

纯磨玻璃结节(pGGNs)可定义为肺窗上呈模糊密度增高、不遮盖血管和支气管结构、且在纵隔窗上不可见的结节[4]。随着人们健康体检意识的提高,pGGN的检出率显著增加[5]。持续性pGGNs(> 3个月)与早期肺腺癌或癌前病变密切相关,通常遵循从AAH到AIS到MIA最终到AIS的进展过程[5–7]。大多数pGGN为浸润前病变;然而,近期组织学研究显示,持续性pGGN具有浸润性成分,30–40%的切除pGGN患者为IAC[7, 8]。因此,在CT上表现为pGGN的不同组织病理学亚型在影像学特征上存在重叠。

对于疑似AAH和AIS的pGGN,可考虑随访观察,因为尽管术后5年生存率为100%,但这些患者的肺功能已下降[9, 10]。对于病理诊断为MIA的pGGN,可行亚肺叶切除(楔形或肺段切除),5年生存率可接近100%[10]。肺叶切除仍被认为是IAC的标准手术治疗。由于IAC肿瘤细胞的浸润性生物学行为,5年无病生存率(40–85%)和生活质量显著下降[9–11]。因此,术前准确评估pGGN的浸润性,尤其是对于年轻患者或具有高危因素(如肺癌家族史)的患者,在治疗方案选择和患者预后优化方面具有重要的临床意义。然而,目前pGGN的诊断主要依赖于放射科医生的视觉评估,易受主观因素和诊断经验的影响,其诊断准确性有待提高[12–14]。

通过自主学习和自我优化,深度学习可以加速数据分析和特征提取过程,构建泛化能力更强的预测模型,且研究结果受主观因素干扰相对较小[15–17]。Transformer是一种基于自注意力机制的深度学习模型,与神经网络模型相比,其优势在于处理长序列数据并实现并行化计算[18]。Swin Transformer是一种为计算机视觉任务设计的新型Transformer架构,它引入了基于移动窗口的自注意力机制并采用分层特征表示,使模型能够在计算复杂度和性能之间取得平衡[19]。

据我们所知,此前尚无研究应用基于Swin Transformer的深度学习技术来评估持续性磨玻璃结节(pGGN)的病理组织学亚型。因此,为了术前准确评估CT上表现为pGGN的不典型腺瘤样增生(AAH)及原位腺癌(AIS)、微浸润腺癌(MIA)和浸润性腺癌(IAC),本研究构建了基于Swin Transformer架构的深度学习三分类模型,并使用来自不同医疗机构的数据进行外部验证,以进一步优化模型的稳健性和泛化能力,旨在将其作为术前辅助诊断工具以提高pGGN的诊断准确性,从而优化患者预后。

材料与方法

我们的试验方案符合《赫尔辛基宣言》的伦理指南,并获得了三家机构伦理审查委员会的批准,批准编号分别为KY01-2022-02-14、2024-195KY和(MER) 2017-38。由于本研究为回顾性研究,机构审查委员会豁免了知情同意的要求。

研究人群

回顾性收集2015年1月至2022年12月期间来自三家医院的590例经手术切除和病理检查证实为AAH、AIS、MIA或IAC的肺部pGGN患者的临床、病理和影像数据。pGGN的收集标准如下:肺窗上呈现 attenuation 增高的结节,但这些结节不阻塞血管和支气管结构,且在纵隔窗上不能清晰显示[20]。纳入标准如下:(1)经手术切除和组织病理学证实为AAH、AIS、MIA或IAC;(2)薄层胸部CT图像(图像层厚≤2 mm)上病灶最大径≤3 cm的pGGN;(3)术前2周内行胸部CT检查,且检查前无相关治疗史;(4)具备完整的临床、病理和影像数据。排除标准如下:(1)既往有恶性肿瘤病史或抗肿瘤治疗史;(2)图像质量差影响诊断分析。图1显示了本研究中研究对象的筛选流程。

根据纳入和排除标准,本研究共纳入590个pGGN,其中来自机构1的462例用于模型的训练和内部验证,来自机构2和机构3的128例用于外部验证集。

图1 研究对象的筛选流程 查看原图 ↗

CT扫描方案

图像在三家医院分别使用Siemens Definition AS + 128层CT、Canon 640层CT(Aquilion ONE Vision)和GE Optima CT660 128层CT扫描仪采集。扫描参数如下:管电压120 kV;自动毫秒电流;视野400 × 400 mm;矩阵512 × 512;层厚1.0 mm;螺距1.0。图像采用1.0 mm层厚标准算法和肺算法重建。所有CT图像以DICOM格式导出备份。

病理诊断标准

所有pGGN标本均在手术切除后获得。经过固定、脱水、包埋、切片、苏木精-伊红染色和封片后,由经验丰富的病理科医师在不同放大倍数下于光学显微镜下观察标本。诊断标准基于2021年WHO肺癌分类指南[2]。按照2021年肺腺癌分类标准,原位腺癌(AIS)从肺腺癌子目录中移除,而不典型腺瘤样增生(AAH)和AIS被归类为腺体前驱病变。图2显示了AAH、AIS、MIA和IAC的CT图像及其对应的病理切片。

图2 AAH、AIS、MIA和IAC的CT图像及其对应的病理切片。a–d分别为AAH、AIS、MIA和IAC的CT图像,对应的下方图像显示病理图像。从上图可以看出,在CT图像上表现相似的纯磨玻璃结节具有不同的病理表现(上图中结节内的高密度区域在连续断层图像上被证实为血管穿行征而非实性成分),这仅凭放射科医师的视觉评估难以识别 查看原图 ↗

实验条件与实施

硬件:Intel® Xeon® Gold 5218 CPU@2.30GHz*2,128GiB系统内存,Nvidia RTX TITAN*3。软件:Ubuntu 20.04,Python 3.9.13,MONAI 1.1.0,Torch 1.12.1,Scikit-learn 1.0.2,Imple ITK 2.2.1,Matplotlib 3.5.2。

在数据预处理中,将二维时间序列DICOM格式文件转换为Nifti格式的三维图像,并根据医师观察肺部肿瘤所使用的窗宽(1400 HU)和窗位(−500 HU)对体素值进行归一化。由于使用了多中心数据,我们重新排列了每幅图像的空间以统一设置体素间距。由于数据量不够大,本研究采用了随机翻转和随机旋转的数据增强方法。

该模型基于Swin Transformer结构,由补丁嵌入层和四个阶段组成。输入的三维图像在补丁嵌入层中被划分为不重叠的标记,并根据它们之间的原始关系形成序列。

每个阶段包含一个完整的Swin Transformer块和一个补丁合并层。Swin Transformer块由窗口多头自注意力模块和滑动窗口自注意力模块串联组成。使用公式可将三维Swin Transformer块表示为:

自注意力机制可表示为:

实验细节

使用Swin UNETR中5050幅CT图像的自监督预训练参数,进行迁移学习并加载到我们的模型结构中。优化器使用AdamW,初始化学习率为0.01,权重衰减,并为1eMurray选择Exponential,每个epoch的学习率衰减至0.95。由于数据之间存在定量差异,损失函数采用加权BCE损失。每张显卡的批量大小设置为4(128 × 128 × 128体素),共训练100个epoch。数据集按五折进行交叉验证,选择每折中准确率最高的模型,并将其输出整合为最终分类结果。Swin Transformer模型的网络结构如图3所示。

图3 Swin Transformer模型网络结构 查看原图 ↗

放射科医师的诊断

为了将模型性能与放射科医师的诊断进行比较,要求放射科医师对外部验证集的数据进行评估。两名具有5~10年胸部影像诊断经验的放射科医师在不知道病理结果的情况下,独立预测pGGN的病理亚型(将其诊断为AAH & AIS或MIA或IAC)。当诊断结果不一致时,两名放射科医师将共同商议并对最终结果达成共识。

统计分析

采用SPSS 24.0(IBM)软件进行统计分析。计量资料以均数±标准差表示,计数资料以频数表示。计量资料的比较采用两独立样本t检验,计数资料的比较采用卡方检验。以p < 0.05为差异有统计学意义。

采用混淆矩阵、准确率、精确率、加权召回率和加权F1分数评价分类性能。相关公式如公式(1)~(4)所示:

(TP:真阳性,TN:真阴性,FP:假阳性,FN:假阴性)

混淆矩阵以预测标签为横轴、真实标签为纵轴构成矩阵图。

结果

患者的临床资料

本研究共纳入590例pGGN病例,其中462例用于模型的训练和内部验证(来自机构1的数据),128例作为外部验证(来自机构2和机构3的数据)。对纳入患者的一般临床资料进行分析,包括患者年龄和性别。分析结果分别如表1和表2所示。

表1 训练集和测试集的临床特征 查看原表 ↗
表2 外部验证集的临床特征 查看原表 ↗

模型结果

在本研究中,基于Swin Transformer架构的深度学习模型在识别AAH & AIS、MIA和IAC(CT表现为pGGN)方面取得了良好的性能。如表3所示,在五折交叉验证获得的五个模型中,最优模型的准确率为0.8701,精确率为0.8757,加权召回率为0.8701,加权F1分数为0.8709。五个模型的混淆矩阵如图4所示。

图4 基于Swin Transformer架构的深度学习模型5折交叉验证的混淆矩阵结果 查看原图 ↗
表3 基于Swin Transformer架构的深度学习模型5折交叉验证结果 查看原表 ↗

深度学习模型与放射科医师结果的比较

模型和放射科医师在外部验证集中对pGGN的预测性能如表4所示。表4显示,放射科医师对pGGN病理亚型具有一定的识别能力,但Swin Transformer模型的预测性能明显优于放射科医师。此外,深度学习模型的准确率、精确率、召回率和F1分数均取得了良好结果,分别为0.9141、0.9194、0.9141和0.9142。深度学习模型和放射科医师在外部验证集中对pGGN预测的混淆矩阵结果如图5所示。

图5 外部验证集中深度学习模型和放射科医生对pGGN预测的混淆矩阵结果。图中,a和b分别代表深度学习模型和放射科医生的预测结果 查看原图 ↗
表4 外部验证集的评价指标 查看原表 ↗

模型可解释性

为确定模型所识别的病灶区域并提高其在临床实践中的可接受性。我们采用类激活映射(CAM)方法,利用梯度信息定位图像中的关键区域并生成可视化图像。图6显示该模型能够识别病灶所在区域。

图6 使用CAM可视化验证模型可解释性。A列显示原始图像,绿色箭头指示病灶部位以便于识别。B列呈现病灶的放大图像(上图中结节内的高密度区域在连续断层图像上被证实为血管穿行征而非实性成分)。C列显示可视化图像,表明在AAH & AIS、MIA和IAC三组中,模型均能识别病灶所在区域 查看原图 ↗

独立数据集验证与模型比较

我们使用MedMNIST [21]和Fracremist3d [22](一个用于多分类任务的三维胸部CT医学图像数据集)进一步验证了本方法的有效性。训练集和验证集分别包含1027例和103例,测试集包含240例。在使用FractureMNIST3D数据集的实验中,我们还将基准(Resnet50)模型和基础Swin Transformer模型的基准性能与我们的Swin Transformer模型进行了比较。参数设置与前序实验保持一致,未在独立数据集上进行优化。结果如表5所示。结果表明,该Transformer结构优于传统卷积神经网络(Resnet50)和基础Swin Transformer模型。

表5 在FractureMNIST3D数据集上的结果比较 查看原表 ↗

讨论

尽管大多数持续性部分实性结节为微浸润性或浸润性腺癌,并表现出相对明显的侵袭性,但浸润性腺癌也可表现为纯磨玻璃结节 [23, 24],由于CT上征象重叠且缺乏特征性影像学表现,此类病变常被误诊,导致不必要的手术或延误治疗。研究表明,对于术前CT表现为pGGN且术中冰冻切片主要以贴壁型为主的肺腺癌,应考虑淋巴结采样而非淋巴结清扫 [25]。因此,对pGGN的病理亚型进行准确的术前诊断具有重要的临床意义。为此,我们构建了基于Swin Transformer架构的深度学习模型,尝试区分CT上表现为pGGN的AAH & AIS、MIA和IAC。

人工智能辅助图像诊断基于肉眼不可见的pGGN病灶的像素级数据,产生详细的数据表征和高效的预测模型,且较少受人为因素影响[26–28]。本研究的深度学习模型基于Swin Transformer网络,该网络是微软亚洲研究院于2021年提出的适用于计算机视觉(CV)领域的基于Transformer的主干结构[29]。作为视觉转换网络的主要代表之一,该网络使用移位窗口多头自注意力(SW-MSA)在不同窗格之间整合信息。Swin Transformer网络的优点在于不受图像输入尺寸限制,计算复杂度相对较低,且自然图像的分类性能优于Vit网络,因此被广泛应用于各类图像分类和识别领域。

本研究结果表明,AAH & AIS组、MIA组和IAC组之间的性别分布无统计学显著差异,与既往发表的结果一致[7]。我们的结果还显示,训练组中这三组之间的年龄存在统计学显著差异,但外部验证组中年龄的组间差异无统计学意义。这可能与本研究的回顾性性质及选择偏倚的可能性有关。

以往研究者主要基于CT征象和影像组学预测pGGN的侵袭性,且多为二分类研究,未对MIA与IAC的数据进一步细化[12, 30, 31]。以往基于CT征象对pGGN侵袭性的研究结果不一。Hsu等[12]显示7 mm是pGGN平均直径的最佳截断值,区分浸润性腺癌与非浸润性腺癌的敏感度和特异度分别为50.0%和76.4%。然而,Qi等[30]报道,以11.5 mm为截断值诊断< 30 mm的pGGN,敏感度为75%,特异度为91.8%。放射科医师主要根据病灶的CT形态学特征(如分叶征、毛刺征和大小)进行诊断,此类评估结果易受主观因素影响,导致诊断准确率较低。Fan等[9]显示影像学特征对区分浸润性腺癌与非浸润性病变具有良好的预测能力。Zhao等[31]采用三维卷积神经网络和多任务学习的深度学习方法,构建了三分类预测模型以识别亚厘米肺腺癌的侵袭性。然而,上述研究者均未能对pGGN的肺腺癌病理亚型或腺体前驱病变作出明确诊断。本研究采用基于Swin Transformer网络的多分类预测模型对pGGN的CT病理亚型进行分类,获得了较好的预测效能。通过外部验证以及模型与放射科医师诊断结果的比较,显示模型的分类效能优于放射科医师,表明深度学习模型可作为辅助工具,提高放射科医师对pGGN病理亚型诊断的准确性,并为临床诊断和治疗提供指导。

尽管Swin Transformer深度学习模型在本研究中表现良好,但将其整合到临床工作流程中仍面临许多挑战。(1) 首先,如何将模型与放射学工作流程整合?放射学工作流程复杂,模型需要与现有成像设备、PACS系统等无缝连接。此外,整合可能会改变放射科医生的常规工作模式,例如增加模型调用和结果解读步骤,这可能导致工作流程混乱。在实际操作中,可以开发专门的软件接口或插件,实现模型与PACS系统的深度整合,实现图像自动传输、模型自动调用和结果自动返回。同时,培训放射科医生熟悉模型的使用流程和结果解读,可以减少对工作流程的干扰。(2) 其次,如何解决多中心数据变异性带来的局限性,因为不同中心在成像设备、扫描参数、图像质量等方面存在差异,导致数据变异性大,影响模型的泛化能力。此外,各中心的诊断标准和临床实践也可能不同,进一步增加了模型应用的复杂性。为解决这一问题,我们认为建立多中心数据共享平台,收集和整理标准化影像数据用于模型训练和验证是必要的。同时,采用数据增强技术和迁移学习方法可以提高模型对不同数据分布的适应性。此外,针对不同中心的特殊需求,可以对模型进行微调或定制。(3) 最后,模型的使用面临成本效益和诊断效率问题:模型的开发和部署需要一定的硬件和软件投入,包括高性能计算设备、数据存储设施以及软件开发和维护成本。然而,从长远来看,它可以减少不必要的活检和手术,降低医疗成本。此外,模型的使用可以提高诊断准确性,减少误诊,提升医疗质量和患者满意度。同时,模型可以在短时间内分析和诊断大量影像数据,显著提高诊断效率。

应注意若干局限性。(1) 首先,本研究存在选择偏倚。一方面,它是一项回顾性研究。另一方面,数据集中在单一国家,可能导致某些疾病的过度代表或基于人群的偏倚。通过整合来自不同地区或更多医院的多样化数据,确保样本的多样性和代表性,可以减轻这种偏倚。(2) 其次,pGGN除GPL、MIA和IAC外,还可能是局灶性炎症、肺泡出血或纤维化。后续研究可以纳入更多类型的pGGN,以提高模型的泛化能力。(3) 最后,在本研究中,我们仅分析了年龄和性别这两个临床特征。在未来的研究中,我们将积累更多病例并补充更多临床特征,以增强这些临床特征的实用性。

结论

该深度学习模型对纯磨玻璃结节的病理亚型分型显示出良好的诊断效能,且模型的诊断效能优于放射科医师。该模型可用于对表现为纯磨玻璃结节的肺腺癌及腺体前驱病变进行无创、个体化评估。

引用

  1. Wen Y, Mahmoud MA, Wu W, et al. Predicting pathological subtypes of pure ground-glass nodules using Swin Transformer deep learning model. Insights Imaging. 2025. PMID: 41105350. doi:10.1186/s13244-025-02113-3
  2. 全文:PMC12534675(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12534675/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。