基于超声深度学习的甲状腺微小乳头状癌甲状腺被膜侵犯早期预测:一项回顾性多中心研究
该回顾性多中心研究纳入964例病理确诊的甲状腺微小乳头状癌(PTMC)患者,构建融合瘤周手工影像组学特征与瘤内深度学习特征的整合模型预测甲状腺被膜侵犯(TCI)。Swin-Transformer模型表现最优,内部测试集AUC 0.923、外部测试集AUC 0.892;在模型辅助下六名不同年资放射科医师的AUC均有提升。
要点
- Swin-Transformer整合模型外部测试集AUC 0.892,显著优于六名放射科医师(AUC 0.635–0.725,均p<0.05)。
- 模型辅助后各年资医师AUC均提升,如资深医师由0.720升至0.796、由0.725升至0.790。
- 从原肿瘤扩大30%的瘤周区域提取的影像组学特征诊断效能最佳,SVM的AUC为0.795。
核心结论
- 该整合模型可作为有效的临床辅助工具,以较高准确度识别PTMC的TCI,并提升不同经验水平放射科医师的诊断效能,支持早期PTMC风险分层与个体化干预。
研究设计与样本
- 回顾性多中心研究,纳入三个中心共964例964个病理确诊的PTMC病灶,内部数据集880例(TCI组314例、非TCI组566例),外部测试集84例(TCI组23例、非TCI组61例)。
- 内部数据集按7:1:2随机分为训练集615例、验证集88例、内部测试集177例。
- 从瘤周多区域提取影像组学特征并以支持向量机(SVM)筛选最佳瘤周区域,再与瘤内深度学习特征联合输入四种深度学习网络(DenseNet-121、InceptionV3、ResNet-50、SwinTransformer)训练与验证。
- 以术后病理为TCI诊断金标准;由两名初级、两名主治、两名资深共六名放射科医师在不知临床病史及病理结果情况下独立评估TCI,分别在无模型辅助与有模型辅助下各诊断一次,两次间隔至少两周。
关键影像表现/征象
- 在无TCI的PTMC病例中,热图注意力集中于结节区域;在有TCI的病例中,热图注意力集中于靠近图像边缘的特定区域。
- 超声上结节与甲状腺后包膜之间无甲状腺组织间隔即两者直接相邻,定义为包膜接触;结节导致甲状腺轮廓向外膨隆且膨隆范围超过甲状腺正常解剖边界、呈「外凸」形态,定义为结节突出。
- 内部数据集中超声显示包膜接触与TCI显著相关(34.39% vs 16.43%,p<0.001)。
诊断标准与关键数值
- 从原肿瘤扩大30%(即原肿瘤大小的1.3倍)的瘤周区域提取的影像组学特征诊断效能最佳,SVM的AUC为0.795。
- Swin-Transformer在内部测试集AUC 0.923、敏感度0.847、特异度0.771、准确度0.802,优于其他三种深度学习模型。
- 外部测试集DenseNet121、InceptionV3、ResNet-50、SwinTransformer的AUC分别为0.818、0.806、0.821、0.892,SwinTransformer最佳。
- 仅用瘤内特征时SwinTransformer内部测试集AUC 0.804、外部测试集AUC 0.792;联合瘤周影像组学特征后内部测试集AUC升至0.923、外部测试集AUC升至0.892。
- 外部测试集六名放射科医师AUC:资深0.720/0.725,主治0.685/0.665,初级0.643/0.635;模型辅助后分别为资深0.796/0.790、主治0.758/0.788、初级0.752/0.676,其中一名主治医师AUC由0.665升至0.788(p=0.012)。
临床应用与阅片要点
- 模型基于超声图像即可输出TCI概率,可用于PTMC术前评估以辅助识别被膜侵犯、支持早期风险分层。
- 阅片时除结节本身外,应关注瘤周区域及结节与甲状腺包膜的关系,模型同时利用了瘤周影像组学特征与瘤内深度学习特征。
- 原文指出TI-RADS包含边缘特征但未明确涉及被膜侵犯,且缺乏标准化超声诊断标准,临床中对TCI的判读存在较大观察者间差异并常被漏报。
- 原文指出六名放射科医师仅基于静态超声图像评估,而临床超声检查为动态过程。
局限性
- 原文在讨论中自述:六名放射科医师仅获得静态超声图像,而临床超声检查为动态过程,这在一定程度上可解释其诊断表现不理想。
全文中译13 节 · 点击展开
引言
甲状腺微小乳头状癌(PTMC)是指肿瘤大小≤10 mm的甲状腺乳头状癌,是甲状腺癌发病率上升的主要因素之一[1]。过去几十年来,全球PTMC发病率呈上升趋势,而死亡率保持稳定,提示PTMC患者可能存在过度治疗[2]。为解决这一问题,PTMC的管理已从立即手术转向更为保守的方法,如利用颈部超声(US)检查进行主动监测(AS)[3–5]。然而,约5%至10%的PTMC患者可能出现疾病快速进展,若因AS而延迟治疗,可能需要更广泛的手术[6–8]。甲状腺被膜侵犯(TCI)通常发生于早期阶段,癌组织浸润连续的甲状腺纤维被膜,但未延伸至周围软组织或胸骨甲状腺肌,提示疾病进展。TCI是发生显著甲状腺外侵犯(sETE)的前提条件[9]。根据美国癌症联合委员会(AJCC)甲状腺癌TNM分期系统第8版[10],仅存在TCI并不改变T分期。然而,sETE将肿瘤从T1–T2(局限于甲状腺内)升级为T3–T4(侵犯超出甲状腺)。大量研究[11–13]表明,TCI是中央区和侧区淋巴结转移(LNM)的独立危险因素。早期研究[14, 15]也提示TCI增加不良预后风险。早期准确识别PTMC患者的TCI对于评估肿瘤进展至关重要。此外,鉴于超声检测中央区LNM的敏感性较低[16],术前TCI判定可指导外科医生进行全面的术中淋巴结评估。
与MRI和CT相比,超声具有无电离辐射、便携性高和实时成像等优势,使其成为早期识别甲状腺疾病最常用的无创影像学手段[17]。目前,TCI诊断的金标准仍是术后病理检查,该方法为有创性,不适合早期检测。因此,由于缺乏TCI的标准化影像学标准——例如,TI-RADS包含边缘特征但未明确涉及被膜侵犯——早期TCI识别仍具有挑战性,导致放射科医生的判读存在相当大的变异性,且临床实践中频繁漏报[18, 19]。因此,迫切需要新型诊断工具来帮助临床医生早期检测TCI并主动评估肿瘤进展。
随着人工智能(AI)技术的快速发展,基于深度学习(DL)的计算机算法在诊断医学领域取得了重大突破[20–22]。凭借其提取优质图像特征的能力,AI有潜力提供更丰富、更精确的特征信息以辅助甲状腺超声诊断。通过利用精细的特征提取技术,AI模型可以分析甲状腺超声图像并为早期癌症检测提供有价值的见解。DL算法与医学影像数据的结合使得开发稳健的诊断系统成为可能,该系统可以增强放射科医师的专业能力并有助于更及时、准确的诊断。目前,关于甲状腺结节良恶性分类的研究较多,但其在预测特定病理特征(如TCI——早期进展的关键指标)方面的应用在很大程度上仍未被探索,尤其是在PTMC中。缺乏此类分析可能影响恶性肿瘤进展的早期评估及后续的个体化临床管理。
本研究假设在伴有TCI的PTMC病例中,癌组织浸润甲状腺被膜,结节周围可能存在超声图像上存在但肉眼不可见的关键信息。为此,我们开发了一个DL框架,该框架将瘤周区域的手工放射组学特征与使用卷积神经网络提取的瘤内深层特征相结合。该模型使用多中心超声数据进行训练,以实现PTMC中TCI的早期准确识别。将所开发模型的性能与不同经验水平的放射科医师诊断TCI的性能进行比较,从而评估DL模型在辅助放射科医师早期精准诊断TCI方面的效能。
材料与方法
临床数据
本研究经浙江省肿瘤医院(IRB-2024-494 (IIT))、台州肿瘤医院(IRB-2024-056-IIT)和上海市第十人民医院(IRB-2019-010-01)当地机构伦理委员会批准,并豁免知情同意要求。
本回顾性多中心研究共纳入964例PTMC患者的964个病灶(图1)。具体细节见补充材料。在内部数据集中,病灶按7:1:2的比例随机分为训练集(n = 615)、验证集(n = 88)和内部测试集(n = 177)。外部测试集包含84个病灶。图2提供了研究设计的概述。
数据预处理
在本研究中,我们首先对所有采集的原始DICOM图像中的患者信息进行了去标识化处理。超声及临床病理数据的采集详情见补充材料。对于同一甲状腺叶内存在多个PTMC病灶的患者,我们将超声图像中目标结节的大小和位置与相应的病理结果进行匹配。我们选择存在TCI和/或最大病灶的结节进行勾画。此外,为客观评估最小结节-被膜距离和结节-被膜接触长度,同时也对甲状腺被膜进行了勾画。一名具有五年超声影像经验的放射科医师勾画了所有超声图像,每位患者包括两张图像。病灶边界和甲状腺被膜轮廓使用labelme软件进行勾画,并通过Python编写的自定义代码转换为二值掩膜。超声特征,包括结节至甲状腺被膜的最小距离、被膜接触范围、结节周长及被膜突出的存在,由同一名放射科医师独立评估和判读。对于超声上结节的被膜接触,评估标准定义如下:在超声图像上,结节与甲状腺后被膜之间无介入的甲状腺组织,即两者直接相邻。超声上结节突出的评估标准如下:甲状腺结节侵犯或压迫甲状腺被膜的典型表现,具体判断依据为结节导致甲状腺轮廓向外膨隆,膨隆范围超出甲状腺正常解剖边缘(即结节突破甲状腺本身的正常轮廓边界,呈现“向外凸出”的形态)。所有标注和超声特征均由第二名委员会认证的放射科医师进行最终审核,该医师在甲状腺影像方面具有超过10年的专业经验。最后,在我们的分析中,存在TCI的病灶标记为“1”,无TCI的病灶标记为“0”。勾画完成后,感兴趣区(ROIs)连同TCI标签以JSON格式导出。图像的进一步处理见补充材料。
影像组学特征提取与深度学习(DL)模型的建立
我们开发了一个集成模型,将手工设计的影像组学特征与基于深度学习的表征学习相结合,用于评估PTMC的TCI。提取影像组学特征的细节见补充材料。从瘤周区域提取影像组学特征后,我们获得了放射科医师勾画的肿瘤边界,并以此从超声图像中提取瘤内特征。随后,对肿瘤区域内的像素进行归一化处理,即减去均值并除以方差,然后调整大小为统一的224 × 224。为了将数据扩充至原始体积的六倍,我们采用了随机平移、随机旋转、随机裁剪、随机缩放和随机高斯噪声等方法。手工设计的瘤周影像组学特征(n = 32)与瘤内图像块被共同输入深度学习网络。这种联合方法旨在通过利用工程化的瘤周特征和网络学习到的数据驱动的瘤内特征,改善PTMC的TCI诊断。我们选择了四种深度学习网络作为模型的骨干网络,包括DenseNet-121、InceptionV3、ResNet-50和SwinTransformer。基于SwinTransformer的分类模型是利用自注意力机制构建的神经网络模型。在我们的实现中,Swin Transformer由多个编码器块组成,后接使用全连接层的分类头。此外,DenseNet-121通过密集连接缓解梯度消失问题,InceptionV3使用Inception模块增强感知能力,ResNet-50通过残差学习解决梯度问题。
性能评估
本研究共收集来自两个中心的84例PTMC作为外部测试集。将最优模型与不同年资放射科医师在外部测试集上的TCI诊断结果进行比较。该模型用于确定超声图像上TCI的概率。通过受试者工作特征(ROC)曲线分析评估模型的性能。
此外,比较了六名放射科医师的诊断性能,包括两名高级放射科医师、两名主治放射科医师和两名初级放射科医师。在不知晓任何临床病史、原始临床记录和病理评估结果(仅知晓所有结节均为PTMC)的情况下,这六名放射科医师独立评估了测试数据集中PTMC的TCI状态。要求他们对PTMC是否存在TCI进行两次诊断,一次无模型辅助,一次有模型辅助,且所有放射科医师两次诊断之间至少间隔两周。
统计分析
对于患者的基线特征(表1),使用SPSS 25.0(IBM)进行统计分析。采用Shapiro–Wilk检验评估数据分布的正态性。连续变量以均值 ± 标准差(SD)或中位数(四分位距)表示,两组间比较使用独立样本t检验或Mann–Whitney U检验。分类变量以频数和百分比表示,组间比较使用卡方检验或Fisher精确检验。
本研究建立的模型使用深度学习(DL)框架PyTorch 1.9.0构建,基于Python 3.8。使用Python绘制ROC曲线并计算模型性能指标。曲线下面积(AUC)比较通过DeLong检验进行。统计显著性设定为p < 0.05。
结果
基线特征
本研究共纳入964名受试者,其中880例构成内部数据集(甲状腺癌侵犯(TCI)组314例,非TCI组566例),84例构成外部测试集(TCI组23例,非TCI组61例)。在内部数据集中,TCI组年龄≥55岁的患者比例显著高于非TCI组(28.03% vs 22.44%,p = 0.044)。淋巴结转移(LNM)在TCI组中也更为常见(36.62% vs 28.98%,p = 0.019)。此外,超声(US)上包膜接触的存在与TCI显著相关(34.39% vs 16.43%,p < 0.001)。相比之下,TCI组与非TCI组在性别分布、结节位置或甲状腺影像报告和数据系统(TI-RADS)评分方面未观察到显著差异。具体而言,TI-RADS 5类结节在42.36%的TCI患者和39.05%的非TCI患者中观察到(p = 0.337)。在外部测试集中,TCI组中结节大于5 mm的患者比例显著更大(73.91% vs 47.54%,p = 0.030)。LNM在TCI组中更为常见(47.83% vs 27.87%,p = 0.084),但该差异未达到统计学显著性。两组间TI-RADS评分的分布保持可比(TI-RADS 4类:69.57% vs 65.57%;TI-RADS 5类:30.43% vs 34.43%,p = 0.729)。进一步的定量分析见补充材料。
DL模型的性能
为探究肿瘤区域周围的影像学特征,我们评估了不同瘤周区域(如10%–50%)的影像组学特征。分析显示,从30%瘤周区域(即原肿瘤大小的1.3倍)提取的影像组学特征,支持向量机(SVM)的诊断性能达到最大,AUC为0.795(表S4和图S1)。因此,我们将该瘤周区域提取的影像组学特征,连同US图像中的瘤内感兴趣区(ROI),输入四种DL网络(DenseNet121、InceptionV3、ResNet50和SwinTransformer),以确定检测TCI的最佳模型。
在内部测试集(表2和图3a)中,Swin Transformer表现出优越的性能,AUC为0.923,敏感性为0.847,特异性为0.771,准确性为0.802,优于其他三种深度学习模型。在外部测试集(表3和图3b)中,DenseNet121、InceptionV3、ResNet50和SwinTransformer的AUC分别为0.818、0.806、0.821和0.892,其中SwinTransformer表现出最佳性能。为证明整合瘤周影像组学特征的作用,我们仅使用瘤内特征训练了四种深度学习模型进行比较。结果显示,当仅使用瘤内特征作为输入时,SwinTransformer优于其他模型。此外,整合瘤周影像组学特征显著提高了其性能。在内部测试集(表3和图3c)中,AUC从0.804提高到0.923,在外部测试集(表3和图3d)中,AUC从0.792提高到0.892。图4展示了所有四种模型在仅使用瘤内输入与联合瘤内和瘤周特征时AUC值的变化。不同亚组的测试结果见补充材料。
放射科医师与深度学习模型辅助诊断的诊断性能
我们在外部测试集中比较了六名不同经验水平放射科医师的TCI诊断性能与表现最佳的深度学习模型。如表4所示,SwinTransformer的诊断性能显著优于六名放射科医师(均p < 0.05),AUC为0.892。高级、主治和初级放射科医师的AUC分别为0.720/0.725、0.685/0.665和0.643/0.635。
除此之外,我们分析了六名放射科医师在最佳模型辅助下的诊断性能。在模型辅助下,所有放射科医师的AUC均有改善:高级组为0.796和0.790,主治组为0.758和0.788,初级组为0.752和0.676。一名主治放射科医师的AUC从0.665显著提高至0.788(p = 0.012)。图S3展示了6名放射科医师在有和无模型辅助时诊断性能指标的变化。详情见补充材料。
深度学习模型的可视化与辅助诊断功能
我们选取了六个代表性病例来可视化深度学习(DL)模型的诊断结果(图5)。通过类激活映射生成的热图增强了模型的可解释性。不同的颜色分布反映了SwinTransformer模型对超声图像中预测区域和图像特征的关注。红色高亮区域在预测过程中提供了更具信息量的特征。对于病例(a)、(b)和(c),它们均代表不伴甲状腺外侵犯(TCI)的甲状腺微小乳头状癌(PTMC),热图注意力集中在结节区域。相反,对于显示伴TCI的PTMC的病例(d)、(e)和(f),热图的注意力集中在靠近图像边缘的特定区域。此外,为了阐明32个瘤周影像组学特征对支持向量机(SVM)模型在内、外部测试集中进行TCI分类的贡献,进行了SHAP(SHapley Additive exPlanations)分析,结果分别在图S4(内部测试集)和图S5(外部测试集)中可视化。
讨论
TCI作为肿瘤进展的早期指标,对PTMC患者具有重要的诊断意义。在本研究中,我们首先应用SVM确定影像组学特征最显著的瘤周区域。然后将这些特征与通过DL提取的瘤内成像特征相结合,以探索预测PTMC中TCI的最佳DL模型。我们发现,从瘤周区域(即原始肿瘤大小的1.3倍)提取的影像组学特征表现出最佳的诊断性能,AUC为0.795。SwinTransformer表现出最优性能,在内部测试集上AUC为0.923,在外部测试集上AUC为0.892,优于其他三种DL模型。此外,SwinTransformer模型的性能显著优于不同经验水平的放射科医师。而且,在模型辅助下,不同经验水平放射科医师的AUC、准确性和敏感性均有不同程度的提高。本研究首次尝试同时将瘤周影像组学特征与瘤内特征一起作为DL模型的输入。结果表明TCI的诊断得到了显著改善,旨在更好地指导早期临床实践。
主动监测(AS)是管理甲状腺微小乳头状癌(PTMC)患者常用的策略。仔细的风险分层和恰当的患者选择对于成功实施AS至关重要[8]。由于甲状腺包膜侵犯(TCI)是肿瘤进展的重要因素之一,对未检测到TCI的患者选择AS可能增加进展为甲状腺外侵犯(ETE)或淋巴结转移(LNM)的风险[11–13]。因此,早期识别PTMC中的TCI仍是一个活跃的临床问题。然而,超声对TCI的评估在很大程度上依赖于放射科医师,其准确性因患者和观察者而异。既往研究[23–25]显示,常规超声评估TCI的准确性范围为66.1%至81.9%。Jeong等[26]回顾性分析了伴有后包膜侵犯的PTMC患者的超声特征及其临床意义。他们发现,相关超声特征预测PTMC患者后包膜侵犯的诊断性能为71.3–75.1%,且伴有后部微小TCI的PTMC患者更易发生淋巴血管侵犯和侧颈部LNM(OR = 2.636,95%置信区间(CI):1.754,3.963;OR = 2.897,95% CI:1.069,7.848)。此外,他们分析了评估超声特征的观察者间一致性。结果显示,观察者间对接触评估具有中等一致性(K = 0.705),而根据肿瘤周长评估接触程度和突起评估的观察者间一致性较低(K分别为0.553和0.287)。由于缺乏用于评估和诊断TCI的标准化超声特征,放射科医师诊断TCI的表现和一致性相对较低。因此,为减轻主观影响,引入了人工智能(AI)以协助放射科医师早期准确识别TCI。在既往一项研究[27]中,基于CT成像的影像组学模型预测了PTC中的TCI。该模型在内部测试中达到AUC 0.820,在外部测试中达到0.776。相比之下,我们的研究利用超声图像,其无辐射、操作友好且提供高软组织分辨率。我们基于超声的研究与既往研究[27]相比取得了更好的诊断性能。此外,与既往研究不同,我们的研究考虑了结节周围特征,并以可解释的特征描绘了TCI状态。在超声图像中仅分析结节本身可能忽略其与包膜的关系。因此,我们提取并选择了瘤周影像组学特征,将其与超声图像的瘤内深度学习(DL)特征一起输入DL模型以识别PTMC的TCI。我们最佳训练的模型(SwinTransformer)在诊断TCI方面表现出良好性能,并在外部测试集上展现出良好的可重复性和泛化性。
在外部测试集中,六名放射科医师独立诊断TCI的表现并不理想。初级放射科医师的AUC分别为0.643和0.635,主治放射科医师为0.685和0.665,高级放射科医师为0.720和0.725。这部分可归因于我们仅向六名放射科医师提供了静态超声图像,而临床超声检查是一个动态过程。此外,缺乏评估TCI的标准化标准意味着放射科医师严重依赖其主观判断和既往经验,导致潜在的误诊。模型辅助使放射科医师的诊断性能获得中等程度的改善,提示其在支持TCI诊断方面具有潜在效用。然而,大多数改善无统计学显著性,可能反映模型输出融入诊断工作流程的程度有限。未来提高模型的可解释性或许能增强放射科医师对它的信任。
本研究存在若干局限性,值得在未来研究中关注。第一,分析依赖于数量有限的回顾性收集的静态超声图像。未来前瞻性研究应纳入动态超声视频,以开发更稳健和优化的模型。第二,本研究仅限于三个中心,未考虑成像设备规格的差异。因此,跨多中心队列和更大数据集的更广泛验证对于评估模型的泛化能力至关重要,尤其是在处理不同超声设备可能带来的变异性时。第三,图像分析采用手动分割,这费时费力且易受观察者间/观察者内变异性的影响。在未来工作中实施自动分割算法可提高可重复性,同时减轻放射科医师的工作负担。第四,病例分层未考虑包膜侵犯程度。鉴于TCI先于ETE发生,后续研究应根据组织病理学确认的侵犯深度对病例进行分类,以细化诊断精度。最后,本回顾性研究未系统收集伴发甲状腺实质性疾病(如桥本甲状腺炎或结节性甲状腺肿)的数据。缺乏这些临床信息可能限制对影像学背景的全面理解。未来前瞻性研究将纳入背景甲状腺状况的标准化评估和报告,以更好地评估其对模型性能的潜在影响。
结论
总之,本研究开发的整合模型——结合瘤周影像组学与DL衍生的瘤内特征——在识别PTMC中的TCI方面表现出高诊断准确性。该模型作为一种有效的辅助工具,可提高不同经验水平放射科医师之间的诊断一致性。它提供了基于图像的TCI标准化评估,有助于减少判读的主观性。这些能力有助于更可靠的早期风险分层,并支持PTMC患者的个体化临床决策
补充信息
补充信息
引用
- Sui L, Feng B, Chen X, et al. Early prediction of thyroid capsule invasion in papillary microcarcinoma using ultrasound-based deep learning models: a retrospective multicenter study. Insights Imaging. 2025. PMID: 41310289. doi:10.1186/s13244-025-02132-0
- 全文:PMC12660598(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12660598/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。