深度学习集成模型用于CT区分骶骨良恶性肿瘤:开发与评估
回顾性分析三个中心569例骶骨肿瘤患者的术前平扫CT,开发结合3D-DenseNet121与放射科医师判读的集成深度学习模型。集成模型在内外部测试集AUC分别为0.9139和0.8713,外部测试中所有放射科医师的AUC、准确率、敏感度和特异度均有提升,低年资医师提升更明显。
要点
- 集成模型(3D-DenseNet121+人工判读)内外测试AUC为0.9139和0.8713,表现最稳健。
- 外部测试中所有放射科医师在AI辅助后AUC、准确率、敏感度、特异度均提升。
- 低年资医师在AI辅助下特异度提升显著,预测性能改善优于高年资医师。
核心结论
- 结合3D-DenseNet121与人工判读的集成模型在区分骶骨良恶性肿瘤上表现最稳健,内外部测试AUC分别为0.9139和0.8713。
- 深度学习模型可能显著提升放射科医师的诊断效率,尤其对低年资医师帮助更大。
研究设计与样本
- 回顾性研究,纳入三个中心569例经确认的骶骨病变患者,分析术前骶骨平扫CT。
- 中心1的514例用于模型开发及五折交叉验证内部测试,中心2和3的55例用于外部测试。
- 开发了多种结合人工判读与深度学习的集成模型,以AUC和F1评分等指标评估模型及放射科医师的诊断性能。
关键影像表现/征象
- 恶性病例的注意力热图覆盖更广区域,突出侵袭性骨膜反应和模糊的肿瘤边界,反映其侵袭性生长模式。
- 良性肿瘤的热图通常更局限,集中于病变内部结构。
诊断标准与关键数值
- 集成模型(3D-DenseNet121+人工判读)内部测试集AUC 0.9139、F1评分0.9054、精确率0.9041、召回率0.9136、准确率0.8630。
- 同一集成模型外部测试集AUC 0.8713、F1评分0.8571、精确率0.8824、召回率0.8333、准确率0.8182。
- 3D-DenseNet121模型内部测试集AUC 0.8871、F1评分0.8823;外部测试集AUC 0.8099、F1评分0.8533。
- 高年资放射科医师判读内部测试集AUC 0.8574、F1评分0.8879;外部测试集AUC 0.8553、F1评分0.8406。
临床应用与阅片要点
- 模型可在术前利用平扫CT辅助区分骶骨良恶性肿瘤,减少对增强CT或MRI的依赖。
- 外部测试中AI辅助使所有放射科医师的AUC、准确率、敏感度和特异度均提升,低年资医师改善更明显。
- 作者指出该模型可能减少不必要的转诊和活检。
局限性
- 原文指出骨肿瘤发病率低,迄今所有已发表研究均未进行外部测试,可能高估影像组学的预测能力。
- 原文指出基于2D的深度学习模型性能不令人满意,与3D模型和高年资医师结果整合后诊断准确率未提升。
- 原文指出骨肿瘤疾病的异质性导致基于单张图像难以全面捕捉骨肿瘤特征。
全文中译12 节 · 点击展开
引言
骨肿瘤是20岁以下癌症患者第三大死亡原因[1]。骶骨肿瘤可分为四种类型:原发性恶性肿瘤(包括肉瘤和脊索瘤)、良性肿瘤、转移性肿瘤以及由内脏恶性肿瘤局部侵犯所致的肿瘤[2]。每种骨肿瘤表现出不同的生物学行为,良性肿瘤通常保持稳定。骶骨提供躯干与下半身之间的结构性连接,并承受轴向和旋转力。因此,肿瘤或其治疗可能损害脊柱骨盆交界处的稳定性[2]。在骶骨肿瘤的管理中,对于良性变异可考虑创伤较小的手术,以保护神经结构并维持脊柱骨盆完整性。相反,恶性骶骨肿瘤患者的治疗选择通常包括化疗、手术切除和放疗[3–5]。因此,准确的鉴别诊断在促进骨肿瘤病例的有效临床决策中起着关键作用。
骨肿瘤的诊断依赖于三个主要要素:症状学、影像学和组织病理学评估[6]。然而,骶骨肿瘤的临床表现通常非特异性,典型表现为神经功能缺损和腰背痛,这使得早期诊断具有挑战性[7]。尽管组织病理学检查提供最准确的诊断并指导治疗决策,但由于其侵入性和耗时性,它代表诊断过程中的最后一步。对错误地推测为恶性而实为良性的病变进行不必要的活检可导致患者痛苦和术后并发症,尤其是在专科多学科中心之外进行时[8]。此外,某些禁忌证,如血小板计数低于50,000或有出血倾向,可能妨碍活检[9]。此外,活检程序在多达30%的病例中可能产生非诊断性结果,这需要重复操作并增加并发症风险[10]。
影像学在快速区分良性与恶性肿瘤中起着至关重要的作用。多种方法,包括X线摄影、CT、MRI、血管造影、闪烁显像和正电子发射断层扫描—CT,被用于骨肿瘤研究。CT成像因其高分辨率和检测小病变(大于3 mm)的能力而脱颖而出。它提供关于肿瘤基质矿化、钙化、骨化、皮质扇贝样改变、破坏和骨膜反应的重要信息,这有助于放射科医生根据位置和边缘等特征诊断骨肿瘤[11]。然而,鉴于骨肿瘤的低发病率,缺乏经验的医生可能误诊,这导致不必要的骨活检、患者不适和费用增加,或者他们可能完全漏诊,这导致治疗延迟或患者死亡[12]。在此类情况下,一个敏感且经过验证的用于表征可疑骨病变的模型可以降低不必要转诊至更高级别护理的比率,并减轻患者对潜在癌症诊断的焦虑。一个能够以高特异性识别良性病变的计算机辅助诊断工具,将通过协助放射科医生自信地排除恶性,在降低不必要活检率方面具有不可估量的价值[13]。
机器学习(ML)和深度学习(DL)方法是数据驱动的,在解决复杂医学难题方面已引起广泛关注[14]。卷积神经网络作为DL架构的一个子集,在一系列计算任务中表现出显著性能,并已被应用于医学影像领域[15–18]。此外,影像组学已被证明在区分良性和恶性病变方面有效[19, 20]。然而,由于骨肿瘤的发病率相对较低,且其位置和病理类型具有变异性,导致难以收集足够的影像数据[21],因此应用于骨肿瘤的DL研究仍然有限。尽管如此,少数研究已证明影像组学在区分良性和恶性骶骨肿瘤方面的潜力[19, 20, 22]。该技术有望改善骨肿瘤的诊断和管理。
因此,本研究旨在开发一种集成DL模型,能够在术前区分良性和恶性骶骨肿瘤。将该模型整合到临床工作流程中,可以帮助经验较少的放射科医生或医师提高诊断准确性,并随后指导这些患者进行适当的管理或转诊[13]。
材料和方法
为了在术前区分良性和恶性骶骨肿瘤,开发了基于人类可读解释和DL的不同集成模型(图1)。该集成模型通过两阶段过程开发:训练单独的二维(2D)和3D DenseNet121模型,随后进入推理阶段,通过加权融合将其预测结果与放射科医生的评估相结合。最终将集成模型的性能与资深放射科医生的判读结果进行比较。
患者数据和非增强计算机断层扫描(NCCT)成像
这项回顾性研究分析了来自三个中心的569例骶骨肿瘤患者。主要队列(514例患者)用于模型开发,并通过五折交叉验证进行内部验证;外部队列(55例患者)用于最终评估(图2)。该观察性研究获得了北京大学人民医院机构审查委员会的批准(编号2024PHB568-001),由于其回顾性设计,免除了知情同意。所有患者均接受了术前骶骨NCCT扫描,使用dcm2niix软件[23]将医学数字成像和通信图像转换为NiFTI格式;肿瘤感兴趣区由一位经验丰富的放射科医生手动分割。关于患者人口统计学、NCCT图像采集方案、肿瘤分割程序和成像参数的综合方法学细节,请参阅补充方法部分。
3D和2D深度学习分析
针对3D和2D深度学习分析实施了不同的预处理流程,详细方法学信息见补充方法部分。
预处理后的3D图像使用3D DenseNet121模型(https://github.com/ProjectMONAI/MONAI/blob/dev/monai/networks/nets/densenet.py)进行分析,该模型是专为体积医学图像分析设计的深度学习架构。全连接层的输出配置为两层,使模型能够有效地将患者分为良性和恶性组。本研究使用的迁移学习模型为2D DenseNet121,该模型在ImageNet数据集上进行了预训练以初始化权重值。有关DenseNet121结构的更多详细信息可参见https://github.com/ProjectMONAI/MONAI/blob/dev/monai/networks/nets/densenet.py。训练前,输入的2D矩形感兴趣区域被调整为224 × 224像素的尺寸以适配DenseNet121。
模型在队列1上采用五折交叉验证策略进行开发和评估。在该方案中,数据集被分为五折;每一折中,四折分配用于训练/验证(按8:2比例划分),一折留出作为内部测试集(图2b)。该步骤确保了数据在学习中的充分利用和无偏评估。所有模型均采用以下统一配置进行训练:批量大小为20,使用交叉熵损失函数并由Adam优化器优化,学习率为0.0001,共训练50个轮次。训练过程涉及标准的前向和反向传播以迭代更新模型参数。
人类可读解释
人类可读解释分析通过两个互补的评估阶段系统进行:(1)基线放射科医师评估和(2)模型辅助诊断评估。
在第一阶段,一位经验丰富的资深放射科医师通过使用全面的临床数据和影像特征评估所有569个病灶,建立了基线诊断性能。评估采用严格定义的9点置信度量表进行评分,明确排除50%中点以确保明确的诊断分类。这些专家评估采用了与深度学习模型开发相同的五折交叉验证框架,从而能够直接比较人类和人工智能(AI)评估之间的性能。
第二阶段通过多阅片者研究设计对深度学习模型的临床实用性实施了对照评估。代表三个经验水平的六名放射科医师在两次独立的阅片会话中独立判读外部测试病例,两次会话之间实施强制性4周间隔以减少潜在的回忆偏倚。第一次会话仅依赖常规临床和影像数据,随后的一次会话将3D DenseNet121预测结果作为决策支持纳入。
完整的方法学规范在补充方法部分有全面记录。
人类-深度学习(DL)融合模型的开发与评估
在二维和三维DL分析之后,开发了训练好的模型——2D-DenseNet121和3D-DenseNet121。应用五折交叉验证产生了五个2D-DenseNet121模型和五个3D-DenseNet121模型。将内部和外部测试集数据输入两种模型以生成预测概率。因此,在内部测试集中,2D-DenseNet121模型的预测概率代表五个2D-DenseNet121模型的平均预测概率,3D-DenseNet121模型的预测概率为五个3D-DenseNet121模型预测概率的平均值。同时,鉴于二维模型对每位患者处理三张图像,患者的总体预测概率为三张图像概率的加权平均值。图像预处理与二维和三维DL分析相同,排除了随机翻转等数据增强技术。
在首轮人类可读解释之后,获得了源自人类解释的概率。随后,采用集成学习方法整合多个DL模型或将 these 模型与人类可读解释结果合并。在内部测试集中,集成模型的概率计算为单个DenseNet121模型预测与一位资深放射科医师预测的加权平均值。在外部测试集中,首先对五个DenseNet121模型的预测结果取平均值,然后使用平均结果与资深放射科医师预测的加权平均值来确定集成模型的预测概率。具体而言,集成模型的最终预测概率计算为来自几种配置的概率的加权平均值:2D-DenseNet121联合3D-DenseNet121、3D-DenseNet121联合人工解释,以及2D和3D-DenseNet121联合人工解释的组合,如图1推理部分所示。这些计算的详细公式见补充材料。
统计分析
训练集和验证集之间临床特征的差异使用t检验和卡方检验进行评估。分析使用统计软件SPSS 26(SPSS Inc.)进行,统计显著性定义为p值 < 0.05。模型选择标准基于在验证集中获得最高的平均曲线下面积(AUC)评分。在验证集中AUC最高的模型被选择用于后续的内部和外部测试。这一严格的评估确保了为后续分析和应用选择最稳健的模型。模型的效能使用AUC和F1评分进行评估,提供了区分度的总体衡量。使用混淆矩阵量化模型的性能。使用决策曲线分析(DCA)[24]和校准曲线[25]确定集成模型的临床效用。
结果
临床特征
对于队列1,共纳入514例诊断为骶骨肿瘤的患者(277例男性和237例女性)。参与者的平均年龄为42.0岁,年龄分布范围为6岁至81岁。队列2和队列3共纳入55例骶骨肿瘤患者(27例男性和28例女性)。这些队列的平均年龄为47.8岁,参与者年龄跨度为13岁至82岁。统计分析显示,良性和恶性组之间在年龄和性别方面存在显著差异。表1列出了患者的详细临床特征。
深度学习(DL)分析及可读性解释
3D DenseNet121模型在内部和外部测试集中均表现出优于2D DenseNet121模型的性能。其在内部测试集中的AUC为0.8871,F1分数为0.8823;在外部测试集中的AUC为0.8099,F1分数为0.8533(表2和图3a)。精确率、召回率和准确率的相应值见补充表S1。鉴于3D DenseNet121模型的优越性能,我们提供了其针对良性和恶性骨肿瘤代表性示例的注意力热图(补充图1)。此外,良性和恶性肿瘤之间的注意力模式存在差异:在恶性病例中,热图覆盖的区域更广泛,突出了侵袭性骨膜反应和模糊的肿瘤边界,反映了其侵袭性生长模式。相比之下,对于良性肿瘤,热图通常更为局限,聚焦于病变的内部结构。这些可视化通过揭示驱动模型诊断决策的独特影像学特征,增强了模型的可解释性。与DL模型相比,资深放射科医师的解读在内部测试集中表现出相当的性能,AUC为0.8574,F1分数为0.8879。在外部测试集中,资深医师解读优于DL模型,AUC为0.8553,F1分数为0.8406(表2和图3a)。表2和图3a还展示了3D DenseNet121模型、2D DenseNet121模型和人工解读的混淆矩阵。
在第二阶段阅读者研究中,我们仔细审查了六位放射科医生在人工智能辅助前后对诊断结果的修改(表3和补充表S2)。图4和表3展示了初级、中级和高级放射科医生在有无3D DenseNet121人工智能模型辅助下决策、敏感性和特异性的变化。此外,我们计算了放射科医生判读结果与真实值之间的绝对差异,以确定其诊断准确性。差异越小表示预测准确性越高。图5呈现了放射科医生判读结果与真实值之间的绝对差异,以及人工智能辅助下这些差异的改善情况。使用热图进一步展示了每位个体患者的诊断改善情况。在外部测试队列中,所有参与的放射科医生在AUC、准确性、敏感性和特异性指标上均表现出显著改善。特别是,初级放射科医生在人工智能支持下特异性有显著提升。此外,与经验更丰富的同行相比,初级放射科医生在人工智能辅助下预测性能的改善更为明显。补充图S1提供了DeLong检验结果。在外部测试队列中,深度学习模型辅助放射科医生提高整体诊断准确性的有益影响清晰可见。
集成模型的开发与评估
在评估的一系列集成模型中,3D-DenseNet121与人工判读的组合表现出最稳健的性能。该集成模型在内部测试集中表现出强劲性能,AUC为0.9139,F1分数为0.9054,相应的精确率、召回率和准确率分别为0.9041、0.9136和0.8630。其在外部队列测试集中的性能稳健,AUC为0.8713,F1分数为0.8571,精确率、召回率和准确率分别为0.8824、0.8333和0.8182(补充表S1)。表4和图3b展示了整合3D-DenseNet121与人工判读的集成模型的平均混淆矩阵,其凸显了在良性肿瘤预测准确率方面的显著提升。
图6a展示了所有表现出强劲性能的模型。图6呈现了3D-DenseNet121、人工判读及所有集成模型的校准曲线和DCA。图6b显示了外部队列测试集中预测值与实际观测值之间高度一致。所有五个模型的DCA(图6c)表明,每个模型相较于“全部治疗或不治疗”策略均提供净临床获益,其中集成模型,尤其是结合3D-DenseNet121与人工判读的模型,优于其他分类器。使用DL模型鉴别良性与恶性骶骨肿瘤显示出优越的临床实用性。
讨论
我们的研究拓展了近期集中于术前预测骶骨肿瘤良恶性的工作[26–30]。鉴于骨肿瘤患病率低,迄今所有已发表研究均未进行外部测试[26–29, 31]。缺乏外部测试可能导致对影像组学预测能力的过高估计。先前一项基于随机森林的临床-影像组学模型报告,用于盆腔和骶骨肿瘤分类的验证AUC为0.899[29]。与利用手工影像组学特征的研究不同,我们的工作采用端到端深度学习(DL)方法。该方法的使用使我们的模型能够直接从CT图像自动学习判别性特征,超越了预定义特征集的局限性,并有助于其在临床验证中的稳健表现。尽管Yin等人开发了深度神经网络和机器学习分类器,其最佳临床-LR模型达到AUC 0.84[26],但我们的工作代表了一种范式转变。我们引入了一种人类-人工智能协作集成模型,显著提升了放射科医生的诊断性能,验证了其作为临床决策支持工具的实用价值。其他研究集中于区分特定类型的骶骨肿瘤[27, 28, 31]。与亚型特异性模型不同,我们的方法针对基础的良恶性判定,这是诊断流程中最关键的节点,并从根本上指导所有后续管理。在我们之前的调查中,我们评估了多种融合影像组学方法以区分骶骨肿瘤的良恶性[30]。DL模型展示了有前景的结果,这促使我们进一步探索其能力。这项持续进行的研究旨在完善和扩展DL技术在骶骨肿瘤病理准确分类中的应用。
我们的研究结果还表明,基于二维的深度学习(DL)模型表现不尽如人意,且在与三维DL模型及资深放射科医师的结果整合后,诊断准确性并未表现出改善。这一观察结果与临床实际相符。骨肿瘤疾病的异质性导致基于单张图像全面捕捉骨肿瘤特征存在困难[32]。同时,与内部测试集相比,该模型在外部测试集中的表现明显降低。模型在外部测试集中性能下降可能归因于数据分布的差异以及测试数据超出了模型的学习范围[33, 34]。值得注意的是,在队列1中,恶性肿瘤的数量几乎是良性肿瘤的三倍,这可能导致模型对恶性病例的学习侧重更深。相反,在由队列2和队列3组成的外部验证集中,恶性与良性肿瘤的比例降至1.9,这可能解释了所观察到的模型性能相对降低的原因。此外,我们首次比较了基于二维和三维图像的DL模型与人类专家在区分骶骨肿瘤良恶性方面的效能。我们的结果表明,DL模型可以有效补充放射科医师的诊断过程。通过将人工智能生成的见解整合到临床工作流程中,放射科医师可能受益于认知负荷降低、决策一致性提高以及诊断信心增强。这些优势凸显了将DL模型纳入常规实践的实际效用[35–38]。
本研究与其他放射组学研究的一个值得注意的区别在于采用了涉及六名放射科医师的两轮读者调查。我们探究了放射科医师在临床实践中从DL提供的辅助中获得的实际益处。我们认为,鉴于DL模型未来预期的辅助作用,这一探索尤为关键[39]。尽管人工智能和放射组学模型的优势已获认可,人类专家仍将继续掌握最终决策权。这一立场的一个主要理由是DL特征的可解释性尚处于初期阶段,同时这些放射组学特征背后的生物学机制也尚未得到充分探索[40, 41]。尽管如此,这一考虑不应阻止放射科医师利用放射组学方法来增强其诊断能力。通过在第二轮图像判读中实施这一辅助策略,人类专家在评估骶骨肿瘤良恶性方面的AUC、准确度、特异度和敏感度均表现出整体改善。尽管初级和高级放射科医师均从该模型获得了积极辅助,但前者(初级放射科医师)受益程度更大。因此,这种方法具有加速经验有限的放射科医师学习曲线的潜力[21, 35]。
为了提高机器学习(ML)模型的泛化能力和性能,采用了两种关键策略:数据增强[42]和五折交叉验证[43]。本研究采用数据增强(通过旋转、平移、缩放和翻转)来增强数据集的多样性和数量。实施了严格的五折交叉验证以优化模型稳健性、减轻过拟合并确保可靠的性能评估。关键的是,交叉验证的划分在患者层面而非图像层面进行,以防止数据泄漏,这保证了单个患者的所有数据均局限于同一折内,并确保了对模型泛化能力的真实评估。
我们的研究存在若干局限性。首先,尽管是一项多中心研究,但数据集相对较小,尤其是外部验证队列,这可能限制模型的统计可靠性和泛化能力。更重要的是,模型的性能是在一个具有显著不平衡的数据集上评估的,收集的恶性骶骨肿瘤数量多于良性骶骨肿瘤。尽管这种不平衡反映了这些肿瘤在真实世界中的发病率[44],但它本质上限制了对泛化能力的评估,尤其是对良性病例。因此我们强调,未来需要更大规模、前瞻性收集的队列研究来验证和优化模型。其次,本工作是一项回顾性研究,病例通过数据库检索确定,可能引入了选择偏倚。此外,鉴于研究的回顾性性质,我们未利用多模态序列(CT和MRI),可能影响了深度学习(DL)策略的效能。第三,人口学信息(包括年龄和性别)也很重要,值得在未来研究中探索。此外,我们的研究本质上受限于其对二分类(良性 versus 恶性)的聚焦。尽管这种方法对初步分诊有用,但临床决策关键取决于准确区分特定肿瘤亚型——如脊索瘤、巨细胞瘤或尤因肉瘤——因为每种亚型需要不同的管理策略和治疗路径。我们的模型在当前形式下不提供这种关键的亚型区分,这仍依赖于全面的组织病理学和分子评估。未来工作应旨在开发多分类模型以满足这一重要的临床需求。最后,我们的数据集仅包含术前图像,排除了任何术后随访研究。手术后,正常解剖结构的改变、组织修复反应和潜在并发症可显著改变影像学表现。这些变化进一步受到肿瘤原始位置和所采用具体手术技术的影响,共同增加了图像解读的复杂性[45]。我们的模型在治疗后的性能尚未评估,代表了未来研究的一个重要方向。
总之,我们开发了集成深度学习(DL)模型,能够在术前准确评估骨病变的恶性程度。此外,我们证明整合DL模型可增强放射科医生的决策过程。这项工作凸显了DL在帮助放射科医生更有信心、更准确地表征骨病变恶性程度方面的潜力。
电子补充材料
补充信息
引用
- Yin P, Zheng F, Liu K, et al. Deep learning ensemble models for CT-based differentiation of malignant and benign sacral bone tumors: development and evaluation. Insights Imaging. 2026. PMID: 41774326. doi:10.1186/s13244-026-02220-9
- 全文:PMC12957694(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12957694/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。