肺部疾病三分类预测模型的开发、部署与特征可解释性
这项回顾性多中心研究基于2015年1月至2023年10月非小细胞肺癌、肉芽肿性炎症和良性肿瘤患者的临床与CT影像数据,构建随机森林与XGBoost三分类模型。测试集Obuchowski指数XGBoost为0.8282、随机森林为0.7193,外部验证集分别为0.8074和0.7932,XGBoost准确度测试集0.81、外部验证集0.79。
要点
- XGBoost在测试集Obuchowski指数0.8282,高于随机森林的0.7193。
- 外部验证集XGBoost准确度0.79,随机森林0.78。
- 环状征、空气支气管征、位置、空气腔为模型重要特征。
核心结论
- XGBoost模型在肺部疾病三分类(非小细胞肺癌、肉芽肿性炎症、良性肿瘤)中优于随机森林。
研究设计与样本
- 回顾性多中心研究,最终纳入3030例患者,来自安徽和浙江两省多家中心。
- 安徽两家医院数据按8:2分为开发集1696例和测试集424例,浙江外部验证集909例。
- 以术后病理为诊断标准,输入术前薄层CT(层厚≤2 mm)影像特征及临床数据。
- 经单因素分析(p<0.05)后使用Boruta算法和递归特征消除结合5折交叉验证筛选特征,构建随机森林与XGBoost模型。
关键影像表现/征象
- 环状征定义为肿块边缘高密度信号,环状征α为边缘高密度信号占全部边缘比例,环状征β为边缘高密度信号条数。
- 卫星灶定义为主病灶3 cm半径内的小病灶,记录其最大长径、与主病灶距离(不跨叶)及数目。
诊断标准与关键数值
- 测试集Obuchowski指数随机森林0.7193(95% CI: 0.6567-0.7812),XGBoost 0.8282(95% CI: 0.7883-0.8650)。
- 外部验证集Obuchowski指数随机森林0.7932(95% CI: 0.7572-0.8250),XGBoost 0.8074(95% CI: 0.7740-0.8387)。
- 测试集准确度随机森林0.80、XGBoost0.81,外部验证集随机森林0.78、XGBoost0.79。
- 测试集Delong检验比较两模型AUC,P=0.0029、Z=-2.975;外部验证集P=0.7560、Z=-0.311。
- 开发集Obuchowski指数随机森林0.7599(95% CI: 0.7361-0.7838)、XGBoost0.8110(95% CI: 0.7897-0.8303)。
临床应用与阅片要点
- XGBoost模型已部署于网站在线使用,可为临床医生提供个体化预测及SHAP解释图。
- SHAP分析显示环状征对肉芽肿性炎症呈强负相关(SHAP值=-0.1),对非小细胞肺癌有轻微正贡献(SHAP值=0.0032)。
- 空气支气管征对良性肿瘤呈明显负影响(SHAP值=-0.057),对非小细胞肺癌呈中等正效应(SHAP值=0.036)。
局限性
- 原文未报告局限性。
全文中译12 节 · 点击展开
引言
非小细胞肺癌(NSCLC)是肺癌的常见亚型,占中国所有肺癌病例的80%,占全球所有肺部恶性肿瘤的85% [1–3]。近年来,由于肺部筛查的广泛开展使肺部肿瘤的早期发现成为可能,NSCLC的死亡率有所下降。然而,仍存在挑战;一些良性肺肿瘤和肉芽肿性炎症被误诊为NSCLC [4]。由于CT的特异性有限,这些患者接受了过度的治疗和检查,导致医疗资源的不必要浪费。因此,迫切需要开发一种高效、准确的肺部疾病预测模型。
机器学习(ML)技术使研究人员能够从历史实例中学习,并从大型、嘈杂或复杂的数据集中构建复杂的模式 [5]。ML方法现已被广泛应用于疾病检测和分类,提供了标准统计程序无法实现的见解和结论 [6, 7]。在本研究中,我们将多种特征输入随机森林(RF)和极端梯度提升(XGBoost)模型,以开发用于区分非小细胞肺癌、肺部肉芽肿性炎症和良性肺肿瘤的分类模型。尽管许多研究已经描述了这些疾病在CT图像中的特征,但关于边缘征和卫星结节方面肺部疾病特征的报道仍然有限,且很少有研究利用机器学习技术来识别这三种类型的肿瘤。我们的研究纳入了大量非小细胞肺癌、肺部肉芽肿性炎症和良性肺肿瘤患者的样本。我们旨在通过机器学习分析这些疾病并比较其诊断性能,以实现对这些疾病的有效区分和特征解释 [8]。
在标准肺部影像学特征中,边缘征是指肺肿块周围一圈高密度影像,可能反映肿瘤微环境的炎症反应或肿瘤浸润性生长的特征。卫星病灶是主病灶周围发现的小而散在的病灶,与肺炎的发生和局部播散相关 [9]。这两种影像学特征在区分良性、恶性和炎症性肺部病变方面,以及在评估肿瘤侵袭性和预测患者预后方面已显示出潜在价值 [10]。
本研究旨在通过结合边缘征和卫星病灶来创建肺肿块的预测模型。通过分析临床数据和影像学特征,我们旨在提高对恶性肺部病变、良性肺部病变和肺炎的诊断准确性。本研究将有助于改善这些肺部疾病的鉴别诊断。
材料与方法
患者
本研究是一项在安徽省和浙江省多个中心进行的回顾性分析,伦理批准文号如下:LWSL202300145(蚌埠医科大学第一附属医院)、83230471(安庆市立医院)、2022029-JY(同德医院)和2023439(台州市立医院)。值得注意的是,所有参与患者均豁免知情同意。
本研究回顾性纳入2015年1月至2023年10月期间经CT检出肺部结节或肿块并计划行手术切除的患者。所有患者术前均接受薄层CT检查(层厚≤2 mm)。术后最终病理诊断将病灶归类为非小细胞肺癌、良性肿瘤或肉芽肿性炎症。共有4738例患者符合纳入标准(图1)。排除标准为临床资料不完整的患者,或诊断为不典型腺瘤样增生、原位腺癌或微浸润性腺癌的患者。此外,术前CT检查超过1个月的患者、诊断为转移性肿瘤或小细胞肺癌的患者,以及CT图像质量差或罕见肿瘤类型的患者被排除在研究之外。最终共有3030例患者纳入分析。其中包括患者人口学特征、影像学成像数据、病理检查和生化检验的详细信息。
CT图像获取
胸部CT成像通过多种CT扫描仪进行,包括GE Optima CT680、GE Optima CT540、GE Bright Speed 16、SIEMENS SOMATOM Definition Flash CT和Philips Incisive CT。管电压设置为120 kV,管电流自动调节,范围为150–300 mA。层厚和间距均为5 mm。薄层重建通过标准重建算法进行,层厚和间距范围为0.5至1.25 mm。所有影像学评估仅基于平扫CT图像进行。对于接受增强CT扫描的患者,仅使用扫描的平扫部分进行特征评估,以确保队列之间的一致性和可推广性。
图像分析
从患者病历中获取临床数据,包括性别、年龄、吸烟状况、手术状况、基础疾病、肿瘤标志物和肺部疾病。两名认证放射科医师(分别具有5年和15年经验)通过统一标准评估胸部CT图像。分析CT数据的以下变量:病灶形状(规则或不规则)、位置、mGGO、边缘(有无毛刺)、含气腔隙、空气支气管征、胸膜牵拉征、钙化、胸腔积液、晕征、切迹征、反晕征、长径(LD)、短径(SD)、最大CT衰减值(CTmax)、最小CT衰减值(CTmin)、平均CT衰减值(CTmean)和CT衰减值标准差(CTsd)[11–13]。还记录以下影像学特征:边缘征定义为肿块边缘的高密度信号。边缘征α定义为肿块边缘高密度信号占全部边缘的比例。边缘征β定义为肿块边缘高密度信号的数目。卫星病灶定义为原发病灶3 cm半径内的小病灶。我们还记录卫星病灶中最大测量直径、卫星病灶与主病灶之间的距离(不跨肺叶)以及卫星病灶数目(图2)。放射科医师在评估CT特征时不参考放射学报告。为评估诊断一致性,对连续或有序测量采用组内相关系数(ICC),ICC > 0.75定义为一致性良好。对分类变量采用Kappa(k),k > 0.8表示评定者间信度显著。两种统计方法确保对不同数据类型的诊断一致性进行全面评估。
统计分析
统计分析:采用SPSS 26进行单因素分析,采用Python(3.9.19)进行机器学习分类预测。模型构建:在3030例CT扫描中,安徽省三个中心按8:2比例分为开发集(1696例)和测试集(424例),浙江省一个中心提供910例作为Exvad集。以病理结果作为诊断标准。在模型中,肉芽肿性炎症编码为类别1,良性肿瘤编码为类别2,非小细胞肺癌编码为类别3。分类器1用于区分肉芽肿性炎症与非肉芽肿性炎症,分类器2用于区分良性肿瘤与非良性肿瘤,分类器3用于区分非小细胞肺癌与良性肿瘤及肉芽肿性炎症。进行单因素分析以评估特征,分类变量采用卡方检验,连续变量采用单因素方差分析。基于随机森林,使用Boruta算法筛选具有统计学意义的特征,执行20次以确保稳定性,并将递归特征消除(RFE)与5折交叉验证相结合以识别关键危险因素。所选特征作为输入变量,用于构建采用随机森林(RF)和极端梯度提升(XGBoost)机器学习算法的模型。这些模型的超参数通过贝叶斯优化进行优化。随后通过受试者工作特征(ROC)曲线、校准曲线和临床决策分析(DCA)评估模型性能[14–16]。使用Shapley加法解释(SHAP)和个体条件期望(ICE)图解释所选特征对病理结局预测的影响,提供每个特征在个体和全局层面上如何影响模型预测的可视化见解。随机森林和XGBoost的Python实现可在https://github.com/Xiaohuanghua66/Rimmed-sign-and-Satellite-lesion/tree/main获取。
结果
临床特征和CT表现
本研究共纳入3030例患者,其中男性1383例,女性1647例。队列分为三组:非小细胞肺癌(NSCLC)患者2269例、肉芽肿性炎症患者529例、良性肿瘤患者232例,平均年龄为59.6 ± 11.2岁。表1提供了研究参与者人口学特征的详细概况。来自两个独立中心的患者进入开发集和测试集的分布如下:安徽省蚌埠医学院第一附属医院纳入1029例患者,安徽省安庆市立医院纳入1092例患者。该分布包括1588例NSCLC患者、370例肉芽肿性炎症患者和162例良性肿瘤患者。此外,浙江省同德医院481例患者和台州市立医院429例患者被分配至外部验证集,包括681例NSCLC患者、159例肉芽肿性炎症患者和70例良性肿瘤患者。在分析的变量中,仅性别、肿瘤指标、钙化和反晕征四项在两省患者之间未显示出统计学显著差异,而所有其他特征均显示出显著差异(p < 0.05)(表S1)。
单因素分析
单因素分析显示,性别、吸烟状态、手术史、高血压(HBP)、糖尿病(DM)、多重肺部合并症(MLC)、肿瘤指标、mGGO、位置、形态、分叶征、毛刺征、空气腔、空气支气管征、胸膜牵拉征、钙化、晕征、切迹征、反晕征、SD、CTmax、CTmin、CTmean、CTsd、边缘征、边缘征α、边缘征β、卫星病灶、卫星病灶长轴、卫星病灶与主病灶之间的距离以及卫星病灶数量的p值均小于0.05。因此,这31个特征被纳入机器学习模型(表1)。
Boruta分析
通过Boruta算法,基于随机森林分析得出的重要性排序,19个特征被确定为危险因素。这些特征包括切迹征、反晕征、手术史、肿瘤指标、糖尿病(DM)、晕征、高血压(HBP)、多重肺部合并症(MLC)、吸烟状态、空气腔、病灶位置、性别、钙化、空气支气管征、卫星病灶、卫星病灶数量、卫星病灶与主病灶之间的距离、卫星病灶长轴以及边缘征(图3a)。为增强相关特征的选择,采用了递归特征消除(RFE)。RFE系统地剔除较不显著的特征以提高模型性能。该过程与5折交叉验证相结合,以确保对模型的稳健评估。准确率被选为评估模型性能的主要指标,研究结果表明纳入19个特征可获得最高准确率。该验证证实这些特征具有高度预测性,并对模型的分类能力有显著贡献(图3b)。随后,这些特征被纳入机器学习模型(随机森林和XGBoost)。
模型比较
在评估了五种机器学习算法(使用默认参数)在六种采样技术(随机欠采样、随机过采样、SMOTE、Borderline-SMOTE、SVMSMOTE和不采样)下的表现后,我们根据平均性能指标选择了随机森林和XGBoost进行最终比较(表S3–S5)。在开发集中,随机森林模型对类别0、1和2的AUC值分别为0.75、0.77和0.77(图4a),Obuchowski指数为0.7599(95% CI:0.7361–0.7838),准确率为0.79。对于XGBoost模型,类别0、1和2的AUC值分别为0.79、0.84和0.81(图4d),Obuchowski指数为0.8110(95% CI:0.7897–0.8303),准确率为0.81。在开发集中比较两个模型AUC的Delong检验显示p值为0.0019,Z分数为−3.104,表明模型性能差异具有统计学显著性(表2)。
在开发集中,对于精确率、召回率和F1分数,随机森林模型的宏平均精确率为0.68,召回率为0.50,F1分数为0.54,加权平均精确率为0.77,召回率为0.79,F1分数为0.75。相比之下,XGBoost模型的宏平均精确率为0.73,召回率为0.53,F1分数为0.57,加权平均精确率为0.80,召回率为0.81,F1分数为0.77(表3)。
在测试集中,随机森林模型对类别0、1和2的AUC值分别为0.69、0.75和0.72(图4b),Obuchowski指数为0.7193(95% CI:0.6567–0.7812),准确率为0.80。对于XGBoost模型,类别0、1和2的AUC值分别为0.76、0.92和0.81(图4e),Obuchowski指数为0.8283(95% CI:0.7883–0.8650),准确率为0.81。在测试集中比较两个模型AUC的Delong检验显示p值为0.0029,Z分数为−2.975,表明模型性能差异具有统计学显著性(表2)。
在测试集中,对于精确率、召回率和F1分数,随机森林模型的宏平均精确率为0.67,召回率为0.56,F1分数为0.59,加权平均精确率为0.77,召回率为0.80,F1分数为0.78。相比之下,XGBoost模型的宏平均精确率为0.76,召回率为0.55,F1分数为0.61,加权平均精确率为0.80,召回率为0.81,F1分数为0.78(表3)。
在Exvad集中,随机森林模型对类别0、1和2的AUC值分别为0.77、0.82和0.79(图4c),Obuchowski指数为0.7932(95% CI:0.7572–0.8250),准确率为0.78。对于XGBoost模型,类别0、1和2的AUC值分别为0.79、0.84和0.80(图4f),Obuchowski指数为0.8074(95% CI:0.7740–0.8387),准确率为0.79。在Exvad集中比较两个模型AUC的Delong检验显示p值为0.7560,Z分数为−0.311,表明模型性能差异无统计学显著性(表2)。
在Exvad集中,对于精确率、召回率和F1分数,随机森林模型的宏平均精确率为0.63,召回率为0.62,F1分数为0.62,加权平均精确率为0.77,召回率为0.78,F1分数为0.78。相比之下,XGBoost模型的宏平均精确率为0.64,召回率为0.61,F1分数为0.62,加权平均精确率为0.78,召回率为0.79,F1分数为0.78(表3)。
图4g、h显示了两个模型的校准曲线,而图4i–k显示了两个模型在三个数据集上的DCA获益(图4)。
模型解释
在随机森林模型中,由SHAP值确定的重要性最高的五个特征为边缘征、高血压、位置、空气支气管征和含气腔隙(图5a)。相反,在XGBoost模型中,重要性最高的五个特征为边缘征、空气支气管征、位置、性别和含气腔隙(图5b)。
构建个体条件期望(ICE)图以说明关键特征对模型预测的影响。呈现了三张不同的图,分别对应三种分类结局之一——肉芽肿性炎症(图S2)、良性肿瘤(图S3)和非小细胞肺癌(NSCLC)(图S4)。这些图阐明了各个特征在不同特征值水平下影响模型预测的方式,从而突出了每个类别预测的变异性。
SHAP热图显示,边缘征与肉芽肿性炎症呈强负相关(SHAP值 = −0.1),但对NSCLC有轻微正贡献(SHAP值 = 0.0032)。空气支气管征对良性肿瘤有显著负向影响(SHAP值 = −0.057),对NSCLC有中度正向效应(SHAP值 = 0.036)。切迹征和反晕征等特征在所有类别中显示接近零的SHAP值,表明对模型预测的贡献极小(图S5)。此外,在线预测网站提供个体患者的SHAP图,可有效辅助放射科医生预测每位患者的病变类型(图6)。
讨论
据我们所知,这是一项回顾性、多中心研究,旨在探索和建立机器学习模型以对肺部病变进行分类和鉴别。我们通过单因素分析确定了预测性危险因素,并开发了两种预测模型。
许多研究集中于肺部病变的二分类预测。然而,临床情况常呈现多分类的可能性,传统的二分类模型可能难以准确解决临床问题[17, 18]。由于机器学习技术能够处理复杂且大量的数据,其可以通过从大型数据集中学习来构建精确的预测模型。将机器学习与临床和影像数据相结合可以推动临床预测模型的发展。既往研究表明,随机森林和XGBoost模型在多分类任务中均表现良好[19–22]。因此,本研究选择这两种经典模型进行预测分析、模型比较和解释。利用ROC曲线、Obuchowski指数和校准曲线,我们的分析表明XGBoost模型在检测性能上优于随机森林模型。此外,XGBoost表现出更稳健的拟合,决策曲线分析(DCA)显示XGBoost相比随机森林具有更大的获益。
由于缺乏关于预测模型特征选择的指南或共识,纳入特征的数量仍不明确。尽管已开发出大量可量化特征,如影像组学特征,其中包括许多非因果特征,但它们可能降低模型的预测效能。因此,我们使用Boruta算法筛选重要特征,减少数据冗余,并使用RFE对结果进行验证。特征选择后,XGBoost模型在开发集和测试集上均取得了高效且稳定的性能,Obuchowski指数分别为0.76和0.80,准确率分别为0.79和0.77,表明其具有优良的多分类性能。
与传统分类模型相比,本研究通过详细描述边缘征和卫星病灶扩展了特征集。在最终的模型解释中,发现某些与边缘征和卫星病灶相关的特征在模型预测中发挥了重要作用。
机器学习常被描述为“黑箱”,很少有研究解释预测模型是如何推导出来的。这导致了临床应用的困难,这也是本研究的另一优势。我们利用SHAP方法解释机器学习模型的“黑箱”[23]。SHAP方法提供了描述模型整体功能的全局解释。研究揭示,尽管两种模型之间基于SHAP的特征重要性存在差异,但在特征排序和分布上存在显著相似性。这些发现表明不同模型对肺部疾病的分类方式相似,为临床评估提供了有价值的见解。应重视两种模型中均重要的特征,如边缘征、空气支气管征、位置、含气腔隙和肿瘤指征[24, 25]。
我们承认本研究存在若干局限性。首先,未利用影像组学模型来拓宽我们的研究范围。此外,我们的研究集中于三级医院,模型在基层和二级医疗环境中的效能尚未得到探索和验证。虽然我们的模型在三级医院环境中表现出稳健的性能,但其泛化能力可能受到研究队列中人口学同质性和选择偏倚的影响。例如,农村人口、少数民族和早期疾病病例的代表性不足。未来研究应优先开展跨多样地理和社会经济背景的多中心验证,并结合数据协调和公平感知机器学习等偏倚缓解策略。这些努力将确保人工智能工具在真实世界医疗系统中的公平部署。此外,我们未对肉芽肿性炎症进行具体分类。鉴于肉芽肿性炎症的病因可以是细菌性、真菌性或病毒性,有必要进一步研究不同病因所致病变。未来工作应整合影像组学、深度学习架构和跨多样人群的多中心验证,同时结合偏倚缓解以确保人工智能的公平部署。
我们的研究可概括为两个要点。首先,我们开发了一个三类肺部疾病预测模型,并确定了疾病预测的关键风险因素。其次,边缘征和卫星病灶等精细化指标在肺部疾病的鉴别诊断中具有重要价值。
补充信息
电子补充材料
引用
- Cao Z, Xu G, Gao Y, et al. Development, deployment, and feature interpretability of a three-class prediction model for pulmonary diseases. Insights Imaging. 2025. PMID: 40571839. doi:10.1186/s13244-025-02020-7
- 全文:PMC12202249(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12202249/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。