MI-DenseCFNet:基于深度学习的多模态诊断模型用于金黄色葡萄球菌肺炎与曲霉菌肺炎的鉴别
本研究构建并验证了融合临床特征的多输入DenseNet模型MI-DenseCFNet,用于鉴别金黄色葡萄球菌肺炎(SAP)与曲霉菌肺炎(ASP)。内部验证集AUC为0.92,外部验证集AUC为0.83,诊断准确率分别为88.1%和84.3%,均高于低年资放射科医师的40%;随机森林模型筛选出11个重要临床特征。
要点
- MI-DenseCFNet融合CT图像与临床特征,内部验证集AUC 0.92、外部验证集AUC 0.83,可用于SAP与ASP鉴别。
- 模型对SAP诊断准确率高于ASP:影像组SAP 89.9% vs ASP 61.1%,联合组SAP 90.3% vs ASP 84.7%,外部验证组SAP 93% vs ASP 74.8%。
- 模型诊断20例数据仅需10.24秒,准确率78%,高于低年资医师的40%、中年资医师的60%和高年资医师的75%。
核心结论
- MI-DenseCFNet多模态诊断模型能有效诊断SAP和ASP,其诊断性能显著超过低年资放射科医师;随机森林二分类诊断模型筛选出11个重要临床特征,为临床医生提供参考。
研究设计与样本
- 回顾性研究,纳入昆明四家大型三级医院临床确诊的60例SAP和60例ASP患者,共120例,使用GE 64排CT机行胸部高分辨率CT肺窗扫描,以深部痰培养、血培养、支气管肺泡灌洗液培养、组织病理学和宏基因组测序鉴定病原体作为SAP和ASP病原学的「金标准」。
关键影像表现/征象
- 原文提到某些特定影像特征(如空气新月征、气囊和晕征)可区分SAP与ASP,但也有一些相似影像特征(如空洞、渗出、实变和结节)经验不足的医师无法很精确地区分。
- Grad-CAM热图显示模型能较好地提取影像特征,热图颜色深浅表示关注强度,深红色表示最强关注,深蓝色表示较弱关注。
- 模型对ASP诊断准确率降低,原文认为与纳入的ASP图像多为孤立结节、病灶层面数少、深度学习神经网络提取图像特征的数据量较少有关。
诊断标准与关键数值
- 影像组模型DenseNet-201:AUC 0.76,准确率78.4%,精确率78.8%,敏感度75.5%,特异度75.5%,F1分数0.771,Kappa值0.53(一致性中等)。
- 联合组模型MI-DenseCFNet(临床+影像):AUC 0.92,准确率88.1%,精确率87.6%,敏感度87.5%,特异度85.3%,F1分数0.875,Kappa值0.75(一致性优秀)。
- 外部验证集:AUC 0.83,诊断准确率84.3%,精确率85.4%,敏感度83.9%,特异度83.9%,F1分数0.846,Kappa值0.68(一致性中等)。
- 随机森林分类诊断模型:训练集AUC 0.812(95%CI 0.726–0.899),验证集AUC 0.95(95%CI 0.852–1)。
- Kappa值判定标准:<0.40为低一致性,0.40–0.75为中等一致性,>0.75为优秀一致性。
临床应用与阅片要点
- 原文指出MI-DenseCFNet可为没有高级放射科医师的基层医院提供诊断辅助,使疑似金黄色葡萄球菌肺炎或曲霉菌肺炎患者获得更快的诊断,并减少抗生素滥用。
- 原文指出该模型可增强基层放射科医师的诊断能力。
- 原文指出联合临床特征后模型诊断准确率较影像组提高(88.1% vs 78.4%)。
- 原文认为模型对ASP诊断准确率较低与纳入ASP图像多为孤立结节、病灶层面数少有关。
- 原文建议未来研究可扩大ASP胸部CT的纳入以提高ASP诊断准确率(作者建议)。
局限性
- 原文指出由于收集ASP影像数据存在困难,一些归因于结核和支气管扩张的腐生型ASP病例被排除。
- 原文指出由于ASP影像特征更具特异性,未来研究可扩大ASP胸部CT的纳入以提高ASP诊断准确率。
- 原文指出模型对ASP的诊断准确率降低,与纳入的ASP图像多为孤立结节、病灶层面数少、深度学习神经网络提取图像特征的数据量较少有关。
全文中译21 节 · 点击展开
引言
根据2019年全球疾病负担研究,下呼吸道感染(包括肺炎和细支气管炎)导致超过249万人死亡[1, 2]。识别肺炎病原体具有挑战性且耗时,但通过计算机断层扫描(CT)获得的影像结果可以为特定病原微生物对应的肺部病理变化提供一定程度的特征描述。这使得能够更好地量化和测量病灶大小及肺部受累程度或严重程度,与实验室分子诊断相比可能实现更快的诊断[3]。然而,影像组织学的解读涉及视觉感知和不确定的判断决策,不可避免地导致对图像结果的人为误读[4]。
人工智能使得能够自动审查和同时分析CT图像的大量定量特征及其相关程度[5]。相反,人工智能下的深度学习神经网络可以自动从图像数据中学习特征,无需人工预定义[6, 7]。然而,将临床特征与影像辅助诊断模型相结合的研究较少,结合这些模型可以实现更准确的诊断。
某些特定的影像特征(如空气新月征、气囊和晕征)可区分金黄色葡萄球菌肺炎(SAP)和曲霉菌肺炎(ASP)所致的肺炎,但也存在类似的影像特征(如空洞、渗出、实变和结节),经验不足的医师无法以很高的精确度加以区分[8, 9]。鉴于这两种病原体引起的肺部感染具有不同的治疗方案和预后,延迟识别病原体可能因仅依靠经验性用药而导致不良结局[10, 11]。将影像辅助诊断模型与临床特征相结合以实现对SAP和ASP的早期预测,可以显著帮助做出临床治疗决策。
因此,本研究旨在开发并验证使用深度学习神经网络的MI-DenseCFNet多模态诊断模型。此外,本研究旨在使用随机森林二分类诊断模型识别与SAP和ASP显著相关的临床特征,该模型将标准机器学习(ML)与患者的临床数据相结合,为临床医师提供参考以辅助做出治疗决策。
患者与方法
患者队列与数据收集
本研究按照相关指南和规定开展。根据中国立法和系统要求,昆明医科大学第一附属医院伦理审查委员会批准了这项回顾性研究,并豁免了书面知情同意。从中国昆明四家大型三级医院共选取了231例临床确诊的SAP和215例ASP。由两名主任放射科医师和一名专攻呼吸道感染的首席医师根据纳入和排除标准排除不符合条件的患者后,最终入选60例SAP患者和60例ASP患者。从图像归档和通信系统中导出所有患者胸部的高分辨率CT肺窗图像31,259幅,并从各医院电子病历数据库中收集相应患者的临床信息(图1)。
纳入标准包括以下内容:(1)患者诊断标准符合美国胸科学会相关指南[12];(2)通过深部痰培养、血培养、支气管肺泡灌洗液培养、组织病理学和大基因组测序鉴定病原体,以上鉴定作为SAP和ASP病原学的“金标准”。
排除标准:(1)心力衰竭患者;(2)有肺部手术史的患者;(3)胸部CT表现为弥漫性间质性肺病变的个体;(4)患有结缔组织病或累及肺部的系统性疾病的个体;(5)患有肺部恶性肿瘤、活动性结核或肺栓塞的患者;(6)胸部CT图像不清晰或伪影明显、不能满足诊断和分析要求的病例;(7)临床信息不完整的病例。
图像数据
CT图像的采集
所有患者均使用GE 64排CT机扫描,参数设置为100–130 kV管电压、自动管电流调制、192 × 0.6 mm或128 × 0.625 mm探测器准直、1至2.5 mm层厚。所有患者均使用以下CT扫描仪之一进行检查:Brilliance iCT、GE Discovery CT 750 HD、Somatom Definition、Somatom Emotion和IQon Spectral。所有图像均采用高核(b60)和512 × 512矩阵进行重建,图像数据以Dicom格式导出。
CT图像的预处理
Mimics Research 19.0软件将采集的图像数据从Dicom格式转换为BMP格式文件,去除无图像特征的切片后共导出13,964幅图像。为满足训练主干网络的要求,通过水平翻转、随机缩放和随机平移等操作进行数据增强。此外,每幅图像的数据均归一化至0和1。该操作是将图像的像素值标准化到0至1的范围,其中0代表黑色,1代表白色。这是训练神经网络中常见的预处理步骤,可稳定训练过程、加快收敛速度并降低模型对图像特定属性的依赖。
MI-DenseCFNet多模态诊断模型的构建
MI-DenseCFNet多模态诊断模型是一种基于深度学习神经网络的融合模型,由两个模块组成:深度学习影像组学分类诊断模型和深度神经网络(DNN)临床特征提取模型。图2展示了该模型的示意图。
深度学习影像组学分类诊断模型的构建
为扩展训练数据、增强模型泛化能力并防止过拟合,采用了迁移学习微调[13]。从中国国家生物信息中心(CNCB)网站获取了对应2719例患者的共计135,609张单通道灰度CT图像,并剔除无效切片用于模型的迁移训练。该方法使DenseNet-201深度学习模型能够预先掌握胸部CT图像的基本特征(CNCB网站:https://www.cncb.ac.cn)。
随后,将数据扩展学习后的分类模型DenseNet-201权重加载至DenseNet-201模型中,用于SAP和ASP胸部CT成像任务。训练集数据用于开发模型,而验证集数据用于模型的独立测试,并将内部验证集数据与放射科医师的诊断性能进行比较(补充材料1)。然后,根据深度学习算法产生的分类诊断结果计算准确率、精确率、灵敏度、特异度和F1分数。使用Python(版本:3.8.12,http://www.Python.org)中的matplotlib包绘制受试者工作特征曲线(ROC)。为评估诊断性能的一致性,使用scikit-learn包计算Kappa值,Kappa值< 0.40、0.40–0.75和> 0.75分别表示低度、中度和高度一致性。为绘制模型热图,采用了梯度加权类激活映射。使用梯度加权类激活映射(Grad-CAM)[14]进行热图可视化,以进一步验证该方法的有效性。Grad-CAM结合全局平均池化和梯度信号加权来生成热图,突出显示图像中对最终预测结果有显著影响的区域。它通过计算最终卷积层的梯度来确定该层中哪些特征图对特定类别的分类很重要。通过将这些梯度与特征图相乘并求和,随后进行ReLU激活和全局平均池化,Grad-CAM生成热图,显示图像中与预测结果相关的区域。
深度神经网络临床特征提取模型
为进一步提高模型的诊断准确性,我们采用深度神经网络(DNN)提取临床特征。所使用的临床数据包括来自医院记录的结构化数据(如患者年龄、性别、病史以及影像报告中的文字描述),这些数据均以数字形式输入DNN,并与原始图像数据相结合,为DNN提供更全面的信息。
由于本研究采用的临床数据分为临床症状、实验室结果和影像学特征(共49个特征,包括人口学特征),因此采用三个3层DNN分别对这三类数据进行特征提取(图2)。
MI-DenseCFNet模型的数学逻辑
由骨架网络提取的CT图像特征向量Vbone ∈ R1×C(C表示特征向量的维度)与由三个结构相同的深度神经网络提取的临床特征向量(图像特征向量Vimg ∈ R1×128、临床症状特征向量Vclic ∈ R1×128和实验室检查指标特征向量Vlab ∈ R1×128)沿维度轴拼接形成向量V ∈ R1×(C+128×3)。然后将V输入由2048、1024和2个神经元组成的全连接网络,以学习这些同源异构数据。最后通过Softmax激活函数输出二分类概率向量(图2)。
本研究选择Softmax而非Sigmoid作为二分类的激活函数,因为在二分类问题中Sigmoid与Softmax在理论上是等价的,其函数表达式如下:其中x1和x2为输入,选择x1作为本次输入的正例,由公式(1-2)可知,(x1-x2)可替换为z1,即Softmax(x1)可写为:
由公式(1-1)和(1-3)可知,当Softmax函数仅有两个输入时,它实际上就是Sigmoid函数,在二分类中完全等价。因此,我们在该二分类问题中使用Softmax作为概率输出的激活函数。
强调与说明
DenseNet-201是一种用于学习标准化CT图像的神经网络模型。它主要学习图像上一些人眼可能无法识别的纹理特征。在DNN临床特征提取模型中,放射科医师首先阅读纳入患者的CT图像并诊断相应的临床影像特征(这是一份结论性报告),然后将这些结构化数据以数字形式输入DNN。相似之处:两个模型均在相同的患者集合上训练,且图像与临床数据相对应。
差异:DenseNet-201的输入数据为标准化CT图像,而DNN的输入数据为结构化临床数据。
机器学习分类与诊断系统的构建
随机森林二分类诊断模型的构建使用配备R语言(版本4.2.2)的RStudio(版本2022.12.0-353)软件完成。
随机森林二分类模型
采用Caret和random Forest软件包构建疾病分类与诊断模型。首先,使用caret软件包中的create Data Partition函数,将内部数据集的临床特征按8:2的比例随机分为训练集和验证集。采用递归特征消除法对纳入的49个特征(包括人口学特征、临床症状、实验室检查结果和影像学特征)进行初步筛选。随后,采用随机森林算法进一步筛选出显著的分类特征,参数设置如下:mtry = 3,ntree = 500。基于变量重要性评分指标平均准确度下降量和平均基尼系数下降量选择得分最高的变量。通过确定其交集得出最重要的分类特征。为绘制随机森林ROC曲线,加载pROC软件包,并基于ROC曲线对模型的诊断分类性能进行定量评估。
统计学方法
使用SPSS 26.0分析SAP与ASP临床特征之间的差异。p值 < 0.05被认为差异具有统计学意义。
结果
研究人群特征
本研究共纳入120例患者,包括60例SAP患者和60例ASP患者。其中,男性70例,女性50例;有吸烟史51例,无吸烟史69例。参与者年龄范围为7~82岁,中位年龄为50岁。研究确定年龄 > 60岁组27例,年龄 ≤ 60岁组93例。采用独立样本t检验得出结论,SAP与ASP患者在性别、年龄和吸烟史方面差异无统计学意义,p值 > 0.05(表1)。
MI-DenseCFNet多模态诊断模型的内部验证
一般来说,神经网络的训练是一个不断优化结果的过程;也就是说,随着训练轮数的增加,训练指标会越来越好,并不断接近理想状态。因此,神经网络的训练结果并不是一个值得关注的过程,真正值得关注的是未参与训练的验证集结果。
仅影像组模型[DenseNet-201]的曲线下面积(AUC)为0.76,准确度为78.4%,精确度为78.8%,敏感度为75.5%,特异度为75.5%,F1分数为0.771,Kappa值为0.53(图3,补充材料2)。该模型的分类诊断效能一致性为中等。在加入DNN模型提取临床特征后,整合组(临床+影像)模型[MI-DenseCFNet]的AUC为0.92,准确度为88.1%,精确度为87.6%,敏感度为87.5%,特异度为85.3%,F1分数为0.875,Kappa值为0.75(图3,补充材料2)。该模型的分类诊断效能一致性为优秀。图4展示了该模型的热图。
性能验证
放射科医师与模型性能的比较
DenseNet-201模型诊断耗时10.24 s,准确率为78%。低年资医师诊断耗时1178.56 s,准确率为40%。同样,中年资医师诊断耗时626.37 s,准确率为60%。高年资医师诊断耗时463.28 s,准确率为75%(补充材料3)。
外部验证
为进行验证,将外部验证集的胸部CT图像和临床信息导入MI-DenseCFNet诊断模型。外部验证集的AUC为0.83,诊断准确率为84.3%,精确率为85.4%,敏感度为83.9%,特异度为83.9%,F1分数为0.846,Kappa值为0.68(图5和补充材料2)。此外,外部验证集显示出中等程度的一致性和诊断效率。
模型对SAP和ASP的分类
对SAP和ASP诊断准确率的分析表明,在仅影像组中,SAP的准确率为89.9%,ASP的准确率为61.1%(图6A)。在联合组中,相应的准确率分别为SAP 90.3%和ASP 84.7%(图6B)。此外,在外部验证组中,SAP和ASP的诊断准确率分别为93%和74.8%(图6C)。
基于机器学习的随机森林分类诊断模型
基于变量重要性评分指标,最终筛选出20个变量(补充材料4)。取交集后,筛选出11个重要分类特征(表2)。利用这11个重要分类特征,在训练集中建立了随机森林分类诊断模型。因此,该模型在训练集中的AUC为0.812(95% CI,0.726–0.899),而在验证集中的AUC为0.95(95% CI,0.852–1)(补充材料5)。
讨论
人工智能是一门涵盖多个领域的具有挑战性的科学,正越来越多地应用于医学研究、诊断和治疗,尤其是在医学影像应用研究中[15–17]。值得注意的是,图像数据集已被广泛用于开发深度学习诊断模型,以在视觉影像诊断中区分各种疾病[13, 18–20]。在世界许多地区,医疗资源有限,导致患有肺部感染的危重患者可能因缺乏及时治疗而死亡。目前用于肺炎病原体检测的方法存在若干局限性,包括敏感度和准确率低、等待时间长、人力成本高以及使用非特异性药物(如广谱抗生素),这可能会加重病情并增加住院费用[21–23]。
本研究开发并验证了MI-DenseCFNet多模态诊断模型。该模型基于深度学习神经网络,作为一种辅助诊断模型,结合影像组学与临床特征,有效区分SAP与ASP。首先,评估了模型的综合分组诊断性能,显示AUC为0.92,F1分数为0.875,Kappa值为0.75。模型的分类诊断效能一致性极好。与Chen等[24]开发的深度诊断代理森林模型相比,该模型在次要病原体鉴定中的联合AUC为0.851 ± 0.003,而本模型在单独ASP诊断分析中的准确率为0.081 ± 0.005,SAP为0.781 ± 0.005。值得注意的是,我们的模型表现出更高的诊断准确性。从另一个角度也可以证明,获得更好的诊断准确性与我们的模型中纳入临床特征相关。此外,根据热图显示的注意力强度颜色深浅表明,该模型更擅长提取影像特征。
在外部验证集中,该模型表现出的诊断性能特征为AUC为0.83、F1分数为0.846、Kappa值为0.68,表明分类与诊断效率一致性处于中等水平。在外部验证集中获得的显著ROC曲线下面积表明,该模型能够识别先前未纳入模型的新胸部CT图像和临床特征。此外,较高的F1分数表明该模型具有良好的分类能力且无过拟合。然而,对SAP和ASP的模型诊断准确性分别进行分析显示,仅影像组为89.9% vs. 61.1%,联合组为90.3% vs. 84.7%,外部验证集为93% vs. 74.8%。这些发现表明该模型在诊断ASP时准确性降低。这一观察结果与纳入的ASP图像特征相关,因为大多数ASP图像为孤立结节且病灶层面数量少,导致深度学习神经网络在提取图像特征时数据量较少。这种差异也可在混淆矩阵中看到。尽管如此,随着临床特征的纳入,联合组与仅影像组相比,模型的诊断准确性表现出提升(88.1% vs. 78.4%)。既往研究[25]表明,其基于机器学习的联合柱状图在验证集中对肺部侵袭性真菌感染表现出良好的判别能力(AUC = 0.844),优于临床模型(AUC = 0.696)和影像组学模型(AUC = 0.767)。我们模型的整体性能优于该研究的结果,主要归因于深度学习卷积神经网络相较于机器学习[26]在提取图像特征方面能力的增强。对于侵袭性肺曲霉病(IPA),一项研究开发了IPA-NET诊断模型,在外部验证集中实现了89.7%的准确率和0.95的AUC,从而验证了该模型在诊断IPA方面卓越的准确性[27]。然而,IPA的影像学特征在某种程度上与非真菌性肺炎相关特征存在显著差异[28]。在本研究中,由于收集ASP影像数据存在挑战,一些归因于结核和支气管扩张的腐生性ASP病例被排除。此外,由于ASP具有更为独特的影像学特征,未来研究可扩大ASP胸部CT的纳入范围,以提高ASP的诊断准确性。
我们研究的优势不仅归因于将患者的临床信息纳入我们的模型,还归因于在我们的机器学习(ML)模型中识别出与金黄色葡萄球菌肺炎(SAP)和曲霉菌肺炎(ASP)相关的重要临床特征。这些识别出的特征可以单独提供给临床医生在日常临床实践中使用,作为判断患者是否感染金黄色葡萄球菌或曲霉菌的标准,从而为临床目的提供经验性决策依据。此外,在后续研究中,我们还可以通过随机森林分类诊断模型筛选出一些能够优化深度神经网络(DNN)提取的临床特征,从而进一步提高MI-DenseCFNet多模态诊断模型的准确性。然而,我们发现随机森林分类诊断模型中验证集的AUC(95%)远高于训练集的AUC(81.2%)。我们认为,训练集的AUC是在模型训练时计算的,而验证集的AUC是在收敛后的训练集模型上计算的,因此验证集的AUC高于训练集的AUC [29]。此外,由于引入的数据量不够大,训练集和验证集数据按8:2的比例分组,数据分布不均在一定程度上加剧了这一问题。我们可以增加数据量并调整训练集的比例来改善结果。此外,与既往研究相比 [24],我们对SAP和ASP研究分别进行的分析增强了我们的模型在这两类肺炎诊断准确性方面的可信度。与放射科医生的诊断性能相比,在仅影像组模型中,20例内部验证集数据仅需10.24秒即可得出诊断,诊断准确性显著高于具有2–3年经验的初级放射科医生(78% vs. 40%)。值得注意的是,模型得出诊断的速度取决于计算机硬件性能,随着技术的不断进步,速度还可以更快。
我们的研究存在一些局限性。主要重点是获取始终高质量的胸部CT图像;然而,在采用排除标准进行严格筛选后,入组的总样本量证明不够充足。因此,模型在训练过程中在完整提取与SAP和ASP相关的图像特征向量方面遇到了挑战。尽管如此,随后我们可以通过扩大样本量或手动勾画感兴趣区来让模型集中学习病灶,从而进一步增强模型的诊断准确性。
结论
MI-DenseCFNet多模态诊断模型能够有效诊断SAP和ASP,其诊断性能显著超过初级放射科医生,从而加速病原性疾病的诊断过程。在构建的随机森林二分类诊断模型中筛选出11个重要临床特征,为临床医生提供了参考。
补充信息
ESM 1(PDF 1091 kb)
引用
- Liu T, Zhang ZH, Zhou QH, et al. MI-DenseCFNet: deep learning-based multimodal diagnosis models for Aureus and Aspergillus pneumonia. Eur Radiol. 2024. PMID: 38231392. doi:10.1007/s00330-023-10578-3
- 全文:PMC11254966(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11254966/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。