深度学习模型利用胸部X线识别结核与非结核分枝杆菌肺病:横断面研究
该研究基于两家医院1500张胸部X线片(结核、NTM-LD、临床疑似但培养阴性各500例),开发DenseNet121集成深度学习模型区分三类病变,内部测试集AUC分别为0.83、0.86、0.77,外部测试集为0.76、0.64、0.74;模型三分类准确率66.5%显著高于高年资(50.8%)和低年资(47.5%)呼吸科医师,可作为一线筛查辅助工具。
要点
- 模型在内部测试集对NTM-LD识别AUC 0.86,显著优于呼吸科医师(准确率65.0% vs 32.7%)。
- 外部测试集NTM-LD性能下降(AUC 0.64),提示跨中心泛化性受人群和影像模式差异影响。
- 模型在结核检测中可将NTM-LD误判为结核的比例降至14-16%,低于仅用结核/模仿者训练模型的31-36%。
核心结论
- DNN模型在区分结核、NTM-LD和培养阴性疑似患者方面表现满意,三分类准确率显著高于呼吸科医师。
- 模型在不同分枝杆菌患病率场景下AUC保持稳定,可作为一线筛查工具减少不必要的进一步检查。
- 训练集中纳入NTM-LD患者可显著降低将NTM-LD误判为结核的比率。
研究设计与样本
- 横断面研究,来自两家医院,共纳入1500张胸部X线片(内外部队列各含结核、NTM-LD、模仿者500例)。
- 内部队列900张随机分为训练集(每组220例)、验证集(每组40例)和测试集(每组40例),外部队列600张(每组200例)仅用于测试。
- 采用DenseNet121骨干网络,分别在MIMIC-CXR(248285张)和CheXpert(189892张)上预训练,再在本院数据集微调,最终集成两个模型输出。
- 参考标准为分支杆菌培养确诊结核、符合现行NTM-LD指南的临床/影像/微生物学标准诊断NTM-LD、至少连续3次痰培养阴性定义为模仿者。
- 读者研究纳入12名呼吸科医师(6名高年资>10年经验、6名低年资<10年经验)对内部测试集120张X线片独立三分类诊断。
关键影像表现/征象
- 结核患者胸片更常见胸腔积液,NTM-LD患者更常见支气管扩张。
- Grad-cam热图显示模型可正确定位病灶:结核表现为左上肺及下肺斑片状边界不清实变伴空洞,NTM-LD表现为双肺支气管扩张伴结节浸润(结节性支气管扩张),模仿者表现为双肺支气管扩张。
- 混淆矩阵显示呼吸科医师对真实NTM-LD病例近乎随机分配(36.4%判为模仿者、30.3%判为结核、33.3%判为NTM-LD)。
- 12名医师间ICC为0.244(95%CI 0.188-0.312),DNN模型ICC为0.799(95%CI 0.754-0.841)。
诊断标准与关键数值
- 内部测试集一 vs 其他AUC:结核0.83±0.005、NTM-LD 0.86±0.006、模仿者0.77±0.007。
- 外部测试集一 vs 其他AUC:结核0.76±0.006、NTM-LD 0.64±0.017、模仿者0.74±0.005。
- 三分类准确率:DNN 66.5±2.5%,高年资医师50.8±3.0%(p<0.001),低年资医师47.5±2.8%(p<0.001)。
- 分组准确率:结核74.0% vs 医师55.6%(p<0.001),NTM-LD 65.0% vs 32.7%(p<0.001),模仿者59.2% vs 60.6%(p=0.816)。
- 筛查场景(低/中/高结核负担)TB test:AUC 0.77-0.77、敏感度0.62-0.66、特异度0.77-0.78,可减少77%/76%/72%进一步检查,漏诊2%/2%/6%确诊结核。
临床应用与阅片要点
- 模型可作为分枝杆菌肺病疑似患者的一线筛查工具,辅助减少不必要的培养或核酸检测。
- 阅片时注意结核的胸腔积液和NTM-LD的支气管扩张(结节性支气管扩张)模式,模型热图可提示病灶位置。
- 跨中心应用时需警惕NTM-LD性能下降,建议使用少量外部数据微调模型。
- 训练模型时即使仅针对结核,也应纳入NTM-LD患者以降低将NTM误判为结核的风险。
局限性
- 未纳入健康对照组。
- 未纳入结核与NTM-LD共感染患者。
- 外部测试集NTM-LD患者较内部更年轻(p=0.001)、更可能涂片阴性(p=0.023)、更多结节或肿块(p=0.001)、更多实变(p=0.003)及胸腔积液(p=0.027),导致模型性能下降。
- 回顾性研究设计,样本来自两家医院。
全文中译18 节 · 点击展开
背景
由分枝杆菌(包括结核分枝杆菌和非结核分枝杆菌(NTM))引起的肺部疾病可对人类健康造成重大影响[1]。结核病(TB)仍是全球最重要的传染病之一,导致显著的死亡率和发病率[2]。然而,在许多国家发现了一个矛盾的趋势,即结核病患者减少而NTM肺病(NTM-LD)患者增加[3]。同时,若干报告发现NTM-LD患病率远高于预期,甚至超过肺结核[4–6]。
及时鉴别结核病与NTM肺病至关重要,因为这两种疾病的治疗方案不同,且有必要对肺结核患者进行隔离和接触者调查[4, 7, 8]。然而,即使进行了胸部计算机断层扫描(CT),由于临床表现和影像学表现存在相当大的重叠,区分肺结核与NTM-LD仍然具有挑战性[9]。尽管如此,现有诊断工具仍存在一些不理想的弱点。例如,分枝杆菌培养的周转时间可能长达数周[1]。虽然包括基于卡盒的核酸扩增检测或线性探针分析在内的分子技术耗时较短,但它们更昂贵,且可能难以处理少菌标本[10]。因此,需要一种高效且低成本的工具来区分肺结核与NTM-LD。
近年来,人工智能的快速发展在胸部X线(CXR)检测肺结核方面展现了有前景的结果[11, 12]。然而,这些报告仅展示了机器在结核病与相对健康患者之间分类的效用。因此,既往结果可能与临床医生的经验存在偏差,临床医生需要在结核病、NTM-LD以及因分枝杆菌监测阴性而被后续排除的分枝杆菌肺病疑似患者之间做出困难诊断。
因此,在本研究中,我们旨在提供证据以弥补这一差距。我们招募了结核病、NTM-LD和其他疑似分枝杆菌肺病患者,并开发深度神经网络(DNN)模型以区分他们。我们还仔细评估了模型在不同分枝杆菌患病率环境中的性能,并评估了训练队列中未纳入NTM-LD的应用局限性。
方法
研究设计与数据收集
本研究在两所医院开展。为探究DNN模型在疑似分枝杆菌肺病患者中的性能,我们纳入了肺结核、NTM-LD或至少连续三次痰分枝杆菌培养阴性的疑似分枝杆菌肺病患者(分枝杆菌肺病模拟者,即模拟者组)。肺结核基于呼吸道标本的分枝杆菌培养确诊。NTM-LD的诊断依据当前NTM-LD指南[13],对符合临床、影像学和微生物学标准的患者作出诊断。
CXR数据集
本研究使用的胸部X线片(CXRs)以数字胶片形式存储用于临床,来源于2008年9月至2019年12月期间就诊于这两家医院(内部队列和外部队列)的患者。图1显示了数据集创建的流程图。所选CXR与分枝杆菌研究呼吸道标本采集日期之间的间隔限制在小于一个月。排除前后位视图或可见医疗设备的CXR。两名经验丰富的呼吸科医师在盲法条件下分别评估每张CXR的特征,包括根据标准方案[14]的图案(实变、空洞、胸腔积液或其他)和范围(多灶性或局灶性)。在存在分歧的情况下,通过共识达成最终决定。
为确保模型能够从每种诊断中公平学习,我们分别从内部队列和外部队列中随机且等量地为每个结核(TB)/非结核分枝杆菌肺病(NTM-LD)/模仿者组收集300张CXR和200张CXR。内部队列中共900张CXR被随机分配至三个数据集之一:训练集(每组TB/NTM-LD/模仿者n = 220)、内部验证集(每组TB/NTM-LD/模仿者n = 40)和内部测试集(每组TB/NTM-LD/模仿者n = 40)。在外部队列中,600张CXR(每组TB/NTM-LD/模仿者n = 200)在测试训练好的模型(外部测试)之前保持未使用。随后每张图像在输入DNN模型之前被调整为320×320像素。
我们还纳入了来自两个公共数据库的CXR用于模型预训练。最终,纳入了来自MIMIC-CXR [15]数据库的248,285张CXR图像和来自CheXpert [16]数据库的189,892张CXR图像。同样,来自MIMIC和CheXpert的图像包含14种常见影像学观察的标签,这些标签并未明确包括TB、NTM-LD或模仿者。
DNN模型的开发
为了开发深度神经网络(DNN)模型,我们使用了Python中的Tensorflow和Keras模块,并选择内置的DenseNet121 [17]结构作为我们DNN的主干。所有计算过程均在Google Cloud平台上完成。图2A总结了我们最终DNN的架构。首先,来自MIMIC(MMC)和CheXpert(CXP)的胸部X线片(CXR)分别用于预训练DenseNet主干。所得的DenseNet分别称为pre-model-MMC和pre-model-CXP。然后,我们冻结了两个预模型的编码器,并将其决策层替换为由两个512神经元层组成的多层感知机。随后,这两个预模型在我们的内部数据集上进行训练,以识别结核病(TB)、非结核分枝杆菌肺病(NTM-LD)和模仿者(Imitator)。它们分别最终确定为model-MMC和model-CXP。关于此迁移学习过程的详细讨论可见附加文件1:附录A。在预测阶段,我们将这两个模型作为组件,并应用集成学习来建立我们最终的DNN模型。即,为产生最终预测,两个模型的输出预测根据模型在训练集上的表现进行加权平均。关于预训练的更多细节可见附加文件1:附录A。图2B详细说明了数据(CXR)流程。训练后,内部验证集用于评估训练结果是否令人满意,然后选择表现最佳的模型(见附加文件1:附录B)。内部测试集中的120张CXR同时用于测试我们的模型和参与的医生。
模型性能和阅读者研究
内部DNN性能使用内部测试集中的120张CXR进行评估,而外部测试集中的600张CXR用于评估模型的外部泛化能力(图2B)。我们使用一对其他类型的受试者工作特征曲线下面积(AUC)来评估模型性能。
与此同时,我们进行了一项阅读者研究,以比较我们的DNN模型与呼吸科医生在从相似的分枝杆菌疾病中做出困难影像学诊断时的性能。我们从9家医院招募了12名获得委员会认证的呼吸科医生,包括6名具有超过10年分枝杆菌肺病患者管理经验的资深医生和6名具有少于10年经验的初级医生。这些医生对临床信息设盲,被要求独立评估内部测试集中相同的120张CXR,并根据CXR表现做出TB、NTM-LD或Imitator的诊断。
模型作为筛查工具在不同分枝杆菌患病率下的评估
为评估模型在真实世界中辅助分枝杆菌筛查的潜力,我们模拟了三种不同疾病患病率的场景:低结核负担(3.3%结核,16.7%非结核分枝杆菌肺病(NTM-LD),80%模仿者)、中等结核负担(5%结核,5%NTM-LD,90%模仿者)和高结核负担(12.5%结核,4.2%NTM-LD,83.3%模仿者)。对于每个场景,我们遵循标准Bootstrap方案[18],根据给定疾病患病率从内部测试集中有放回地采样120例患者,并重复整个过程100次。深度神经网络(DNN)模型需完成两项任务。“结核检测”要求模型从NTM-LD和模仿者中判定患者是否为结核患者。“分枝杆菌检测”要求模型将包括结核和NTM-LD在内的分枝杆菌肺病与模仿者区分开来。我们计算曲线下面积(AUC)、灵敏度、特异度、阳性预测值、阴性预测值以体现DNN作为筛查工具的能力。此外,“减少进一步检查”计算该筛查工具使患者免于申请进一步检查(包括分枝杆菌培养或结核分枝杆菌复合群核酸检测(TB-PCR))的百分比。“需筛查人数”代表在DNN选出的“阳性”组中检出一例确诊病例所需的分枝杆菌培养次数。最后,“误分类”表示模型错误预测的例数。
模型开发中包含与不包含NTM-LD的DNN模型评估
本研究的一个显著特征是我们纳入NTM-LD患者用于开发模型。为说明其重要性,我们开发了一个额外的对照模型(DNN类似模型),训练集中仅使用结核和模仿者患者,这是既往研究中训练结核DNN模型常用的患者配置[19]。然后,我们使用该DNN类似模型重复“结核检测”和“分枝杆菌检测”,并在上述低、中、高结核负担三种临床场景下将其性能与我们的DNN进行比较。
统计分析
所有变量根据情况以例数(百分比)或均值±标准差表示。连续变量的组间差异采用单因素方差分析(ANOVA)。分类变量采用卡方检验。为评估DNN性能并与招募医生的数量相匹配,我们使用不同的初始随机种子重复整个模型训练过程12次并计算标准差。在人机比较中,我们使用诊断准确率和混淆矩阵来呈现我们的DNN和呼吸科医生的性能。所有p值均为双侧,统计显著性设定为p < 0.05。
模型可视化
为更好地理解我们的模型如何区分这三个易混淆组,我们使用Grad-cam[20]对模型的注意力进行了可视化。我们展示了结核组、NTM-LD组和模仿者组中所得热图的代表性病例。
结果
入组患者的临床特征
内部训练集、内部测试集和外部测试集中入组患者的临床特征列于表1。内部验证集患者的特征描述见附加文件1:附录D。在结核(TB)、非结核分枝杆菌肺病(NTM-LD)和模仿者患者的比较中,TB患者在所有数据集中均占男性比例更高。关于胸部X线(CXR)表现,TB患者胸腔积液发生率更高。相比之下,NTM-LD患者更易出现支气管扩张。
深度神经网络(DNN)的性能
总结DNN对分枝杆菌肺病分类性能的受试者工作特征(ROC)曲线见图3A和B。我们的模型在各疾病组上获得了相似的AUC。在内部测试集上,TB的AUC为0.83 ± 0.005,NTM-LD为0.86 ± 0.006,模仿者为0.77 ± 0.007。在外部测试集上测试时,我们的模型获得TB的AUC为0.76 ± 0.006,NTM-LD为0.64 ± 0.017,模仿者为0.74 ± 0.005。
阅片者研究结果
每个单独组的个体诊断准确率记录于表2。DNN模型在3分类中达到了更高的平均准确率66.5 ± 2.5%,相比之下人类专家为49.2 ± 3.4%(p < 0.001)。6名高级医师的平均准确率为50.8 ± 3.0%(与DNN相比,p < 0.001),6名初级医师的平均准确率为47.5 ± 2.8%(与DNN相比,p < 0.001)。观察三个单独组时,DNN在TB预测上通常比医师多18%的准确病例(74.0% vs. 55.6%,p < 0.001),在NTM-LD检测上的准确率是医师的两倍(65.0% vs. 32.7%,p < 0.001)。相比之下,在模仿者预测上,医师与我们的DNN之间未检测到显著差异(59.2% vs. 60.6%,p = 0.816)。
此外,深度神经网络(DNN)(图3C)和呼吸科医师(图3D)在内部测试集上的预测结果与真实诊断之间的关系以两个混淆矩阵呈现。值得一提的是,人类专家倾向于将真实NTM-LD病例平均分配到三个可能组别之一(36.4% [0.12/0.33]为模仿者,30.3% [0.10/0.33]为结核,33.3% [0.11/0.33]为NTM-LD)。最后,为实现同一病例预测的个体差异评估,我们进一步检查了医师和DNN的评分者间相关系数(ICC)(附加文件1:附录E)。在内部测试集上,12名医师的ICC评分为0.244(95%置信区间[CI]:0.188–0.312),我们的DNN为0.799(95% CI:0.754–0.841)。
类激活热力图
图4分别展示了结核、NTM-LD和模仿者的三张激活热力图。在这三个代表性病例中,DNN模型正确勾画了病灶并将胸部X线片分别分类为结核、NTM-LD和模仿者。
DNN在不同分枝杆菌患病率下作为筛查工具
在“结核检测”的不同结核患病率中,我们的模型在AUC(0.77–0.77)、灵敏度(0.62–0.66)和特异度(0.77–0.78)方面表现稳定(表3)。使用DNN作为结核检测的筛查工具,在低、中、高结核患病率中分别可节省77%、76%和72%的进一步检测,总损失分别为2%、2%和6%的确诊结核病例。
另一方面,在“分枝杆菌检测”中,我们的模型在不同结核患病率设置下也具有稳定的AUC(0.74–0.77)、灵敏度(0.76–0.79)和特异度(0.59–0.61)。使用DNN作为分枝杆菌检测的筛查工具,在低、中、高结核患病率中分别可节省53%、56%和54%的进一步检测,总损失分别为8%、4%和7%的确诊分枝杆菌肺病病例。
我们的DNN模型与类似DNN模型的性能
表3总结了我们的DNN与类似DNN模型在“结核和分枝杆菌检测”中的筛查性能。与类似DNN模型相比,我们的模型在“结核检测”中AUC(0.77–0.77 vs. 0.76–0.77)和灵敏度(0.62–0.66 vs. 0.64–0.66)方面表现相似,但特异度较低(0.77–0.76 vs. 0.82–0.84)。虽然我们的模型减少的需要进一步检测的患者较少(72–77% vs. 使用类似DNN模型的78–81%),但它显著避免了将NTM-LD患者错误预测为结核(误分类率:14–16% vs. 31–36%)。
另一方面,在“分枝杆菌检测”中,与DNN模型类似物相比,我们的模型具有相似的AUC(0.74–0.77 vs. 0.67–0.73)、更好的灵敏度(0.76–0.79 vs. 0.38–0.55),但特异度更差(0.59–0.61 vs. 0.85–0.85)。细分后,我们的模型在将TB错误预测为Imitator(26–26% vs. 33–38%)以及将NTM错误预测为Imitator(18–21% vs. 67–70%)方面始终具有更低的误分类率。
讨论
我们的研究表明,深度学习算法能够通过胸部X线(CXR)区分TB和NTM-LD患者,并显著优于经验丰富的呼吸科医师。此外,我们证明,即使在分枝杆菌患病率不同的环境中,我们的模型也能够提供一致的性能,并且对临床怀疑分枝杆菌肺病的患者具有显著更低的误分类率。这些观察结果为基于DNN的模型未来在临床实践和公共卫生中可能发挥的分枝杆菌疾病管理作用提供了更坚实的基础。
过去,大量关注集中在肺结核上,这导致对NTM-LD的认识不足[21]。许多NTM-LD患者在培养结果可用之前接受了结核病的经验性治疗[22]。然而,NTM通常对许多一线和二线抗结核药物耐药[23]。对NTM-LD的不适当治疗可能使患者发生耐药感染的风险增加,而耐药感染可能带来不良结局[24]。此外,错误的推定诊断通常会导致不必要的空气隔离和住院时间延长,并造成医疗资源浪费[25]。
我们的研究为满足这些临床需求提供了一种新解决方案。该模型优于参与研究的医师,并且在不同情况下均表现稳健,尽管人们普遍认为没有任何影像学特征能够可靠地区分NTM-LD与肺结核[26]。此外,我们通过可视化热图解码了DNN内部的决策依据,这可以帮助未来的医师用户发现未检测到的病灶或否定DNN作出的不可能决策。在性能方面,我们的模型在识别TB和NTM-LD方面分别获得了0.83和0.86的AUC,这与使用胸部CT图像并实现区分NTM-LD与TB的AUC的最先进研究相当[21]。然而,鉴于CXR具有更好的可及性、更低的成本和更快的图像处理时间,我们认为我们使用CXR的方法可作为一线筛查工具为临床医生提供更好的辅助。
然而,仍应特别关注DNN模型的泛化性,尤其是当患者人群和特征在地理上存在差异时。例如,在我们的研究中,DNN模型性能从内部队列到外部队列的下降可能源于队列之间患者年龄、分枝杆菌载量和影像学模式的差异,尤其是在NTM-LD组中(与内部测试集中的NTM-LD相比,外部测试集中的NTM-LD更年轻(p = 0.001)、更可能为抗酸涂片阴性(p = 0.023)、具有结节或肿块(p = 0.001)、具有实变(p = 0.003)并具有胸腔积液(p = 0.027))。在实际应用中,针对模型在外部队列中性能下降的一种可能解决方案是使用外部队列中的少量图像对模型进行微调(见附加文件1:附录C)。
本研究还强调在开发模型时应纳入非结核分枝杆菌(NTM)患者。与“深度神经网络(DNN)模型类似物”相比,我们的模型在“结核分析”中将NTM患者误分类为结核的比率更低。这一发现凸显了基于DNN的模型作为筛查工具的潜力,可减少NTM-LD患者中不必要的空气隔离和不恰当治疗。此外,我们的模型对高度模仿者的误分类更具抵抗力,而DNN模型类似物在“分枝杆菌检测”中未能提供令人满意的灵敏度。因此,即使模型仅用于从其他常见肺部疾病中识别结核患者,我们建议开发者仍应考虑将NTM-LD患者纳入训练集,因为其在现实世界中的存在不可忽视。
本研究的另一个主要优势是将模仿者组纳入作为对照。此前的多项研究已显示应用深度学习模型辅助结核筛查的潜力。大多数研究使用相对健康的患者作为对照组与结核患者进行筛查比较[11, 12]。然而,在真实临床实践中,医生需要将结核和NTM-LD与多种模仿性疾病相鉴别,如继发细菌感染的结构性肺病、空洞性肺癌或慢性肺炎[27–29]。因此,我们决定纳入模仿者组,为医生和我们的DNN设置一个更具挑战性但临床常见的测试环境。
我们的研究也存在局限性。首先,我们未纳入健康对照组。然而,我们也将此视为本研究的一个主要区别,因为此前研究已证明DNN区分健康和结核参与者的胸部X线片(CXR)并不困难。其次,结核和NTM-LD合并感染的患者未被纳入本研究。尽管如此,NTM-结核合并感染的发生率在现实世界中相对较低[30]。第三,阅片者研究基于呼吸科医生而非经验丰富的放射科医生。此外,我们在阅片者研究前未向呼吸科医生提供额外的培训病例,因为这些医生在日常临床实践中一直在诊断和治疗疑似分枝杆菌肺病患者。因此,呼吸科医生的准确率指标可能被误导性地低估。最后,阅片者研究仅在内部测试集的120张CXR上进行。我们不能排除呼吸科医生在外部测试集上可能达到更好甚至超越DNN分类准确率的可能性,尤其是考虑到DNN模型在外部测试集上性能的下降。
结论
总之,我们证明我们的DNN模型在分类疑似分枝杆菌疾病方面比经验丰富的医生更准确,并能显著减少进一步确认检测的需求。这些结果表明,基于DNN的模型有可能成为优秀的一线筛查工具,以辅助医生并减轻他们诊断和鉴别分枝杆菌肺病的负担。
补充信息
附加文件1. 补充材料。
引用
- Liu, Tsai, Kuo, et al. A deep learning model using chest X-ray for identifying TB and NTM-LD patients: a cross-sectional study. Insights Imaging. 2023. PMID: 37060419. doi:10.1186/s13244-023-01395-9
- 全文:PMC10105818(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10105818/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。