CXR-LLaVA:用于解读胸部X线图像的多模态大语言模型
本研究开发了开源多模态大语言模型CXR-LLaVA,训练集含592,580张公开胸部X线图像(374,881张有异常标签,217,699张有自由文本报告)。内部测试集六种主要病变平均F1为0.81,外部测试集为0.56,均超过GPT-4-vision和Gemini-Pro-Vision;放射科医师评估外部测试集自主报告成功率为72.7%,低于真实报告的84.0%。
要点
- CXR-LLaVA在内部测试集六种主要病变平均F1为0.81,外部测试集为0.56。
- 模型对气胸和实变的检测能力较弱,且可能遗漏中心静脉导管等支持装置。
- 放射科医师评估外部测试集自主报告成功率为72.7%,真实报告为84.0%。
核心结论
- 多模态大语言模型在胸部X线解读方面具有显著潜力,但模型性能存在局限,作者认为开源模型将促进进一步研究以扩展其有效性和适用性。
研究设计与样本
- 回顾性研究,仅使用公开数据集,无需机构审查委员会批准,训练集共592,580张正位胸部X线图像(数据集1含374,881张异常标签图像,数据集2含217,699张自由文本报告图像)。
- 模型基于LLaVA网络框架,采用ViT-L/16视觉编码器和LLaMA-2(70亿参数)语言模型,先以数据集1预训练图像编码器,再以数据集2进行特征对齐和指令微调。
- 内部测试集为随机选取的MIMIC数据集3000张图像及报告,以及CheXpert测试集518张图像(14种发现二分类标签);外部测试集为印第安纳大学数据集3689对图像与报告。
- 采用CheXpert-Labeler从自由文本报告生成病理标签进行比较,使用非参数自助法(1000次迭代)估计置信区间,人类放射科医师评估采用Cochran Q检验。
诊断标准与关键数值
- MIMIC内部测试集六种病理标签(心脏增大、实变、水肿、胸腔积液、肺炎、气胸)平均F1为0.81,敏感度0.80,特异度0.89,中心脏增大、水肿和胸腔积液F1超过0.8,气胸检测较弱。
- CheXpert内部测试集五种病理发现(肺不张、心脏增大、实变、水肿、胸腔积液)平均F1为0.57,敏感度0.90,特异度0.67,低于CheXzero的0.61和人类放射科医师的0.62。
- 印第安纳外部测试集六种病理发现平均F1为0.56,敏感度0.63,特异度0.93,心脏增大、水肿和肺炎检测能力优秀,气胸检测显著较弱。
- 人类放射科医师评估外部测试集:模型报告「无需任何修改即可接受」率为51.3%,真实报告为54.0%;自主报告成功率(无需修改或仅需小修)模型为72.7%,真实报告为84.0%,差异有统计学意义。
临床应用与阅片要点
- 模型可检测心脏增大、水肿、胸腔积液、肺炎等主要病变并生成自由文本报告,但可能遗漏中心静脉导管等支持装置及少量气胸、小结节等细微病变。
- 模型训练时有意省略了对喂养管、气管插管等支持装置的描述,生成的报告不包含此类信息。
- 模型处理512×512像素、8位灰度(256级)图像,分辨率低于放射科医师专用显示器。
局限性
- 评估方法存在固有局限:CheXpert-Labeler仅评估病理标签的明确存在与否,不考虑病变位置或数量,可能无法完全反映生成报告的真实准确性。
- 模型在识别气胸和实变等某些病理病变方面表现较差,诊断性能低于人类放射科医师,部分原因可能是模型处理512×512像素图像的分辨率限制以及8位灰度(256级)与放射科医师显示器10或12位灰度的差异。
- 模型有意省略对喂养管和气管插管等支持装置的描述,因这些装置命名多样且常包含管尖位置的特定数值细节,语言模型难以准确处理数值信息导致幻觉,故从训练数据集中移除。
- 对比模型为通用目的模型,未针对胸部X线解读进行微调,因此本微调模型表现更优并不意外。
全文中译15 节 · 点击展开
引言
深度学习的进展,以卷积神经网络(CNN)和视觉Transformer(ViT)的出现为标志,已对放射学产生了深远影响[1–3]。众多深度学习算法已进入实际商业应用。然而,尽管CNN和ViT擅长特定任务,如分类和分割,但这种专一性可能限制其应对放射学等多方面挑战的能力。与此同时,自然语言处理领域取得了重大突破,使大型语言模型(LLM),如ChatGPT,能够以卓越的熟练度和前所未有的性能水平理解和生成类人文本,涵盖从文本生成到翻译等语言任务[4]。自然语言处理与图像处理技术的融合催生了在该领域树立新标杆的模型,如对比语言-图像预训练(CLIP)[5]以及引导语言-图像预训练(BLIP-2)模型,后者于2023年推出,能够解读图像中的上下文并生成详细描述[6]。
大多数LLM主要聚焦于文本处理。然而,涉及图像、文本甚至视频数据处理的多模态方法正日益成为一种趋势。OpenAI和Google已分别发布了通用多模态模型(GPT-4-vision和Gemini-Pro-Vision)。此外,大型语言与视觉助手(LLaVA)是一个将视觉编码与LLM结合的开源项目,已在多种视觉任务中展现出卓越性能[7]。然而,这些通用模型在解读胸部X线片(CXR)方面的有效性仍不清楚。在医学领域,具体的多模态模型较少。Google已发表了ELIXR的研究结果,该模型能够解读CXR,但该模型未公开可用[8]。类似地,针对医学领域调优的开源模型LLaVA-MED已发布。然而,关于其解读CXR能力的详细见解仍然有限[9]。
过去三十年间,放射科医师的工作量显著增加,可能影响放射学诊断的准确性[10]。对此,大量研究探索了使用深度学习模型来提高诊断准确性并减轻放射科医师的负担[11]。在此研究方向上,本研究采用最新技术——多模态LLM,尝试为CXR生成放射学报告。本研究旨在开发一种专为CXR解读设计的多模态LLM,同时探索其自主生成CXR报告的潜力。
本工作的初步版本已作为预印本在arXiv上公开[12]。
材料与方法
本回顾性研究仅使用公开可用的数据集,无需机构审查委员会批准。
数据收集
在模型训练方面,我们纳入了多个公开的胸部X线(CXR)数据集,共收集592,580张正位胸片(表1)[13–20]。重症监护医学信息库(MIMIC)数据集以自由文本形式提供放射学报告(数据集2,n = 217,699),而其他训练数据集则对放射学异常进行多类别或二分类标注(数据集1,n = 374,881)。部分数据集包含病变位置信息,但未利用该信息。
将多模态大语言模型适配于胸部X线(CXR-LLaVA)
开发了一个受LLaVA网络影响的模型[7]。LLaVA由大语言模型和图像编码器组成,将图像转换为图像token序列,然后与查询文本token结合,在大语言模型内进行文本生成。我们的主要目标是使用胸片-放射学报告配对数据对LLaVA进行微调。
为实现最佳性能,我们从零开始开发了自定义图像编码器,而非使用预训练权重。我们根据经验采用视觉Transformer的“ViT-L/16”版本作为图像编码器。该编码器以卷积层开始,将1通道灰度胸片处理为1024维图像块。这些图像块经过一系列24个残差注意力模块,每个模块包含多头注意力机制和多层感知机。这些模块的输出通过归一化层进行归一化,最终投影到适合多模态处理的更高维空间。在视觉编码器之后,多模态投影器将1024维图像token线性变换到4096维空间。这些token随后被整合到语言模型组件中。与LLaVA框架一致,我们使用大型语言模型Meta AI(LLAMA)-2作为语言模型[21]。出于成本考虑,我们选择了70亿参数版本。
最终的CXR-LLaVA以胸片图像和问题提示为输入;图像通过图像编码器转换为图像token,提示通过分词器转换为文本token。两者随后被输入因果语言模型,该模型自回归地为问题生成文本回答。训练后的模型已作为开源资源提供(https://github.com/ECOFRI/CXR_LLaVA),其演示可在https://radiologist.app/cxr-llava/查看。此外,同一网站提供了详细的模型说明卡,列明模型的预期使用场景、超范围使用及局限性,以确保透明度并促进进一步研究。
训练步骤1:构建和训练胸片专用图像编码器
尽管预训练图像编码器具备理解常见视觉对象的能力,但它们在准确描述放射学表现方面往往存在不足。在本节中,我们提出一种基于ViT-L/16的图像编码器,以及一种两步训练策略,使其学习胸片图像特有的放射学语境。
第一步,使用一个简单的分类任务来训练图像编码器(图1a)。图像编码器将CXR图像转换为表征,然后通过添加一个简单的全连接层作为分类器来对异常进行分类。该分类任务使模型能够学习关于异常的基本而关键的能力。我们使用来自数据集1的374,881个图像-标签对来训练和验证我们的图像编码器。我们分配了二分类标签:当图像具有与病理相关的标签时,将其标记为“异常”,而标记为“无发现”的图像则被指定为“正常”。详细的实现和设置见补充材料。
第二步,基于CLIP策略进一步训练图像编码器,以学习放射学术语的复杂表征(图1b)[5]。使用CLIP策略,图像编码器通过将对应的图像和文本对映射得更近、将非对应的对映射得更远,来学习图像与文本之间的共享表征。例如,一张显示“胸腔积液”征象的图像,其对应的文本标签向量“胸腔积液”会被映射到与其图像向量相近的位置。这确保了模型能够准确地将CXR中胸腔积液的视觉特征与正确的文本描述相关联,从而增强其在新颖、未见过的图像中正确识别和描述胸腔积液的能力。我们选择了数据集中提供的病理标签,如“肺不张”、“肺炎”、“胸腔积液”等。对于具有多个病理标签的图像,我们使用逗号将它们连接起来。来自数据集1和2的592,580个图像-文本对用于训练和验证过程。对训练后的图像编码器的性能进行了评估,并与最终模型进行了比较;详细过程和性能评估见补充材料。
训练步骤2:特征对齐与CXR-LLaVA的端到端微调
在微调 CXR-LLaVA 模型之前,如步骤 1 所述,来自图像编码器的特征与语言模型(即 LLaMa-2)通过额外训练进行对齐,其中图像编码器和语言模型的权重被冻结,仅更新投影矩阵。对齐后的图像表示通过使用数据集 2 中带有精炼放射学报告的 CXR 图像更新投影矩阵来计算(图 1c)。
在对齐图像特征后,CXR-LLaVA 经历了指令微调过程,这对于完善模型的解释能力至关重要(图 1d)。该过程涉及使用精炼的放射学报告和由 GPT-4 生成的多轮问答对话,所有这些均基于数据集 2(补充材料)。
内部和外部测试集组成
对于内部模型测试,我们使用了随机选择的 MIMIC 数据集,包含 3000 张图像及附带的自由文本放射学报告 [19]。这些数据未在模型的训练和验证阶段使用。此外,我们使用了 CheXpert 测试数据集,该数据集包含 518 张图像,每张图像对 14 项发现进行二分类标注:肺不张、心脏增大、实变、水肿、心纵隔增大、骨折、肺病变、肺 opacity、无发现、胸腔积液、其他胸膜病变、肺炎、气胸和支撑装置 [14]。对于外部模型测试,我们使用了来自印第安纳大学的数据集,包含 3689 对图像和自由文本放射学报告 [20]。
与其他多模态 LLM 的比较
为了评估我们模型的性能,我们将其结果与其他公开可用的多模态 LLM 进行了比较,包括 OpenAI 的 GPT-4-vision 和 Google 的 Gemini-Pro-Vision。尽管这些通用模型处于预览状态且未针对 CXR 报告生成进行微调,但它们已显示出一些潜力。例如,GPT-4-vision 已证明在检测 CXR 异常方面具有有限的能力,并具备解决美国医师执照考试测试的能力 [22, 23]。然而,LLaVA-MED 是一个针对医学图像分析进行微调的模型,未能从 CXR 生成准确的放射学报告,对不同的 CXR 产生几乎相同的报告,因此被排除在我们的研究之外。其他模型,如 ELIXR 和 Med-PALM,声称能够解释 CXR,但未公开可用,因此未纳入本分析 [8, 24](补充材料)。
内部测试集评估
为了评估在 MIMIC 内部测试集中放射学报告生成的性能,我们利用 CheXpert-Labeler 生成病理标签 [14]。该工具分析自由文本放射学报告,并为每个病理发现(肺不张、心脏增大、实变、水肿、心纵隔增大、骨折、肺病变、肺 opacity、无发现、胸腔积液、其他胸膜病变、肺炎、气胸和支撑装置)生成阳性、阴性或不确定等标签。我们将模型生成报告中的这些标签与原始真实报告中的标签进行了比较(图 2a)。
对于不包含真实放射学报告作为金标准的CheXpert测试集,我们指示模型为相同的14项发现生成二分类标签。随后将这些标签与金标准进行比较。该数据集与先前一项研究使用的数据集相同,在该研究中CheXzero模型展现出专家级的病理检测能力[25]。因此,我们将本模型的性能与CheXzero以及同一文献中记录的三位委员会认证放射科医师的平均诊断性能进行了比较(图2b)。
外部测试集评估与人类放射科医师评估
为评估模型在Indiana外部测试集上的性能,我们采用了与MIMIC内部测试集相同的方法,即将模型报告生成的标签与金标准进行比较(图2a)。
为评估模型在无人类放射科医师干预下进行自主或半自主报告的能力,我们开展了一项涉及三位人类放射科医师的评估。从Indiana外部测试集中随机选取25张异常图像和25张正常图像。共使用50张图像创建了100个报告-图像对,每张图像分别与一份模型生成的报告和一份金标准报告配对。以随机顺序向放射科医师呈现这100个报告-图像对进行评估。他们采用4分制对每份报告的可接受性进行评分:(1)完全可接受,无需任何修改;(2)可接受,需小幅修改;(3)可接受,需大幅修改;(4)不可接受(补充材料)。
统计分析
采用准确率、灵敏度、特异度和F1分数评估模型生成放射学报告的性能。CheXpert-Labeler标注为“不确定”或标签未提及(缺失要素)的病例被排除在分析之外。我们仅纳入明确的阳性或阴性标签。此外,由于带有“其他胸膜病变”和“骨折”等标签的图像数量稀少,这些标签被排除在分析之外。剔除特定标签的具体标准及被排除标签的详细信息见附表。为估计准确率、灵敏度、特异度和F1分数的置信区间,我们使用了1000次迭代的非参数自助法。对于人类放射科医师进行的评估,采用Cochran Q检验确定人类放射科医师评估与模型评估之间差异的统计学显著性。
结果
模型在内部测试集上的性能
表2展示了我们的模型在MIMIC内部测试集上的报告生成能力。该模型对心脏增大、实变、水肿、胸腔积液、肺炎和气胸六个病理标签的平均F1分数为0.81,敏感度为0.80,特异度为0.89。它在识别心脏增大、水肿和胸腔积液方面表现出色,F1分数超过0.8,而检测气胸的能力较弱。总体而言,该模型的平均F1分数高于GPT-4-vision或Gemini-Pro-Vision。
表3展示了模型在CheXpert内部测试集[25]上的病理检测性能。该模型对肺不张、心脏增大、实变、水肿和胸腔积液五项病理发现的平均F1分数为0.57,敏感度为0.90,特异度为0.67。虽然它在识别肺 opacity、肺不张和胸腔积液方面表现相对较好,但检测实变的有效性较低。0.57的平均F1分数略低于CheXzero的0.61,也略低于人类放射科医生报告的0.62的F1分数。CheXzero和人类放射科医生在诊断肺 opacity 和支持装置方面没有已确立的F1分数,但我们的模型在CXR中检测这些情况时表现出值得称赞的F1分数。
图3展示了一个CXR示例,突出了生成的放射学报告的格式。该报告有效指出了关键发现,如双侧胸腔积液,但偶尔会忽略具体细节,如中心静脉导管的存在。相比之下,图4显示,虽然模型适当地识别并描述了左侧胸腔积液,但未能描述左侧气胸和左侧胸腔引流导管。
模型在外部测试集上的性能
在外部测试集中,模型检测心脏增大、实变、水肿、胸腔积液、肺炎和气胸的平均F1分数为0.56,敏感度为0.63,特异度为0.93。它显示出检测心脏增大、水肿和肺炎的出色能力,但检测气胸的性能明显较弱(表4)。总体而言,该模型在这方面优于其他模型。对几个示例的回顾表明,模型准确识别并描述了相应的病变(图5和图6)。
在人类放射科医生对放射学报告可接受性的评估中,该模型达到了51.3%的“无需任何修改即可接受”率,这与真实报告54.0%的可接受率非常接近。为了评估模型在无人放射科医生干预下自主报告的能力,我们将成功的自主报告定义为报告被认为无需任何修改即可接受或仅需小幅修改即可接受。按照这一标准,模型达到了72.7%的成功率(表5)。虽然这低于真实报告84.0%的成功率,但发现模型与真实报告之间的自主报告率差异具有统计学显著性,表明模型在自主报告率方面略逊一筹。然而,模型仍保持了超过70%的可观成功率。
讨论
我们成功开发了一种多模态大语言模型,能够准确检测胸部X线片(CXR)中的主要病理发现并生成自由文本放射学报告。与其他公开可用的通用多模态大语言模型(如GPT-4-vision和Gemini-Pro-Vision)相比,我们的模型表现出相对较好的性能。我们还探索了多模态大语言模型在胸部放射摄影中自主或半自主报告的潜力。然而,我们的研究存在一些局限性。
首先,我们采用的评估方法存在固有局限性。虽然我们使用CheXpert-Labeler评估报告质量,但该工具仅评估病理标签的显性存在,不考虑病理病变的位置或数量。因此,该方法可能无法完全反映生成报告的真实准确性。其次,我们的模型在识别某些病理病变(如气胸和实变)方面表现不佳。值得注意的是,其诊断性能低于人类放射科医生,如CheXpert内部测试集所示。这可能部分归因于我们模型的分辨率限制,该模型处理512×512像素图像,分辨率低于放射科医生在专用显示器上使用的高分辨率图像。此外,我们的模型处理8位图像,灰阶为256级,而放射科医生显示器可显示高达10或12位灰阶图像,提供更精细的细节。这些因素可能导致模型在检测细微病变方面表现欠佳。第三,该模型有意省略了对CXR中支撑设备(如喂养管和气管插管)的描述。在使用GPT-4精炼原始报告以制备训练数据的过程中,我们删除了所有提及这些设备的内容。这一决定是由于描述这些设备所用的命名多样(如鼻胃管、Levin管、Dobhoff管、喂养管)以及频繁包含关于管尖位置的具体数值细节。由于语言模型在处理数值信息方面存在固有困难,纳入这些多样化的数值信息导致了幻觉。因此,我们将其从训练数据集中排除,生成的报告不包含关于这些支撑设备的信息。第四,我们用于比较的模型是通用模型,未针对CXR解读进行微调。因此,我们微调后的模型优于它们并不意外。尽管如此,值得注意的是,这些通用模型在诊断心脏增大和肺炎等疾病方面仍取得了高F1分数。若干未经同行评审的公开多模态LLM,如Xraygpt、UniXGen、LLM-CXR和CheXagent已发布用于CXR解读,但由于潜在的数据集重叠,我们未将其纳入比较,因为我们使用了公开数据集进行训练和测试[26–29]。第五,我们对模型自主报告潜力的评估基于仅50张CXR的有限数据集,不能反映真实临床环境。未来研究应涉及更大规模的研究,以确保多模态LLM在CXR解读中的安全性和有效性。最后,作为CXR-LLaVA不可或缺的组成部分,LLM存在幻觉和虚构的固有局限性。模型可以生成看似合理但可能不正确或无意义的文本。因此,CXR-LLaVA可能表现出幻觉,尚不清楚这些幻觉最可能在何种条件下发生或如何有效预防。因此,显然当前模型未经广泛验证不得用于临床目的。
总之,我们的研究表明多模态大语言模型能够生成准确识别主要病变的影像学报告。通过将我们的模型开源,我们旨在促进更强大、更准确的模型的发展。我们相信多模态大语言模型在辅助临床医生、减轻临床环境中放射科医生的工作负担以及最终改善患者预后方面具有相当大的潜力。
补充信息
电子补充材料
引用
- Lee S, Youn J, Kim H, et al. CXR-LLaVA: a multimodal large language model for interpreting chest X-ray images. Eur Radiol. 2025. PMID: 39812665. doi:10.1007/s00330-024-11339-6
- 全文:PMC12166004(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12166004/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。