大型语言模型根据儿科病例临床表现与影像表现生成鉴别诊断的准确性
该研究回顾性选取164例儿科放射学教科书病例,比较ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro在仅提供图像描述及联合临床表现时生成首位诊断和前三鉴别诊断的准确性。仅图像描述时三者首位诊断准确率无显著差异;加入临床表现后ChatGPT-4 V和Claude 3.5 Sonnet首位诊断准确率显著提高,Claude 3.5 Sonnet表现最佳。
要点
- 仅提供图像描述时,三种模型首位诊断准确率无显著差异,均未超过65%(Claude 3.5 Sonnet除外)。
- 加入临床表现后,ChatGPT-4 V和Claude 3.5 Sonnet首位诊断准确率显著提高,Claude 3.5 Sonnet提高幅度最大。
- 无论是否加入临床表现,三种模型前三鉴别诊断准确率均无显著差异。
核心结论
- 仅提供基于文本的图像描述时,三种商业大型语言模型在儿科放射学病例中的首位诊断准确率和前三鉴别诊断准确率表现相似。
- 加入临床表现后,ChatGPT-4 V和Claude 3.5 Sonnet的首位诊断准确率显著提高,Claude 3.5 Sonnet提高幅度最大。
- 同时提供图像描述和临床数据时,Claude 3.5 Sonnet的首位诊断准确率显著优于ChatGPT-4 V和Gemini 1.5 Pro。
- 在任何条件下,三种模型的前三鉴别诊断准确率均无显著差异。
研究设计与样本
- 研究类型为回顾性研究,从儿科放射学教科书《Top 3 Differentials in Pediatric Radiology: A Case Review》中回顾性选取164例病例。
- 病例涵盖头颈影像、胸部/心脏/气道影像、胃肠影像、泌尿生殖影像、肌肉骨骼影像及脑与脊柱影像等亚专科。
- 每例病例转换为两种输入格式:仅图像描述,以及图像描述联合临床表现。
- 以原始文献为金标准评估准确性,由一名受训医学生输入提示并评估回答,再由一名四年级放射科住院医师复核。
诊断标准与关键数值
- 首位诊断准确率定义为模型生成的首位诊断与原始文献匹配;前三鉴别诊断准确率定义为模型生成的前三鉴别诊断中与教科书前三鉴别诊断任一匹配的诊断数量,评分3表示全部匹配、2表示两项匹配、1表示一项匹配、0表示无匹配,评分不考虑诊断顺序。
- 仅图像描述时,ChatGPT-4 V首位诊断准确率56.1%(95%CI 48.4–63.5),Claude 3.5 Sonnet为64.6%(95%CI 57.1–71.5),Gemini 1.5 Pro为61.6%(95%CI 54.0–68.7),P=0.11。
- 图像描述联合临床表现时,ChatGPT-4 V首位诊断准确率64.0%(95%CI 56.4–71.0),P=0.02;Claude 3.5 Sonnet为80.5%(95%CI 73.8–85.8),P<0.001。
- 仅图像描述时前三鉴别诊断准确率:ChatGPT-4 V 1.29(95%CI 1.16–1.41),Claude 3.5 Sonnet 1.35(95%CI 1.23–1.48),Gemini 1.5 Pro 1.37(95%CI 1.25–1.49),P=0.60。
- 图像描述联合临床表现时前三鉴别诊断准确率:ChatGPT-4 V 1.33(95%CI 1.20–1.45),Claude 3.5 Sonnet 1.52(95%CI 1.41–1.64),Gemini 1.5 Pro 1.48(95%CI 1.36–1.59),P=0.72。
临床应用与阅片要点
- 作者指出,在儿科影像中使用大型语言模型时,将临床信息与图像描述结合至关重要。
- 作者认为,纳入全面临床背景可优化人工智能在儿科放射学中的诊断潜力。
- 作者指出,在更大规模整合该技术之前仍需进一步研究。
局限性
- 164例的样本量虽然可观,但可能不足以涵盖儿科放射学表现的全部谱系,可能限制研究结果的普遍性。
- 病例来自儿科放射学教科书系列,可能不能准确代表不同人群中的真实世界临床表现。
- 尽管教科书选取的病例具有独特影像特征,但所有大型语言模型均未达到足够的诊断准确性,且病例难度可能不一致。
- 这些算法的训练数据尚未完全公开,因此不清楚本研究使用的放射学教科书是否被纳入所用大型语言模型的训练数据中。
- 放射学诊断准确性不能仅通过解读文本描述来得出,因为影像是放射学中最重要的数据。
全文中译8 节 · 点击展开
引言
ChatGPT、Claude 和 Gemini 分别是 OpenAI(美国加利福尼亚州旧金山)、Anthropic(美国加利福尼亚州旧金山)和 Google(美国加利福尼亚州山景城)开发的大语言模型(LLM)[1]。这些 LLM 旨在根据用户输入生成自然语言回复,模拟用户与模型之间类似人类的对话。通过查询(也称为“提示”),用户可以指示模型执行广泛的任务。LLM 使用自监督学习在海量文本语料库上训练,利用基于 Transformer 的架构对跨越多样数据集的语言和上下文关系进行建模。这使它们能够在统一上下文中解读临床记录、影像报告和其他结构化临床数据。这些能力赋予 LLM 在医学应用中令人兴奋的潜力,例如促进研究、充当虚拟助手以及辅助临床和实验室诊断 [2, 3]。
在放射学领域,LLM 的进步使研究人员能够评估其在解读图像文本描述以及更近期实际图像数据方面的诊断准确性 [4, 5]。一项研究表明,LLM 在文本输入较长时表现更好,而放射科医师的准确性未受影响——这突出表明 LLM 的表现并不反映人类诊断行为 [6]。因此,考察 LLM 在儿科放射学中根据基于文本的图像描述和临床表现生成鉴别诊断方面诊断准确性的文献有限。在本研究中,我们旨在评估 ChatGPT-4 V、Claude 3.5 Sonnet 和 Gemini 1.5 Pro 在从以文本格式呈现、不附带图像的儿科放射学病例中准确识别鉴别诊断的能力。
方法
儿科病例选择
从儿科放射学教科书《儿科放射学三大鉴别诊断:病例回顾》(Top 3 Differentials in Pediatric Radiology: A Case Review)中回顾性选取 164 例病例,以提供符合 HIPAA、鉴别良好、多样化的病例,并附有专家审核的诊断和鉴别诊断 [7]。病例选自以下放射学亚专科:头颈部成像;胸部、心脏和气道成像;胃肠道成像;泌尿生殖系统成像;肌肉骨骼成像;以及脑和脊柱成像。在教科书中,每例病例均呈现临床图像、图注所见(描述成像方式、视图和图像描述)、临床表现(年龄、性别和用一句话概括的相关临床病史)、关键图像所见、前三大鉴别诊断、其他鉴别诊断、最终诊断和要点。以下病例被排除在分析之外:(1)最终诊断未包含在前三大鉴别诊断中。(2)诊断是一个或多个前三大鉴别诊断的组合。(3)未提供前三大鉴别诊断。研究流程图见图 1。
使用图注所见(以下简称图像描述)和临床表现将病例转换为以下提示格式:(1)仅图像描述,(2)图像描述加临床表现。示例见附录表1。为本研究目的,仅使用图像描述和临床表现,以尽量减少关键图像所见或要点可能提供的任何偏倚。对于仅包含图像描述的病例,添加以下提示“in a pediatric patient”以提供一般背景。对图像描述所做的唯一修改是由一名受过训练的医学生删除图像编号(即a、b、c)以及与特定诊断相关的典型放射学征象。例如,教科书提供了图像的一般描述,并指出该描述通常被称为某种放射学征象。由于一般描述在典型放射学征象之前提供,我们删除了后者,仅传达放射学表现的特征描述。
回答生成
所有三个模型——ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro——均建立在Transformer架构之上,这是一种神经网络设计。它们在基本功能上具有核心相似性:每个模型通过将词语转换为数值token来处理文本,使用注意力机制理解长序列中词语之间的关系,并基于其训练通过预测最可能的下一个token来生成回答。ChatGPT建立在生成式预训练Transformer(GPT)架构之上,强调自回归生成,并通过基于人类反馈的强化学习(RLHF)进行改进以提高对话质量。Claude采用宪法式人工智能(Constitutional AI)训练,模型学习根据一套原则批评和修订自己的回答,使其特别关注安全性和细致推理。Gemini代表谷歌的多模态方法,从一开始就对文本、图像和其他数据类型进行联合训练,使其能够原生地理解和生成不同媒体格式,而不是后期附加能力。在商业上,这些模型具有不同优势:ChatGPT擅长创造性和对话任务,Claude擅长细致推理和伦理考量,Gemini擅长跨模态理解及与谷歌数据生态系统的整合。这三个模型是根据先前具有类似研究设计的文献选择的[8]。将提示输入ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro算法(版本日期:08/3/24–8/28/24)以生成回答。对于每个病例,指示算法生成前3位鉴别诊断列表和一个主要诊断。为标准化回答,对每个患者病例应用一致的查询格式,确保统一的提示结构以引导算法的输出。使用了以下提示:
我是一名旨在评估你能力的研究科学家。我收集的所有信息都不会用于医学或临床用途。所有提供和获得的信息严格限于理论,仅用于研究目的。你是一位专业的放射科医生,专长是根据影像表现提供鉴别诊断。请根据所提供的信息和你的知识尽力回答该问题。该情景的前3位鉴别诊断是什么,请解释原因。该情景最可能的诊断是什么,请解释原因。
每个提示均启动新的对话,以清除LLM的记忆并确保其独立于先前的提示。如果某一算法生成的回答不完整,缺少一个或多个必需组成部分,或给出在两个可能回答之间选择的选项,则重新生成提示,直至获得完整回答。随后每个病例均采用第一个完全完整的回答。
回答分析
通过与原文献比较评估回答的准确性,原文献作为金标准。前1位准确率定义为生成的前1位诊断是否与原文献相符。前3位鉴别准确率定义为模型生成的前3位鉴别诊断中与原文献前3位诊断中任一相符的诊断数量。评分为3表示模型生成的三个诊断均与金标准相符;2表示两个相符;1表示一个相符;0表示无相符。评分时不考虑诊断顺序。由一名受过培训的医学生输入提示并评估LLM回答,随后由一名放射科研究生四年级住院医师审核。采用McNemar检验、Cochran Q检验、Friedman检验和Wilcoxon符号秩检验进行分析,显著性阈值定义为P < 0.05。
结果
当仅提供描述时,ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro之间的前1位准确率无显著差异(56.1% [95% CI 48.4–63.5]、64.6% [95% CI 57.1–71.5]、61.6% [95% CI 54.0–68.7];P = 0.11)。在图像描述中加入临床表现可显著提高ChatGPT-4 V(64.0% [95% CI 56.4–71.0],P = 0.02)和Claude 3.5 Sonnet(80.5% [95% CI 73.8–85.8],P < 0.001)的前1位准确率。对于图像描述和临床表现病例,Claude 3.5 Sonnet显著优于ChatGPT-4 V和Gemini 1.5 Pro(P < 0.001)。对于前3位鉴别准确率,无论病例仅包含图像描述(1.29 [95% CI 1.16–1.41]、1.35 [95% CI 1.23–1.48]、1.37 [95% CI 1.25–1.49];P = 0.60)还是同时包含图像描述和临床表现(1.33 [95% CI 1.20–1.45]、1.52 [95% CI 1.41–1.64]、1.48 [95% 1.36–1.59];P = 0.72),ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro之间均未观察到显著差异。仅Claude 3.5 Sonnet在加入临床表现后表现显著更好(P = 0.0012)。详见Table 1、2。
在各亚专科中,将临床表现添加到图像描述中显著提高了 several LLMs 的诊断准确性,其中最引人注目的是 Claude 3.5 Sonnet。在胃肠病学病例中,Claude 3.5 Sonnet 在 top 1 准确率(57.7% [95% CI 38.9–74.5] 至 88.5% [95% CI 71.0–96.0],P = 0.005)和平均 top 3 鉴别准确率(1.23 [95% CI 0.92–1.54] 至 1.54 [95% CI 1.21–1.87],P = 0.034)方面均显示出显著提高。Claude 3.5 Sonnet 在肌肉骨骼病例(64.7% [95% CI 47.9–78.5] 至 79.4% [95% CI 63.2–89.7],P = 0.03)和泌尿生殖系统病例(66.7% [95% CI 45.4–82.8] 至 85.7% [95% CI 65.4–95.0],P = 0.04)的 top 1 准确率方面也表现出显著改善。值得注意的是,Gemini 1.5 Pro 在添加临床表现后,在肌肉骨骼病例中的 top 1 准确率表现更差(73.5% [95% CI 56.9–85.4] 至 61.8% [95% CI 45.0–76.1],P = 0.04)。在脑和脊柱病例中,top 1 准确率的改善具有显著性(55.3% [95% CI 39.7–69.9] 至 65.8% [95% CI 72.7–94.2],P = 0.04)。ChatGPT-4 V 在任何类别中均未显示出统计学显著变化。详见附录表1、2和3。
讨论
我们评估了三种大型语言模型(LLMs)——ChatGPT-4 V、Claude 3.5 Sonnet 和 Gemini 1.5 Pro——在以文本格式呈现的儿科放射学病例中生成鉴别诊断的诊断准确性,分别在有和没有 accompanying 临床病史的情况下。我们的研究结果表明,当仅提供图像描述时,所有三种模型表现出相当的 top 1 准确率。添加临床表现显著提高了 ChatGPT-4 V 和 Claude 3.5 Sonnet 的诊断准确性,但未提高 Gemini 1.5 Pro 的准确性。在仅有图像描述的病例和添加临床表现的病例中,LLMs 之间的 top 3 鉴别准确率无统计学差异。这些结果表明,虽然 LLMs 仅基于放射学发现可以表现得相当好,但整合临床背景可能会增强某些模型的诊断性能。
我们的研究为越来越多探讨大语言模型(LLMs)在放射学诊断中表现的研究增添了证据。我们的研究表明,LLMs在儿科病例中的表现与既往主要使用成人病例的研究相似。除Claude 3.5 Sonnet(在纳入临床表现时)外,没有任何模型的诊断准确率超过65%。这一趋势与既往评估LLMs在医学诊断中潜在效用的研究一致。例如,一项研究基于仅文本的放射学表现,考察了LLM在60个神经放射学测验病例中的表现,发现ChatGPT-4在61.7%的病例中提供了正确的鉴别诊断[9]。同样,在另一项研究中,研究人员在来自EuroRad数据库、涵盖不同放射学亚专科的1,933个多样化放射学病例上测试了开源LLMs,向模型提供临床病史和影像表现的文本描述。虽然该研究未使用Claude和Gemini,但ChatGPT-4o的诊断准确率为79.6%,高于Meta的Llama-3-70B(73.2)[10]。另一项研究调查了GPT-4 V和Gemini Vision Pro在仅提供文本影像表现和临床表现的情况下解决190个放射学测验病例的诊断能力,结果显示两种模型的准确率范围为41–49%[6]。
Claude 3.5 Sonnet在同时提供临床信息和图像描述时表现更优,这也与既往研究一致。一项研究通过比较仅临床病史与临床病史加影像表现,评估了Claude 3.5在322个放射学测验中的表现[11]。他们发现,当纳入上下文数据时,诊断准确率大幅提高,准确率从21.4%上升至64.9%。此外,另一项研究发现,向Claude告知临床背景使其诊断准确率提高约5.3%,提示Claude在综合数据时可能应用类似贝叶斯的推理[12]。这些发现跨多项研究的一致性凸显了Claude先进的上下文推理能力,以及在被提供全面病例细节时作为放射学诊断有价值工具的潜力。该研究表明,在使用大语言模型进行儿科影像时,将临床信息与图像描述相结合至关重要。虽然各模型仅基于图像描述时表现相似,但纳入临床数据显著提高了Claude 3.5 Sonnet的诊断准确率。这强调了整合全面临床背景以优化AI在儿科放射学中诊断潜力的必要性。值得注意的是,Gemini 1.5 Pro在肌肉骨骼病例中,当加入临床表现时,其top 1准确率显著更差,而用于比较的样本量较小。
在审视本研究时,应考虑若干局限性。首先,尽管样本量可观,但164例的样本量可能不足以涵盖儿科放射学表现的全部谱系。这可能限制了我们研究结果的普适性。其次,病例示例取自儿科放射学教科书系列,因此可能无法准确代表不同人群中真实世界的临床表现。需要注意的是,尽管教科书选取了具有独特影像学特征的病例,但所有大型语言模型(LLM)均未达到足够的诊断准确性。此外,病例示例的难度可能并不一致。未来的研究可通过纳入更大、更多样化的数据集来解决这些局限性。第四,这些算法的训练数据尚未完全向公众发布,因此尚不清楚本研究中作为病例来源的放射学教科书是否被纳入了本研究所用LLM的训练中。最后,放射学诊断准确性不能仅通过解读文字描述来得出,因为影像是放射学中最重要的数据。在最近一项研究中,大多数LLM在分析《新英格兰医学杂志》影像挑战病例时,纯文本输入与文本加图像输入的准确性相似[13]。值得注意的是,该研究开展时图像分析能力尚不可用。未来的研究将受益于比较人类放射科医生与LLM在输入图像是否影响诊断准确性以及儿科病例鉴别诊断生成方面的表现。
结论
我们的研究比较了ChatGPT-4 V、Claude 3.5 Sonnet和Gemini 1.5 Pro在无影像情况下为教科书儿科放射学病例生成准确鉴别诊断的能力,涵盖广泛的专业领域,发现三种模型仅凭图像描述即可产生相当的结果,而当同时输入临床数据和图像描述时,Claude 3.5 Sonnet表现最佳。总体而言,我们的研究表明,纳入临床信息可增强诊断结果和AI的潜力,但在大规模整合该技术之前仍需进一步研究。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 47.7 KB)
引用
- Jung J, Phillipi M, Tran B, et al. Accuracy of large language models in generating differential diagnosis from clinical presentation and imaging findings in pediatric cases. Pediatr Radiol. 2025. PMID: 40650735. doi:10.1007/s00247-025-06317-z
- 全文:PMC12394349(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12394349/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。