文献速递医学人工智能与信息学医学教育与科研方法

通用大语言模型在医学基准上优于专业临床AI工具

General-purpose large language models outperform specialized clinical AI tools on medical benchmarks.
PubMed 文献 · Nat Med · 2026-06-12

研究量化评估两款基于大语言模型的临床AI工具(OpenEvidence、UpToDate Expert AI)与三款前沿大语言模型(GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6)。评估分三阶段:500道MedQA题、500项HealthBench条目,以及由100条真实临床查询构建的RCQ基准,后者由12名美国临床医生随机盲法评审并产生1800条标注。前沿大语言模型在全部三项评估中均优于临床AI工具,提示AI工具进入临床前需独立真实世界评估。

要点

  • 在MedQA、HealthBench和RCQ三项评估中,前沿大语言模型均优于专业临床AI工具。
  • RCQ基准由12名美国临床医生随机盲法评审100条真实临床查询,共1800条标注。
  • 临床AI工具在RCQ上的表现与自动启用的Google Search AI Overview相当。

核心结论

  • 前沿大语言模型在医学知识、临床对齐和真实临床查询三项评估中均优于专业临床AI工具。
  • 临床AI工具进入临床使用前需要独立、真实世界的评估。

研究设计与样本

  • 量化评估两款基于大语言模型的临床AI工具OpenEvidence和UpToDate Expert AI,对照三款前沿大语言模型GPT-5.2、Gemini 3.1 Pro和Claude Opus 4.6。
  • 评估分三阶段:500道MedQA题测试医学知识,500项HealthBench条目衡量与临床医生的一致性,以及由100条去标识化真实临床查询构建的RCQ基准。
  • RCQ基准由12名美国临床医生随机盲法评审模型输出,产生1800条模型-问题标注。

主要发现

  • 前沿大语言模型在全部三项评估中均优于临床AI工具。
  • 临床AI工具在RCQ上的表现与自动启用的Google Search AI Overview相当。

关键数值与推荐

  • MedQA使用500道题,HealthBench使用500项条目,RCQ基准由100条真实临床查询构成。
  • RCQ评审由12名美国临床医生完成,共产生1800条模型-问题标注。

临床怎么用

  • 提示临床选用AI工具时应优先参考独立、真实世界的对比评估结果,而非仅凭专业标签。
  • 对拟进入临床的AI工具,应在真实临床查询场景中开展盲法评审验证。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

Specialized clinical artificial intelligence (AI) tools are entering medical practice despite scarce independent evaluation. We quantitatively evaluate two clinical AI tools, OpenEvidence and UpToDate Expert AI, built on large language models (LLMs) against three frontier LLMs: GPT-5.2, Gemini 3.1 Pro and Claude Opus 4.6. Our evaluation has three stages: (1) 500 MedQA questions testing medical knowledge, (2) 500 HealthBench items measuring alignment with clinicians and (3) the real clinical queries (RCQ) benchmark, built from 100 de-identified queries from physicians to a general-purpose language model in a live clinical environment. For the RCQ benchmark, 12 US clinicians performed randomized, blinded review of model outputs, producing 1,800 model-question annotations. Frontier LLMs outperformed clinical AI tools in all three evaluations. Clinical AI tools performed comparably to auto-enabled Google Search AI Overview on the RCQ. These findings highlight the need for independent, real-world evaluation of AI tools before they enter clinical settings.

来源:Nat Med,查看原文。版权归原作者所有。

引用

  1. Vishwanath K, Alyakin A, Ghosh M, et al. General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nat Med. 2026. PMID: 42286322. doi:10.1038/s41591-026-04431-5

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。