文献速递乳腺

大型语言模型如何回答乳腺癌测验题?GPT-3.5、GPT-4与Google Gemini的比较研究

How do large language models answer breast cancer quiz questions? A comparative study of GPT-3.5, GPT-4 and Google Gemini.
PubMed 文献 · Radiol Med · 2024-08-13

本研究评估三种公开可用的大型语言模型(GPT-3.5、GPT-4和Google Gemini,当时称为Bard)回答60道关于乳腺癌诊疗不同方面的多项选择题的能力,其中29道来自公共数据库,31道由经验丰富的乳腺放射科医生新编。总体正确答案率在模型间存在显著差异(p=0.010),GPT-4表现最佳(95%,57/60),其次是GPT-3.5(90%,54/60)和Google Gemini(80%,48/60)。来自公共数据库和新编题的正确答案率在所有模型中均无显著差异(p≥0.593)。

要点

  • GPT-4正确率95%(57/60),GPT-3.5为90%(54/60),Google Gemini为80%(48/60),模型间差异显著(p=0.010)。
  • 公共数据库题与新编题的正确率在所有模型中均无显著差异(p≥0.593)。
  • 结果提示大型语言模型在乳腺癌诊疗中有潜在益处,需通过上下文训练进一步优化。

核心结论

  • 三种大型语言模型回答乳腺癌多项选择题的正确率存在显著差异(p=0.010),GPT-4表现最佳(95%,57/60),其次为GPT-3.5(90%,54/60)和Google Gemini(80%,48/60);公共数据库题与新编题的正确率无显著差异(p≥0.593);结果提示大型语言模型在乳腺癌诊疗中有潜在益处,需通过上下文训练进一步优化。

研究设计与样本

  • 比较研究,评估三种公开可用的大型语言模型(GPT-3.5、GPT-4和Google Gemini,当时称为Bard)回答60道多项选择题,其中29道来自公共数据库,31道由经验丰富的乳腺放射科医生新编,涵盖治疗与预后、诊断与介入技术、影像解读和病理学等方面。

诊断标准与关键数值

  • 总体正确答案率:GPT-4为95%(57/60),GPT-3.5为90%(54/60),Google Gemini为80%(48/60),模型间差异显著(p=0.010)。
  • 公共数据库题与新编题的正确率在所有模型中均无显著差异(p≥0.593)。

局限性

  • 结果需通过上下文训练进一步优化。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

英文原文(摘要)· 点击展开

Applications of large language models (LLMs) in the healthcare field have shown promising results in processing and summarizing multidisciplinary information. This study evaluated the ability of three publicly available LLMs (GPT-3.5, GPT-4, and Google Gemini-then called Bard) to answer 60 multiple-choice questions (29 sourced from public databases, 31 newly formulated by experienced breast radiologists) about different aspects of breast cancer care: treatment and prognosis, diagnostic and interventional techniques, imaging interpretation, and pathology. Overall, the rate of correct answers significantly differed among LLMs (p = 0.010): the best performance was achieved by GPT-4 (95%, 57/60) followed by GPT-3.5 (90%, 54/60) and Google Gemini (80%, 48/60). Across all LLMs, no significant differences were observed in the rates of correct replies to questions sourced from public databases and newly formulated ones (p ≥ 0.593). These results highlight the potential benefits of LLMs in breast cancer care, which will need to be further refined through in-context training.

来源:Radiol Med,查看原文。版权归原作者所有。

引用

  1. Irmici G, Cozzi A, Della Pepa G, et al. How do large language models answer breast cancer quiz questions? A comparative study of GPT-3.5, GPT-4 and Google Gemini. Radiol Med. 2024. PMID: 39138732. doi:10.1007/s11547-024-01872-1

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。