三种人工智能聊天机器人在年龄相关性黄斑变性诊断与决策中的能力探索
一项回顾性研究纳入54例年龄相关性黄斑变性(AMD)患者,比较ChatGPT o4-mini、Gemini 2.5 flash和DeepSeek-R1在诊断、治疗建议和视力预后方面与眼科住院医师的表现。结果显示三种聊天机器人在新生血管性AMD诊断和治疗建议上具有较强能力,ChatGPT o4-mini在视力预后预测上显著优于DeepSeek-R1和住院医师。
要点
- 三种AI聊天机器人在AMD诊断一致性上均较高,与住院医师无显著差异。
- 治疗建议一致性方面,Gemini 2.5 flash、ChatGPT o4-mini、DeepSeek-R1与住院医师均无显著差异。
- ChatGPT o4-mini在视力预后一致性上显著优于DeepSeek-R1和住院医师。
核心结论
- 三种AI聊天机器人在新生血管性AMD诊断和治疗建议上表现出较强能力,ChatGPT o4-mini在视力预后预测上更优。
- 真实临床环境仍需大规模研究,整合使用多个大语言模型可能提高稳健性和临床可靠性。
研究设计与样本
- 回顾性研究纳入2024年1月至2025年6月深圳眼科医院和惠州市第三人民医院的54例AMD参与者。
- 每例参与者由三种AI聊天机器人和一名眼科住院医师使用标准化提示进行分析。
- 主要结局包括诊断一致性、治疗建议和视力预后,并使用全球质量评分(GQS,1-5分)评估回答质量。
- 统计分析使用R版本4.4.1,显著性设定为p<0.05。
主要发现
- 诊断一致性:ChatGPT o4-mini为96.3%,Gemini 2.5 flash为94.4%,DeepSeek-R1和住院医师均为90.7%(所有p>0.05)。
- 治疗建议一致性:Gemini 2.5 flash为90.7%,ChatGPT o4-mini、DeepSeek-R1和住院医师均为88.9%(所有p>0.05)。
- 视力预后一致性:ChatGPT o4-mini为66.7%,Gemini 2.5 flash为48.1%,DeepSeek-R1为40.7%,住院医师为37.0%;ChatGPT o4-mini显著优于DeepSeek-R1(p=0.011)和住院医师(p=0.006)。
- GQS评分:ChatGPT o4-mini显著高于Gemini 2.5 flash和DeepSeek-R1,但与住院医师相当(所有p>0.05)。
关键数值与推荐
- 诊断一致性范围90.7%至96.3%,组间比较均无显著差异(p>0.05)。
- 治疗建议一致性范围88.9%至90.7%,组间比较均无显著差异(p>0.05)。
- 视力预后一致性范围37.0%至66.7%,ChatGPT o4-mini与DeepSeek-R1比较p=0.011,与住院医师比较p=0.006。
- GQS评分ChatGPT o4-mini显著高于Gemini 2.5 flash和DeepSeek-R1,与住院医师无显著差异(p>0.05)。
临床怎么用
- 三种AI聊天机器人在新生血管性AMD诊断和治疗建议上可作为辅助工具。
- ChatGPT o4-mini在视力预后预测上表现更优,可优先考虑用于预后评估。
- 整合使用多个大语言模型可能提高临床决策的稳健性和可靠性。
局限性
- 研究为回顾性设计,样本量54例,需大规模研究验证真实临床环境中的表现。
- 研究未报告AI聊天机器人回答错误的具体类型或临床影响。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
BACKGROUND: Compare the performance of three artificial intelligence (AI) chatbots, including ChatGPT o4-mini, Gemini 2.5 flash and DeepSeek-R1, in diagnosis, treatment suggestion and visual prognosis of age-related macular degeneration (AMD). METHODS: A retrospective study was conducted on 54 participants with AMD from Shenzhen Eye Hospital and Huizhou Third People's Hospital (from January 2024 to June 2025). Each participant was analysed by three AI chatbots and an ophthalmology resident using standardised prompts. The main outcome measures included diagnosis agreement, treatment suggestion and visual prognosis. Global Quality Score (GQS, 1-5) was assessed to evaluate response quality. Statistical analysis was conducted using R (version 4.4.1), with significance set at p<0.05. RESULTS: Diagnosis agreement was 96.3% for ChatGPT o4-mini, 94.4% for Gemini 2.5 flash, 90.7% for DeepSeek-R1 and resident (all p>0.05). Treatment suggestion agreement was 90.7% for Gemini 2.5 flash, 88.9% for ChatGPT o4-mini, DeepSeek-R1 and resident (all p>0.05). Visual prognosis agreement was 66.7% for ChatGPT o4-mini, 48.1% for Gemini 2.5 flash, 40.7% for DeepSeek-R1 and 37.0% for resident. ChatGPT o4-mini significantly outperformed DeepSeek-R1 (p=0.011) and the resident (p=0.006). GQS ratings favoured ChatGPT o4-mini, significantly higher than Gemini 2.5 flash and DeepSeek-R1, but comparable to the resident (all p>0.05). CONCLUSIONS: Three AI chatbots showed strong capabilities in neovascular AMD diagnosis and treatment suggestions, with ChatGPT o4-mini superior in visual prognosis prediction. However, real-world clinical settings require large-scale studies, and integrative use of multiple large language models may improve robustness and clinical reliability.
引用
- Duan N, Zhao X, Wu Z, et al. Exploring the capabilities of three artificial intelligence chatbots in diagnosis and decision-making of age-related macular degeneration. Br J Ophthalmol. 2026. PMID: 42270292. doi:10.1136/bjo-2025-328860
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。