OpenEvidence与ChatGPT在神经影像检查选择中的准确性评估
Utility of OpenEvidence and ChatGPT in Selecting Neuroimaging Based on Appropriateness Criteria.
PubMed 文献 · Acad Radiol · 2026-10-10
本研究以美国放射学会适宜性标准为参照，评估ChatGPT-3.5、ChatGPT-5.0和OpenEvidence三种大语言模型对神经放射学检查推荐的准确性。研究纳入11个优先临床领域的78个提示问题，采用开放式和多选式两种提问方式。结果显示OpenEvidence在两种问题类型中表现最佳（开放式86.3%，多选式79.5%），ChatGPT-5优于ChatGPT-3.5，模型表现不受病例急性程度影响。
要点
- 使用大语言模型辅助选择神经影像检查时，医学专用数据集训练的模型（OpenEvidence）比通用模型准确性更高
- ChatGPT-5在多选式检查推荐中准确率71.2%，明显优于ChatGPT-3.5的44.4%
- 大语言模型推荐检查的准确性不受病例急性程度影响，但仍需以ACR适宜性标准为参照进行核验
核心结论
- OpenEvidence在开放式问题（86.3%）和多选式问题（79.5%）中均表现最佳
- ChatGPT-5在多选式问题中表现优于ChatGPT-3.5（71.2% vs 44.4%）
- 三种模型的检查推荐准确性均不受临床病例急性程度的影响
研究设计与样本
- 对照研究，以美国放射学会（ACR）适宜性标准作为参照标准
- 从神经病学11个优先临床领域中提取78个提示问题，包括脑血管疾病、神经性疼痛和脊柱病变
- 每个问题向三种大语言模型各提问3次，分为开放式（OE）和多选式（SATA）两种问题类型
- 通过方差分析评估三种模型之间的表现差异，并按病例急性程度进行亚组分析
诊断标准与关键数值
- OpenEvidence在开放式问题中准确率86.3%，多选式问题中准确率79.5%
- ChatGPT-5在开放式问题中准确率80.6%，多选式问题中准确率71.2%
- ChatGPT-3.5在开放式问题中准确率69.2%，多选式问题中准确率44.4%
临床应用与阅片要点
- 使用大语言模型辅助神经影像检查选择时，应优先选择基于医学专用数据集训练的模型如OpenEvidence
- 大语言模型可作为影像检查选择的辅助工具，但不应完全替代放射科医生的专业判断
局限性
- 研究仅评估神经放射学领域，未涵盖其他影像亚专科
- 评估基于ACR适宜性标准，未纳入其他国家或地区的指南标准
- 未评估大语言模型在实际临床工作流程中的应用效果
以上解读依据论文摘要（全文未开放获取或许可不允许翻译转载）。
引用
- Kumarapuram, Satti, Xu, et al. Utility of OpenEvidence and ChatGPT in Selecting Neuroimaging Based on Appropriateness Criteria. Acad Radiol. 2026. PMID: 42859098. doi:10.1016/j.acra.2026.09.049
供执业医师工作参考，不替代临床判断；数值与分级以指南原文为准。