指南与共识重症综合管理与镇静镇痛

评估ChatGPT在重症医学推荐中的适当性、一致性与可读性

Evaluating the Appropriateness, Consistency, and Readability of ChatGPT in Critical Care Recommendations.
指南 / 共识 · J Intensive Care Med · 2024-08-08
一句话结论ChatGPT 4.0适当性评分高于3.5(4.0 vs 3.0,P<.001),但两版一致性(40% vs 28%,P=0.291)与可读性(14.3 vs 14.4,P=0.93)无显著差异,且均产生幻觉。

该研究由2名独立重症医学科医师对50条大语言模型生成的临床问题回答,按5点Likert量表评估适当性、一致性与可读性。ChatGPT 4.0的适当性中位评分显著高于3.5(4.0 vs 3.0,P<.001);但两版一致性(40% vs 28%,P=0.291)和Flesch-Kincaid年级可读性(14.3 vs 14.4,P=0.93)均无显著差异。两版模型均产生「幻觉」,即以高置信度输出错误信息,提示无领域专业知识时依赖此类工具存在风险。作者强调临床医生需理解大语言模型的优势与局限,才能在重症监护环境中安全有效实施。

要点

  • ChatGPT 4.0适当性中位评分显著高于3.5(4.0 vs 3.0,P<.001)。
  • 两版一致性无显著差异(40% vs 28%,P=0.291),同一问题多次提问可得到不同结果。
  • Flesch-Kincaid年级可读性两版无显著差异(14.3 vs 14.4,P=0.93)。
  • 两版模型均产生「幻觉」,即以高置信度输出错误信息,无领域专业知识时依赖此类工具存在风险。
  • 作者强调临床医生需理解大语言模型的优势与局限,才能在重症监护环境中安全有效实施。

适用人群与场景

  • 重症医学核心主题的临床问题;由2名独立重症医学科医师评估大语言模型生成的回答。

诊断标准与关键阈值

  • 适当性、一致性、可读性均采用5点Likert量表评估。
  • 可读性采用Flesch-Kincaid Grade Level评估。

红旗征与不能漏的情况

  • 两版模型均产生「幻觉」,即以高置信度输出错误信息。
  • 两版模型一致性不足,同一问题多次提问可得到不同结果。

研究设计与关键结果

  • 研究评估ChatGPT 3.5与4.0两版大语言模型对50条临床问题生成回答的适当性、一致性与可读性。
  • ChatGPT 4.0适当性中位评分显著高于3.5(4.0 vs 3.0,P<.001)。
  • 两版一致性无显著差异(40% vs 28%,P=0.291)。
  • Flesch-Kincaid Grade Level可读性两版无显著差异(14.3 vs 14.4,P=0.93)。
  • 两版模型均产生「幻觉」,即以高置信度输出错误信息。
  • 两版模型一致性不足,同一问题多次提问可得到不同结果。

证据类型、等级与局限

  • 研究类型:由2名独立重症医学科医师对50条大语言模型生成的临床问题回答进行评估。
  • 注册号:https://osf.io/8chj7/。
  • 局限:原文未报告局限性。

对床旁实践的改变

  • 作者强调临床医生需理解大语言模型的优势与局限,才能在重症监护环境中安全有效实施。
  • 两版模型均产生「幻觉」且一致性不足,提示无领域专业知识时依赖此类工具存在风险。

提炼说明

  • 本条依据论文摘要整理;摘要未涉及「处置流程与药物剂量」「指南或共识出处」,故未列出这些栏目;全文请点「阅读原文」。
英文原文(摘要)· 点击展开

Background: We assessed 2 versions of the large language model (LLM) ChatGPT-versions 3.5 and 4.0-in generating appropriate, consistent, and readable recommendations on core critical care topics. Research Question: How do successive large language models compare in terms of generating appropriate, consistent, and readable recommendations on core critical care topics? Design and Methods: A set of 50 LLM-generated responses to clinical questions were evaluated by 2 independent intensivists based on a 5-point Likert scale for appropriateness, consistency, and readability. Results: ChatGPT 4.0 showed significantly higher median appropriateness scores compared to ChatGPT 3.5 (4.0 vs 3.0, P < .001). However, there was no significant difference in consistency between the 2 versions (40% vs 28%, P = 0.291). Readability, assessed by the Flesch-Kincaid Grade Level, was also not significantly different between the 2 models (14.3 vs 14.4, P = 0.93). Interpretation: Both models produced "hallucinations"-misinformation delivered with high confidence-which highlights the risk of relying on these tools without domain expertise. Despite potential for clinical application, both models lacked consistency producing different results when asked the same question multiple times. The study underscores the need for clinicians to understand the strengths and limitations of LLMs for safe and effective implementation in critical care settings. Registration: https://osf.io/8chj7/.

来源:J Intensive Care Med,查看原文。版权归原作者所有。

参考来源

  1. Balta KY, Javidan AP, Walser E, et al. Evaluating the Appropriateness, Consistency, and Readability of ChatGPT in Critical Care Recommendations. J Intensive Care Med. 2024. PMID: 39118320. doi:10.1177/08850666241267871

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。