评估大型语言模型对肾绞痛影像推荐的表现:Gemini、Copilot与ChatGPT-4.0的比较分析
研究用29个急性腰痛临床情景测试Gemini、Copilot和ChatGPT-4.0的影像推荐,与多学科专家共识比较。Gemini与多数共识一致率65.5%,高于Copilot和ChatGPT-4.0的41.4%;在完美或优秀共识情景中一致率69.5%对43.4%。
要点
- Gemini与专家多数共识一致率65.5%(19/29),Copilot和ChatGPT-4.0均为41.4%(12/29)。
- 在共识评级为完美或优秀的23个情景中,Gemini一致率69.5%(16/23),Copilot和ChatGPT-4.0均为43.4%(10/23)。
- 与9位专家中任一位的一致率:Gemini 82.7%(24/29),ChatGPT-4.0 65.5%(19/29),Copilot 62.1%(18/29)。
核心结论
- Gemini在与专家共识的一致性上持续优于Copilot和ChatGPT-4.0,提示其可能作为临床决策中的可靠工具。
- 需进一步研究以提高LLM的可靠性和准确性,并解决其融入医疗系统相关的伦理和法律挑战。
研究设计与样本
- 比较分析研究,使用29个来自ACEP、ACR和AUA多学科共识报告的急性腰痛临床情景。
- 2024年3月至4月间,将相同问题模式分别提问Gemini、Copilot和ChatGPT-4.0,比较其影像推荐与专家共识。
- 参考标准为多学科专家小组共识,共识等级定义为完美(9/9)、优秀(8/9)、良好(6-7/9)、中等(5/9)和未达成(<5/9)。
- 主要结局为LLM回答与多数共识的一致率;次要结局包括与完美或优秀共识的一致率及与9位专家中任一位的一致率。
诊断标准与关键数值
- Gemini与多数共识一致率65.5%(19/29),Copilot和ChatGPT-4.0均为41.4%(12/29)。
- 在共识评级为完美或优秀的23个情景中,Gemini一致率69.5%(16/23),Copilot和ChatGPT-4.0均为43.4%(10/23),Gemini vs Copilot p=0.045,Gemini vs ChatGPT-4.0 p<0.001。
- 与9位专家中任一位的一致率:Gemini 82.7%(24/29),ChatGPT-4.0 65.5%(19/29),Copilot 62.1%(18/29);Gemini vs Copilot p=0.917,ChatGPT-4.0 vs Gemini p=0.019,ChatGPT-4.0 vs Copilot p=0.01。
- Fleiss kappa值:ChatGPT-4.0 0.638,Gemini 0.698,Copilot 0.634,均提示高度一致。
临床应用与阅片要点
- 原文未据此给出推荐。
局限性
- 提问类型和措辞的变异性可能影响LLM回答,引入可能影响结论的变异性。
- 研究普遍性受限于所呈现的特定情景和问题。
- 每个情景仅呈现一次,重复测试可能提高结果的稳健性。
- 未进行功效分析,而是使用共识报告中的所有情景进行设计。
- Copilot使用ChatGPT-4.0的基础设施,但整合了微软数据库以产生更平衡、有创意和精确的答案,两者使用不同方法。
全文中译11 节 · 点击展开
引言
自然语言处理(NLP)领域起源于20世纪50年代,当时早期研究人员为这一介于语言学、计算机科学和人工智能(AI)交叉处的跨学科领域奠定了基础。虽然NLP的初期能力有限,不适合直接应用于高风险的医学决策,但该领域此后经历了显著的转变。这些大语言模型(LLMs)是通过AI和NLP的重大进展开发出来的,并在包括学术出版物、书籍和指南在内的综合数据集上进行了广泛训练。自公开推出以来,大语言模型(LLMs)已被用于各种科学工作中以应对医学挑战,例如优化医疗管理和解决全球健康问题[1, 2]。这些工具在医疗保健应用中具有相当大的潜力。然而,由于若干影响因素,包括不同概念的评估、精确性和可重复性,研究结果仍无定论[1, 3]。
尿石症引起的胁腹痛是急诊科(ED)就诊的常见原因,近年来这些就诊的发生率显著增加[4, 5]。尽管有所上升,急诊科临床医生对于诊断梗阻性肾脏疾病的最佳影像学检查方式仍存在不确定性。根据欧洲泌尿外科学会关于尿石症的最新指南,在初始超声评估后,推荐使用非增强CT(NCCT)来确认表现为急性胁腹痛的患者是否存在结石[6]。NCCT被认为是一种有价值的诊断工具,尤其是在初始超声检查结果不确定的情况下。然而,指南对于在哪些具体临床场景中CT扫描可能并非有效管理急性胁腹痛患者所必需缺乏明确指导。
美国急诊医学会、美国放射学会和美国泌尿学协会的共识报告断言,在许多临床场景中CT成像通常是不必要的,有些患者可能根本不需要任何影像学检查[7]。尽管有这些建议,一项关于急诊科实践的全美研究显示,从2012年到2018年,对疑似梗阻性肾脏疾病患者使用CT扫描显著增加[8]。相比之下,同一研究显示,在涉及疑似梗阻性肾脏疾病的急诊科就诊中,超声检查的使用率不到3%。
文献检索显示,尚无研究阐明大语言模型(LLMs)在肾绞痛患者选择合适的影像学检查方法方面能发挥多大作用。LLMs与共识报告之间的一致性及其相关优势也仍不清楚。本研究假设,凭借其获取大量数据的能力,三种最突出的大语言模型(OpenAI的ChatGPT-4.0、Google的Gemini和Microsoft的Copilot)可为确定急诊科急性腰腹痛患者影像学检查的必要性和适当性提供有价值的见解。具体而言,本研究旨在评估这三种人工智能聊天机器人应用于29个关于疑似肾绞痛影像学检查的预设临床案例时,其建议是否与共识报告一致。
方法
由于本研究未使用患者或临床医生数据,因此无需伦理委员会批准。美国急诊医师学会(ACEP)、美国放射学会(ACR)和美国泌尿外科学会(AUA)的多学科共识报告提供了29个不同的急性腰腹痛病例,每个病例代表年龄、性别、妊娠状态、结石病可能性和替代诊断可能性的不同组合[7]。本研究使用的29个案例源自ACEP、ACR和AUA基于系统文献综述和结构化改良Delphi流程制定的共识报告,确保每个案例均代表具有临床重要性和循证依据的病例。29个案例的详细信息见补充表1,其中列出了每个情景所包含的人口学和临床特征。
2024年3月至4月期间,每个临床情景案例均以相同的问题模式呈现给三个大语言模型(LLMs),包括OpenAI的ChatGPT-4.0、Google的Gemini和Microsoft的Copilot。向所有模型提出了相同的问题:“请根据最新数据回答,对于该情景,在急诊科(ED)最 appropriate 的处理方式是什么:不(进一步)成像、床旁超声、放射科执行的超声、降低辐射剂量的CT、标准CT(平扫)或静脉对比增强CT。”大语言模型生成的回答记录在数字数据表中。评估了大语言模型回答之间的一致性。共识水平按照原始共识报告的定义,确定为每个情景案例中达成一致的专家组成员人数:完美(9/9)、优秀(8/9)、良好(6至7/9)、中等(5/9)和未达成(< 5/9)。回答涵盖了多种成像选择,如不(进一步)成像、床旁超声、放射科执行的超声、降低辐射剂量的CT、标准CT(平扫)和静脉对比增强CT。此外,为确保与共识报告的一致性,回答被分为三个主要组别:不再进一步成像、超声和CT。这种分组对于一致性和可比性具有重要意义,因为大语言模型的成像建议与专家组使用的预定义共识回答一致,便于结果的分析和解读。AI聊天机器人的回答既在彼此之间进行了比较,也与共识成员的回答进行了比较。参考研究确定了9名共识成员,包括来自3个专业学会的代表:美国急诊医师学会(ACEP)、美国放射学会和美国泌尿外科学会。所有共识成员均为委员会认证的执业医师,并基于其先前在专业特定指南方面的工作而被提名[7]。每个大语言模型的回答均与每个情景案例的共识回答进行直接比较,从而确保大语言模型与专家组之间的一致性。
本研究的主要结局指标是比较三个大语言模型在先前定义的29个关于疑似肾绞痛成像的情景案例中给出与共识大多数成员相同回答的比率。本研究的次要结局指标是确定三个大语言模型在共识报告中达到完美和优秀级别共识的问题中与这些回答的兼容性,以及确定三个大语言模型的一致水平——不是依据多数共识,而是依据三个大语言模型的回答是否与9名成员中任何一位的回答一致。
统计分析使用Jamovi 2.5.3.0计算机软件进行。大语言模型(LLM)给出的答案与共识成员之间的一致性,按3组分别进行人工评估(所有问题中所提供答案的多数意见、共识评级为“完美”或“优秀”、参与共识的9名评审中任一评审的回答)。结果以正确答案的数量和百分比表示。LLM之间正确答案的一致性按组分别采用卡方检验进行两两评估。为从统计学上显示LLM与参考队列的一致性,计算了Fleiss kappa值。P值小于0.05被视为具有统计学显著性。
结果
表1呈现了每个LLM的各自回答及其与先验共识的一致性。图1展示了每个LLM所提供影像学建议(不进行影像学检查、CT或超声检查)的分布。在评估LLM与所有问题中所提供答案多数意见的符合性时,Gemini在19个问题(65.5%)上与共识成员的回答一致。相比之下,Copilot和ChatGPT-4.0在12个问题(41.4%)上提供了相同答案(图2)。
在共识将答案评级为“完美”或“优秀”的23个问题中,Gemini正确回答了16个(69.5%)。相比之下,Copilot和ChatGPT-4.0均正确回答了23个问题中的10个(43.4%),与共识评级“完美”或“优秀”一致(图3)。与Copilot(p = 0.045)和ChatGPT-4.0(p < 0.001)相比,Gemini的回答显示出更高的一致性,表明其表现具有持续优势。此外,统计分析显示Copilot与ChatGPT-4.0之间的一致性存在显著差异(p = 0.001)。
在评估LLM与参与共识的9名评审中任一评审回答的一致性时,无论多数意见如何,Gemini的一致性水平最高,为82.7%(24/29)。Copilot的回答与29个临床病例中的18个(62.1%)一致,而ChatGPT-4.0在19个病例(65.5%)中显示一致(图4)。Gemini与Copilot之间未观察到有意义的一致性差异(p = 0.917)。相比之下,ChatGPT-4.0与Gemini(p = 0.019)和Copilot(p = 0.01)相比均显示出显著不同的一致性率。ChatGPT-4.0、Gemini和Copilot与九名专家评审相比的Fleiss kappa值分别为0.638、0.698和0.634——表明所有三个模型均具有高度一致性。
讨论
在我们的研究中,我们评估了三种大语言模型(LLM)——Gemini、Copilot 和 ChatGPT-4.0——与专家小组提供的共识答案的一致性。研究结果表明,与其他受评估的 LLM 相比,Gemini 始终表现出与专家共识更高程度的一致性。具体而言,Gemini 在与大多数共识成员答案的兼容性方面,以及与参与共识的九位评审中任何一位的答复的兼容性方面均表现优异,无论多数意见如何。此外,在三种常用 LLM 中,Gemini 在达成完美或优秀共识的查询中一致性最高。
LLM 在临床决策过程中可被利用的程度仍是一个日益受到关注的话题。为阐明这一问题,已有多项研究——并且仍在继续进行——比较各种 LLM 的性能 [9–12]。在一项涉及 134 例临床病例的研究中,评估了三种不同 LLM 在诊断、治疗和管理相关决策方面的准确性,发现 Gemini 的总体性能最低 [9]。在另一项聚焦于青光眼患者手术规划的研究中,Gemini 与 ChatGPT-4 相比一致性低 32%,表明其性能较差 [10]。同样,当作为整形外科术中决策支持工具进行评估时,Gemini 再次表现出相对于 ChatGPT-4 的次优性能 [11]。相反,另一项评估 ChatGPT-4 和 Gemini 评估急性胆囊炎患者诊断和治疗方案能力的研究发现,两种模型之间性能相当 [12]。与这些既往研究相反,我们的研究发现,在为肾绞痛患者选择合适的影像学检查方式的背景下,Gemini 产生的回答与专家共识小组的回答更为一致。
导致 LLM 回答变异性的一个潜在因素是模型训练期间使用的不同指南来源的影响。虽然我们的研究使用 2019 年共识报告 [7] 作为参考标准,但英国 NICE 指南(自 2019 年 1 月起推荐低剂量平扫 CT 作为一线影像学检查方式)可能已被纳入受评估 LLM 的训练数据集中。这种指南暴露的差异可能导致了 LLM 推荐意见的差异。
然而,这并不削弱我们研究结果的有效性,因为我们的研究专门设计用于评估 LLM 与既定专家共识的一致程度,而非基于多个指南来源评估其回答的绝对正确性。在临床实践中,不同指南之间推荐意见的差异是公认的,并不表明某一指南或其解读存在固有缺陷。未来的研究可进一步探讨不同 LLM 如何整合和优先考虑多样化的临床指南,为其决策过程提供更多见解。
Gemini与共识的一致性水平显著更高,其提供的回答与大多数共识参与者的回答基本相似。这表明Gemini在理解和恰当解读与专家意见一致的临床病例示例方面可能具有更好的表现。相比之下,ChatGPT-4.0和Copilot仅对41.4%的问题回答与共识一致,表明其与专家指南的契合度不够稳健。值得注意的是,将Gemini的整体回答与九位评审者的回答进行比较时,其一致率达到82.7%。这些发现表明,Gemini对于需要与专家指南高度符合的应用而言可能是更可信的工具[7]。此外,Gemini与专家评估的高一致率表明,它可能有助于临床医生为肾绞痛患者做出影像学决策。Gemini量表与最高评分回答的高度一致性表明,若得到未来研究的支持,它可能在专业和学术环境中具有广泛采用的潜力。此外,Gemini及其他LLM在每次更新后都可能具备更灵敏的评估能力。随着更多数据集的使用以及每次更新中更精细分析能力的发展,在临床环境中可以获得更准确的结果。未来的研究可以通过关注如何通过新版本更新提高这些LLM(尤其是Gemini)的可靠性和准确率,为增加我们在该主题上的知识和经验做出贡献。
尽管使用AI赋能的LLM可能因其在临床病例评估中的表现而受到关注,但将AI技术整合到医疗保健系统中引发了重大的伦理和法律问题,值得仔细考量[13, 14]。随着这些复杂模型日益嵌入关键的临床决策过程,细致评估其潜在对患者结局影响相关的多方面风险和责任至关重要。一个首要且紧迫的伦理问题涉及AI系统内部决策机制的透明性和可解释性。医疗服务提供者必须能够理解和信任这些AI系统生成的建议和理由,以维持患者信心并确保适当的治疗。可解释性的缺乏可能在建立清晰的责任界限方面导致深刻挑战,使得极难确定是医疗专业人员还是AI系统对可能显著影响患者健康的错误或次优决策承担责任[15]。这种适应对于维护患者信任以及确保AI融入医疗保健支持而非削弱患者照护的质量和可靠性至关重要。
关于大型语言模型(LLMs)在临床病例评估中可用性的另一个担忧是,与人工智能在医疗保健中的使用符合患者隐私和数据保护标准相关的法律程序[16]。在土耳其,《个人数据保护法》(KVKK)对患者数据的管理和披露施加了严格规定[17]。同样,在美国,《健康保险可携性和责任法案》(HIPAA)对患者数据处理制定了严格规则[18]。人工智能系统在两个司法管辖区都必须设计为符合这些要求,确保患者信息免受未经授权的访问和泄露。这凸显了确保医疗保健环境中的人工智能系统设计为符合严格的数据保护法规——如土耳其的KVKK和美国的HIPAA——以保护患者信息免受未经授权的访问和泄露的重要性。在法律上,人工智能在医疗保健中的使用必须遵守有关患者保密和数据保护的标准[16]。美国的《健康保险可携性和责任法案》对患者数据的管理和披露施加了严格规则[17]。人工智能系统必须经过工程设计以遵守这些要求,保证患者信息免受未经授权的访问和泄露。
局限性
本研究存在若干局限性,在解释其研究结果时应予以考虑。首先,向LLMs提出的问题类型和措辞的变异性可能影响其回答,引入可能影响结论的变异性。然而,使用一套标准化的29个临床场景有助于减轻这种变异性,确保比较的一致性基础。
其次,研究的普适性受限于所呈现的特定场景和问题。虽然结果可能不适用于所有医学询问,但所选场景代表了急诊科常见的临床情况。这种相关性支持了研究结果在预期情境中的适用性。第三,在本研究中每个 vignette 仅呈现一次。重复测试可能会提高研究结果的质量和稳健性。另一个局限性是本研究中未进行功效分析。相反,研究设计使用了共识报告中的所有 vignette。最后,Copilot 使用 ChatGPT-4.0 的基础架构。然而,它还将微软数据库整合到其基础架构中,专注于产生更平衡、更有创意和更精确的答案。因此,尽管它们使用相似的基础架构,但它们在给定数据上使用不同的方法得出结果,这使这两个 LLMs 模型彼此区分开来。
尽管存在这些局限性,本研究的设计和场景选择为其结论提供了坚实的基础。未来的研究可以进一步解决这些局限性,以增强我们对LLMs在医疗保健环境中应用的理解。
结论
本研究表明,与Copilot和ChatGPT-4.0相比,Gemini与专家共识的一致性程度更高,在处理复杂医学问题方面比其他大语言模型(LLMs)具有更强的能力。尽管存在一些局限性,研究结果强调了Gemini作为临床决策中更可靠工具的潜力,同时也表明在其广泛融入临床实践之前需要进一步改进和验证。未来研究应侧重于进一步提高大语言模型的可靠性和准确性,同时应对伦理和法律挑战。
文章摘要
为什么这个主题很重要?
对Gemini、Copilot和ChatGPT-4.0等大语言模型(LLMs)的评估至关重要,因为它们有可能对医疗保健中的临床决策产生重大影响。
本研究试图展示什么?
本研究试图评估三种知名大语言模型对急性侧腹痛影像检查场景的回复与专家共识建议之间的一致性。
关键发现是什么?
Gemini与专家共识的一致性更优,在65.5%的病例中与多数共识一致,而Copilot和ChatGPT-4.0均为41.4%。
在被共识评为完美或优秀的场景中,Gemini表现出更高的同意率(69.5%),显著优于其他两个大语言模型。
Gemini与九位评审中任意一位的总体一致率为82.7%,表明其在处理复杂医学问题方面具有更优的能力。
患者护理如何受到影响?
使用Gemini有可能通过提供更可靠且与专家一致的推荐来增强临床决策。
在急诊科整合Gemini等先进大语言模型可以提高诊断准确性和患者管理质量。
电子补充材料
以下是电子补充材料的链接。
补充材料1
补充材料2
引用
- Yigit Y, Ozbek AE, Dogru B, et al. Evaluating large language models for renal colic imaging recommendations: a comparative analysis of Gemini, copilot, and ChatGPT-4.0. Int J Emerg Med. 2025. PMID: 40615804. doi:10.1186/s12245-025-00895-3
- 全文:PMC12232162(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12232162/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。