指南与共识头颈

耳鼻咽喉头颈外科中本地运行与网络大语言模型决策与人类肿瘤委员会建议的对比评估

Assessment of decision-making with locally run and web-based large language models versus human board recommendations in otorhinolaryngology, head and neck surgery.
指南 / 共识 · Eur Arch Otorhinolaryngol · 2025-01-10

本研究将25例模拟头颈肿瘤病例提交多学科肿瘤委员会(MDT)及网络版ChatGPT-4o与本地运行Llama 3,比较治疗建议一致性。ChatGPT-4o与MDT在根治/姑息区分上一致率84%(21/25),Llama 3为92%(23/25);医学适当性均分ChatGPT-4o 4.7、Llama 3 4.3(P<0.001)。作者认为大语言模型目前应辅助而非替代人类决策。

要点

  • ChatGPT-4o与MDT根治/姑息区分一致率84%(21/25),Llama 3为92%(23/25)。
  • 两模型均未完整复现MDT一线方案细节,手术描述常缺乏具体术式与范围。
  • 医学适当性均分ChatGPT-4o 4.7(IQR 4-6)优于Llama 3 4.3(IQR 3-5),P<0.001。

核心结论

  • 两种大语言模型均能为耳鼻咽喉头颈外科提供可行的治疗建议,但Llama 3在医学适当性上显著低于ChatGPT-4o(P<0.001)。
  • 作者认为目前大语言模型应辅助而非替代人类MDT决策,本地运行模型可规避多数数据保护问题并有望支持MDT决策。

研究设计与样本

  • 本研究为首次同类研究,比较标准人类MDT建议与网络版ChatGPT-4o及本地运行Llama 3的建议一致性。
  • 共设计25例模拟头颈恶性肿瘤病例,由耳鼻咽喉科、颌面外科、放疗科、肿瘤内科、放射科和病理科专家组成的MDT讨论。
  • 相同病例以结构化提示词输入ChatGPT-4o与Llama 3,由4名MDT成员按6分Likert量表(0=极差,6=优秀)评价医学适当性并判断是否可能影响MDT决策。
  • 本地Llama 3运行于标准MacBook Pro 2023(M3 Pro,18 GB RAM,Apple,加利福尼亚,美国)。

诊断标准与关键数值

  • ChatGPT-4o与MDT在根治与姑息治疗策略区分上一致率为84%(21/25),Llama 3为92%(23/25)。
  • ChatGPT-4o在64%(16/25)病例中提及MDT全部一线方案(顺序可不同),Llama 3为60%(15/25)。
  • ChatGPT-4o在52%(13/25)病例中将MDT全部一线方案列为一线,Llama 3为48%(12/25)。
  • 两模型各自在28%(7/25)病例中将MDT至少一种一线方案列为首选推荐。
  • 医学适当性6分Likert量表均分:ChatGPT-4o 4.7(IQR 4-6),Llama 3 4.3(IQR 3-5),组间比较P<0.001。

临床应用与阅片要点

  • MDT通常提供详细手术信息,而大语言模型常推荐手术但未说明术式或范围,例如Llama 3在一例中仅关注原发灶切除而未提及必要的颈淋巴结清扫。
  • 在无组织病理学证实的cT3 cN3 cM0下咽癌病例中,ChatGPT-4o对未证实肿瘤建议姑息治疗,Llama 3建议首选根治性放化疗。
  • 在原发灶不明癌综合征病例中,两模型均未建议原发灶不明癌潘氏内镜或PET CT检查,Llama 3未识别原发灶不明而认为切除可行。
  • Llama 3在一例中未识别患者已接受根治性手术、本次仅为辅助治疗。
  • Llama 3以英语回答德语输入且几乎每次超出200词限制(平均246词),还曾声称遵守限制(标注Word count: 199)而实际为248词。

局限性

  • 研究使用构建病例而非真实患者资料,因数据保护官未批准将真实病例输入网络大语言模型。
  • MDT成员来自不同机构可能被视为不现实场景,但此为限制主观与机构偏倚的设计选择。
  • 作者观察到不同机构默认治疗方案存在局部差异,例如一家机构在放疗前进行牙齿修复而其他机构省略该步骤以加速治疗开始。
  • 作者指出这是耳鼻咽喉头颈外科首次评估本地大语言模型的研究,优化潜力尚未穷尽,需未来研究评估将本地大语言模型整合进MDT流程。
全文中译4 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Arch Otorhinolaryngol. 2025 Jan 10;282(3):1593–607. doi: 10.1007/s00405-024-09153-3

引言

多学科(人类)肿瘤委员会(MDTs)是当代癌症治疗的重要组成部分,使得来自不同学科的医疗专家能够协作决策。这些讨论确保患者基于专家意见获得个体化治疗方案[1]。然而,MDT的预处理和后处理耗时且可能延误治疗。此外,地理因素也可能因当地资源差异而使决策产生偏倚[2]。

大语言模型(LLMs)近期已展现出快速高效处理复杂医学数据并提供准确解读的能力[3–6]。这些模型利用基于Transformer的架构,能够并行处理大量数据,使其成为解决传统MDT局限性的有力工具[7, 8]。LLMs有潜力通过基于最新可用医学文献提供实时、公正的建议,来支持或补充基于MDT的肿瘤管理决策。

尽管有这些优势,基于网络的LLMs在临床决策中的使用一直受到数据保护和患者隐私方面担忧的阻碍[9]。这在医学领域尤为如此,敏感的患者数据必须极其谨慎地处理[10–12]。本地运行的LLMs提供了一种有前景的替代方案,因为它们离线运行,无需通过互联网传输数据,从而降低了数据泄露的风险[13]。

既往研究已探索了LLMs在辅助MDTs方面的潜力[14, 15]。对ChatGPT等模型在耳鼻咽喉科、头颈外科中的早期评估显示了一些局限性,包括缺乏个体化治疗方案和建议不一致[16–18]。这些研究通常基于专家对LLM输出的评审,而非与MDT建议的直接比较,且未探讨LLM生成的信息是否能够影响MDT决策。此外,既往研究对基于网络LLMs的依赖引发了对数据安全的担忧,限制了这些发现的实际临床适用性。

在本研究中,我们首次比较了耳鼻咽喉科、头颈外科标准人类MDT所作出的建议与两种LLMs生成的建议:一种基于网络的模型(ChatGPT-4o)和一种本地运行的模型(Llama 3)。通过解决基于网络系统的数据安全问题,本研究旨在评估本地运行的LLMs能否提供一种安全的工具,以增强和改善耳鼻咽喉科、头颈外科的癌症管理决策。

材料与方法

本研究按如下方式进行(图1)。设计了25例类似耳鼻咽喉科、头颈外科恶性肿瘤患者的病例(表1)。

将这些 профили 与作者临床经验中的真实临床场景进行关联,并由四位经验丰富的高级顾问医师审阅。每个病例均以相同的语义方式准备,包括年龄、性别、ECOG 分期、病史、肿瘤病史、药物使用(香烟、酒精)、肿瘤实体、部位、初诊、TNM 分期、组织学类型、p16、PD-L1 状态、分级及迄今治疗史。随后每个病例在多学科 MDT 中呈现。实施的 MDT 包括耳鼻咽喉科医师、颌面外科医师、放射肿瘤科医师、肿瘤内科医师、放射科医师和病理科医师。MDT 成员选自不同机构以减少地域偏倚。在虚拟举行的 MDT 会诊中,对每个病例进行讨论并推荐治疗方案。

随后,每个单独的肿瘤病例被传递给两个不同的 LLM。尝试了受 Griewing 等启发的不同提示策略,以排除偏倚输出 [15]。最终实施的提示还陈述了患者的详细信息,包括年龄、性别、ECOG 分期、病史、肿瘤病史、药物使用(香烟、酒精)、肿瘤实体、部位、初诊、TNM 分期、组织学类型、p16、PD-L1 状态、分级及迄今治疗。如适用,提示还提及外科医师对肿瘤切除的意见,之后说明患者在多学科 MDT 中呈现,并提及手术、放疗、全身治疗和姑息治疗选择,如适用则要求为每种实体提供治疗计划。此外,提示要求对合适治疗进行明确排序。最后,LLM 被强制将答案限制在 200 词以内(图 2)。设计提示后,患者档案被传递给 OpenAI ChatGPT-4o 的最新基于网络的版本和本地运行的 Llama 3 LLM,未进行进一步训练。本地 LLM 在标准 MacBook Pro 2023、M3 Pro、18 GB RAM(Apple,加利福尼亚,美国)上运行。

人类肿瘤委员会的推荐、基于网络的 ChatGPT-4o 和本地 Llama 3 的推荐被汇总在 Excel 表中,以便进行并列比较和分析一致性。此外,MDT 的 4 名成员对 ChatGPT-4o 和 Llama 3 提供的推荐在医学适当性方面采用 6 点 Likert 量表(0 = 非常差,6 = 优秀)进行评分。此外,4 名评分者说明其认为 LLM 提供的信息是否可能影响 MDT 的推荐(是/否/弃权)。此外,还设有空间供评分者表达自由文本评论。

Likert 量表有序变量(定性-有序)的统计分析使用 GraphPad Prism for MacOS Version 10.3.0(GraphPad Software,拉霍亚,加利福尼亚,美国)进行。正态分布采用 D’Agostino 和 Pearson 检验进行检验。组间比较使用 Mann Whitney 检验进行。由于未处理真实患者数据,因此无需伦理批准。

图 1 研究的工作流程 查看原图 ↗
表 1 构建的病例 查看原表 ↗
图 2 由 deepL.com(科隆,德国)翻译的患者(L1)示例提示 查看原图 ↗

结果

MDT、ChatGPT-4o 和 Llama 3 所述治疗推荐概述,以及其对每个具体病例的根治性或姑息性治疗方案推荐和一线治疗方案的一致性,见表 2。

表3总结了MDT、ChatGPT-4o和Llama 3之间的比较。人类肿瘤委员会为88%(22/25)的病例建议了治愈性治疗方案,ChatGPT-4o为72%(18/25),Llama 3为88%(22/25)。因此,人类肿瘤委员会和Llama 3为12%(3/25)的病例明确了姑息性策略,而ChatGPT-4o在28%(7/25)的情况下建议了姑息性方案。ChatGPT-4o与人类肿瘤委员会在这一方面的 concordance 为84%(21/25)。在所有不一致的病例中,ChatGPT-4o倾向于姑息性治疗,而人类委员会建议了治愈性治疗方案。Llama 3与人类委员会的 concordance 为92%(23/25)。

在64%(16/25)的实例中,ChatGPT-4o和在60%的病例(15/25)中,Llama 3将人类委员会提供的所有一线推荐作为可能的治疗方案提及,尽管有时顺序不同。而ChatGPT-4o在另外12%(3/25)的实例中至少陈述了一项一线推荐,Llama 3则在另外8%(2/25)的实例中做到了这一点。虽然ChatGPT-4o在52%(13/25)的病例中陈述了人类委员会所述的所有一线治疗方案,Llama 3在48%(12/25)的病例中表现出这种高度 concordance。ChatGPT-4o和Llama 3各自在20%(5/25)的病例中将人类委员会至少一项一线治疗方案作为一线方案陈述。

4位MDT成员的评分显示,ChatGPT-4o在医学适当性方面的平均评分为4.7(IQR 4–6),Llama 3的平均评分为4.3(IQR 3–5),显著较低(p < 0.001)(图3)。对于一名患者,两名评分者认为来自LLM的附加信息可能影响了MDT决策。在该病例中,患者为ECOG 3期,MDT建议了治愈性治疗方案。总体而言,评分者表示,在17%(33/200)的病例中,来自LLM的信息可能影响了肿瘤委员会的决策。然而,这一陈述在评分者之间差异较大。一名评分者表示,对于ChatGPT-4o和Llama 3,来自LLM的信息可能分别在32%(8/25)的病例中影响了决策。相比之下,另一名评分者认为在任何病例中均未对MDT决策产生可能的影响。

人类肿瘤委员会通常提供关于手术的详细信息,而LLM通常推荐手术治疗而未说明手术方式或范围。尽管基于网络的ChatGPT-4o和本地运行的Llama 3收到了完全相同的提示,ChatGPT-4o用德语回答,而Llama 3用英语回答。ChatGPT-4o每次均满足字数限制(平均150词),Llama 3提供的答案过长,仅一次满足字数限制(平均246词)。有一次Llama 3通过在回答末尾提供“Word count: 199”来假装“接受”字数限制,而在该情况下回答长度为248词。

表2 MDT、ChatGPT-4o和Llama 3的治疗推荐 查看原表 ↗
表3 治疗推荐的汇总比较 查看原表 ↗
图3 由4名MDT成员评定的ChatGPT-4o(平均4.7;范围1–6)和Llama 3(平均4.3;范围1–6)所述推荐的医学适当性。数据以散点图显示,每个点代表一个绝对值(条宽代表大量个体值的集中)。正态分布采用D’Agostino和Pearson检验进行检验。组间比较采用Mann Whitney检验。*p < 0.05 查看原图 ↗

讨论

既往的单中心研究评估了大语言模型(LLM)在耳鼻咽喉科及头颈外科中为肿瘤治疗方案提供建议的可行性[16–18]。然而,这些研究大多针对较旧版本,且主要仅关注ChatGPT,仅有一项例外评估了Claude 3。

然而,我们的研究是首个评估基于网络的ChatGPT-4o以及为应对数据保护问题而本地运行的LLM(Llama 3)的研究。与既往研究不同,LLM的建议直接与人类肿瘤委员会决策进行比较,随后由专家评分。更具体地说,四名多学科团队(MDT)成员使用6点Likert量表评估LLM建议的医学适当性,并评估所提供的信息是否可能影响MDT的最终决策。

我们的研究结果显示,LLM与MDT之间具有高度一致性,尤其是在根治性与姑息性治疗策略的关键区分方面。本地运行的模型Llama 3与MDT的一致率为92%(23/25),而ChatGPT-4o达到84%(21/25)。ChatGPT-4o在64%(16/25)的患者中提及了MDT的所有一线建议,Llama在60%(15/25)中提及。虽然ChatGPT-4o在52%(13/25)的病例中将与MDT相同的一线建议列为一线,Llama 3在48%(12/25)的病例中如此。而ChatGPT-4o在另外12%(3/25)的病例中将MDT的一线建议部分列为一线,Llama 3在另外8%(2/25)的病例中做到了相同。相应地,在72%(18/25)的病例中ChatGPT-4o、在68%(17/25)的病例中Llama 3将至少一个与MDT相同的一线治疗方案列为一线。当前LLM无论在线还是离线均具有这种能力,令人惊讶地足够充分,尤其是考虑到既往在耳鼻咽喉科的研究对LLM个体化治疗建议持更为消极的态度[16, 17]。

一线手术作为唯一治疗最常被MDT和LLM建议,MDT为48%(12/25),ChatGPT-4o为52%(13/25),Llama为64%(16/25)的病例。虽然MDT提供了更详细的手术治疗计划,即“局部切除及同侧颈淋巴结清扫”,但LLM经常缺乏对手术的详细说明。如果LLM像Llama在一个示例性病例(M1)中所做的那样,集中于原发肿瘤的切除而未提及必要的颈淋巴结清扫,这尤其成问题。

为提供真实的情境,我们有意在患者资料中设置了一些障碍,以提供更真实的、有缺陷和/或误导性提交至MDT的情境。在一个病例中,一名cT3 cN3 cM0下咽癌患者(P3)没有任何实际的组织病理学确认,ChatGPT-4o和Llama 3均建议了治疗方案,而MDT建议首先进行全上消化道内镜检查并随后活检。在该病例中,ChatGPT-4o为当时尚未经组织学证实的肿瘤建议了姑息性治疗。Llama 3推荐原发放化疗作为一线治疗,尽管既无组织学评估也无外科医生关于可切除性的声明。

LLM的另一个陷阱是原发灶不明癌(CUP)综合征(CUP1)。在此,没有任何LLM像MDT那样建议CUP全上消化道内镜检查或PET CT。此外,Llama未意识到原发肿瘤部位实际上是未知的,因此其切除不可行。

此外,在一个实例(M2)中,Llama没有意识到该患者已经接受了以治愈为目的的手术,而本次就诊仅是为了辅助治疗。在此,可以认为提示词本应作出调整,因为MDT提交材料通常也会提供关于治疗前或治疗后就诊的信息。然而,该模拟病例代表的是一个不完美提交材料的场景,而这种情形不幸地在日常临床实践中确实会发生。

此外,我们注意到Llama 3忽视了德语输入,始终用英语而非德语作答。在字数限制方面也出现了同样的情况,Llama 3不仅几乎每次都超出字数限制,在一次案例中Llama 3甚至声称遵守了字数限制,尽管实际上已经超出。这些例子表明,大语言模型(LLMs)在无法完成任务时倾向于忽视指令,而非承认自身不足。尤其对于肿瘤治疗方案而言,这是危险的,在就此咨询LLMs时应予以考虑。这一事实印证了既往研究(在耳鼻咽喉科及其他领域)的推论,即LLMs在辅助MDT方面非常有前景,但不能也不应取代MDT [14–17]。

尽管存在一些根本性缺陷,LLMs在医学适当性方面仍获得了我们4名MDT评估成员在6点李克特量表上的可观评分,ChatGPT-4o的平均评分为4.7(IQR 4–6),Llama 3为4.3(IQR 3–5)(图3)。这可能是因为所谓不太重要的信息,如ECOG状态或吸烟史,在MDT中容易被淡化到背景中,而LLMs却经常予以强调。在我们的研究中,MDT曾为一名ECOG 3期(L2)患者建议了治愈性治疗方案。在此,两名评分者表示LLM提供的信息可能改变了MDT的建议。评分者认为LLMs强调患者的慢性疾病和成瘾史是积极的。总体而言,评分者在17%(33/150)的评分中表示,LLM的信息可能改变了委员会的建议。因此在个别案例中,使用LLMs可能对患者的命运产生非常积极的影响。尤其考虑到MDT的资源可因MDT所处环境的不同而存在巨大差异[2]。

显然,本研究存在一些局限性,包括使用了构建病例而非真实患者档案这一事实。然而,即使在对数据集进行匿名化处理后,将真实病例输入基于网络的大语言模型仍未获得我们数据保护官的批准。由于比较基于网络的LLM ChatGPT-4o与本地运行的LLM Llama 3是本研究的关键目标,我们只能限于使用构建的患者档案。此外,有人可能认为由不同机构成员组成的MDT并非现实场景,然而我们默认选择这一设计是为了限制MDT决策中的主观偏见和机构偏见。事实上,我们注意到各机构在默认治疗方案上存在差异,例如,在一家机构,牙科修复在放射治疗之前实施,而其他机构则省略该步骤以加快治疗开始。这典型地体现了多中心方法的优势。

考虑到这些局限性,本研究是首个在耳鼻咽喉头颈外科多学科团队(MDT)建议中评估本地运行的大语言模型(LLM,Llama 3)的研究。有趣的是,本地LLM(Llama 3)的结果劣于基于网络的ChatGPT-4o。就治愈性或姑息性手术的决策而言,MDT与本地Llama 3 LLM之间的一致性甚至更高。由于这是耳鼻咽喉头颈外科首个评估本地LLM的研究,其优化潜力显然尚未穷尽。首先,更新版本以及不同本地LLM之间的比较可能会改善结果。其次,针对特定耳鼻咽喉头颈外科文献的专门训练和对齐提示词可能进一步改善结果。因此,本地LLM很可能在不久的将来赶上基于网络的版本。尤其是在医学领域,在临床实践中将高度敏感的私人患者数据传递给私人拥有的、基于网络的LLM几乎是不可想象的[9]。尽管存在数据隐私问题,本地LLM的开放获取结构相当具有成本效益,仅需一台价格低于1000欧元的标准计算机即可运行。此外,本地LLM提供了在没有互联网连接的偏远地区部署的机会。因此,这些模型也为低收入和中等收入国家(LMICs)的低资源环境提供了巨大机遇。因此,未来关于医学应用的研究应聚焦于本地LLM。

鉴于Llama 3的本地和开源特性,本研究的结果可能反映了将本地运行、符合数据保护要求的LLM实际应用于真实临床实践的重要一步。尽管我们的发现令人鼓舞,但MDT不太可能即将被LLM取代。目前,在肿瘤委员会决策中,人类评估被证明比LLM驱动的评估更可靠,尤其是因为患者不愿意将任何关于其治疗命运的决定权交到计算机手中[19]。此外,目前医疗法律层面的影响完全不清楚。相反,MDT更可能由本地运行的LLM来增强,帮助减少肿瘤委员会的地理偏倚[2, 20]。因此,未来研究应评估(本地)LLM在MDT过程中的整合。

引用

  1. Buhr CR, Ernst BP, Blaikie A, et al. Assessment of decision-making with locally run and web-based large language models versus human board recommendations in otorhinolaryngology, head and neck surgery. Eur Arch Otorhinolaryngol. 2025. PMID: 39792200. doi:10.1007/s00405-024-09153-3
  2. 全文:PMC11890241(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11890241/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。