大语言模型在神经放射学指南遵循中的文化偏倚

引言

医学影像如今已应用于越来越多高度专业化的领域，其使用变得日益复杂[1–3]。由于影像检查适应证繁多，临床医生在开具最合适的检查时可能面临困难，影像检查方式的过度使用也十分常见[1]。尽管专业学会定期发布指南以规范开单行为，但指南数量庞大且更新频繁，使其难以查阅[4–6]。近期在欧洲开展的一项多国评估显示，指南依从性存在显著差异，范围为58%至86%[7]。此外，不同国家学会发布的指南可能相互冲突，尤其在神经放射学领域[8]。对转诊指南的比较分析显示，针对颈椎影像等常见情形的推荐意见之间仅存在轻微一致性[9]。因此，临床医生需要一个适应其具体实践环境的决策支持工具。

大语言模型（LLMs）在这方面似乎颇具前景，因为它们能够编码广泛的临床知识并将其用于支持医学决策[10, 11]。在神经放射学领域，它们已作为影像决策辅助工具接受过测试[12]。

然而，近期研究揭示了LLMs在处理医学问题时的偏倚，会传播性别和种族刻板印象[13, 14]。近期系统综述显示，性别偏倚出现在93.7%的受评估研究中，种族/民族偏倚出现在90.9%中[15]。虽然这些人口学偏倚源于训练数据的不平衡并可加剧健康差异，但地理偏倚——即系统性地偏好某一国家的临床指南而非同样有效的替代指南——在很大程度上仍未被探索。与影响个体患者推荐意见的人口学偏倚不同，地理偏倚有可能使整个临床工作流程与当地实践标准脱节，可能破坏反映区域特定资源可得性、治疗理念和监管框架的综合诊疗路径。

多项研究报告LLMs倾向于再现以美国为中心的价值观[14–16]，但这一现象在医学领域的适用程度仍不清楚。在放射学领域，对美国内容的偏倚可能就用户的实践环境产生不恰当的回应，并带来潜在的医学和法律后果。据我们所知，尚无研究探讨LLMs在临床决策支持中是否存在地理偏倚。

我们着手检验三种大语言模型——GPT-o3（OpenAI）、DeepSeek R1（DeepSeek）和Mistral Large（Mistral AI），它们各自在不同的洲开发——以及一种生物医学LLM（MedGemma 1.5 4B，Google），是否在临床决策支持中表现出以美国为中心的偏倚，即不成比例地遵循美国神经放射学指南而非同样权威的国际指南。

材料与方法

本研究免除机构审查委员会批准和知情同意的要求，因为研究不涉及真实患者数据或人类受试者。

报告遵循TRIPOD-LLM[17]指南。

指南

两名神经放射科医师（N.B.，1年经验；B.L.G.，5年经验）独立审查了医院病例，以确定有正式建议可用的代表性临床情境。为确保准确解读并与当地临床背景相关，仅考虑以英文或法文发表的指南。仅保留至少一个美国学会和一个非美国学会发布相互冲突建议的场景。冲突定义为在以下任何方面的差异：(1) 影像检查的适应证，(2) 首选 modality（例如CT、MRI、X线摄影），(3) 建议的时机，或(4) 技术方案。最终语料库包括由18个专业学会跨五个地理实体（美国、法国、英国、加拿大和欧洲）发布的30份指南（补充表1）。

对抗性病例

基于这些相互冲突的指南，创建了三十个虚构的临床案例。该过程受作者在里尔大学医院的临床接触启发，并进行了匿名化和调整以确保其保持假设性质。每个案例均设计为对抗性示例，将美国建议与来自另一个国家的一项不匹配建议进行对比（图1）。所有案例均包含足以判断影像检查适当性的信息，首先以英文撰写，然后翻译为法文以进行敏感性分析。案例、主题及相应指南的完整列表见补充表2。

大型语言模型

测试了三种最先进的大型语言模型：GPT-o3（模型“o3-2025-04-16”，OpenAI，美国）、Mistral Large（模型“mistral-large-2411”，Mistral AI，法国）和DeepSeek R1（模型“deepseek-reasoner”，DeepSeek，中国）。前两个被选为来自美国和法国的参考模型，而DeepSeek作为敏感性分析加入以拓宽地理代表性。Mistral和DeepSeek模型于2025年3月25日至3月28日期间访问，GPT-o3于4月20日至22日期间访问，均通过各自的API，使用默认超参数（GPT-o3的温度无法修改）。在一项事后分析中，我们评估了MedGemma模型（“medgemma-1.5-4b-it”，Google，美国），这是一个于2026年1月发布的专门用于医学图像和文本的模型[18]，在3块各具有24 Gb VRAM的Quadro RTX图形处理单元上本地运行。MedGemma仅通过可在https://github.com/BastienLeGuellec/medgemma-eura获取的代码在隐式和显式设置下进行评估，因为它原生不支持PDF输入或网络搜索。对于所有模型，每次回答后均清除记忆。

提示词设计

在两种主要条件下对大语言模型进行查询。在隐式指南设置中，提示仅呈现临床情景。为探究隐式设置下的稳健性，我们在24小时后重复查询，并将所有 vignettes 翻译成法语。在显式指南设置中，每个提示指示模型应用一项具名推荐，使用以下确切措辞：“[临床 vignette]。我应该进行何种影像检查？使用[指南名称，例如，新奥尔良头部CT标准]指南回答。”对于显式指南设置，我们还测试了两种旨在提高忠实度的缓解策略：启用网络搜索（代理模式）以及在提示上下文中提供完整指南PDF。这两种缓解策略直接在各自的模型提供商网站（即 chatgpt.com、https://chat.mistral.ai/chat 和 https://chat.deepseek.com）上执行，使用“网络搜索”和“附加文档”选项以模拟临床环境中的使用。每个 vignette + 指南PDF的 token 计数均低于所有测试模型的上下文限制。

回答审查

模型的回答由一名神经放射学培训生（N.B.）和一名委员会认证的神经放射学家（B.L.G.）独立审查，以评估其相对于各对应指南的适当性。包含错误检查建议（包括幻觉检查名称）的回答被视为失败（未遵循任何指南）。评分者间一致性使用 Cohen's kappa 评估。两名评分者在隐式、显式和缓解实验中的所有评分中93%一致（κ = 0.81，95% CI [0.78, 0.84]），表明几乎完全一致。分歧通过共识解决。

统计分析

比例报告附 Wilson 95%置信区间。比例的差异比较采用双侧χ²检验（独立测量）和 McNemar 检验（配对比较，用于缓解策略比较）。对于模型对 US vs 非US指南的隐式和显式偏好的主要分析，由于多重检验，α值经 Bonferroni 方法调整至 αajd = 0.006。对于缓解策略（探索性分析），α设为0.05，未进行多重比较校正。分析在 Python 3.10 中使用 scipy 模块（版本 1.14.1）完成。

结果

对 U.S. 指南的隐式偏好

最终分析包括由三个大语言模型评估的30个临床 vignettes。在隐式设置中，每个模型选择 U.S. 选项的频率均高于非U.S. 选项。DeepSeek、GPT-o3 和 Mistral 在30次回答中有27次支持美国指南（90.0%，95% CI：74.4–96.5，均 p < 0.001）（图2）。模型间的偏好分布无统计学显著差异（p = 0.46）。这些结果在2次运行中一致（补充图1）。代表性示例见补充表3。

语言对隐式偏好的影响

用法语提示模型并未改变美国偏好的模式。DeepSeek在30条回答中有25条与美国建议一致（83.3%，95% CI：66.4–92.7，p < 0.001），GPT-o3在30条回答中有26条一致（86.7%，95% CI：70.3–94.7，p < 0.001），Mistral在30条回答中有24条一致（80.0%，95% CI：62.7–90.5，p < 0.001）（图2）。模型间偏好分布比较显示无统计学显著差异（p = 0.95）。这些结果在2次运行中一致（补充图1）。

遵循明确指南的能力

当模型被明确指示遵循给定指南时，其总体准确率分别为：DeepSeek 58.3%（35/60；95% CI 45.7–69.9），GPT-o3 56.7%（34/60；95% CI 44.1–68.4），Mistral 55.0%（33/60；95% CI 42.5–66.9）（图3）。当指南来源于美国时，所有三个模型的表现均显著优于非美国指南。DeepSeek正确回答了86.7%的美国场景（26/30；95% CI 70.3–94.7），而非美国指南为30.0%（9/30；95% CI 16.7–47.9；p < 0.001）。GPT-o3对附带美国指南的小插曲正确回答率为76.7%（23/30；95% CI 59.1–88.2），而附带非美国指南的小插曲为36.7%（11/30；95% CI 21.9–54.5；p = 0.004）。Mistral的表现呈现相似趋势，对附带美国指南的小插曲准确率为80.0%（24/30；95% CI 62.7–90.5），而附带非美国指南的小插曲为30.0%（9/30；95% CI 16.7–47.9；p < 0.001）。

网络搜索对遵循明确指南的影响

网络搜索选项改善了GPT-o3和Mistral对非美国指南的遵循，但未改善DeepSeek（图4）。在此方法下，DeepSeek达到65.0%的总体准确率（39/60；95% CI：52.4–75.8），美国指南为80.0%（24/30；95% CI：62.7–90.5），非美国指南为50.0%（15/30；95% CI：33.2–66.8；p = 0.0304）。GPT-o3达到85.0%的总体准确率（51/60；95% CI：73.9–91.9），美国指南为90.0%（27/30；95% CI：74.4–96.5），非美国指南为80.0%（24/30；95% CI：62.7–90.5；p = 0.4696）。Mistral呈现相似模式，总体准确率为73.3%（44/60；95% CI：61.0–82.9），美国指南准确率为83.3%（25/30；95% CI：66.4–92.7），非美国指南为63.3%（19/30；95% CI：45.5–78.1；p = 0.1444）。

以PDF形式提供指南对遵循明确指南的影响

以PDF形式提供指南在所有模型中一致产生更高的准确率（图4）。DeepSeek达到90.0%的总体准确率（54/60；95% CI：79.9–95.3），美国指南准确率为93.3%（28/30；95% CI：78.7–98.2），非美国指南为86.7%（26/30；95% CI：70.3–94.7；p = 0.6670）。GPT达到95.0%的总体准确率（57/60；95% CI：86.3–98.3），其中对美国指南的遵循为完美（100.0%，30/30；95% CI：88.6–100.0），非美国指南为90.0%（27/30；95% CI：74.4–96.5；p = 0.2361）。Mistral总体准确率达到86.7%（52/60；95% CI：75.8–93.1），美国指南为93.3%（28/30；95% CI：78.7–98.2），非美国指南为80.0%（24/30；95% CI：62.7–90.5；p = 0.2546）。

MedGemma 1.5的内隐和外显偏好

MedGemma在英语（63.3%，19/30；95% CI：45.5–78.1）和法语（60.0%，18/30；95% CI：42.3–75.4，补充图2）中均表现出强烈的美国偏好，与非美国对齐的比例极低（分别为0.0%和6.7%；两者p < 0.001）。当明确指示遵循指定指南时（补充图3），MedGemma对非美国指南的准确率显著低于美国指南，英语中为（3.3%，1/30，95% CI：0.6–16.7 vs 50.0%，15/30，95% CI：32.6–67.4；p < 0.001），法语中为（16.7%，5/30，95% CI：7.3–33.6 vs 53.3%，16/30，95% CI：35.9–69.9；p = 0.007）。

讨论

我们对三种最先进的大语言模型（LLM）的评估揭示了其对美国神经放射学指南的系统性偏好，即使在其他大陆构思和训练的模型中也是如此。在隐式设置下，超过80%的回答与美国指南一致而非非美国指南。当明确告知模型应遵循哪一指南时，非美国推荐的准确率相较美国推荐显著下降。这一行为在两种提示语言和三种模型中持续存在，凸显了美国中心主义是当前通用大语言模型的一个共同特征。

我们关于地理偏见的发现补充了医学人工智能中人口学偏见的既有文献[15, 19]，但存在重要差异。人口学偏见表现为基于种族、性别或社会经济地位对个体患者产生差异化治疗推荐，而地理偏见在系统层面运作，无论用户所在位置如何，均默认采用某一司法管辖区的临床方案。两种偏见类型在训练数据不平衡方面具有共同起源[20, 21]，但其临床意义不同。人口学偏见可能加剧人群内现有的健康差异，而地理偏见则可能将不适当的诊疗标准引入不同人群[15]。

尽管关于医学大语言模型中地理偏见的研究有限，现有文献支持我们的发现。最近一项欧洲基准研究评估了GPT-4、DeepSeek R1和Gemini 2.0对ESGO/ESTRO/ESP宫颈癌指南的遵循情况，发现准确率欠佳且对这些欧洲指南的依从性存在显著差异，强调了在欧洲实践环境中需要专家监督以防止错误信息[22]。这与我们的观察一致，即大语言模型即使在明确指示下也难以遵循非美国指南。

这种美国中心主义的主要驱动因素几乎可以肯定是训练期间的数据不平衡[16]。尽管当前模型（甚至开放权重模型）的训练语料库是保密的，但GPT的先前迭代版本显示出了对英文文本的强烈偏斜，模型中呈现的93%的文本是用英文撰写的[16]。在医学领域，英文文献远远超过其他语言的材料，而美国来源在该语料库中占主导地位[23]。最近一项关于77份肺癌指南的研究显示，这些指南中引用的美国研究文章占主导地位[24]。在整个数据集中，美国占引用量的30.6%，而纳入的其他每个国家均低于15%，包括在其本国指南中。这种引用偏倚可能增加美国论文在LLM训练语料库中的相对权重，从而增加对这些参考文献的偏倚。基于人类反馈的强化学习（RLHF）放大了这种不平衡：许多评分者是众包工作者，他们通过美国监管视角对答案进行评分[25]。综合来看，这些效应创造了一个训练环境，其中美国标准是优化阻力最小的路径。

以《通用数据保护条例》（GDPR）为代表的更严格的欧洲监管环境，也是限制代表欧洲标准的医学数据集传播的主要因素。在最近的一篇综述中，Wu等人表明，开放临床文本数据集的最大提供者是美国和中国，许多欧洲国家和语言仍处于当前研究的盲区[21]。这种不公平的监管格局也影响模型测试，大多数可用的测试和开创性研究仍在标准化英文文本上进行，这些文本主要来自美国医院的一个子集[26]。最后，它还将影响采用，尤其是在近期《欧盟人工智能法案》[27]的背景下。LLM的卫生应用被判定为“高风险”场景，受到欧洲监管机构的特别审查，因此其在欧洲的临床采用可能滞后数年。例如，最近发布的ChatGPT Health仅在美国可用，欧洲的对应产品仍有待推出[28]。

有趣的是，对美国指南的偏好不仅存在于美国开发的GPT-o3中，也存在于DeepSeek R1（中国）和Mistral Large（法国）中，这表明该偏斜是从全球数据生态系统中习得的，而非仅由美国工程师或对齐团队强加。换言之，这种偏倚似乎已嵌入所有三个模型所依赖的共享文本基质中，无论最终权重在哪个大洲进行调优。

这种偏倚的临床利害关系并非微不足道。不同司法管辖区之间影像检查指征的差异反映了在辐射暴露、成本、诊断收益和至治疗时间之间的权衡[29]。例如，在急性卒中中，CT和MRI各有不同的优势和局限性，不能不加考虑地互换使用。影像选择嵌入在更广泛的照护路径之中，这些路径涵盖急诊后勤、治疗时间线和资源可及性[30]。它们反映了不同卫生系统之间 underlying 治疗理念的差异：例如，对于急性卒中评估，美国方案优先使用CT快速排除出血以 enabling 溶栓[31]，而法国和韩国路径则强调早期MRI以指导病因诊断和结局预测[32]。因此，一个默认选择“错误”模态的模型所带来的风险是扰乱整合的工作流程，而不仅仅是选择了一项次优检查。

这些差异也引发了医疗法律方面的担忧。在法国，医疗过失标准取决于“在法国工作的合理临床医生”会怎么做，而不是取决于在加利福尼亚训练的算法推荐怎么做[33]。

技术性缓解措施看似可行但尚未成熟。策划多语言、区域均衡的语料库将减少美国来源在训练阶段的主导地位[34, 35]。在对齐阶段，开发者可以纳入来自更多样化监管视角的评分者，并按地域对人工评分者进行分层，或明确指示他们在评分回答时优先考虑更广泛的规范谱系。然而，大规模实施这一点可能会产生高昂的成本和后勤复杂性，因为需要寻找区域特定的医学专家而非通用型众包工作者。因此，本地化的部署后缓解策略可能更为适用。我们测试了两种具有有益效果的部署后缓解策略：让LLM搜索网络并向其提供PDF格式的指南。向AI提示相关推荐意见显示出最有希望的效果。然而，即使提供了正确的指南，大多数LLM仍未达到100%的准确率。这可能是由于模型提供方对PDF文件处理不完善所致，其可能依赖OCR（光学字符识别），也可能是由于在可能很长的文本中难以找到相关信息（大海捞针问题）。最终，安全部署可能需要国家或医院特定的系统，将基础模型推理与编码国家指南的模块化政策层相融合。

虽然我们的研究突出了放射学中地理偏倚这一具体问题，但这一现象是医学“概念漂移”这一更广泛且有充分文献记录的挑战的一部分，即大语言模型（LLM）因不同地区指南的差异或医学建议的时间演变而遇到知识冲突。近期自然语言处理研究评估了DriftMedQA等框架，以系统评估医学LLM在分布偏移下如何保持可靠性。传统对齐技术，如基于人类反馈的强化学习（RLHF），如果人类评估者固有地采用以美国为中心的监管视角，则在解决这些冲突方面存在根本性局限。为积极缓解这些冲突，研究人员正在探索协同技术，如检索增强生成（RAG）结合先进微调方法如直接偏好优化（DPO）或比值比偏好优化（ORPO）[36]。RAG允许模型在生成回答之前动态检索最新的本地化文档（例如，特定的欧洲学会指南），从而绕过其静态预训练记忆的局限性。相反，基于偏好的技术如DPO和ORPO充当直接的行为指导；通过在对比性临床决策对（例如，正确的本地卒中方案 versus 错误的以美国为中心的方案）上训练模型，这些方法明确教导算法持续优先考虑首选的本地标准。随着解决数据漂移的研究在放射学之外迅速发展，我们的发现强调了放射学界迫切需要将LLM偏倚视为一个动态问题。采用这些先进的对齐框架对于确保全球AI辅助临床工作流程的安全性、可靠性和情境适当性至关重要。

获取更安全临床决策支持的一种可能解决方案也可以是使用领域特定模型。然而，我们在MedGemma 1.5上的结果表明，这些模型实际上可能不利于指南依从性。与先前研究一致，我们表明领域专业化LLM在医学任务上的表现不如其通用型 counterparts [37]。虽然所有模型很少生成错误或幻觉答案（例如，DeepSeek建议使用“PERRIA闪烁扫描”来判定脑死亡），但MedGemma的错误答案率最高。这可能是由于其显著较小的规模（40亿参数 vs DeepSeek的6710亿，第二小的测试模型），或特定的微调可能改变了其指令遵循能力[37]。此外，它还表现出相同的美国偏好，这可能是由于其主要在美国生物医学文本（如MIMIC）上进行微调的结果[18, 21]。

我们使用指南一致性作为主要指标，它代表了临床效用的一项重要但不完整的衡量标准。在缺乏直接结局数据的情况下，指南依从性是高质量诊疗的合理替代指标，因为临床实践指南旨在综合最佳可用证据以优化患者结局。然而，指南依从性与患者结局之间的关系并非总是线性或在不同环境中保持一致[38]。当大型语言模型（LLM）带有美国偏倚的建议在理论上可能比不遵循指南、甚至比严格遵循当地指南产生更好的患者结局时，这便构成了一个真正的伦理困境。来自肯尼亚Penda Health研究的初步证据表明，即使未严格遵循当地指南，基于LLM的支持也能减少诊断错误，这突出说明绝对的患者获益与当地指南依从性有时可能并不一致[6]。最终，安全和合乎伦理的LLM部署需要超越“指南一致”与“指南不一致”的二元对立，转向一个更细致的框架，该框架考虑具体情境的适宜性、资源可获得性，以及最重要的——当地环境中患者获益的实证证据[11, 12]。未来研究应优先开展实用性试验，在不同医疗系统中比较LLM辅助诊疗与常规诊疗下的患者结局，并按指南来源和当地情境进行分层。

我们的研究存在局限性。语料库仅限于神经放射学，该领域的指南体系异常丰富且有时相互矛盾；其他具有更同质化国际标准的专科可能显示出更小的效应。我们仅分析了英文和法文提示词，未探索低资源语言。所测试的模型为2025年3月访问的快照版本。AI模型的快速演进可能引入偏倚特征的变异性并影响指南依从性的一致性，因此需要对AI部署及其在临床实践中延续或减轻偏倚的潜力进行持续评估和保持透明[20]。此外，我们未测试地理偏倚与LLM其他偏倚（如性取向、就业状况或种族）之间可能的交互作用[13]。最后，我们以指南一致性而非下游患者结局来判定正确性。真实世界的实用性取决于建议在多大程度上改善临床决策，这一问题将需要前瞻性试验来回答。

我们表明，当代LLM带有隐性地埋偏倚，可能与当地最佳实践不一致。随着医学界在影像分诊和扫描方案中试验这些工具，我们的发现支持谨慎行事并建立稳健的本地化流程。更广泛而言，地理公平性应与其他偏倚指标（如性别或族裔）一同纳入临床AI的标准评估体系。只有通过有意识的、数据驱动的缓解措施并辅以人在回路，我们才能确保由LLM驱动的决策支持服务于各地的患者，而不仅仅是那些其指南恰好主导训练数据的患者。

补充信息

电子补充材料