文献速递技术与安全介入CT

在大型欧洲队列中比较使用临床决策支持和大语言模型进行CT转诊合理性判断

Comparison of CT referral justification using clinical decision support and large language models in a large European cohort.
PubMed 文献 · Eur Radiol · 2025-04-27

该回顾性研究以ESR iGuide为参考标准,评估GPT-4和Claude-3 Haiku与独立专家对6356例患者CT转诊的合理性判断。独立专家在医学检查合理性判断上准确率最高(92.4%),超过GPT-4(88.8%)和Claude-3 Haiku(85.2%);器官预测方面大语言模型与专家表现相当(准确率75.3-77.8% vs 82.6%);对比剂预测GPT-4准确率最高(57.4%),Claude与指南一致性差(kappa=0.006)。作者认为独立专家仍最可靠,但大语言模型在器官预测方面有优化潜力,人机混合方法可能改善CT转诊合理性。

要点

  • 独立专家医学检查判断准确率92.4%,高于GPT-4的88.8%和Claude-3 Haiku的85.2%。
  • 器官预测大语言模型准确率75.3-77.8%,与专家82.6%表现相当。
  • 对比剂预测GPT-4准确率57.4%最高,Claude-3 Haiku与指南一致性差(kappa=0.006)。

核心结论

  • 独立专家仍是CT转诊合理性判断最可靠的方式,但大语言模型在器官预测方面显示出优化潜力,人机混合方法可能改善CT转诊合理性并优化资源利用。

研究设计与样本

  • 回顾性分析6356例患者的CT转诊数据,数据来自欧洲多个医疗中心。
  • 以ESR iGuide临床决策支持系统为参考标准,由两名放射科医生对每例转诊独立评估,评分差异超过2分时由仲裁者裁定。
  • 评估OpenAI GPT-4和Anthropic Claude-3 Haiku两个大语言模型,使用相同提示词和温度0.1设置,不提供外部指南。
  • 独立专家评估由参与中心的委员会认证放射科医生完成,反映欧洲不同医疗环境的真实临床决策。

诊断标准与关键数值

  • 医学检查判断准确率:独立专家92.4%,GPT-4 88.8%,Claude-3 Haiku 85.2%(p<0.01)。
  • 医学检查判断Cohen kappa:独立专家0.72,GPT-4 0.335,Claude-3 Haiku 0.186。
  • 器官-身体部位预测准确率:独立专家82.6%,GPT-4和Claude-3 Haiku为75.3-77.8%(p<0.001)。
  • 器官-身体部位预测Cohen kappa:独立专家0.786,GPT-4 0.732,Claude-3 Haiku 0.725。
  • 对比剂预测准确率:GPT-4 71.2%(95%CI 69.97-72.4%),独立专家46.6%(95%CI 45.26-47.93%),Claude-3 Haiku 49.81%(95%CI 48.47-51.15%)(p<0.001)。

临床应用与阅片要点

  • 原文未据此给出推荐。

局限性

  • 临床医生转诊数据集中存在不一致和缺失数据,是当前研究的一个关键局限性。
  • 原文认为未来研究可从比较单专家表现与模型转诊中获益。
全文中译23 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Apr 27;35(10):6150–9. doi: 10.1007/s00330-025-11608-y

引言

确保诊断成像的合理使用,尤其是计算机断层扫描(CT),是现代医疗保健中的一个关键问题。CT检查在医疗来源的辐射暴露中占最大比例[1, 2]。因此,越来越多的人认识到需要根据临床必要性对每项检查进行合理性论证[3–6]。回顾性研究发现,当转诊申请对照临床指南进行评估时,不适当的CT使用率为10%至39%[3, 7, 8]。由于技术进步以及人口和适应症的不断扩大,CT的总体使用率持续快速上升,优化每项检查的合理性变得越来越重要。这对于患者安全至关重要,同时又能带来临床获益[4, 9–11]。

近年来,大语言模型(LLMs)在协助放射科医生和临床医生完成各种任务方面展现出前景[12–16]。这些人工智能(AI)驱动的系统可以分析患者的临床病史、症状和影像数据,就最合适的诊断检查和成像方式提供个性化建议。通过这种方式,LLMs可以增强对循证指南的依从性,减少不适当的成像使用,并提高放射学工作流程的整体效率。此外,它们可以通过自动化重复性任务来减轻放射科医生日益增长的工作负担,使临床医生能够专注于需要人类专业知识的复杂病例。这优化了资源利用并支持更好的患者结局[17]。然而,将AI成功整合到临床工作流程中需要应对诸多挑战,例如确保可解释性、减轻偏见以及遵守《通用数据保护条例》(GDPR)等法规[17–20]。

决策支持工具,如欧洲放射学会的iGuide(ESR iGuide)临床决策支持系统(CDSS),已被开发用于基于合理性标准促进CT扫描转诊的临床决策[21–23]。ESR iGuide是与美国放射学会(ACR)合作开发的,代表了欧洲化的ACR合理性标准,这些标准是通过多个专家共识小组制定的循证指南[24, 25]。然而,迄今为止,评估此类决策支持工具临床实施和成功情况的研究,以及ESR iGuide在协助诊断决策和在国家层面优化医疗资源利用方面的真实世界表现的研究,仍然有限[23, 26]。

推进决策支持系统的使用,包括临床指南和新兴的基于AI的技术(如LLMs),与2021年EU-JUST-CT项目协调各方努力改善欧洲CT合理性论证的目标直接一致[1, 27]。因此,本研究的目的是评估基于LLM的推荐系统,包括生成式预训练变换器4(GPT-4)和Claude-3 Haiku,在协助临床医生进行CT转诊合理性论证方面的表现,并与独立专家的评估进行比较。

材料与方法

研究批准从各参与成像机构的当地研究伦理委员会或机构审查委员会(IRBs)获得。在每个站点,IRB要么批准了该研究,要么因数据的回顾性性质和去标识化而豁免了知情同意的要求。

数据收集与建议

CT转诊数据从6356名在不同医疗中心接受治疗患者的电子病历和影像系统中进行回顾性提取[28]。收集的患者数据包括年龄、性别、患者状态、临床背景、临床指征和转诊专科。

收集了独立专家评估,聚焦于2022年连续一至两个工作日内进行的CT检查转诊。每份转诊均由参与中心的委员会认证放射科医师评估,他们在日常工作中定期对CT转诊进行临床评估。因此,这些评估反映了欧洲不同医疗环境中的真实世界临床决策。建议通过三种系统生成:(1)ESR iGuide评估,由两名放射科医师对每份转诊进行评估,分歧时通过仲裁解决,称为本研究的参考标准;(2)Open AI GPT-4;(3)Anthropic的Claude-3 Haiku。

ESR iGuide

使用ESR iGuide评估影像检查转诊的适当性。两名放射科医师审阅每份转诊并将相关患者数据输入ESR iGuide门户,该门户提供从1(不推荐)到9(强烈推荐)的评分建议。当两名放射科医师之间的差异超过2分时,由仲裁者评估适当性评分。该系统的输出被用作真实值,即参考标准。

大型语言模型

我们选择了两种最先进的生成式人工智能模型,基于患者数据生成建议,通过模型的应用程序编程接口(API)访问。第一个是GPT-4,OpenAI将其描述为“一种大型多模态模型,凭借其先进的推理能力和更广泛的通用知识,能够以高准确度解决难题。”GPT-4的上下文窗口为128k token,最大输出为8192 token,知识截止日期为2021年9月[29]。第二个是Claude-3-Haiku,是Anthropic Claude-3三个版本中最快的,上下文窗口为200k token,最大输出为4096 token,知识截止日期为2023年8月[30]。我们对两个模型使用了相同的0.1温度设置和相同的提示集以确保一致性。此外,我们有意识地评估模型的基础医学知识和决策能力,而不提供外部指南或当代医学方案。这一策略使我们能够考察模型固有知识与当前临床实践的有效对应程度,同时注意到Anthropic[31]和OpenAI[32]报告的截至研究日期其训练数据的特定截止日期。我们旨在深入了解模型仅基于其已有知识推荐影像检查的基线表现。所有患者数据均经过彻底预处理,以确保根据我们的伦理指南和GDPR要求实现完全匿名化。对于每个临床病例,输入数据包括标准化字段,涵盖转诊专科、患者人口学信息(年龄和性别)、患者状态、临床背景以及检查理由或临床指征,所有这些均整合到提示中。

我们的提示词开发遵循系统化方法,以确保与临床实践进行公平比较,并解决了初步测试中的一些发现。我们发现,无约束的提示词导致LLM在15-20%的病例中建议进行MRI扫描,这构成了方法学挑战,因为我们的数据集仅包含CT转诊。这反映了现实世界的临床决策,即CT被视为合适的检查方式。为解决这一问题,我们修改了提示词的理由说明,认识到我们的数据集特意包含了临床医生已确定CT为相关检查的病例。允许MRI推荐会制造人为的比较场景,并使LLM的性能指标相对于临床实践处于不公平的不利地位。

因此,我们实施了最终提示词:“基于以下患者详细信息,按照以下格式提供检查建议,无需解释:‘检查,器官,是否使用静脉造影。’注意:MRI设备不可用于检查建议。”这一修改有效地使LLM的决策空间与数据集所反映的现实世界约束条件保持一致,将MRI推荐降至接近0%,从而能够与临床结果进行更准确的比较。

每个LLM每行数据的平均生成时间约为:GPT-4约1.4秒,Claude-3-Haiku约1.2秒。

建议处理与标注

独立专家的评估因数据缺失或不一致而遇到若干挑战。这些问题包括转诊未指定身体部位、身体部位无对应检查、排版错误和标记不明确。为系统性地解决这些问题,我们将数据分为三大组成部分:“医学检查”、“器官-身体部位”和“造影”。每个组成部分独立处理,以减少不一致性并确保更结构化的评估。该方法允许针对CT转诊的不同要素对模型性能进行靶向分析(图1)。数据预处理流程还纳入了稳健的清洗和标注方案,以尽量减少歧义和缺失信息。模糊条目被标记,并通过专家共识加以澄清,若无法解决则从分析中排除。这确保了用于评估的最终数据集尽可能准确和一致。

图1 医学建议与评估流程概述 查看原图 ↗

数据清洗与格式化

由于条目多样且缺失值范围为5-20%,对“医学检查”、“器官-身体部位”和“造影”三大类别进行量化具有挑战性。尽管如此,几乎所有条目都有参考标准记录(n = 5508,86.65%),使我们能够利用这些特征评估独立专家评估与LLM模型的性能。数据清洗和格式化通过自定义Python类进行处理。关键功能包括以下内容:

建议清洗

原始建议的清洗过程包括去除特殊字符和标准化标点符号、规范化文本大小写、标准化医学缩写、消除多余空格,以及通过专家共识解决歧义。

标注策略

对于每个类别,我们按照参考标准剔除了存在缺失值的行。这导致医学检验类别中有 n = 5450 行符合评估条件,器官类别中有 n = 5448 行,对比剂类别中有 n = 5340 行。因此,数据损失在医学检验中约为 1.05%,器官中约为 1.09%,对比剂中约为 3.05%。在独立专家评估或大语言模型(LLM)输出包含缺失值的情况下,我们在所有类别(医学检验、器官-身体部位和对比剂)中将此类输出标记为“−1”。这种标记策略使我们能够区分未给出推荐与给出了具体推荐的情况。这种区分在对比剂类别中尤为关键,因为在该类别中,独立专家评估对 48.6%(n = 2595)符合评估条件的数据条目缺少对比剂方案处方。

模型性能

我们使用以下指标分别评估各模型在每个类别中的性能:

准确率

该指标衡量与参考标准相比,正确预测在总病例数中所占的比例。在存在类别不平衡的场景中(临床数据集中常见),仅依赖准确率可能产生误导。

精确率

这是真阳性预测数与阳性预测总数(真阳性和假阳性)之比。因此,精确率指标评估模型在尽量减少假阳性方面的能力。

召回率

这是真阳性预测数与实际阳性总数(真阳性和假阴性)之比。因此,该指标评估模型识别所有相关病例的能力,这在漏诊可能造成严重后果的临床场景中至关重要。

F1 分数

该指标衡量精确率和召回率的调和平均数,在精确率与召回率之间提供平衡。它在类别分布不均或需要同时考虑假阳性和假阴性的情况下尤其有用。

Cohen's kappa

该指标评估模型预测与真实值的一致程度,同时考虑一致性由偶然因素造成的可能性。Cohen's Kappa 评估这种偶然一致的可能性,这在将预测与专家标注进行比较时尤为重要。此外,与简单准确率相比,它提供了更为保守和可靠的一致性评估,尤其是在某些类别占主导地位的情况下。我们通过将位掩码转换为二值指示数组来处理多标签数据,执行自助法(bootstrapping)以估计置信区间,并应用加权平均来计算上述指标。

我们使用二进制编码方案来标准化影像推荐建议的三个关键方面。位掩码是一个由位(0和1)组成的序列,用于表示各种状态或类别,其中每个位对应不同的类别或类。我们实施了三种不同的位掩码系统:用于解剖区域的10位编码(头部、颈部、胸部、腹部/盆腔、上肢、下肢、脊柱、骨骼系统、淋巴系统和全身),用于对比剂使用的三状态编码(不使用静脉对比剂、使用静脉对比剂以及使用或不使用静脉对比剂),以及用于医学检查类型的8位编码(CT扫描、MRI、超声和多普勒检查、X线摄影和X射线、核医学、侵入性和介入性操作、心血管专项检查以及健康体检)。

我们根据每个类别数据集中的最大值确定类别数量,以将这些位掩码转换为二进制指示数组。我们将每个位掩码值转换为适当长度的二进制字符串。随后将该二进制字符串转换为整数数组,其中每个元素为0或1,表示某一类别的缺失或存在。该方法在本研究中尤为有用,因为它使我们能够在单个病例中同时捕获跨解剖区域、对比剂需求和检查类型的多项推荐建议。

Bootstrap法是一种统计技术,通过有放回地从数据中反复抽样来估计某一指标的分布。该方法适用于此,因为它能为准确率、精确率、召回率和F1分数等指标提供稳健的置信区间估计。随后,我们采用加权平均方法进行多标签评估,以平衡各个类别性能与整体实例性能的重要性。结合这些方法确保了性能指标能够准确反映模型的能力,并为其在临床决策情境中的性能提供了可靠评估。我们使用卡方检验比较各系统(临床医生、Claude-3-Haiku、GPT-4)在所有三项评估任务(医学检查、器官、对比剂)中的性能。统计显著性设定为p < 0.05。

伦理考量

除前述机构审查委员会(IRB)批准外,我们还制定了严格的程序,依据《通用数据保护条例》(GDPR)对所有患者数据进行匿名化处理,以满足数据隐私标准。此外,我们采用了最严格的标准来确保数据收集、处理和共享的安全,遵守GDPR关于合法性、公平性、透明度和目的限制的原则。

我们使用Python 3.11完成所有数据分析和处理任务。这包括使用多种库,如Pandas用于数据操作、NumPy用于数值运算、Scikit-learn用于机器学习模型的实现和评估。

结果

患者样本

研究样本包括6356名患者,涵盖广泛的医学状况和临床情景,反映了多样化的患者群体(表1)。

表1 描述性统计 查看原表 ↗

医学检查方面的性能

将来自独立专家评估的数据条目清理并转换为可靠来源存在挑战,而且来自欧洲各地的独立专家评估也存在多样性。与Claude-3-Haiku和GPT-4相比,他们的医学任务表现在不同的医学测试性能指标上显示出不同程度的优势(p < 0.01),临床医生的Cohen's Kappa值为0.72,Claude-3-Haiku为0.186,GPT-4为0.335(见图2)。

图2 医学测试识别中的性能指标比较。误差条表示使用1000次重采样的自助法计算的95%置信区间。统计显著性通过与临床医生评估的比较来确定:*p < 0.05,**p < 0.01,***p < 0.001 查看原图 ↗

器官-身体部位预测的表现

在评估器官和身体部位相关表现时,数据表明,虽然独立专家评估在整体表现上保持领先(p < 0.001),但Claude-3-Haiku和GPT-4模型表现相当不错,尤其是在准确率和精确率方面(图3)。kappa值中体现的一致性水平(独立专家为0.786,GPT-4为0.732,Claude-3-Haiku为0.725)表明,两个大语言模型(LLM)模型在识别器官-身体部位方面均表现出可靠的性能,但仍未达到与人类专家水平相匹配的程度。

图3 器官-身体部位识别中的性能指标比较。误差条表示使用1000次重采样的自助法计算的95%置信区间。统计显著性通过与临床医生评估的比较来确定:*p < 0.05,**p < 0.01,***p < 0.001 查看原图 ↗

对比剂预测的表现

在对比剂类别中(见图4),GPT-4显示出更高的准确率,为71.2%(95% CI:69.97–72.4%),超过了独立专家评估的46.6%(95% CI:45.26–47.93%)和Claude-3-Haiku的49.81%(95% CI:48.47–51.15%)(p < 0.001)。这一表现反映在GPT-4的Cohen's kappa值为0.457,表明与参考标准具有中等一致性;显著高于独立专家评估的0.308和Claude-3-Haiku评估的0.041。标签分布清晰地显示了参考标准标签与Claude-3-Haiku预测之间的差异。对于参考标准,标签如下:“使用静脉对比剂”—2370,“不使用静脉对比剂”—2657,“使用或不使用静脉对比剂”—312。相比之下,Claude-3-Haiku的预测显示“使用静脉对比剂”—4962,“不使用静脉对比剂”—159,“使用或不使用静脉对比剂”—53,“无预测”—165。这一显著的不匹配导致了Claude-3-Haiku的建议与参考标准之间的整体不一致,低Cohen's kappa值即为证据。这与其他类别形成对比,在那些类别中Claude-3-Haiku表现出高精确率和较低召回率,从而与真实值具有更好的一致性。

图4 对比剂方案识别中的性能指标比较。误差条表示使用1000次重采样的自助法计算的95%置信区间。统计显著性通过与临床医生评估的比较来确定:*p < 0.05,**p < 0.01,***p < 0.001 查看原图 ↗

讨论

本研究的结果为大型语言模型(LLMs)在CT转诊合理性方面与独立专家评估的比较提供了有价值的见解。独立专家在所有类别和指标上始终优于LLMs,尤其是在医学检查合理性方面。这强调了临床判断和专业知识在应对真实世界转诊数据复杂性中的持续重要性,这些数据通常包含不一致或不完整的信息[20, 33]。尽管转诊数据存在不一致性,独立专家的稳健表现凸显了其有效应对和解读复杂真实世界临床信息的能力。

然而,LLMs相对较强的表现值得注意,尤其是在器官-身体部位预测方面。Claude-3-Haiku和GPT-4在该类别中均表现出高精确率,表明当这些模型给出阳性预测时,其可靠性可能很高。因此,LLMs有潜力在特定领域增强临床决策,尤其是涉及解剖学知识的领域[23, 25]。与此同时,模型的较低召回率,尤其是在医学检查合理性方面,引发了对潜在漏诊的担忧。如果在缺乏充分人工监督的情况下部署LLMs,这一局限性可能对患者照护产生重大影响。精确率与召回率之间的平衡,如F1分数所反映的,始终倾向于独立专家,再次确认了循证临床指南在需要细致医学判断的任务中的重要性[16, 34]。

虽然本研究中独立专家的评估基于共识,但未来研究可从在真实环境中比较单个专家的表现与基于模型的转诊中获益。这种方法不仅能提供更多有价值的见解,还能解决当前研究的一个关键局限性:临床医生转诊数据集中的不一致性和缺失数据(见下文“局限性”部分)。改善数据质量对于提升LLM性能和泛化能力至关重要。开发结构化转诊模板和收集全面的情境数据可为模型评估提供更清晰的基准。这些改进将使人们能够更细致地理解LLMs在不同真实世界条件下相对于个体专家评估的表现, potentially 揭示AI融入临床工作流程的新途径。

这些发现的更广泛意义强调了将AI整合到放射学中的机遇与挑战。LLMs在减轻放射科医生工作负担方面显示出前景。然而,这些工具的实际采用需要克服重大挑战,包括确保建议的可解释性、减轻偏见以及保持对GDPR等法规的合规性。此外,需要稳健的评估框架来验证模型在不同人群和成像模式中的性能,确保AI工具符合临床实践标准[34–36]。汇集临床医生、伦理学家、工程师和研究人员的合作对于应对将LLMs负责任地整合到医疗保健中的技术、实践和社会挑战至关重要。

除了这些挑战之外,另一个关键考虑因素是科学界和临床界对人工智能评估工具的信任。在GPTZero的人工智能生成文本检测中观察到的变异性与对人工智能驱动评估可靠性的更广泛担忧相一致。这引发了一个关于对人工智能工具信心的重要问题,尤其是在放射学领域,人工智能正日益融入临床工作流程。最近的一项研究强调了人工智能在放射学中不断演变的作用,揭示了人工智能采用的模式和临床意义。这些发现强调了建立稳健验证框架的必要性,以确保临床医生和研究人员都能充满信心地依赖人工智能生成的输出。理解人工智能评估工具的局限性不仅对文本评估至关重要,也对临床决策支持系统至关重要,因为信任直接影响患者护理和诊断准确性。放射学界必须继续批判性地评估这些工具,确保其与循证医学实践和监管标准保持一致。

最后,在人工智能驱动的临床决策支持中,一个新兴的考虑因素是DeepSeek等替代模型的潜在作用。凭借其据报道较低的生产成本和减少的环境影响,DeepSeek为放射学应用提供了一个有趣的选择。然而,除了效率和可持续性之外,此类模型在临床工作流程中的实际实施需要仔细审查。关键关切包括数据安全、监管合规性以及与现有医院系统的集成能力。与在严格数据治理框架内运行的传统人工智能模型不同,较新的模型必须经过严格验证,以确保其输出符合医学指南和患者安全要求。此外,遵守GDPR和HIPAA标准等监管挑战进一步使此类技术在医疗保健中的广泛采用复杂化。未来的研究应探索像DeepSeek这样的模型是否能够在保持稳健的数据安全性和遵守医疗法规的同时,提供临床有用且可解释的建议。

局限性

本研究存在若干重要局限性,应予考虑。首先,虽然大型多中心数据集力求具有代表性,但不同医疗系统之间本地文档实践、指南和检查申请行为的变异性引入了不确定性。标准化转诊模板并制定适应当地实践同时仍能捕捉个体因素的标准,可能有助于减少变异性。鼓励结构化文档的电子健康记录也可以在不简化复杂病例的情况下提高一致性。

其次,缺失数据减少了某些比较可用的样本量,并可能使结果产生偏倚。插补技术和相关变量的聚合有助于妥善处理缺失值。收集本项以CT为重点的研究未捕获的额外转诊细节,将提供影像利用的更全面图景。

第三,在LLM提示中引入了人为约束以排除MRI扫描建议,这超出了本项以CT为重点的研究范围。尽管这对于确保与参考标准和专家基准进行公平比较是必要的,但这种修改可能限制了模型在所有成像模态中提供完全优化建议的能力。未来的研究可以在包含更广泛成像选项的数据集中评估LLM,从而在没有此类约束的情况下对其决策能力进行更全面的评估。

最后,模型仅针对CT检查正当性进行评估,而非临床医生的全部职责范围,这限制了对其他任务的结论。在随访建议或检查解读等其他临床相关任务上评估模型,可以对其能力提供更有力的验证。通过可解释的LLM评估建议的推理依据,也可能促进其可靠地整合到实践中。

结论

本研究对LLM和基于指南的临床决策支持系统在CT转诊正当性方面进行了严格评估。结果证明了循证指南在这一专业任务中的优势,但也表明LLM的性能可以通过有针对性的数据精炼和模型优化得到提升。展望未来,利用两种方法的混合方法可能最能优化诊断成像的适宜性和利用率。

尽管本研究证明了LLM在CT转诊正当性特定方面的潜力,但其当前的局限性凸显了人类专业知识持续的重要性。LLM应作为补充工具来增强临床决策,而非替代人类判断。未来的工作必须优先针对特定临床任务优化LLM、解决数据质量问题,并建立稳健的评估框架,以确保其安全有效地整合到现实实践中。

引用

  1. Saban M, Alon Y, Luxenburg O, et al. Comparison of CT referral justification using clinical decision support and large language models in a large European cohort. Eur Radiol. 2025. PMID: 40287868. doi:10.1007/s00330-025-11608-y
  2. 全文:PMC12417242(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12417242/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。