文献速递神经技术与安全MR

人-大语言模型协作辅助脑MRI鉴别诊断:一项可用性研究

Human-AI collaboration in large language model-assisted brain MRI differential diagnosis: a usability study.
PubMed 文献 · Eur Radiol · 2025-03-07

这项回顾性可用性研究将40例脑MRI病例随机分组,6名放射科住院医师交叉使用常规网络搜索与大语言模型辅助搜索进行鉴别诊断。大语言模型辅助组的正确诊断率显著更高(61.4% vs 46.5%,p=0.033),但解读时间和信心水平无差异。作者认为人-大语言模型协作有潜力提升脑MRI鉴别诊断,但需解决人为错误和模型幻觉等挑战。

要点

  • 大语言模型辅助搜索使正确诊断率从46.5%提升至61.4%(p=0.033),但解读时间和信心无差异。
  • 大语言模型回复中正确诊断被读者采纳的比例为82.1%(60/73),但17.9%(13/73)被忽略。
  • 大语言模型在11.5%的病例中出现幻觉,读者输入不准确占9.2%,需警惕人机交互错误。

核心结论

  • 人-大语言模型协作有潜力提高脑MRI鉴别诊断正确率,但需解决人为错误、大语言模型幻觉及上下文不足等挑战以确保有效应用和用户接受。

研究设计与样本

  • 回顾性可用性研究,纳入40例脑MRI病例(病理确诊42.5%,17/40;神经放射科医师共识57.5%,23/40),6名平均神经放射经验6.3个月的放射科住院医师随机分组,采用交叉设计,每人分别用常规网络搜索和大语言模型辅助搜索各读20例,以大语言模型(PerplexityAI,GPT-4驱动)为辅助工具,参考标准为病理或神经放射科医师共识。

诊断标准与关键数值

  • 正确诊断率:大语言模型辅助组70/114(61.4%)vs 常规组53/114(46.5%),p=0.033;数字评分中位数:大语言模型辅助组1 vs 常规组0,p=0.021;线性混合效应模型β=0.150,SE=0.065,z=2.309,p=0.021;效应量Cohen's h=0.30。

临床应用与阅片要点

  • 作者认为人-大语言模型协作可能提高诊断准确率,但强调需研究人机协作而非孤立评估大语言模型,传统神经放射学专业知识仍不可或缺。

局限性

  • 仅纳入神经放射经验较少的放射科住院医师,结果可能不直接适用于经验更丰富的读者。
  • 人机交互在受控环境中评估,非真实临床环境,实际中断和工作负荷可能改变读者行为。
  • 诊断性能需考虑放射诊断固有局限,部分病例即使高技能放射科医师也无法仅凭影像确定准确病理。
  • 参与者对大语言模型系统的熟悉程度有限,相比常规网络搜索经验丰富。
  • 基于大语言模型的搜索引擎(PerplexityAI)结合传统搜索流程与大语言模型,该技术方法的潜在局限尚待探索。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Mar 7;35(9):5252–63. doi: 10.1007/s00330-025-11484-6

引言

放射学鉴别诊断在临床诊疗中起着至关重要的作用,深刻影响着诊断和治疗决策。从影像表现中准确确定相关鉴别诊断需要高度专业化的解剖学和病理生理学知识,以及识别视觉模式和综合全面临床信息的能力。

近期研究表明,大语言模型(LLMs)在基于病例呈现执行放射学鉴别诊断方面具有新兴潜力[1–6]。这些研究将LLM的诊断建议与专家评估或确诊诊断进行了比较。在一项近期研究中,放射科医师在GPT-4辅助下表现出诊断性能略有提升且置信水平显著提高,但报告了7.4%的回复中存在幻觉[7]。然而,在此背景下,人类用户与LLM系统之间复杂的交互关系仍有待更详细的探索。

既往文献揭示了人机交互对放射学诊断性能的关键影响[8–10]。一项采用基于AI的乳腺X线摄影分类系统的研究表明,无论经验丰富与否的阅片者均易受自动化偏差的影响,自动化偏差是指人类用户倾向于遵从自动化决策系统给出的错误建议[8]。类似地,基于胸部X线的肺癌检测中,错误的AI结果被证明会对放射科医师的诊断性能产生负面影响[9]。另一项研究强调了在AI辅助膝关节MRI阅片中建立有效人机协作协议的重要性[10]。与此类似,人机协作的各要素可能影响LLM辅助鉴别诊断的结果。在真实世界实践中,放射科医师或放射科住院医师很可能将LLM作为辅助工具来支持诊断推理,而非用于完全自主的鉴别诊断[11]。在这些情况下,人类医学专业人员在结合现有临床和视觉信息进行情境化、构建提示词、批判性审阅LLM回复以及开展进一步研究以最终得出结论方面处于关键地位。尤其考虑到LLM系统已知的生成事实错误信息(即所谓幻觉)的倾向[12, 13],全面评估用户如何真实地与这些系统交互至关重要[7]。

因此,本研究旨在探讨人-LLM协作对脑MRI鉴别诊断准确性和效率的影响。

方法

机构审查委员会豁免了书面知情同意。本文的预印本版本此前已发表[14]。

研究样本

在这项回顾性研究中,从当地放射科和神经放射科招募了六名放射科住院医师作为可用性研究的参与者,研究参与时其平均神经放射学经验为6.3个月(最短:2个月,最长:11个月),并随机分为两组。从当地影像数据库中选取了2016年1月1日至2023年12月31日期间获取的共40例脑部MRI检查,并随机分为两组(图1,补充材料1)。在所有40例病例中,最终诊断已通过组织病理学确认(42.5%,17/40)或由两名神经放射科医师独立达成一致,并综合考虑所有相关临床随访信息(57.5%,23/40)。为清晰突出阅片所针对的病理,由一名具有3年神经放射学经验的放射科医师(SS)在每幅脑部MRI扫描图像上添加了箭头标注。在存在多个同类发现的病例中(例如多发性弓形虫病病灶),进行了多处标注以指示发现。在存在多个不同发现的病例中,仅标注一个关键发现(例如,在一例特发性颅内高压病例中仅标注了扩张的视神经鞘)。参与者和MRI扫描的筛选标准见表1。

图1 研究设计。40例脑部MRI扫描被随机分为两组。六名放射科住院医师被随机分为两组。住院医师被要求使用传统互联网搜索或LLM系统来解决脑部MRI病例(每组各一套MRI) 查看原图 ↗
表1 脑部MRI扫描的纳入标准 查看原表 ↗

LLM与聊天机器人界面

选择PerplexityAI(© Perplexity AI Inc.;www.perplexity.ai)作为聊天机器人界面,因其能够访问实时网络内容并标明信息来源[15, 16]。选择GPT-4(生成式预训练变换器4),即研究开始时(2023年11月)OpenAI最新的LLM,作为驱动搜索查询的模型。

研究设计

每位参与者的任务是通过传统互联网搜索对一半(n = 20)脑部MRI扫描中标注的图像发现确定三个最可能的鉴别诊断,并通过LLM辅助搜索(© PerplexityAI)对另一半(n = 20)进行相同操作(图1)。在LLM辅助阅片会话开始时,通过10–15分钟的训练课程向参与者介绍LLM系统,以确保其熟悉操作和功能。在此训练期间,参与者使用三例未纳入测试样本的脑部MRI样本病例来探索该工具。对于这三例病例中的每一例,均提供了一个包含病例详情(年龄段、性别、症状、MRI发现)和明确指示列出最可能鉴别诊断的示例提示词。然而,参与者不受特定提示策略的限制,可自由探索替代方法。阅片者在四次会话中检查了这些病例,时间跨度为2023年11月3日至2024年7月8日。

如果参与者对该病例熟悉、尽管有标注但仍未能识别图像表现,或无需进一步研究即可自信地确定正确诊断,则该病例被排除在分析之外。重要的是,进行LLM辅助检索的参与者被允许进行额外的常规互联网检索,以验证LLM的建议。参与者最多可提交三个鉴别诊断,并按可能性排序。除MRI扫描外,参与者还获得了患者病例的人口学和临床详细信息。所有提示均以英文表述。判读时间使用时间追踪软件(Toggl Track,© TogglOÜ)测量。每个病例的置信水平采用5点Likert量表记录(1:置信度非常低,5:置信度非常高)。在可用性测试环节中,由S.H.K.和S.S.记录相关观察和评论的笔记。在第一个环节之前,参与者完成了一份简短调查,收集有关人口学信息、放射学经验水平以及既往接触LLM情况的信息。在可用性测试之后,施测了一份随访问卷,以评估该LLM搜索引擎的临床适用性、其回答质量、采用难易程度和整体体验。

分析

为确定鉴别诊断的准确性,采用了两种不同的评分系统。在第一种方法中,如果正确诊断包含在提交的鉴别诊断中,则参与者回答被归类为“正确”;如果未包含,则归类为“不正确”(二分类评分系统)。在第二种方法中,根据正确诊断在读者回答中的排名,将参与者回答赋予0至3分的评分(数值评分系统)。如果正确诊断排名第一,则赋3分;排名第二赋2分;排名第三赋1分;如果未包含正确诊断,则赋0分。推断统计分别采用卡方检验分析二分类评分,采用Mann–Whitney U检验分析数值评分和置信水平。判读时间采用独立样本Student’s t检验分析。显著性水平设定为p < 0.05。问卷的Likert量表问题采用描述性统计分析。报告Cohen’s h作为效应量指标,以评估两组之间正确答案比例(二分类评分为1)的差异。为考虑读者和病例难度可能引入的变异性,采用补充性线性混合效应模型,以二分类评分作为因变量。工作流程(常规与LLM辅助)定义为固定效应,参与者和病例定义为随机效应。

审查LLM聊天机器人(PerplexityAI)的日志,以量化执行的查询数量以及LLM回答中指出的鉴别诊断数量和互联网来源数量。查询按内容分组(鉴别诊断、影像学特征、示例图像、解剖、其他)。来源分类为期刊文章和在线平台。

由三名放射科医师(分别具有2年、3年和8年脑部MRI阅片经验)进一步筛查LLM日志,以识别不正确的用户输入(例如对影像表现的描述不准确)以及LLM回复中的幻觉(与广泛接受的放射学知识不一致的信息)。为此,将LLM回复中所提示诊断的影像学特征与在线平台www.radiopaedia.org上的相应描述进行比较,该平台是经过验证的放射学知识来源。

根据LLM回复中是否存在正确诊断,以及最终阅片者回复中是否存在正确诊断(前3位鉴别诊断),创建列联表以反映正确的LLM建议在多大程度上转化为阅片者正确的诊断评估。

来自观察记录、评论和问卷回复的定性数据汇总于表格中,按相关主题对数据分类。数据操作、分析和可视化使用Python(3.9.7版)完成。

样本量计算

尽管关于LLM辅助对放射科阅片者诊断性能影响的文献非常稀少,但基于相关既往研究[17],假设效应量为0.2(小效应)。因此,采用80%的统计功效、0.05的α错误概率和双尾Wilcoxon符号秩检验,确定最小样本量为208(G*Power,v3.1)。

结果

共有240份回复中的12份(常规组和LLM辅助组各6份)被排除分析,原因包括参与者对MRI扫描熟悉(n = 1)、无法识别标注的影像表现(n = 2),或能够在无需进一步检索的情况下自信地确定正确诊断(n = 9)。

定量发现

LLM辅助的脑部MRI鉴别诊断取得了更高的准确性,分别通过二分类评分(70/114;61.4%(LLM辅助)vs 53/114;46.5%(常规)正确诊断,p = 0.033)和数值评分方法(中位评分1(LLM辅助)vs 0(常规),p = 0.021)评估(图2)。线性混合效应模型证实LLM辅助工作流程与显著更高的二分类评分相关(β = 0.150,SE = 0.065,z = 2.309,p = 0.021)。基于二分类评分,确定Cohen's h为0.30,表明小至中等效应量。未观察到判读时间的差异(7.38 ± 3.35分钟(LLM辅助)vs 7.17 ± 3.49分钟(常规),p = 0.64)。同样,置信水平无显著差异(中位数3(LLM辅助)vs 3(常规),p = 0.50)。样本LLM回复的截图见图3。

图2 不同工作流程鉴别诊断的准确性。A 二分类评分系统。参与者回复被分类为正确或错误。LLM辅助工作流程评分更高(p = 0.033)。B 数值评分系统。根据正确诊断在回复中的排名,参与者回复被赋予0至3分(3:正确诊断排名第一,0:回复中未包含正确诊断)。LLM辅助工作流程评分更高(p = 0.021) 查看原图 ↗
图3 样本LLM查询截图(PerplexityAI)。本病例所寻求的正确诊断为血管母细胞瘤 查看原图 ↗

LLM回复评估

共分析114例中经大语言模型(LLM)辅助复核的113例。其中1例因PerplexityAI的技术问题无法检索相应日志。每例平均LLM查询次数为2.12次。大多数查询直接涉及可能的鉴别诊断(64.2%),其次为与样本图像相关的查询(11.1%)和疑似病变的影像特征相关查询(3.7%)。LLM工具每次回答平均引用13.0个互联网来源。72.0%的引用互联网来源为期刊文章(补充材料2)。每例LLM回答中平均指出7.59个鉴别诊断。对读者提供的LLM提示词进行分析显示,9.2%的病例中存在错误或不准确信息(=查询的4.3%)。LLM输出在11.5%的病例中包含幻觉性陈述(=查询的5.4%)(表2)。13条幻觉性陈述中有9条被归类为影像特征描述不正确,而13条中有4条与解剖部位的不连贯关联有关(补充材料3)。

在73例LLM回答包含正确诊断的病例中,读者识别出正确诊断的有60例(82.1%)。相反,读者在13/73例中忽略了LLM回答中指出的正确诊断(17.9%)。在70例读者指出正确诊断的病例中,有10例的正确诊断未包含在LLM回答中(14.3%),提示该答案是通过额外互联网检索获得的(表3)。

表2 LLM回答指标 查看原表 ↗
表3 列联表 查看原表 ↗

读者反馈与观察

问卷结果显示对LLM辅助工作流的评价为中等偏正面。参与者对在临床实践中使用LLM工具表现出轻微倾向性支持(中位数:4)。LLM回答质量评价偏正面(中位数:4)。大多数参与者认为LLM系统易于纳入诊断工作流(中位数:4)。对LLM辅助检索工作流的总体体验评价为中等(中位数:3.5)(图4)。

观察到了若干与人为错误和技术限制相关的人-LLM交互挑战(表4)。可归因于人为错误的误导性或不准确搜索结果包括图像所见描述不准确(例如,将脑海绵状静脉畸形的定位描述为“轴外”)或遗漏相关影像特征(例如,遗漏多结节和空泡化神经元肿瘤(MVNT)的多结节形态)。相比之下,LLM搜索表现出基于与诊断无关的临床信息的偏倚(例如,后部可逆性脑病综合征(PRES)患者的肾移植史)或基于内涵性术语的偏倚(例如,“近皮质”一词与多发性硬化强烈相关)。参与者对LLM辅助鉴别诊断的反馈见表5。在可用性测试之前,若干参与者表达了对过度依赖LLM系统以及随之损害自身影像学培训的担忧。在阅片测试之后,能够就搜索结果的范围(例如,鉴别诊断数量)和格式(例如,项目符号、表格、示例图像)向LLM搜索引擎给出灵活指令,被认为相较于传统互联网搜索的一项关键优势。参与者认为,通过启用基于语音的交互并提高返回示例图像的准确性,LLM系统用于鉴别诊断的可用性可以得到增强。

图4 测试后问卷结果(1:非常低,5:非常高) 查看原图 ↗
表4 由观察和参与者评论得出的人-LLM交互过程中的挑战 查看原表 ↗
表5 参与者对LLM辅助鉴别诊断的评论 查看原表 ↗

讨论

在本研究中,我们开展了可用性实验,以探索人-LLM协作在脑MRI鉴别诊断中的作用。我们的结果提示,与传统互联网搜索相比,LLM辅助工作流程有潜力提高诊断准确性。然而,未观察到对判读时间和判读者信心的明显影响。

这些结果与Siepmann等人最近的一项研究形成对比,该研究报告在GPT-4辅助下诊断性能仅有轻微、非显著性改善,但判读者信心水平显著更高[7]。这些差异可以用判读者的经验水平来解释,本研究中判读者的经验水平显著更低,并支持我们的假设,即缺乏经验的判读者比有经验的判读者从LLM辅助诊断中获益更多。本研究中LLM幻觉性回答的发生率(5.4%)仅略低于Siepmann等人报告的发生率(7.4%)。这一点值得注意,因为它提示,即使是利用检索增强生成方法以互联网来源支持其回答的LLM搜索引擎,也可能返回事实上不正确且具有误导性的陈述。我们的发现,即每个病例平均引用13.0个来源,进一步凸显了判读者逐条核验每个参考文献的不可行性。

我们对大语言模型(LLM)回答的评估揭示了关于放射学诊断中人-LLM互动挑战的更深层见解。对读者生成的LLM提示词进行事后评估显示,9.2%的案例中存在不准确信息。该指标未包括相关病例细节或影像特征的遗漏。在LLM回答提示正确诊断的案例中,有17.8%的读者提交了错误答案,凸显了读者优先考虑相关LLM建议并通过补充互联网检索加以验证的关键作用。读者通常将影像表现与建议诊断的样本图像进行关联。针对可信网站(如Radiopaedia)的集中互联网检索被证明对此目的更为有效,表明LLM与传统互联网检索的联合使用可能优于单独使用LLM。

图5展示了一个概念模型,说明了人类代理在LLM辅助鉴别诊断中的作用及潜在错误来源。总之,我们的结果强调了研究人与LLM协作而非孤立研究LLM的必要性,以更好地反映真实世界条件。虽然LLM可以增强人类能力,但传统神经放射学专业知识对于其有效利用仍然不可或缺。

值得注意的是,LLM技术的快速进步要求持续评估。近期创新,如支持对话交互的语音助手(例如OpenAI的ChatGPT中所具备的功能),正在改变LLM的可用性。此前,语音识别口述系统的引入提高了放射科的工作效率[18]。与LLM的语音交互能否产生类似效益尚待确定。能够处理图像输入的多模态LLM的出现有望创造新的可能性。近期少数研究已证明其生成胸部X线报告[19]和回答涉及放射学图像的USMLE试题[20]的潜力。在放射学鉴别诊断中,LLM直接处理图像可通过消除人工图像描述的需求来显著改变人-LLM互动方式。将LLM无缝整合到现有健康信息系统中可进一步提升工作效率。例如,可通过直接从RIS导入临床信息或从PACS系统选择关键图像作为输入来简化提示词生成。

本研究存在若干局限性。第一,鉴于仅纳入了神经放射学经验较少的放射科住院医师,我们的发现可能不直接适用于更有经验的读者。第二,人-LLM互动是在受控环境中评估的,而非真实临床环境,在后者中频繁的干扰和高强度工作负荷可能改变读者行为。第三,读者和LLM的诊断性能需在放射学诊断固有局限性的背景下加以审视。我们将金标准诊断定义为组织病理学诊断或基于神经放射科医师共识并结合所有可用随访信息作出的诊断。然而,在某些情况下,即使高度熟练的放射科医师也无法仅凭影像表现确定准确的病理。因此,基于影像的鉴别诊断与真实诊断之间的差异可能部分归因于这些根本性的诊断挑战。

第四,与传统互联网搜索的丰富经验相比,参与者对LLM系统的熟悉程度有限。更多的接触和培训可以帮助用户制定更有效的提示,从而减少挫败感和低效问题。第五,基于LLM的搜索引擎(PerplexityAI)与其他基于LLM的工具不同之处在于,它将传统搜索流程与LLM相结合,但这种技术方法的潜在局限性仍有待探索。最后,研究使用的是通用型LLM(GPT-4)。专门针对医学训练的模型(如MED-PALM、GlassAI)[21–23]或放射学模型[24–26]有望进一步增强临床实用性。

总之,我们的研究表明,人类与LLM的协作有潜力增强脑部MRI的鉴别诊断,但也认识到有必要减少人为和技术错误以最大化效果。

图5 用于放射学鉴别诊断的人类与LLM交互概念模型。警告图标表示人类与LLM交互中潜在的错误来源 查看原图 ↗

补充信息

电子补充材料

引用

  1. Kim SH, Wihl J, Schramm S, et al. Human-AI collaboration in large language model-assisted brain MRI differential diagnosis: a usability study. Eur Radiol. 2025. PMID: 40055233. doi:10.1007/s00330-025-11484-6
  2. 全文:PMC12350562(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12350562/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。