提升LLM辅助诊断:10分钟LLM教程提升放射科住院医师脑MRI判读表现
本研究评估结构化教程对放射科住院医师使用大语言模型(LLM)搜索引擎进行脑MRI鉴别诊断表现的影响。9名住院医师对30例脑MRI病例分三种工作流程判读:传统网络搜索、无教程LLM辅助、10分钟教程后LLM辅助。教程后LLM辅助组正确率最高(62.5%,55/88),显著优于无教程LLM组(44.8%,39/87)和传统搜索组(32.2%,28/87),置信度亦提高,但阅读时间无显著差异。
要点
- 10分钟结构化LLM使用教程可显著提高住院医师脑MRI鉴别诊断正确率(62.5% vs 44.8%,p=0.042)。
- 教程后指令式查询比例从35.2%升至95.4%,关键词查询从64.8%降至4.6%。
- LLM查询中幻觉发生率为5.1%(病例层面12.4%,共20条回复),教程前后仅轻微变化(4.6% vs 5.7%)。
核心结论
- 即使低投入的LLM教育干预也能带来显著获益,提示其在放射科培训项目中的潜在作用。
研究设计与样本
- 前瞻性研究,纳入9名神经放射学经验不足6个月的放射科住院医师,评估30例脑MRI病例(2016年1月1日至2023年12月31日期间采集),随机分为三组各10例,分别采用传统网络搜索、无教程LLM搜索引擎(PerplexityAI,GPT-4-Turbo驱动)、10分钟结构化教程后LLM搜索引擎三种工作流程进行鉴别诊断,共270次判读(排除8次后262次纳入分析)。
诊断标准与关键数值
- 二分类评分:正确诊断列入前三鉴别诊断即为正确;数值评分0–3分(0=未包含正确诊断,1=正确诊断排第三,2=排第二,3=排第一)。LLM教程后组二分类正确率62.5%(55/88),无教程LLM组44.8%(39/87),传统搜索组32.2%(28/87);数值评分中位数教程后组3分,无教程LLM组和传统搜索组均为0分。
临床应用与阅片要点
- 作者建议将AI实践应用课程纳入医学课程和培训项目的核心部分;作者认为应鼓励读者在参考LLM输出前先形成自己的诊断印象,以避免自动化偏差;作者指出应警惕幻觉风险并对模型输出进行严格验证。
局限性
- 仅纳入神经放射学经验极少的放射科住院医师,限制了研究结果向更有经验读者的外推。
- 病变以箭头标注方式呈现,以分离读者的分类表现。
- 部分病例的LLM日志不可用(180例中11例)。
- 需要进一步研究以开发针对临床LLM应用中潜在有害幻觉的防护措施。
全文中译17 节 · 点击展开
引言
大型语言模型(LLMs)是先进的人工智能(AI)系统,能够处理和生成人类语言。这些模型在大量文本数据上训练,已在各领域的多种任务中展现出卓越性能[1]。
近年来,随着LLMs技术的快速进步,大量研究探索了LLMs在放射学工作流程中的应用。这些应用包括成像方案的定义[2–4]、基于病例表现进行鉴别诊断[5–7]、放射学报告中的错误检查[8]、放射学报告中印象的生成[9, 10]、从自由文本放射学报告中提取信息[11, 12]等。然而,尽管应用前景广阔,LLMs在放射学中的整合与采用并非没有挑战。数据隐私问题、偏倚与错误传播、缺乏上下文理解以及过度依赖已被指出是LLMs的相关局限性[13–15]。在此背景下,教育医疗专业人员正确使用LLMs及其潜在陷阱的关键作用已被强调[16, 17]。这可能包括提示工程(prompt engineering)方面的培训,即策略性地构建文本输入以优化LLM输出的过程[18]。
LLMs人类监督不足可能导致临床错误的一个领域是放射学鉴别诊断。一项关于人-LLM协作进行脑MRI鉴别诊断的早期研究发现,提示构建不充分可导致LLM输出具有误导性,而缺乏对LLM回答的关键验证可导致错误结论[19]。
然而,放射学阅片者是否以及如何能够被培训以更有效地将LLMs应用于放射学鉴别诊断尚未被研究。因此,本研究旨在评估结构化LLM教程对放射科住院医师在脑MRI鉴别诊断中表现的影响。
方法
慕尼黑工业大学伦理委员会豁免了伦理审批和患者知情同意的需要。
研究样本
从本地影像归档与通信系统(PACS)中选取了2016年1月1日至2023年12月31日期间获取的30例脑MRI检查,并随机分为三组(图1)。纳入的检查被两位委员会认证的神经放射学家认定为足够复杂,可用于放射学专科认证考试。每例检查均具有一个异常发现,其诊断经组织病理学或两位神经放射学家之间的共识确认,并考虑了所有相关临床随访信息。在每例中,一个或多个箭头标记了相关图像发现。
全部30例检查此前已发表[20]。先前那篇文章评估了不同多模态输入元素对GPT4(V)独立诊断准确性的影响,而本工作研究放射学阅片者在LLM辅助下的诊断准确性。30例检查中有20例还被纳入另一项研究[19]。虽然先前的研究与本研究的相同之处在于评估了LLM辅助阅片者的诊断表现,但其涉及不同的阅片者群体,且未事先对参与者提供任何系统性培训。病例概览见补充材料1。
本研究从当地放射科招募了9名在神经放射科专门工作经验不足6个月的放射科住院医师,并随机分为三组(表1)。仅纳入早期住院医师确保了大多数病例无法仅凭先验知识由阅片者解决,从而能够研究不同网络研究工作流程的独立效应。所有参与者均提供了知情同意。
研究设计
在三次会话过程中,每位阅片者以不同的工作流程评估三组各10个脑部MRI病例,并针对标注的图像发现提供最多三个鉴别诊断,按可能性排序。每个病例每位阅片者仅审阅一次。为控制病例难度的混杂效应,每组病例由相同数量的阅片者在每种工作流程下进行评估(图1)。每个病例均提供人口学信息和简要病史。会话于2024年3月1日至2024年5月22日之间进行。
第一,进行传统互联网检索以支持鉴别诊断,使用基于网络的搜索引擎(如Google搜索)或直接访问可信网站(传统方式)。第二,阅片者使用基于大语言模型(LLM)的搜索引擎(© Perplexity AI Inc.,美国旧金山),但事先未接受任何培训(LLM-教程前)。选择PerplexityAI作为LLM界面是因其能够访问实时网络内容并提供来源引用。搜索查询由OpenAI的GPT-4-Turbo(生成式预训练变换器4 Turbo)驱动。第三,另一组十个病例在PerplexityAI辅助下进行评估。但此次会话前进行了结构化教程,教授如何有效使用该工具(LLM-教程后)。教程详情见下文。在两种LLM辅助工作流程中,参与者均被允许进行额外的互联网搜索以验证LLM建议。
阅片时间由SHK和JW使用时间追踪软件(Toggl Track,© Toggl OÜ,爱沙尼亚塔林)记录。每个病例的置信水平以5点Likert量表记录(1:完全没有信心,5:非常有信心)。第二次和第三次会话后,阅片者完成问卷以评估LLM辅助工作流程的体验。
LLM教程
在不超过10分钟的简短教程中,向阅片者提供了如何有效利用基于LLM的搜索引擎的技巧。教程内容基于两项关于LLM应用于脑部MRI鉴别诊断的早期研究。一项研究评估了不同多模态输入元素对GPT4(V)诊断性能的贡献,并确定放射学图像发现的文本描述为关键要素[20]。另一项研究证明LLM辅助鉴别诊断的准确性优于传统搜索引擎支持的工作流程,但也确定了人-LLM交互中的若干陷阱[19]。教程完整脚本如下:“图像发现的详细描述是获得准确LLM回答的最重要因素。描述应包括位置、对比增强、形态、大小等细节。准确描述发现位置尤为关键,位置描述不准确可能导致误导性建议。
提供相关的病史信息可以提高LLM(大语言模型)回答的准确性。然而,与图像发现无关的临床信息可能导致LLM输出产生误导。因此,仅应提供被认为与所讨论的图像发现相关的临床信息。
上传关键图像发现的截图有助于改善LLM的回答,尽管其效果仅为边际性的。
使用内涵性术语可能导致偏倚,应予以避免(例如,“近皮质”一词与多发性硬化密切相关)。
可以就LLM输出的范围(提及的鉴别诊断数量)和格式(项目符号、表格)给出指示。“。
进一步鼓励读者使用以下提示模板:“您是一位资深神经放射学家。下方您将看到关于一次脑部MRI扫描的信息。基于这些信息,请确定三个最可能的鉴别诊断,并按可能性排序。以表格形式呈现您的发现,包含以下列:‘排序’、‘鉴别诊断’和‘解释’。
[病史]
[图像描述]”
通过两个示例性脑部MRI病例(未纳入测试样本)向读者展示了提示模板的有效使用。
样本量计算
基于既往关于LLM支持对放射科读者诊断性能影响的研究[19],假设效应量为0.3。使用80%的统计功效、0.0167的α错误概率(经Bonferroni校正从0.05调整以控制多重比较)和卡方检验,确定最小样本量为182(G*Power,v3.1;[21])。
统计分析
为确保性能不仅依赖于先验知识还与研究质量相关,排除了无需进一步研究即可自信确定正确诊断的病例。
鉴别诊断的准确性使用两种不同的评分系统确定,如前所述[19]。第一种方法使用二分类评分系统,若正确诊断包含在提交的鉴别诊断中,则回答标记为“正确”,若未包含则标记为“错误”。第二种方法根据正确诊断在回答中的排序赋予0至3分的评分(0:未包含正确诊断,1:正确诊断排第三,2:正确诊断排第二,3:正确诊断排第一)。对于指出了正确但不够精细的回答的病例,由两位放射科医生(在当地神经放射科分别有1.5年和2年的专职经验)协商评定。对于二分类评分,首先在所有组间应用卡方检验,随后进行两两卡方检验。对于数值评分和置信度,使用Kruskal-Wallis检验评估所有组间的差异,随后使用Mann-Whitney U检验进行两两比较。为控制错误发现率,评分和置信度的p值均使用Benjamini-Hochberg程序进行调整。阅读时间使用ANOVA检验在所有工作流程间进行分析,随后进行两两t检验。显著性水平设定为p < 0.05。5点Likert量表问卷结果使用描述性统计报告。
对基于大语言模型(LLM)的搜索引擎(Perplexity AI)的日志进行了审查,以量化查询次数和来源引用数量。查询按查询类型(关键词搜索 vs. 完整句子指令)和内容(鉴别诊断、影像学特征、示例图像、解剖学、其他)进行分类。来源分为期刊文章和其他在线来源。由两名放射科医师(分别具有1.5年和2.5年脑部MRI阅片经验)筛查LLM回答内容中的错误或不一致信息,并由一名认证神经放射科医师确认。如前所述[22],错误回答分为幻觉(与广泛接受的放射学知识不一致)、误解(误解问题并给出上下文无关的回答)和澄清(未能理解提示词需要重新表述)。LLM回答中描述的影像学特征对照www.radiopaedia.org的参考文献进行核查,该网站是公认的放射学知识来源。
数据整理、分析和可视化使用Python(版本3.9.7)完成。
结果
本研究样本量为270,超过了我们通过功效分析确定的达到足够功效所需的最低样本量。270个回答中有8个(3.0%)被排除分析,因为阅片者无需进一步检索即可自信地确定正确诊断。图2展示了一个LLM查询示例及其结果。262个病例中有12个(4.6%)需要共识决策,因为阅片者提供了正确但不够具体的诊断(例如,在边缘性脑炎病例中将“脑炎”计为正确)。
二分类评分与数值评分
基于二分类评分系统,LLM-教程后工作流程中62.5%(55/88)的回答正确,而LLM-教程前为44.8%(39/87),传统组为32.2%(28/87)(图3)。对所有组进行的初始卡方检验显示总体差异显著(p < 0.001)。随后的两两卡方检验显示LLM-教程前与LLM-教程后之间差异显著(p = 0.042),LLM-教程后与传统组之间差异显著(p < 0.001),但LLM-教程前与传统组之间无显著差异(p = 0.119)(表2)。
数值评分比较显示,LLM-教程后组的中位评分为3,而LLM-教程前组和传统组均为0(图3)。Kruskal-Wallis检验确认各工作流程之间总体差异显著(p < 0.001)。使用Mann-Whitney U检验进行的两两比较显示,LLM-教程前与LLM-教程后之间差异显著(p = 0.016),LLM-教程后与传统组之间差异显著(p < 0.001),但LLM-教程前与传统组之间无显著差异(p = 0.092)(表3)。
置信度
置信度评分中位数在LLM-教程后组最高(中位数=4),其次是LLM-教程前组(中位数=3)和常规组(中位数=3)。高或非常高置信度评分(4或5分)的比例在常规组为18%,LLM-教程前组为31%,LLM-教程后组为54%(图4)。Kruskal-Wallis检验显示置信度总体差异显著(H=27.20,p<0.001)。两两Mann-Whitney U检验显示,常规组与LLM-教程前组之间(p=0.006)、LLM-教程前组与LLM-教程后组之间(p=0.006)以及常规组与LLM-教程后组之间(p<0.001)均存在高度显著差异。
阅读时间
平均阅读时间分别为07:43分钟(常规组)、08:59分钟(LLM-教程前组)和08:35分钟(LLM-教程后组)(图5)。ANOVA检验显示总体差异具有统计学意义(p=0.030)。两两t检验显示常规组与LLM-教程前组之间差异显著(p=0.013),但LLM-教程前组与LLM-教程后组之间(p=0.403)及常规组与LLM-教程后组之间(p=0.069)差异不显著。
问卷结果
对LLM辅助诊断工作流程感到满意或非常满意的读者比例在教程后从55.6%(5/9)增至88.9%(8/9)。55.6%(5/9)的读者表示在教程前会考虑在临床实践中使用该工具,而教程后这一比例为88.9%(8/9)。88.9%(8/9)的读者认为教程有帮助或非常有帮助。
读者反馈与观察
教程前,大多数读者倾向于使用基于关键词的查询而非详细指令,类似于传统搜索引擎的操作方式。总体而言,LLM工具在生成初步鉴别诊断列表方面被认为特别有用,该列表可通过进一步搜索进行评估。此外,对初始查询结果提出后续问题的功能被认为是相较于传统搜索引擎的优势。在使用所提供的提示模板时,读者普遍赞赏结果简洁的表格格式,其中还包含了建议的依据。然而,部分读者在准确描述图像方面存在困难,原因是对神经解剖学和脑MRI序列的知识不足。
LLM回答评估
共审查了169例患者病例中的413次LLM查询(每例2.44次查询)。在180例病例中,有11例的LLM日志不可用,原因是用户未执行任何LLM查询,或由于PerplexityAI的技术错误导致日志无法检索。5.8%的查询包含错误输入,如对病灶位置或影像特征的描述不准确。7.3%的查询包含MRI表现的截图。
基于指令的查询比例在教程后从35.2%大幅增至95.4%,而关键词查询相应从64.8%降至4.6%。教程前大多数查询被归类为“其他”(58.4%),而教程后大多数查询针对相关鉴别诊断(56.7%)及其样本图像(34.0%)。总体而言,PerplexityAI所指示的来源中45.3%为同行评审期刊论文,教程前后查询之间仅存在微小差异(分别为49.2%和40.6%)。
在5.1%的大语言模型(LLM)查询中观察到幻觉(占病例的12.4%;共20条回答)。LLM教程仅使幻觉频率发生轻微变化(教程前:4.6%,教程后:5.7%)。35.0%的幻觉涉及对作为输入提供的MRI截图的误读,或LLM返回与查询背景无关的样本MRI图像。幻觉详情见补充材料2。在1.0%的查询中发现误读(占病例的2.4%),而在1.2%的查询中发生澄清(占病例的3.0%)(图6)。
讨论
本研究评估了结构化10分钟LLM教程对放射科住院医师在LLM辅助脑MRI鉴别诊断中表现的影响。我们发现,读者在完成教程后表现出更高的表现、置信水平和总体满意度。与传统互联网搜索支持的鉴别诊断相比,两种LLM辅助工作流程均带来更好的表现,尽管仅教程后工作流程显示出统计学显著差异。
值得注意的是,与前期研究[19]的发现不同,LLM-教程前条件下的诊断准确率并未显著高于传统条件。一种可能的解释是,早期研究中的参与者被允许探索LLM搜索引擎,并在进行LLM辅助阅片前获得了一个示例提示。尽管他们未接受包含详细技巧和指导的综合教程,但这种初步接触可被视为基础水平的培训——在本研究中处于教程前和教程后条件之间。此外,诊断表现的微小差异可能归因于两项研究之间病例随机化和参与者构成的差异。
对读者与大型语言模型(LLM)交互的分析显示,在培训教程之后,几乎所有查询都以具体指令的形式表述,而教程之前的大多数查询仅由关键词组成,类似于传统搜索引擎查询。这一观察结果与“雅各布定律”一致,该定律是用户体验(UX)领域的一个著名现象,即用户偏好系统表现得像其他熟悉的系统一样[23]。与先前描述的幻觉率相似[22],我们发现在5.1%的LLM回复中存在与广泛接受的医学知识不一致的陈述。其中许多涉及对作为输入提供的MRI截图的错误解读,证实了早期研究的结果,即当前最先进的LLM在基于放射学图像的诊断任务中表现不佳[24–27]。有趣的是,甚至在PerplexityAI中也发现了幻觉,与其他聊天机器人如ChatGPT不同,PerplexityAI将LLM与互联网实时信息检索相结合,以相关来源支持其回答[28]。需要进一步研究以开发更多防护措施,应对临床LLM应用中幻觉的潜在有害影响。值得注意的是,在5.8%的查询中,产生误导性回复并非由于不理想的LLM行为,而是由于读者提供的发现描述不正确,这强调了传统放射学技能在有效利用LLM完成诊断任务中的关键作用。
我们的研究结果表明,即使是针对LLM的微小、低投入的教育干预也能产生显著效果,并支持了以下观点:专注于AI实际应用的课程应成为医学课程和培训项目的核心组成部分[29–31]。然而,鉴于该技术的新颖性,关于有效利用LLM完成特定临床任务的经过验证的教育内容极为稀缺。本研究中提供给读者的教程基于两项先前的研究,这两项研究专门聚焦于脑MRI鉴别诊断中的人-LLM协作和提示工程[19, 20]。随着关于LLM应用的科学证据不断积累,医学学会应提供关于其适当使用的指南和课程。此外,应创建平台,使医疗专业人员能够交换经过验证且有效的提示词,类似于放射学学会先前分享结构化报告模板的举措[32, 33]。
尽管LLM辅助诊断展现出前景,但将LLM整合到诊断工作流程中必须谨慎进行,以避免自动化偏差,新手放射科医生尤其容易受到其影响[34, 35]。为保护独立临床推理技能的发展,应鼓励读者在查阅LLM输出之前先形成自己的诊断印象。此外,必须提醒用户注意幻觉的风险。有效使用LLM需要对模型输出进行严格验证——讽刺的是,这反而强化了安全和有效采用LLM所需的基础放射学专业知识。
与诊断性能不同,两种LLM辅助工作流程均未改善阅读时间。正如先前关于基于人工智能的图像分析算法和结构化报告的研究所示[36, 37],将技术整合到本地IT基础设施中对于用户接受度至关重要,并且可以提升效率。放射学报告解决方案和图像归档与通信系统(PACS)的供应商应探索如何无缝嵌入基于LLM的功能,以支持鉴别诊断和其他任务。
局限性
以下局限性需要予以说明。
第一,仅纳入了神经放射学经验非常少的放射科住院医师。该研究设计确保了大多数病例无法仅凭先验知识由阅片者解决,并允许研究不同网络研究工作流程的独立效应,但限制了研究结果对更有经验阅片者的普适性。然而,我们观察到,尽管经验不足的阅片者在构建图像描述方面存在困难,但在接受LLM教程后表现出性能提升,这表明中等经验的阅片者——他们足够熟练以创建准确的所见描述,但尚未熟练到无需协助即可进行鉴别诊断——可能获益更多。
第二,所讨论的征象以标注形式呈现,以孤立评估阅片者的分类性能,但这种方法降低了场景的真实性。在实际实践中,一些更细微的征象可能完全被遗漏。
第三,本研究仅使用了通过专用搜索引擎(PerplexityAI)访问的单一LLM(OpenAI的GPT-4)。未来研究应比较多个闭源和开源LLM在支持放射科阅片者进行鉴别诊断方面的效用,包括使用领域特定训练数据进行微调的模型。
第四,本研究未评估下游临床终点。鉴于住院医师生成的报告通常由主治放射科医师审核和批准,整合基于LLM的搜索引擎对报告效率、诊断周转时间和临床决策的潜在影响值得在未来研究中进一步调查。
总之,一个简明但结构化的10分钟LLM教程提高了放射科住院医师在LLM辅助脑部MRI鉴别诊断中的性能和信心水平。这些发现凸显了即使是低投入的LLM教育干预也能提供相当大的益处。
电子补充材料
以下是电子补充材料的链接。
补充材料1
引用
- Kim SH, Schramm S, Wihl J, et al. Boosting LLM-assisted diagnosis: 10-minute LLM tutorial elevates radiology residents' performance in brain MRI interpretation. Neuroradiology. 2025. PMID: 40464926. doi:10.1007/s00234-025-03664-4
- 全文:PMC12494612(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12494612/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。