生成式预训练变换器4o(GPT-4o)在解答欧洲放射学文凭(EDiR)文本型多项应答试题中的表现:与放射科医生的比较研究
前瞻性研究比较26名四年级医学生使用ChatGPT-4o与42名EDiR考生回答52道无图像文本型多项应答试题的准确率。GPT-4o平均得分82.1±3.0%,显著高于EDiR考生的49.4±10.5%(p<0.0001),除信息学外各亚专科均更高(p<0.0001)。GPT-4o应答一致性近乎完美(κ=0.872),EDiR考生仅为中等(κ=0.334)。
要点
- GPT-4o在EDiR文本型低阶思维试题中平均得分82.1±3.0%,EDiR考生为49.4±10.5%(p<0.0001)。
- GPT-4o在除信息学(p=0.20)外的所有放射亚专科准确率均高于EDiR考生(p<0.0001)。
- GPT-4o应答间一致性近乎完美(κ=0.872),EDiR考生间为中等(κ=0.334)。
核心结论
- GPT-4o在低阶思维、文本型EDiR多项应答试题中显著优于EDiR考生,准确率和可靠性更高,尤其在识别正确选项方面表现突出;作者认为需进一步研究不同题型和考生人群中的表现。
研究设计与样本
- 前瞻性研究,比较26名四年级医学生使用ChatGPT-4o与42名2023年两个欧洲考点EDiR考生的答题结果;试题为52道2023年官方EDiR文本型低阶思维多项应答试题,每题5个选项,无图像提示。
诊断标准与关键数值
- GPT-4o平均得分82.1±3.0%,EDiR考生49.4±10.5%(p<0.0001);GPT-4o真阳性率更高、假阳性率更低;除信息学(p=0.20)外各亚专科准确率均更高(p<0.0001);GPT-4o应答一致性κ=0.872(95%CI 0.84–0.90),EDiR考生κ=0.33(95%CI 0.29–0.38)。
临床应用与阅片要点
- 作者认为GPT-4o在回答文本型放射学问题方面具有潜力;作者指出LLM在图像判读和复杂临床推理方面仍远不能与亚专科培训的放射科医生相比,并建议放射科培训应更强调临床推理、报告整合和多模态影像而非基础事实知识。
局限性
- 仅使用无视觉提示的文本型低阶思维试题,限制了对ChatGPT在影像任务中表现的评估。
- 仅评估了一种LLM(基于预实验分析和文献综述选择),可能不能反映其他模型的能力。
- 每个亚专科的试题数量相对较少,限制了对各领域表现差异的深入探索。
- 为保密未收集EDiR考生的人口学数据。
- 尽管要求学生仅依赖ChatGPT的回答,但当模型提供不清晰或不完整答案时,学生可能偶尔应用了自己的策略(表现为测试分数离散度低)。
全文中译12 节 · 点击展开
引言
生成式预训练变换器(GPT)、Gemini或Copilot等大语言模型(LLM)在能力、准确性和多功能性方面的快速进步显著拓展了其应用范围。这些模型现在能够执行不仅需要广泛全局知识、还涉及推理和以专家级精度解读复杂关系的任务[1]。虽然LLM主要设计用于根据输入提示生成文本,但其潜力已在多个领域得到评估,包括医学科学和医疗保健,包括放射学[2]。
语言模型的主要功能并非解读视觉输入(如医学图像)。在放射学中,其潜在作用已在多个领域得到认可,包括选择合适的影像学检查和方案、放射学报告的标准ization、解读和总结、错误检测、从报告中提取数据、生成鉴别诊断以及放射学教育[1, 3–7]。LLM也已在医学专业人员(包括放射科医师)的 board 考试中接受评估,显示其在回忆型任务中的优越性,以及在临床推理中程度较低的优越性。
例如,ChatGPT-4在回答低阶思维单选题(SBA)时达到了84%的准确率,这些题目在风格、内容和难度上模仿了美国放射学委员会和加拿大皇家内科医师学院考试。其在需要应用概念(30%)或涉及计算和分类(25%)的任务中表现明显较低,尽管其总体几乎达到了及格分数[8]。然而,这些评估未涉及实际考试题目,因为测试内容严格保密。
欧洲放射学文凭(EDiR)考试面向 board 认证的放射科医师和处于培训最后一年的放射科住院医师[9]。欧洲放射学委员会在多个大洲组织EDiR考试。EDiR允许考生展示其放射学专业知识并推进职业发展[9]。考试以英语进行;每年约有1000名考生参加考试,其中许多人的母语非英语。
本研究旨在对ChatGPT-4与既往EDiR考生在解答考试中文本型题目时的准确性进行头对头比较。
材料与方法
本前瞻性研究按照《赫尔辛基宣言》概述的伦理标准进行。本研究获得布拉格综合大学医院伦理委员会伦理批准(79/24 S-IV Grant)。所有参与者在纳入研究前均获得书面知情同意书,以及通用数据保护条例(GDPR)保护和非披露声明。
研究参与者
四年级医学生(n = 385)通过电子邮件受邀参与本研究。回复表格于2024年10月9日至10月10日开放,届时共收集到33份来自符合以下纳入标准的学生的回复:当前就读于全科医学项目第四年(放射学课程之前)、英语水平为中高级英语水平(B2)或以上(例如:First Certificate、国家考试或高中毕业考试)、且医学英语考试成绩为A。
收集了参与者英语水平、出生年份、性别以及既往使用大型语言模型(LLM)经验的数据。参与者受邀参加ChatGPT挑战赛并获得报酬,包括22.2欧元(EUR)用于ChatGPT-4o升级,以及17.2欧元作为其时间和精力的报酬。
测试题目
EDiR测试场次使用2023年实施的官方EDiR场次题目构建。仅选择无任何视觉提示的纯文本题目。最终题集由52道低阶思维多项应答题(MRQ)组成,每题有5个答案选项,涵盖表1所列领域。每题的得分计算如下:
单题最高分为1分,最低分为0分,不设负分。评分和正确答案由管理员提供。测试成绩计算如下:
EDiR测试
EDiR考试在多个大洲的不同地点进行。本研究纳入了2023年在两个欧洲考点参加考试的全部42名考生。为维护保密性,未收集参与者的人口学数据。EDiR考试面向委员会认证的放射科医师和处于培训最后一年的放射科住院医师,预期其具备全面的放射学通科知识[9]。
ChatGPT挑战赛
ChatGPT挑战赛于2024年10月22日和23日下午1时起在一间计算机室进行。测试前,向学生介绍了ChatGPT-4o的使用方法,包括创建提示词、指定任务、上下文、角色设定和格式、提出详细问题以及使用新提示词。测试在与实际EDiR参与者所面对的相同的网络环境中进行,不同之处在于启用了复制粘贴功能并将时间限制设定为180分钟。指导学生仅依据ChatGPT-4o的输出来提交答案,忽略自己的观点、知识或直觉。测试完成后记录时间,并进一步询问所有学生在生成ChatGPT提示词时所采用的策略。
功效分析
进行了功效分析以确定基于EDiR考生获得的平均分数比较两个独立组所需的样本量。使用平均分数0.49、标准差(SD)0.10和预期差异0.1,需要18名参与者的样本量以达到0.8的统计功效和0.05的α水平。
统计分析
统计分析使用Prism(GraphPad,拉霍亚,加利福尼亚州)和R(R基金会,维也纳,奥地利)进行。数据分布采用D’Agostino-Pearson综合检验和直方图目视检查进行评估。采用Grubb’s检验识别离群值。连续变量以均值 ± 标准差表示。组间差异采用t检验分析。观察者间一致性以Fleiss kappa(irr库)计算,95%置信区间通过自举法(boot库)计算。p值 < 0.05被认为具有统计学显著性。
结果
在完成初始问卷并受邀的33名学生中,最终有27名参与了ChatGPT挑战。一名学生因存在显著离群值而被排除,可能原因是错误地切换到了不同的ChatGPT模型,最终留下26名参与者进行最终分析(图1)。其自报英语水平为B2(n = 13)、高级英语水平(C1)(n = 8)或精通英语水平(C2)(n = 5)。他们出生于2001年(n = 5)或2002年(n = 21),组内包括15名男性和11名女性(表2)。21名(81%)学生报告此前有使用ChatGPT的经验。除一人外(96%)均有聊天机器人使用经验,9人(35%)报告频繁使用(表2)。
学生们完成测试的平均时间为60.7 ± 11.7分钟,平均得分为82.1 ± 3.0%,而欧洲放射学文凭(EDiR)考生的得分为49.4 ± 10.5%(p < 0.0001,图2)。ChatGPT-4o在所有亚专科中均优于EDiR考生(p < 0.0001),但信息学除外(p = 0.20,表1)。EDiR考生平均每题选择2.11 ± 0.05个答案,而使用ChatGPT-4o的学生平均每题选择2.66 ± 0.01个答案(p = 0.0001,图3)。与EDiR考生相比,ChatGPT-4o实现了更高的真阳性(TP)率,同时保持了较低的假阳性(FP)率(图4和表3)。EDiR考生之间的一致性为中等(κ = 0.33;95% CI:0.29–0.38),而GPT-4回答之间的一致性接近完美(κ = 0.87;95% CI:0.84–0.90)。
在退出调查中,所有参与者均报告使用了专为本次挑战启用的复制粘贴功能。16名参与者(62%)添加了额外的提示信息,如角色设定、场景或任务说明。17名参与者(65%)定期使用新提示,19名(73%)提交了额外问题以寻求澄清。与未使用额外提示说明(p = 0.23)、未使用新提示(p = 0.46)或未提出额外问题(p = 0.67)的参与者相比,使用这些策略的参与者之间得分无显著差异(表4)。
讨论
本研究表明,ChatGPT-4o在所有亚专科的低阶、非视觉EDiR题目中显著优于普通参与者,但信息学除外。与EDiR考生相比,ChatGPT-4o实现了更高的真阳性(TP)率,同时保持了更低的假阳性(FP)率,凸显了其在决策中的准确性和信心。ChatGPT回答的变异性极小,表明其在一致处理类似类型问题方面具有高度可靠性。
人工智能(AI)聊天机器人在解决医学任务中的应用日益受到关注,这归因于其提高的精确性、不断扩展的知识库、增强的计算能力以及创新的AI算法。ChatGPT-4在解决各专科医学考试题目方面表现出高度准确性。在与医师执照考试相关的多项选择题(包括神经病学、肾脏病学、放射学和普通内科等亚专科)中,ChatGPT的准确率可达87% [8, 10–13]。
在医学影像领域,ChatGPT的使用已通过加拿大皇家内科医师与外科医师学院及美国放射学委员会考试的试题进行了评估,这些考试采用单选题(SBA)格式,即一个正确答案和三个干扰项 [8]。当时,ChatGPT-3.5是最新的AI语言模型,在150道题中正确回答了69%。其在低阶题目(回忆或理解)中的表现明显更好,准确率达到84%,而在高阶思维题目中成功率为60%。相比之下,本分析中82%的平均分可被认为好得多,因为EDiR考试由多项正确答案题(MRQ)组成,五个可能答案中有一至四个正确答案,且错误选择会被扣分。对扣分的担忧可能是考生平均选择答案数量少于ChatGPT的主要原因,他们会避免标记信心较低的答案。与ChatGPT-4在日本放射学委员会考试中的表现相比——其正确回答了80%的低阶SBA题目——其在EDiR MRQ中的准确性更高 [14]。虽然GPT-4o表现出更优的准确性,但这一优势源于其在大量数据集上的预训练,这与EDiR考生聚焦于经验的知识形成对比。EDiR考试该部分的MRQ格式进一步加剧了这一差异。然而,这种广泛的理论知识在常规实践中缺乏更深入的临床专业知识,其临床价值仍不确定。因此,EDiR考试还包括简短病例和临床导向推理评估部分,这些部分因依赖视觉提示而未在本研究中评估。
本研究未纳入带图像提示的问题。我们的初步研究表明,包括ChatGPT在内的聊天机器人在处理基于图像的问题时存在困难,即使仅提供单张图像也是如此。正如Brin等人所展示的,ChatGPT-4虽能正确识别成像模态,但其准确判定解剖区域的病例仅占87%,准确判定病理的仅占35%[15]。他们的研究使用的是单张图像,而非完整序列图像——而在EDiR考试中,计算机断层扫描(CT)和磁共振成像也可提供完整序列。作为基于文本的大语言模型(LLM),其固有局限性限制了其分析和解读视觉数据的能力,而在放射学中图像解读是基础性工作,这一点至关重要[16, 17]。这一局限性也解释了为何未对高阶思维问题进行分析,因为此类问题依赖医学影像,而该模型无法直接处理[16]。
ChatGPT未来的迭代版本不太可能解决这些障碍,因为放射学图像(及其图像集)的解读需要在各成像模态特定的标注医学数据上进行大规模训练。因此,有研究提出ChatGPT在放射学中的潜力可能集中于重新生成放射学报告以提升其清晰性、简洁性和易理解性,或从报告中提取数据用于大型数据库[6, 7]。
在一项比较分析中,ChatGPT-4显著优于其前身ChatGPT-3.5,尤其在需要高级解读和临床推理的问题上表现更为突出,在非图像类问题中取得了更高的准确率[12, 18]。这种性能演进凸显了AI模型的进步,ChatGPT-4等较新迭代版本在处理复杂医学查询方面展现出更强的能力。此前针对这些模型早期版本(如ChatGPT-3.5)在FRCR2A风格模拟考试(包含最佳单选题(SBA)和临床病例 vignette)中的研究表明,医学住院医师的表现优于Bard、Bing和ChatGPT-3.5。然而,鉴于AI技术的快速进步,这一结论可能已不再成立[19]。
大语言模型的持续演进表明AI模型之间呈现竞争格局,每个迭代版本都力求提升准确性和适用性,包括在医学教育和实践中的适用性。尽管大语言模型在特定的基于文本的回忆任务中表现出优越性能,但在临床实践中它们仍远不能与接受过亚专科培训的放射科医师相媲美,在基于图像的决策能力方面表现不佳[20]。未来研究应评估大语言模型在复杂临床推理中的表现,以对其能力提供更全面的评价。
大语言模型当前的局限性凸显了持续开发和人工监督的必要性。大语言模型和用于医学图像分析的AI都应促使放射科医师培训发生转变,更加重视临床推理、医学报告整合和多模态成像,而非过度依赖基础的事实性知识。
研究局限性
本研究存在若干局限性。第一,我们仅使用了基于文本的低阶思维问题,未提供视觉提示,限制了对ChatGPT在基于图像的任务中表现的评估,而此类任务在放射学等领域至关重要。第二,我们仅评估了一个大型语言模型(LLM),该模型是根据我们的预试验分析和文献综述所选定的,可能无法反映其他模型的能力。第三,每个亚专科的问题数量相对较少,限制了对不同领域间表现差异的深入探索。第四,为维护保密性,未收集EDiR参与者的 demographic 数据。最后,尽管学生被要求仅依赖ChatGPT的回答,但当模型提供不清晰或不完整的答案时,他们可能偶尔运用了自己的策略(测试分数的低离散度即为佐证)。
结论
在解答低阶思维事实性EDiR问题时,ChatGPT-4的表现显著优于EDiR考生(放射科医师),尤其在识别正确答案方面表现突出。ChatGPT回答的变异性极小,表明其在处理类似问题时的可靠性。这些结果展示了GPT-4o在回答基于文本的放射学问题方面的潜力,但仍需进一步研究以评估其在不同问题格式和考生群体中的表现。
引用
- Pristoupil J, Oleaga L, Junquero V, et al. Generative pre-trained transformer 4o (GPT-4o) in solving text-based multiple response questions for European Diploma in Radiology (EDiR): a comparative study with radiologists. Insights Imaging. 2025. PMID: 40120065. doi:10.1186/s13244-025-01941-7
- 全文:PMC11929644(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11929644/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。