文献速递泌尿生殖腹部MR

评估ChatGPT与Bard/Gemini基于前列腺多参数MRI文本报告进行PI-RADS分类的性能并与放射科医生比较

Assessing the performance of ChatGPT and Bard/Gemini against radiologists for Prostate Imaging-Reporting and Data System classification based on prostate multiparametric MRI text reports.
PubMed 文献 · Br J Radiol · 2025-01-01

该回顾性研究将100例连续活检初治患者的前列腺多参数MRI文本报告交由2名泌尿放射科医生、ChatGPT-3.5、ChatGPT-4o mini、Bard和Gemini独立进行PI-RADS分类,以原始报告分类为参考标准。放射科医生准确率为95%和90%,GPT-3.5和Bard均为67%,GPT-4和Gemini分别提升至83%和79%。Bard对2例患者给出了不存在的PI-RADS 6分类。作者结论认为更新版本大语言模型性能有所提升,但仍不如放射科医生,整合入临床实践前需谨慎。

要点

  • 放射科医生基于文本报告的PI-RADS分类准确率(95%、90%)明显高于GPT-3.5和Bard(均为67%)。
  • GPT-4和Gemini准确率分别提升至83%和79%,但仍低于放射科医生。
  • Bard对2例患者给出不存在的PI-RADS 6分类,提示大语言模型存在幻觉风险。

核心结论

  • 放射科医生基于文本报告进行PI-RADS分类准确率高,GPT-3.5和Bard表现不佳,GPT-4和Gemini较前代有所改善但仍不如放射科医生。
  • 大语言模型在不同PI-RADS类别中表现不一,重复性仍相对不一致,整合入临床实践前需谨慎。

研究设计与样本

  • 回顾性分析,纳入2022年10月17日至2022年12月28日间100例连续活检初治患者的前列腺多参数MRI文本报告,由3名报告放射科医生分别贡献34、33、33份报告。
  • 以原始报告分类为确定性参考标准,由2名泌尿放射科医生(分别有14年和3年前列腺MRI报告经验)独立回顾性分类PI-RADS 2.1类别。
  • ChatGPT-3.5和Bard于2023年9月18日至2023年10月8日以零样本方式生成PI-RADS 2.1类别,GPT-4o mini和Gemini-1.5于2024年8月27日至2024年9月6日以相同流程重复。
  • 原始报告分类中PI-RADS 1和2因无明确临床意义而合并分析,分组为PI-RADS 1-2、3、4-5进行Kappa分析和亚组分析。

诊断标准与关键数值

  • 100份MRI原始报告分类为PI-RADS 1-2共52例、PI-RADS 3共9例、PI-RADS 4共19例、PI-RADS 5共20例。
  • 总体准确率:高年资放射科医生95%,低年资放射科医生90%,GPT-3.5和Bard均为67%,GPT-4为83%,Gemini为79%。
  • GPT-4准确率较GPT-3.5显著提高(P = .009),Gemini准确率较Bard提高但未达统计学显著(P = .056)。
  • 与原始报告的一致性Kappa值:高年资放射科医生0.93,低年资放射科医生0.84,GPT-3.5为0.65,GPT-4为0.86,Bard为0.57,Gemini为0.81。
  • PI-RADS 1-2亚组F1评分:高年资放射科医生0.98,低年资放射科医生0.95,Bard为0.94,Gemini为0.98,GPT-3.5为0.77,GPT-4为0.94;PI-RADS 4-5亚组F1评分:高年资放射科医生0.97,低年资放射科医生0.95,GPT-3.5为0.95,GPT-4为0.98,Bard为0.71,Gemini为0.87。

临床应用与阅片要点

  • 本研究中心的前列腺MRI采用结构化模板报告,已知可提高报告完整性。
  • 在PI-RADS 1-2报告中,Bard和Gemini的F1评分(0.94、0.98)高于GPT-3.5和GPT-4(0.77、0.94);在PI-RADS 4-5报告中,GPT-3.5和GPT-4的F1评分(0.95、0.98)高于Bard和Gemini(0.71、0.87)。
  • Bard对2例患者给出了不存在的PI-RADS 6分类,这2例原始分类分别为4和5,放射科医生、GPT-3.5、GPT-4和Gemini均给出了与原始报告相同的分类。
  • 作者认为在将此类技术整合入临床实践前需谨慎。

局限性

  • 回顾性设计,纳入来自单一机构的相对少量病例。
  • 临床数据被排除,但PI-RADS评分明确基于图像评估,排除此类数据有助于使用在线工具时提高数据隐私。
  • 使用简单提示词、无先前训练或迭代来查询聊天机器人的PI-RADS分类,旨在模拟放射科医生可能使用在线软件工具简化工作流程的临床场景。
  • 队列中PI-RADS 3病变比例可能较低为9%,与既往研究报告的6%-19%一致,但PI-RADS 3病变对人类和大语言模型解读均具固有复杂性,其相对较少可能限制研究普遍性。
  • 本研究主要评估大语言模型在评估放射学报告中的作用,而非探索其辅助住院医师进行放射学报告的工具潜力。
全文中译6 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2024 Nov 13;98(1167):368–74. doi: 10.1093/bjr/tqae236

引言

前列腺癌(PCa)是全球第二大常见男性癌症,1 MRI是其主要的检测诊断工具。2 前列腺影像报告和数据系统(PI-RADS)指南旨在规范MRI报告,并已被泌尿放射学界广泛采用。2 放射科医师通常分析图像、制定描述词,并将其综合为印象,包括指定PI-RADS评分,该分类用于指导临床医生的管理决策。2,3 既往文献已证明放射科医师之间在PI-RADS分类方面存在较高的观察者间变异性4;然而,这些研究聚焦于指定PI-RADS类别的整个过程。

大型语言模型(LLM),如OpenAI的Chat生成预训练变换器(ChatGPT)和Google开发的Bard/Gemini,因其在许多学科(包括临床放射学)中的潜在应用而受到关注。5,6 这些LLM在大量网络文本数据上训练,展现出理解和生成跨多种语境人类语言回答的能力,具有将临床放射学报告转化为患者友好的通俗文本的潜力。7 这一过程的首要步骤是建立可靠的临床解读能力。因此,评估LLM从基于文本的报告生成单一PI-RADS分类的能力具有重要意义。本研究旨在比较ChatGPT、Bard/Gemini和2名泌尿放射科医师基于初始临床文本报告指定PI-RADS类别的分类能力。

方法

原始放射学报告

本回顾性分析经机构审查委员会批准,免除知情同意(匿名化)。本研究基于100名连续未行活检男性队列的临床前列腺MRI文本报告,这些患者接受了多参数MRI,在2022年10月17日至2022年12月28日期间由3名报告放射科医师均衡分布完成(图1)。这些放射科医师被视为专家,8,9 分别贡献了34、33和33份报告。

图1. 流程图展示了本研究的文本报告纳入过程和研究流程。本研究纳入了未经治疗患者临床常规多参数MRI扫描的报告,确保由3名放射科医师均衡分布(n = 34、33、33)。这些报告经过编辑,在每份报告开头添加结构化提示词“[CaseID], PI-RADS?”,并删除临床病史、结论性意见和PI-RADS分类。经上述修改后,报告由2名放射科医师、ChatGPT和Bard/Gemini进行评估。缩写:bpMRI = 双参数MRI;DCE = 动态对比增强图像;PCa = 前列腺癌;PI-RADS = 前列腺影像报告和数据系统。 查看原图 ↗

报告编辑、PI-RADS分类和提示

在我们机构,前列腺MRI以结构化格式报告。为确保标准化的盲法评估,从文本报告中删除了临床病史、结论性意见和PI-RADS分类。两名泌尿放射科医师(匿名化),分别具有14年和3年前列腺MRI报告经验,独立且回顾性地从编辑后的文本报告中分类PI-RADS 2.1类别。

同一批报告于2023年9月18日至2023年10月8日期间被手动输入在线ChatGPT-3.5(GPT-3.5)和Google Bard(Bard)平台,在无先前训练的情况下进行PI-RADS 2.1分类的零样本生成。为评估更新后的ChatGPT-4o mini(GTP-4)和Google Gemini-1.5(Gemini)模型的性能,于2024年8月27日至2024年9月6日期间在线聊天机器人上重复了相同流程(相同提示词和零样本训练)。

为进行可重复性分析,2名泌尿放射科医师在两次评估之间间隔超过9个月的洗脱期后对同一批报告进行PI-RADS分类。每个病例通过GTP-4和Gemini的应用程序编程接口(API)提交3次查询进行评估。实现采用Python 3.9.12版本(Python Software Foundation,Wilmington,DE,United States),利用openai包(版本1.6.1)进行GPT API交互,利用google.generativeai包(版本0.8.0)进行Google Gemini API查询。ChatGPT使用的模型版本为gpt-4o-mini-2024-07-18,Gemini模型为gemini-1.5-flash-001。

ChatGPT和Google BARD/Gemini的提示词均结构化为“[CaseID], PI-RADS?”,其中[CaseID]代表每份个体报告的唯一标识符(图1)。

统计分析

原始报告分类被视为确定性参考标准。后续分析侧重于将这些原始报告与放射科医师、ChatGPT和Bard所做的评估进行比较。在原始分类中,PI-RADS 1和2因其不具有任何明确的临床意义而被合并分组。因此,PI-RADS 1和2被合并为单一分类进行分析。为评估PI-RADS赋值是否存在显著差异,酌情使用Fisher精确检验或卡方检验,P < .05被认为具有统计学意义。评估者的性能以准确率和F1分数进行评价。F1分数由相对于原始报告中提供的确定性分类的宏平均精确率和宏平均召回率的调和平均数确定。进行前列腺活检的临床决策强烈受PI-RADS评分指导,通常基于PI-RADS 1-2(前列腺癌(PCa)低可疑)、3(不确定)和4-5(PCa高概率)的分组类别。10因此,对这些分组类别进行了Kappa分析和亚组性能分析,评估者间信度(Κ):<0.00,一致性差;0.00-0.20,轻微;0.21-0.40,一般;0.41-0.60,中等;0.61-0.80,高度;0.81-1.00,几乎完全一致。11GTP-4和Gemini的可重复性通过比较基于网络的聊天机器人生成的PI-RADS分类与使用相应LLM API进行3次迭代的结果来评估。可重复性通过计算每个模型在所有尝试中给出相同PI-RADS评分的病例比例来确定。各次尝试中相同答案选择的百分比一致率<90%被归类为差。12统计分析使用R 4.2.2(R Foundation,Vienna,Austria)和Python 3.9.13进行。

结果

在100份原始临床前列腺MRI报告的队列中,52份MRI被归类为PI-RADS 1-2,9份为PI-RADS 3,19份为PI-RADS 4,20份为PI-RADS 5(表1)。PI-RADS类别的分布在做出原始报告的3位放射科医生之间无显著差异(P = 0.41,表S1)。

当将原始分类与资深放射科医生(SR)和初级放射科医生(JR)所做的评估进行比较时,观察到高水平的准确性,SR达到95%,JR达到90%的准确性。GPT-3.5和Bard的总体准确性均较低,为67%(表2,图2)。然而,GTP-4的准确性(83%)与GPT-3.5相比显示出显著改善(P = .009)。虽然Gemini的准确性(79%)也较Bard有所提高,但这一差异无统计学意义(P = .056)。此外,两位放射科医生均表现出较高的宏观F1分数,SR为0.91,JR为0.82,两者分别优于GPT-3.5(0.64)、GTP-4(0.76)、Bard(0.41)和Gemini(0.68)。没有明显的模式表明LLMs的表现因3位原始放射科医生而存在差异(表S2)。

对阅片者间一致性的评估显示,原始报告与SR(Κ = 0.93)和JR(Κ = 0.84)之间几乎完全一致。相反,原始报告与GPT-3.5和Bard之间的一致性水平分别为高度一致(Κ = 0.65)和中等一致(Κ = 0.57)。与原始报告相比,GTP-4(Κ = 0.86)和Gemini(K = 0.81)的一致性水平分别提升至几乎完全一致。SR(92%)和JR(94%)的可重复性可靠,每位阅片者的阅片者内一致性几乎完全一致(SR,K = 0.87;JR,K = 0.93)。然而,GTP-4的可重复性仅为76%,Gemini为75%,表明两种模型的可重复性水平较低(图3)。阅片者内一致性对GTP-4几乎完全一致(K = 0.86),对Gemini为高度一致(K = 0.79)。

在被指定为PI-RADS 1-2的原始报告子集(n = 52)中,SR的F1分数为0.98,JR为0.95(图4,表2)。值得注意的是,没有任何一位放射科医生、BARD或Gemini将该子集中的任何报告归类为PI-RADS 4或5,F1分数范围为0.94至0.98。然而,GPT-3.5表现出偏差,将一份PI-RADS 4报告归入PI-RADS 1-2。尽管如此,GTP-4未将任何报告归类为PI-RADS 4或5,其F1分数从GPT-3.5的0.77提高至0.94。

在原始报告被分类为PI-RADS 4或5的子集(n = 39)中,所有评估者之间总体一致,没有任何报告被归类为PI-RADS 1-2。然而,在PI-RADS 4-5子集中,SR将2例归为PI-RADS 3,JR归为1例,GPT-3.5归为3例,Bard归为16例,Gemini归为8例。GTP-4未将该子集中的任何报告归类为PI-RADS 3。值得注意的是,Bard将2例患者归为一个不存在的PI-RADS 6分类(图4和图5)。这2例患者的原始PI-RADS分类分别为4和5,两位放射科医生、GPT-3.5、GPT-4和Gemini均给出了与原始报告相同的分类。SR在该子集(PI-RADS 4或5)中的F1分数为0.97,JR的分数为0.95(表2)。GPT-3和GPT-4在该子集中的F1分数分别为0.95和0.98,超过了Bard和Gemini,后两者的F1分数分别为0.71和0.87。

表1. 原始文本报告、2名人类评分者(SR、JR)和预训练大语言模型(GPT、Bard、Gemini)的PI-RADS评分分布。 查看原表 ↗
图2. 各评分者与原始前列腺MRI报告中的分类相比,PI-RADS分类的准确性。缩写:GPT-3.5 = ChatGPT-3.5;GTP-4 = ChatGPT-4o mini;JR = 初级阅片者;PI-RADS = 前列腺影像报告和数据系统;SR = 高级阅片者。 查看原图 ↗
表2. 2名人类评分者(SR、JR)和预训练大语言模型(GPT、Bard/Gemini)在PI-RADS分类中的表现。 查看原表 ↗
图3. ChatGPT-4o mini(GTP-4)和Gemini内部PI-RADS类别选择一致性的重复性。缩写:PI-RADS = 前列腺影像报告和数据系统。 查看原图 ↗
图4. 展示PI-RADS评分分布的热图。热图显示原始文本报告的PI-RADS类别分别与(A)高级放射科医师、(B)初级放射科医师、(C)GPT-3.5、(D)Bard、(E)GTP-4、(F)Gemini的PI-RADS类别之间的分布。在每个热图中,颜色代表对应特定PI-RADS评分的病例数。每个热图侧面的颜色条表示计数范围,颜色越深代表计数越高。缩写:GPT-3.5 = ChatGPT-3.5;GTP-4 = ChatGPT-4o mini;JR = 初级阅片者;ORG = 原始;PI-RADS = 前列腺影像报告和数据系统;SR = 高级阅片者。 查看原图 ↗
图5. 一例最初分类为PI-RADS 4的前列腺多参数MRI报告示例。Bard将该报告错误分类为PI-RADS 6。(A)输入在线Bard聊天机器人的文本报告截图。(B)Bard回复的截图。缩写:PI-RADS = 前列腺影像报告和数据系统。 查看原图 ↗

讨论

本研究探讨了放射科医师、GPT-3.5、GTP-4、Bard和Gemini基于文本的回顾性PI-RADS分类。放射科医师的准确性较高(90%-95%),而旧版本GPT-3.5和Bard的准确性仅在67%的病例中一致。然而,与其自身旧版本相比,GTP-4(83%)和Gemini(79%)的准确性均有提高。SR、JR、GTP-4和Gemini的阅片者间一致性几乎完美,GPT-3.5为高度一致,但Bard仅为中度一致。在低怀疑度(PI-RADS评分1-2)报告中,Bard/Gemini优于GPT,相反,对于高概率(PI-RADS 4-5)报告,GPT优于Bard/Gemini。值得注意的是,Bard将2名患者分配了不存在的PI-RADS 6分类,而Gemini、GPT-3.5和GTP-4均未分配此类分类。

鉴于临床医学的多面性以及预计到2035年前列腺癌(PCa)患病率将增加50%,13对MRI高效解读的需求正在上升。14利用预训练的大语言模型(LLM)可能提高报告效率。5我们的研究显示,在基于文本的前列腺影像报告和数据系统(PI-RADS)分类任务中,采用GPT-3.5和Bard进行零样本学习时结果不理想。虽然GTP-4和Gemini的更新版本表现出更好的性能,但仍不及放射科医师。PI-RADS是标准化前列腺MRI解读的 valuable 工具2;然而,基于图像解读的PI-RADS分类显示出相对较高的阅片者间变异性,受个体放射科医师经验等因素的影响。4尽管如此,我们观察到,在仅解读结构化报告而无需图像分析步骤的情况下,SR和JR均具有较高的准确率。该任务依赖于原始文本报告的全面性和准确性;我们的实践中一贯采用模板化报告,已知这可以提高报告的完整性。15标准化的PI-RADS词典描述词可作为可解释AI模型中的决策特征,用于交互式PI-RADS分类,从而提高信心水平并减少经验较少的放射科医师的阅片时间。16在文本报告中使用固定的PI-RADS词典描述词可能增强LLM的PI-RADS评分分类。然而,PI-RADS词典的阅片者间一致性仅为中等,这表明需要额外努力,例如实施自动化报告编辑,以提高AI模型的性能并确保一致性。17

LLM已被用于放射学任务,如简化或总结文本报告,18,19指导选择合适的计算机断层扫描检查,20回答影像相关问题,21,22以及回答放射学委员会考试问题。12,23–25虽然聊天机器人在某些情况下可以提供精确的回答,18,20,23但人们对其“幻觉”(即生成虚构信息)的担忧已被提出。5,7在我们的研究中,Bard将2名患者分配了不存在的PI-RADS 6类别。然而,在Bard的更新版本(现称为Gemini)中未观察到这些幻觉。两项已发表的研究在放射学领域直接比较了ChatGPT和Bard。7,26虽然它们的任务与我们的研究不同,但两种聊天机器人在所有 examined 研究中均表现出合理的知识水平,其中ChatGPT表现更好。然而,两个系统偶尔都会出现不准确或提供不合逻辑的解释。在我们的研究中,Bard/Gemini在分类原始PI-RADS 1-2报告方面优于GPT-3.5/GTP-4,而GPT-3.5/GTP-4在分类原始PI-RADS 4-5报告方面表现出更优的性能;因此,在将这些技术整合到临床实践之前,了解其优势和局限性至关重要。18

影像报告和数据系统(I-RDS)已被广泛用于各器官的报告。Gu等19证明,GTP-4能够从多语言自由文本报告中提取LI-RADS(肝脏)特征并对其进行分类,准确率范围为86%至99%。此外,与GPT-3.5相比,GTP-4在英文放射学委员会风格考试中的表现有所提高。12,25然而,有研究注意到,大型语言模型(LLM)在放射学委员会风格考试不同亚专科中的表现存在差异。值得注意的是,GPT-3.5与GTP-4在泌尿生殖系统题目上的准确率没有提高。25,26此外,包括GTP-4在内的LLM在根据Fleischner学会指南22提供肺结节随访建议方面,以及在回答日本放射学会以日语编写的委员会考试题目方面存在不足。24此外,有报道称同一GPT版本内的重复性范围为61%至100%。12,21,27应当注意,LLM领域正在迅速发展,GPT在不到18个月内从3.5演进到4,而Bard不仅进行了升级,还更名为Gemini。28,29因此,在任何特定临床应用中使用LLM之前,必须仔细考虑和评估相关指标。

我们的研究存在一些局限性,包括回顾性设计以及纳入来自单一机构的相对较少病例。其次,临床数据被排除;然而,PI-RADS评分的赋值明确是一种基于图像的评估,排除此类数据有助于在使用在线工具时提高数据隐私性。使用缺乏预先训练或迭代的简单提示词向聊天机器人查询PI-RADS分类。尽管如此,我们旨在模拟一种临床场景,即放射科医生可能使用在线软件工具来简化其工作流程,因此选择零样本训练以模拟真实世界条件。第三,尽管我们队列中PI-RADS 3病变的比例可能被认为较低,为9%,但这与既往研究一致,既往报道的PI-RADS 3比例为6%-19%。30–33然而,鉴于PI-RADS 3病变对于人工和基于LLM的判读均具有固有复杂性,其在我们研究中相对较少的数量可能限制我们研究的普适性。第四,本研究主要侧重于评估LLM在评估放射学报告中的作用,而非探索其作为协助住院医师撰写放射学报告工具的潜力。未来研究可以探讨LLM在这一教育背景中的效用,并评估其可能仍然落后的方面,这可能为其在培训环境中的应用提供进一步见解。

总之,与放射科医生相比,GPT-3.5和Bard在基于文本的PI-RADS评分分类方面均表现欠佳。最新版本的LLM(GTP-4和Gemini)在从MRI文本报告中对PI-RADS类别进行分类方面显示出更强的能力。然而,其表现仍在不同PI-RADS类别之间存在差异,且其重复性仍然相对不一致。因此,在将这些新技术整合到临床实践之前应谨慎。

补充材料

引用

  1. Lee KL, Kessler DA, Caglic I, et al. Assessing the performance of ChatGPT and Bard/Gemini against radiologists for Prostate Imaging-Reporting and Data System classification based on prostate multiparametric MRI text reports. Br J Radiol. 2025. PMID: 39535870. doi:10.1093/bjr/tqae236
  2. 全文:PMC11840166(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11840166/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。