文献速递骨肌CTMRDR

ChatGPT基于文本与视觉信息的诊断性能与放射科医生在骨肌放射学中的比较

ChatGPT's diagnostic performance based on textual vs. visual information compared to radiologists' diagnostic performance in musculoskeletal radiology.
PubMed 文献 · Eur Radiol · 2024-07-12

该研究纳入106例骨肌放射学「Test Yourself」病例,比较基于GPT-4的ChatGPT(输入病史和影像表现文字)、基于GPT-4V的ChatGPT(输入病史和图像)与两位放射科医生的诊断准确率。GPT-4版ChatGPT准确率43%,显著高于GPT-4V版的8%;与放射科住院医师的41%相当,但低于认证放射科医生的53%(差异不显著)。GPT-4版ChatGPT辅助可提高放射科医生诊断准确率。

要点

  • GPT-4版ChatGPT(输入影像表现文字)最终诊断准确率43%,显著高于GPT-4V版(输入图像)的8%。
  • GPT-4版ChatGPT准确率与放射科住院医师(41%)相当,低于认证放射科医生(53%)但差异不显著。
  • GPT-4版ChatGPT辅助下两位放射科医生最终诊断准确率分别从41%升至46%、从53%升至58%。

核心结论

  • GPT-4版ChatGPT诊断准确率显著高于GPT-4V版ChatGPT,与放射科住院医师相当,但未达到认证放射科医生水平。
  • 使用ChatGPT时,输入适当的影像表现文字描述而非图像至关重要。

研究设计与样本

  • 本研究为诊断准确性研究,纳入2014年1月至2023年9月Skeletal Radiology「Test Yourself」栏目106例连续病例,排除22例缺乏影像表现文字者。
  • 将病史和影像表现文字输入GPT-4版ChatGPT,将病史和图像输入GPT-4V版ChatGPT,各生成三个鉴别诊断和一个最终诊断。
  • 两位放射科医生(一位4年经验住院医师、一位7年经验认证医生)独立基于病史和图像提供诊断,参考标准为已发表的真实诊断。
  • 采用卡方检验比较诊断准确率,探索性研究未进行多重比较校正,p<0.05为有统计学意义。

诊断标准与关键数值

  • GPT-4版ChatGPT最终诊断准确率43%(46/106),鉴别诊断准确率58%(62/106)。
  • GPT-4V版ChatGPT最终诊断准确率8%(9/106),鉴别诊断准确率14%(15/106)。
  • 住院医师最终诊断准确率41%(43/106)、鉴别诊断58%(61/106);认证放射科医生最终诊断准确率53%(56/106)、鉴别诊断67%(71/106)。
  • GPT-4版ChatGPT vs GPT-4V版ChatGPT:最终诊断p<0.001,鉴别诊断p<0.001。
  • GPT-4版ChatGPT vs 住院医师:最终诊断p=0.78,鉴别诊断p=0.99;vs 认证放射科医生:最终诊断p=0.22,鉴别诊断p=0.26。

临床应用与阅片要点

  • 使用ChatGPT作为诊断工具时,应输入适当的影像表现文字描述而非直接输入图像。
  • GPT-4版ChatGPT可辅助放射科医生缩小鉴别诊断范围,但单独使用不能完全替代放射科医生的专业判断。
  • 放射科医生在临床实践中使用ChatGPT时应认识到其能力并保持谨慎,注意幻觉这一大语言模型的关键局限性。
  • GPT-4版ChatGPT在非肿瘤性疾病(先天/发育异常和发育不良、创伤、解剖变异)中最终诊断准确率相对较高,在关节炎/关节病、感染和代谢性疾病中相对较低。

局限性

  • ChatGPT的诊断性能在「Test Yourself」病例的受控环境中进行,可能不能完全代表更广泛的骨肌放射学病例,这种选择偏倚可能影响结果的普遍性。
  • 「Test Yourself」病例可能已被纳入ChatGPT的训练数据,这种偏倚可能导致高估ChatGPT的诊断准确率。
  • 本研究使用的影像表现描述由知晓最终诊断的作者提供,可能引入偏倚导致高估GPT-4版ChatGPT的诊断准确率;需进一步研究使用对最终诊断设盲的放射科医生提供的影像表现描述来评估。
  • 放射科医生在ChatGPT辅助下的诊断可能引入偏倚,可能高估ChatGPT作为诊断支持工具的能力。
  • 由于GPT-4V版ChatGPT正确诊断数量有限,未对其进行分类分析,限制了统计效力。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Jul 12;35(1):506–16. doi: 10.1007/s00330-024-10902-5

引言

Chat生成式预训练变换器(ChatGPT)是一种基于GPT-4架构的新型语言模型,其在理解和生成各类主题的自然回复方面展现出令人印象深刻的能力[1–3]。各行业专家一直在探索ChatGPT的潜在应用,并考虑其整合如何提高效率和决策过程[4]。此外,近期具备视觉能力的GPT-4(GPT-4V)能够分析图像输入,为扩展大语言模型的影响力提供了可能性[5]。鉴于ChatGPT在医学领域的潜在影响,医疗专业人员需要了解其性能、优势和局限性,以实现最佳利用。

人工智能在放射学领域已展现出显著益处[6, 7],在肌肉骨骼放射学中也有望提高诊断准确性和患者预后[8, 9]。ChatGPT有潜力成为提高诊断准确性和患者预后的宝贵工具,且已有一些ChatGPT在放射学中的初步应用[10–17]。基于GPT-3.5的ChatGPT在未经任何特定放射学训练的情况下几乎通过了基于文本的放射学考试,随后基于GPT-4的ChatGPT通过了该考试[18, 19]。在肌肉骨骼放射学中,仅有的一项ChatGPT研究聚焦于生成研究论文[20]。

既往研究已在放射学领域从患者病史和影像学表现评估了基于GPT-4的ChatGPT的诊断性能[14, 17]。然而,ChatGPT在使用图像本身(基于GPT-4V的ChatGPT)与影像学表现的文字描述(基于GPT-4的ChatGPT)时诊断准确性如何比较,目前尚不清楚。此外,基于GPT-4的ChatGPT、基于GPT-4V的ChatGPT与放射科医师之间的诊断性能比较尚未被研究。当前数据不足以确定将ChatGPT整合到肌肉骨骼放射学实践中是否有潜力提高诊断准确性并减少诊断错误。

《骨骼放射学》期刊以“Test Yourself”形式呈现诊断病例,使读者能够评估其诊断技能。这些诊断病例为评估ChatGPT在肌肉骨骼放射学中的诊断性能以及深入了解其作为诊断工具的潜力提供了途径。

本研究旨在使用发表在《骨骼放射学》上的“Test Yourself”病例,比较基于GPT-4的ChatGPT、基于GPT-4V的ChatGPT与放射科医师在肌肉骨骼放射学中的诊断准确性。

材料与方法

研究设计

本研究经我院机构审查委员会批准,由于本研究仅使用了已发表的病例,因此无需知情同意。我们将患者的病史及与每个病例相关的影像学表现描述输入基于GPT-4的ChatGPT,并将患者的病史及与每个病例相关的图像本身输入基于GPT-4V的ChatGPT。每个ChatGPT生成鉴别诊断和最终诊断,我们评估了输出的诊断准确率。此外,放射科医师根据患者病史和图像对所有病例进行了独立审阅,并评估了其诊断准确率。随后,我们比较了基于GPT-4的ChatGPT、基于GPT-4V的ChatGPT和放射科医师在最终诊断和鉴别诊断方面的诊断准确率。本研究按照诊断准确性研究报告标准声明[21]设计。

数据收集

《Skeletal Radiology》杂志在“Test Yourself”栏目中发表诊断病例。我们连续收集了2014年1月(第43卷第1期)至2023年9月(第52卷第9期)的128例“Test Yourself”病例。由于所呈现病例缺乏影像学表现文本,我们排除了22例,最终共有106例纳入本研究。每例患者的病史和图像(不包括病理图像)从“Question”部分收集,影像学表现描述从每个已发表病例的“Answer”部分收集。“Answer”部分包含活检/手术所见、组织病理学所见、最终/鉴别诊断及诊断讨论的描述;因此,我们将这些描述从影像学表现中排除。数据收集流程图见图1。

图1 数据收集流程图 查看原图 ↗

ChatGPT的输入和输出流程

首先,将以下前提输入基于GPT-4架构的ChatGPT(2023年9月25日版本;OpenAI;https://chat.openai.com/)以使其为任务做好准备:“作为一名医师,我计划利用你进行研究。假设你是一名假想医师,请根据我即将呈现的患者信息,逐步引导我从鉴别诊断到最可能的疾病。请按可能性顺序列出三个可能的鉴别诊断”[14, 22]。然后,对于基于GPT-4的ChatGPT,输入患者的病史和影像学表现描述;而对于基于GPT-4V的ChatGPT,输入患者的病史和图像本身。收集ChatGPT随后的输出(如图2–5所示)。我们为每个病例启动一个新的ChatGPT会话,以防止先前答案对ChatGPT输出的潜在影响。这些操作对每个病例在2023年9月28日至10月6日期间进行一次。

图2 基于GPT-4的ChatGPT的输入(患者病史和影像学表现)和输出示例。a 输入ChatGPT的文本。b ChatGPT生成的输出文本。鉴别诊断以蓝色标出,最终诊断以红色标出。ChatGPT生成的最终诊断在本病例中正确[33, 34] 查看原图 ↗
图3 基于GPT-4V的ChatGPT的输入(患者病史和图像)和输出示例。a 输入ChatGPT的内容。b ChatGPT生成的输出文本。鉴别诊断以蓝色标出,最终诊断以红色标出。本例中ChatGPT生成的最终诊断正确[33, 34] 查看原图 ↗
图4 基于GPT-4的ChatGPT的一个挑战性病例示例。a 输入ChatGPT的文本(患者病史和影像学表现)。b ChatGPT生成的输出文本。鉴别诊断以蓝色标出,最终诊断以红色标出。虽然ChatGPT生成的鉴别诊断包含正确诊断,但本例中最终诊断不正确(真实诊断:骨旁骨肉瘤)[35, 36] 查看原图 ↗
图5 基于GPT-4V的ChatGPT的一个挑战性病例示例。a 输入ChatGPT的内容(患者病史和图像)。b ChatGPT生成的输出文本。鉴别诊断以蓝色标出;然而,本例中ChatGPT的诊断不正确(真实诊断:骨旁骨肉瘤)[35, 36] 查看原图 ↗

输出评估与分类

基于GPT-4的ChatGPT和基于GPT-4V的ChatGPT生成的输出包括三个鉴别诊断和一个最终诊断。两名委员会认证的放射科医师(13年工作经验[H.T.];7年工作经验[D.H.])通过共识评估ChatGPT生成的鉴别诊断和最终诊断是否与实际情况一致(我们将鉴别诊断定义为正确,如果提供的三个鉴别诊断中包含实际 Ground Truth)。根据2020年世界卫生组织软组织和骨肿瘤分类[23],每个病例被分为两组:肿瘤组和非肿瘤组。肿瘤组病例进一步分为骨肿瘤和软组织肿瘤病例。此外,非肿瘤组病例按疾病病因分类如下:肌肉/软组织/神经疾病、关节炎/关节病、感染、先天性/发育异常和发育不良、创伤、代谢性疾病、解剖变异及其他[24]。

放射科医师的判读

两名不同经验水平的放射科医师(判读者1 [T.O.];一名有4年工作经验的放射科住院医师)和(判读者2 [D.H.];一名有7年工作经验的委员会认证放射科医师)独立审阅了全部106例病例。两名放射科医师均根据患者病史和图像(来自“问题”部分)进行诊断。他们提供三个鉴别诊断并选择一个作为每个病例的最终诊断,并评估诊断准确率。两名放射科医师对实际 Ground Truth 以及ChatGPT生成的鉴别诊断和最终诊断均设盲。

放射科医师在ChatGPT辅助下的判读

在初步判读之后,两名放射科医师分别参考基于GPT-4的ChatGPT和基于GPT-4V的ChatGPT生成的鉴别诊断和最终诊断,独立再次审阅所有病例。他们提供三个鉴别诊断并选择一个作为每个病例的最终诊断,并评估ChatGPT辅助下的诊断准确率。两名放射科医师对实际 Ground Truth 均设盲。

统计分析

统计分析使用R软件(4.0.2版,2020年;R Foundation for Statistical Computing;http://www.r-project.org/)进行。采用卡方检验比较基于GPT-4的ChatGPT与基于GPT-4V的ChatGPT的最终诊断准确率和鉴别诊断准确率。还采用卡方检验比较基于GPT-4的ChatGPT与每位放射科医师之间、以及基于GPT-4V的ChatGPT与每位放射科医师之间的最终诊断准确率和鉴别诊断准确率。此外,采用成对Fisher精确检验比较ChatGPT在1)肿瘤组与非肿瘤组、以及2)骨肿瘤与软组织肿瘤病例中的最终诊断准确率和鉴别诊断准确率。由于本研究为探索性研究,未进行多重性校正。p < 0.05被认为具有统计学意义。

结果

ChatGPT的诊断准确率:基于GPT-4的ChatGPT与基于GPT-4V的ChatGPT

在全部106例病例中,基于GPT-4的ChatGPT(基于患者病史和影像学表现)和基于GPT-4V的ChatGPT(基于患者病史和图像)均成功生成了三个鉴别诊断并提供了一个最终诊断。基于GPT-4的ChatGPT的最终诊断和鉴别诊断准确率分别为43%(46/106)和58%(62/106)。相比之下,基于GPT-4V的ChatGPT的最终诊断和鉴别诊断准确率分别为8%(9/106)和14%(15/106)。基于GPT-4的ChatGPT的最终诊断准确率和鉴别诊断准确率均显著高于基于GPT-4V的ChatGPT(分别为p < 0.001和< 0.001)。

ChatGPT与放射科医师诊断准确率的比较

关于放射科医师的诊断准确率,阅片者1(放射科住院医师)的最终诊断准确率为41%(43/106),鉴别诊断准确率为58%(61/106)。阅片者2(委员会认证放射科医师)的最终诊断准确率为53%(56/106),鉴别诊断准确率为67%(71/106)。

基于GPT-4的ChatGPT的最终诊断和鉴别诊断准确率与阅片者1相当,差异无统计学意义(分别为p = 0.78和0.99),但低于阅片者2,尽管差异不显著(分别为p = 0.22和0.26)(表1)(图6)。相比之下,基于GPT-4V的ChatGPT的最终诊断和鉴别诊断准确率均显著低于两位放射科医师(所有p < 0.001)。

表1 ChatGPT与放射科医师诊断准确率的比较 查看原表 ↗
图6 基于GPT-4的ChatGPT、基于GPT-4V的ChatGPT和放射科医师的诊断准确率 查看原图 ↗

放射科医师在ChatGPT辅助下的诊断准确率

在基于GPT-4的ChatGPT辅助下,阅片者1的最终诊断准确率从41%(43/106)提高至46%(49/106),鉴别诊断准确率从58%(61/106)提高至64%(68/106)。同样,在基于GPT-4的ChatGPT辅助下,阅片者2的最终诊断准确率从53%(56/106)提高至58%(62/106),鉴别诊断准确率从67%(71/106)提高至73%(77/106)。相比之下,在基于GPT-4V的ChatGPT辅助下,阅片者1和阅片者2的诊断准确率均无改善。

ChatGPT诊断准确率的分类分析

ChatGPT的详细诊断准确率见表2。鉴于基于GPT-4V的ChatGPT正确诊断数量有限,由于统计效能有限,分类分析被认为不合适。因此,我们仅对基于GPT-4的ChatGPT的诊断准确率进行了分类分析。

在比较肿瘤组和非肿瘤组时,肿瘤组的最终诊断准确率和鉴别诊断准确率分别为31%(14/45)和49%(22/45),非肿瘤组分别为52%(32/61)和66%(40/61)。肿瘤组的最终诊断准确率显著低于非肿瘤组(p = 0.03),而两组的鉴别诊断准确率之间无显著差异(p = 0.11)。在肿瘤组内,骨肿瘤病例的最终诊断准确率和鉴别诊断准确率分别为33%(8/24)和58%(14/24),软组织肿瘤病例分别为27%(6/22)和41%(9/22)(其中一例同时患有骨肿瘤和软组织肿瘤)。在比较骨肿瘤与软组织肿瘤病例的诊断准确率时,最终诊断和鉴别诊断均未观察到显著差异(分别为p = 0.75和0.38)。

非肿瘤病因的诊断准确率见表3。基于GPT-4的ChatGPT在先天性/发育异常及发育不良、创伤和解剖变异类别中表现出相对较高的最终诊断准确率。相比之下,其在关节炎/关节病、感染和代谢性疾病类别中的最终诊断准确率相对较低。

表2 ChatGPT按肿瘤组和非肿瘤组分类的诊断准确率 查看原表 ↗
表3 ChatGPT在非肿瘤病因中的诊断准确率 查看原表 ↗

讨论

本研究展示了基于GPT-4的ChatGPT和基于GPT-4V的ChatGPT在肌肉骨骼放射学中的诊断准确率。基于GPT-4的ChatGPT(基于患者病史和影像学表现)的诊断准确率显著高于基于GPT-4V的ChatGPT(基于患者病史和图像)。关于ChatGPT与放射科医师的比较,基于GPT-4的ChatGPT的诊断准确率与放射科住院医师相当,但低于委员会认证的放射科医师。而基于GPT-4V的ChatGPT的诊断准确率显著低于两位放射科医师。放射科医师的诊断准确率在基于GPT-4的ChatGPT辅助下有所提高,但在基于GPT-4V的ChatGPT辅助下未见提高。在基于GPT-4的ChatGPT按类别诊断准确率的分析中,肿瘤组的最终诊断准确率显著低于非肿瘤组。在肿瘤组内,骨肿瘤病例的最终诊断和鉴别诊断准确率相对高于软组织肿瘤病例,尽管差异不显著。

据我们所知,本研究是肌肉骨骼放射学领域首个探讨基于GPT-4和GPT-4V的ChatGPT诊断能力并将其与放射科医师表现进行比较的研究。尽管既往已有研究报告称基于GPT-3的ChatGPT能够生成连贯的肌肉骨骼放射学研究文章[20],但尚无研究评估基于GPT-4和GPT-4V的ChatGPT在该领域的诊断表现。本研究为使用ChatGPT作为肌肉骨骼放射学诊断工具的优势和局限性提供了有价值的见解。

尽管ChatGPT有望成为肌肉骨骼放射学中的有用工具,但放射科医师应认识到其能力,并在将ChatGPT纳入临床实践时保持谨慎。本研究表明,基于GPT-4的ChatGPT的诊断准确率显著高于基于GPT-4V的ChatGPT。这些结果表明,基于GPT-4V的ChatGPT处理图像和提取影像学表现的能力不足。近期一项研究报道,基于GPT-4V的ChatGPT在分析放射学图像时表现出有限的判读准确性[25]。导致基于GPT-4V的ChatGPT表现不佳的一个因素可能是其在医学图像方面的训练不足。在OpenAI的声明中,他们认为当前的GPT-4V由于不一致性,不适合执行医学图像判读和替代专业医学诊断[5]。为进一步提高基于GPT-4V的ChatGPT的诊断准确性,应考虑探索诸如检索增强生成、基于人类反馈的强化学习微调以及在广泛的医学图像上训练视觉模型等技术[26]。由于文本信息是迄今为止唯一可行的支持选项,因此在临床实践中将ChatGPT用作诊断工具时,提供适当的影像学表现描述至关重要。关于ChatGPT与放射科医师的比较,基于GPT-4V的ChatGPT的诊断表现显著低于放射科医师,而基于GPT-4的ChatGPT的诊断表现与放射科住院医师相当,但未达到委员会认证放射科医师的表现水平。ChatGPT可协助放射科医师进行诊断过程;然而,ChatGPT alone无法完全替代放射科医师的专业知识,应仅作为辅助工具使用。

尽管单独使用基于GPT-4的ChatGPT无法替代放射科医师的专业知识,但它能够提高诊断准确性,并作为肌肉骨骼放射学诊断工作流程的一部分协助放射科医师缩小鉴别诊断范围。此外,ChatGPT已被证明可在各种任务中为放射科医师提供有价值的帮助,包括支持决策、确定成像方案、生成放射学报告、提供患者教育以及撰写医学出版物[26, 27]。将ChatGPT纳入放射学实践有可能优化诊断过程,从而节省时间并减少放射科医师的工作量,进而提高整体效率。

本研究还揭示,基于GPT-4的ChatGPT的诊断准确性可能因疾病的病因不同而异;肿瘤组的诊断准确性显著低于非肿瘤组。肿瘤性疾病诊断准确性较低,可能归因于复杂病例判读的固有难度,其原因在于组织病理学类型和影像学表现繁多多样[23, 28]。罕见肿瘤性疾病对ChatGPT而言可能更具挑战性,因为相关文献有限且缺乏公认的典型影像学表现。尽管骨肿瘤与软组织肿瘤病例之间的诊断准确率未见显著差异,但骨肿瘤病例的准确率相对高于软组织肿瘤病例。良性和恶性的软组织肿瘤常具有重叠的影像学特征[29],而骨肿瘤则具有可根据其生长模式评估恶性风险的分级系统[30, 31]。这一差异可能是骨肿瘤相较于软组织肿瘤鉴别诊断准确率相对较高的促成因素之一。另一方面,非肿瘤组最终诊断的准确率显著更高,提示基于GPT-4的ChatGPT在肌肉骨骼放射学中诊断非肿瘤性疾病时可能特别有用。在非肿瘤性疾病中,先天性/发育异常与发育不良、创伤性疾病以及解剖变异病例的最终诊断准确率相对较高。这些相对较高的准确率可能归因于此类疾病患者病史和影像学表现中的特征性关键词。

本研究存在若干局限性。第一,ChatGPT生成诊断的表现是在“Test Yourself”病例的受控环境中进行的,这可能无法完全代表更广泛的肌肉骨骼放射学病例范围。这种选择偏倚可能影响结果的普适性,并可能无法涵盖真实临床实践中所遇到的完整诊断挑战谱系。第二,“Test Yourself”病例存在潜在偏倚,因为这些病例可能已被纳入ChatGPT的训练数据中。这种偏倚可能导致对ChatGPT诊断准确性的高估。第三,本研究使用了由知晓“Test Yourself”病例最终诊断的作者所提供的影像学表现描述。这可能引入偏倚,从而导致对基于GPT-4的ChatGPT诊断准确性的高估。需要进一步研究以减轻这种偏倚,包括利用对最终诊断设盲的放射科医师所提供的影像学表现描述来评估ChatGPT的诊断准确性。第四,放射科医师在ChatGPT辅助下作出的诊断可能引入偏倚, potentially导致对ChatGPT作为诊断支持工具能力的高估。第五,由于正确诊断数量有限,本研究未对基于GPT-4V的ChatGPT的诊断准确性进行分类分析,这限制了分析的统计效能。第六,由于病例数量有限,本研究未对ChatGPT在非肿瘤性病因中的诊断准确性进行统计分析。最后,本研究未调查幻觉——大语言模型的一个关键局限性[25, 26, 32]。放射科医师在临床实践中将ChatGPT用作诊断工具时需要警惕幻觉。需要进一步研究以探索幻觉的特征和缓解策略,从而优化ChatGPT的使用。

总之,本研究评估了基于GPT-4的ChatGPT和基于GPT-4V的ChatGPT在肌肉骨骼放射学中的诊断准确性。当基于GPT-4的ChatGPT使用由资深放射科医师提供的影像学表现描述时,其诊断表现与放射科住院医师相当,但未达到委员会认证放射科医师的表现水平。相比之下,基于GPT-4V的ChatGPT独立评估影像学表现,其诊断能力较差。由于文本信息是迄今为止唯一可行的支持选项,在临床实践中将ChatGPT用作诊断工具时,提供适当的影像学表现描述至关重要。虽然ChatGPT可能协助放射科医师缩小鉴别诊断范围并改善诊断工作流程,但放射科医师需要了解其能力和局限性以实现最佳利用。

引用

  1. Horiuchi D, Tatekawa H, Oura T, et al. ChatGPT's diagnostic performance based on textual vs. visual information compared to radiologists' diagnostic performance in musculoskeletal radiology. Eur Radiol. 2024. PMID: 38995378. doi:10.1007/s00330-024-10902-5
  2. 全文:PMC11632015(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11632015/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。