评估GPT-4多模态在放射学图像分析中的表现
本研究回顾性分析230例急诊诊断图像(超声、CT、X线),评估多模态GPT-4V识别检查方式、解剖区域和病理的准确性,并与高年资放射科医生比较。GPT-4V识别检查方式准确率100%(221/221),解剖区域87.1%(189/217),病理仅35.2%(76/216);不同检查方式间差异显著(p < 0.001),超声最低。结论认为GPT-4V目前尚不能可靠用于放射图像解读。
要点
- GPT-4V识别检查方式准确率100%(221/221),解剖区域87.1%(189/217),病理诊断准确率仅35.2%(76/216)。
- 病理识别准确率因检查方式而异:X线66.7%(34/51)、CT 36.4%(36/99)、超声9.1%(6/66),差异有统计学意义(p < 0.001)。
- 病理幻觉率高达46.8%(101/216),超声最高60.6%(40/66),X线最低19.6%(10/51)。
核心结论
- 多模态GPT-4V识别检查方式准确率100%,但解剖区域和病理识别不一致,病理诊断准确率仅35.2%,幻觉率46.8%。
- 作者认为GPT-4V目前尚不能可靠用于放射图像解读,需要持续开发以实现放射诊断的可靠性。
- 临床相关性声明指出GPT-4V诊断幻觉率>40%,不能作为独立工具信任用于临床。
研究设计与样本
- 回顾性研究,纳入2023年10月第一周连续收集的230例急诊诊断图像,包括CT、超声和X线。
- 由一名腹部影像主治医师和一名二年级住院医师根据预设标准共同筛选病例,选择「住院医师级」和「明确」病例,排除报告提示不确定的病例。
- 使用OpenAI API以JSON格式提示GPT-4V识别检查方式、解剖区域和病理,由主治医师和住院医师共识复核并与影像所见比较。
- 病理诊断准确率按正确识别的病理和正确识别的正常病例之和除以所有回答病例计算。
- 使用Python 3.10分析,卡方检验比较不同检查方式间差异,p值阈值小于0.05。
关键影像表现/征象
- 230例图像中病理119例(51.7%),正常111例(48.3%)。
- GPT-4V对检查方式回答221/230例,准确率100%(221/221)。
- 解剖区域回答217/230例,X线100%(52/52)、CT 97%(98/101)、超声60.9%(39/64),总体87.1%(189/217),p < 0.001。
- 病理回答216/230例,X线66.7%(34/51)、CT 36.4%(36/99)、超声9.1%(6/66),总体35.2%(76/216),p < 0.001。
- 错误病理病例中,25.7%(18/70)为遗漏病理误判为正常,57.1%(40/70)为幻觉出错误病理,17.1%(12/70)为解剖区域识别错误。
诊断标准与关键数值
- 检查方式识别准确率:CT、超声、X线均为100%(221/221)。
- 解剖区域识别准确率:X线100%(52/52)vs CT 97%(98/101)vs 超声60.9%(39/64),总体87.1%(189/217),p < 0.001。
- 病理诊断准确率:X线66.7%(34/51)vs CT 36.4%(36/99)vs 超声9.1%(6/66),总体35.2%(76/216),p < 0.001。
- 病理幻觉率:超声60.6%(40/66)vs CT 51.5%(51/99)vs X线19.6%(10/51),总体46.8%(101/216)。
- 超声亚组病理准确率:睾丸超声7.7%,肾脏超声4.7%。
临床应用与阅片要点
- 作者认为GPT-4V目前不能作为独立诊断工具,任何使用该模型的任务都必须保留放射科医生参与。
- 临床相关性声明指出GPT-4V诊断幻觉率>40%,不能信任其作为独立工具用于临床。
- 作者指出在正确识别的病例中,10例X线和2例CT虽病理正确但描述存在错误。
- 作者认为GPT-4V准确识别病理的案例显示进一步改进后的巨大潜力。
- 原文未据此给出推荐。
局限性
- 本研究为对患者病例的回顾性分析,结果应据此解读。
- 由于作者主观选择病例,存在选择偏倚的可能。
- 本研究未评估提供文本临床背景时GPT-4V的图像分析表现,这超出研究范围。
全文中译11 节 · 点击展开
引言
人工智能(AI)正在改变医学,尤其是在放射学等以数据为中心的领域带来了显著进步。其优化诊断流程和改善患者预后的能力标志着医学工作流程的革命性转变。
放射学高度依赖视觉数据,是AI整合的首要领域[1]。AI分析复杂图像的能力提供了重要的诊断支持,有望通过自动化常规任务和高效识别关键病变来减轻放射科医生的工作负担[2]。公开可用的AI工具在临床放射学中的日益广泛使用已将这些技术整合到放射科部门的运营核心中[3–5]。
在AI的多样化应用中,大语言模型(LLMs)已获得显著关注,尤其是OpenAI的GPT-4,以其先进的語言理解和生成能力而著称[6–15]。GPT-4近期的一项显著进展是其多模态能力,能够同时分析图像和文本数据(GPT-4V)[16]。这一功能的潜在应用意义重大,特别是在放射学中,影像学表现与临床文本数据的整合是准确诊断的关键。因此,本研究的目的是评估GPT-4V在多种影像模态和病变中对放射学图像分析的表现。
方法
本研究获得了Sheba医学中心机构审查委员会(IRB)的批准。IRB委员会豁免了知情同意。
数据集选择
在这项回顾性研究中,我们对2023年10月第一周内医院放射信息系统记录的所有影像检查进行了系统审查。研究特别聚焦于急诊科(ER)就诊的病例。
我们的纳入标准包括复杂程度、诊断明确性和病例来源。关于复杂程度,我们选择了“住院医师级别”病例,定义为通常由第一年放射科住院医师诊断的病例。这些病例的预期放射学征象直接且诊断明确。关于诊断明确性,我们纳入了“明确”病例,即原始放射学报告中陈述了明确放射学征象和诊断,且由主治放射科医生以高度信心作出。这些病例包括具有特征性影像学表现且已在临床实践中充分记录和广泛认可的病变。纳入诊断的示例包括胸腔积液、气胸、脑出血、肾积水、无并发症的憩室炎、无并发症的阑尾炎和肠梗阻。仅考虑来源于急诊科的选定病例,因为这些病例通常提供广泛的病变类型,且急诊环境的紧迫性通常需要及时明确的诊断决策。
我们特意排除了放射学报告提示存在不确定性的任何病例。这确保了排除模糊或临界发现,这些发现可能给人工智能解读能力的评估引入混杂变量。被排除病例的例子包括质量有限的仰卧位胸部X线片、轻微脑萎缩和模棱两可的小肠梗阻,这些病例的影像学发现可能不够明确。目的是策划一个数据集,以便能够在清晰、临床相关条件下聚焦评估人工智能在解读影像检查中的表现,而不受复杂或不确定病例潜在偏倚的影响。
一名主治体部影像放射科医师与一名二年级放射科住院医师根据预定义的纳入标准进行了病例筛选过程。他们对研究病例的选择达成共识。
共选择了230幅图像,代表了包括计算机断层扫描(CT)、超声(US)和X线在内的检查方式的平衡横断面(表1)。这些图像涵盖不同解剖区域和病变,选择时旨在反映适合住院医师级别解读的常见和关键发现谱系。
为遵守伦理考量和隐私关切,每幅图像在分析前均经匿名化处理以维护患者保密性。该过程包括移除所有身份识别信息,确保后续分析仅聚焦于图像的临床内容。匿名化采用人工方式完成,细致审查并移除图像中的任何患者标识符,以确保完全去标识化。
使用GPT-4多模态进行人工智能解读
使用OpenAI的API,提示GPT-4V分析每幅图像。我们要求以JSON格式识别检查方式、解剖区域和病变,以便高效分析结果。使用的具体提示为:“我们正在开展一项研究,以评估GPT-4在医疗保健中的图像识别能力。识别病情并描述图像中的关键发现。请以JSON格式返回答案,并注明检查方式、解剖区域和病变。{“modality”: <影像检查方式类型>, “anatomical_region”: <图像的解剖区域>, “pathology”: <图像中的病变,若未显示则為正常>}。”主治放射科医师和住院医师以共识方式审查人工智能解读,并将其与影像学发现进行比较。
为评估GPT-4V的表现,我们检查了检查方式类型、解剖位置和病变识别的准确识别情况。错误被分类为遗漏和幻觉。
数据分析
分析使用Python 3.10版进行。统计显著性采用小于0.05的p值阈值确定。
主要指标是模型在检查方式、解剖区域和总体病变诊断方面的准确率。这些指标按检查方式计算,即GPT-4V提供的所有答案中的正确答案。总体病变诊断准确率计算为正确识别的病变与正确识别的正常病例之和占所有回答病例的比例。还对GPT-4V答案进行了定性分析。
采用卡方检验评估GPT-4V在不同影像模态间识别模态、解剖部位和病理诊断能力的差异。
结果
影像模态分布
数据集包含230张诊断图像,按模态(CT、X射线、超声)、解剖区域和病理进行分类。结果汇总于表1。总体上,119张图像(51.7%)为病理性,111例(48.3%)为正常。
排除病例
在分析过程中,存在GPT-4V未能提供与图像模态、解剖区域或病理相关回答的情况。此类情况下的输出为“无法提供诊断或解读医学图像”或仅为“未知”,适用于整个问题或JSON结构的特定部分(模态、解剖或病理)。因此,这些实例被排除在最终分析之外。具体而言,我们在模态方面排除了9/230例,在解剖区域方面排除了13/230例,在病理方面排除了14/230例。
GPT-4V在影像模态和解剖区域识别中的表现
GPT-4V在221/230例中提供了关于影像模态的回答。GPT-4V在识别CT、超声和X射线图像的影像模态方面表现出100%(221/221)的准确率(表2)。
当被问及解剖区域时,GPT-4V在217/230例中提供了回答。该模型正确识别了100%(52/52)的X射线图像、97%(98/101)的CT图像和60.9%(39/64)的超声图像(p < 0.001),总体准确率为87.1%(189/217)(表2)。
GPT-4V在总体病理诊断准确率中的表现
当被问及是否存在病理时,GPT-4V回答了216/230例,其中111例为病理性,105例为正常病例。GPT-4V在病理诊断中表现出35.2%(76/216)的准确率,不同影像模态间差异显著(表3)。基于X射线图像的诊断准确率为66.7%(34/51),基于CT图像的准确率为36.4%(36/99),基于超声图像的准确率为9.1%(6/66)(p < 0.001)。GPT-4V图像分析的病例示例见图1–6。
在正确病例中,有10张X射线和2张CT图像,尽管正确识别了病理,但病理描述不准确,包含与病理发现的含义或位置相关的错误。图6展示了此类示例。
在错误病理病例中,25.7%(18/70)是由于遗漏病理并将图像误分类为正常(图2),57.1%(40/70)是由于幻觉出错误病理(图3)。其余是由于解剖区域识别错误(17.1%,12/70)(图5)。
错误分析
各影像模态的错误分析详见表4。
病理幻觉见于101/216例(46.8%)。病理幻觉率因模态而异。最高幻觉率见于超声,为40/66(60.6%)。CT扫描的总体幻觉率为51/99(51.5%)。X线片的幻觉率最低,为10/51(19.6%)。
超声成像中一个反复出现的错误涉及睾丸解剖结构的误识别。事实上,在15幅睾丸超声图像中,仅有1幅正确识别了睾丸解剖结构。病理诊断准确率在超声图像中也最低,特别是睾丸和肾脏超声,准确率分别为7.7%和4.7%。
讨论
本研究对多模态GPT-4在放射学图像分析中的表现进行了详细评估。GPT-4V正确识别了所有影像模态。该模型在识别解剖区域和病理方面表现不一致,在超声图像中表现最差。总体病理诊断准确率仅为35.2%,幻觉率高达46.8%。因此,GPT-4V目前尚不能依赖于放射学判读。
在GPT-4V的表现中观察到的高诊断幻觉率是一个值得关注的重要问题。这些幻觉——即模型生成不正确或虚构的信息——凸显了其当前能力的关键局限性。此类不准确表明GPT-4V尚不适合作为独立诊断工具使用。如果在没有适当监督的情况下使用,这些错误可能导致误诊和患者伤害。因此,在任何使用这些模型的任务中,必须保持放射科医师的参与。放射科医师可以提供AI模型目前缺乏的必要临床判断和情境理解,确保患者安全和诊断准确性。
然而,GPT-4V 能够准确识别病变的那些情形展现出了前景,表明经过进一步改进具有巨大潜力。整合文本与视觉数据的非凡能力是新颖的,在医疗保健、尤其是放射学领域具有广泛的应用潜力。解读影像检查的放射科医生依赖影像所见以及每位患者的临床背景。已经证实,临床信息和背景可以提高放射学报告的准确性和质量[17]。同样,大型语言模型(LLMs)将临床关联与视觉数据整合的能力标志着革命性的一步。这种整合不仅反映了医生的决策过程,而且有潜力最终超越当前主要基于卷积神经网络(CNNs)的图像分析算法[18, 19]。
GPT-4V 代表了放射学中的一种新技术范式,其特征是能够理解上下文、从最少数据中学习(零样本或少样本学习)、进行推理并提供解释性见解。这些特征标志着该领域相较于传统人工智能应用的重大进步。此外,其以文本描述和解释图像的能力令人惊叹,并且随着算法的改进,最终可能增强医学教育。
一项先前的研究评估了 GPT-4V 在多种医学影像模态中的表现,包括 CT、X 线和 MRI,使用的数据集由来自公共存储库的 56 幅复杂程度不同的图像组成[20]。相比之下,我们的研究不仅将样本量增加到总共 230 幅放射学图像,而且通过纳入超声(US)图像扩大了范围,而超声是急诊诊断中广泛使用的模态。
我们未纳入 MRI,因为其在我们机构的急诊诊断中使用频率较低。我们的方法通过始终采用开放式问题来贴合急诊环境,与临床实践中的实际决策过程相一致。这种方法强化并扩展了先前研究的发现,证实了其结论,即当前版本的 GPT-4V 在诊断用途方面的可靠性不足,并强调了在临床诊断中谨慎应用人工智能的必要性。
本研究存在若干局限性。第一,这是对患者病例的回顾性分析,结果应据此解读。第二,由于作者对病例的主观选择,存在选择偏倚的可能性。最后,我们未评估在提供文本临床背景时 GPT-4V 在图像分析中的表现,这超出了本研究的范围。
总之,尽管具有巨大潜力,多模态 GPT-4 目前尚不是用于临床放射学图像解读的可靠工具。我们的研究为多模态 LLMs 的未来改进提供了基线,并强调了持续开发以实现放射学临床可靠性的重要性。
引用
- Brin D, Sorin V, Barash Y, et al. Assessing GPT-4 multimodal performance in radiological image analysis. Eur Radiol. 2024. PMID: 39214893. doi:10.1007/s00330-024-11035-5
- 全文:PMC11914349(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11914349/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。