基于GPT-4的ChatGPT与放射科医生利用真实世界脑肿瘤影像报告进行诊断性能的对比分析
本研究回顾性纳入两家机构150份术前脑肿瘤MRI报告文本,比较GPT-4与5名放射科医生(2名神经放射科医生、3名普通放射科医生)提出鉴别诊断和最终诊断的准确性,以手术病理为金标准。GPT-4最终诊断准确率73%(95%CI 65–79%),鉴别诊断准确率94%(95%CI 89–97%);使用神经放射科医生撰写的报告时GPT-4最终诊断准确率80%(95%CI 71–87%),高于普通放射科医生报告的60%(95%CI 47–72%),差异有统计学意义(p=0.013)。作者认为GPT-4诊断能力与神经放射科医生相当,可作为神经放射科医生的第二意见及普通放射科医生和住院医师的指导工具。
要点
- GPT-4仅凭MRI报告文本的最终诊断准确率为73%(95%CI 65–79%),与放射科医生(65–79%)相当。
- GPT-4鉴别诊断准确率94%(95%CI 89–97%),高于放射科医生的73–89%。
- GPT-4使用神经放射科医生报告时最终诊断准确率为80%(95%CI 71–87%),高于普通放射科医生报告的60%(95%CI 47–72%),p=0.013。
核心结论
- GPT-4在从MRI报告鉴别脑肿瘤方面展现出良好诊断能力,与神经放射科医生相当。
- GPT-4可作为神经放射科医生最终诊断的第二意见,以及普通放射科医生和住院医师的指导工具。
研究设计与样本
- 回顾性研究,基于STARD指南设计,纳入两家机构2017年1月至2021年12月(A机构为2021年1月至2021年12月)的术前脑肿瘤MRI报告,最终分析150份报告。
- 报告原文为日文,由放射科医生翻译为英文并经神经放射科医生核验无信息丢失。
- GPT-4(GPT-4架构,2023年5月24日版本)与2名神经放射科医生(分别有13年和8年经验)及3名普通放射科医生(分别有4年、3年和2年经验)阅读相同的文本表现,各自给出3个按可能性排序的鉴别诊断,排名最高者作为最终诊断。
- 以手术切除肿瘤的病理诊断为金标准,由1名神经放射科医生和1名普通放射科医生确认诊断是否与病理一致。
诊断标准与关键数值
- 最终诊断准确率:GPT-4为73%(95%CI 65–79%);神经放射科医生A为65%(95%CI 57–72%)、B为79%(95%CI 72–85%);普通放射科医生C为65%(95%CI 57–72%)、D为73%(95%CI 66–80%)、E为65%(95%CI 57–72%)。
- 鉴别诊断准确率:GPT-4为94%(95%CI 89–97%);神经放射科医生A为87%(95%CI 80–91%)、B为89%(95%CI 83–93%);普通放射科医生C为76%(95%CI 69–82%)、D为83%(95%CI 77–88%)、E为73%(95%CI 66–80%)。
- 按报告撰写者分层,GPT-4最终诊断准确率:神经放射科医生报告为80%(95%CI 71–87%),普通放射科医生报告为60%(95%CI 47–72%),p=0.013。
- 按报告撰写者分层,GPT-4鉴别诊断准确率:神经放射科医生报告为95%(95%CI 88–98%),普通放射科医生报告为93%(95%CI 83–97%),p=0.73,差异无统计学意义。
- GPT-4与各放射科医生之间的Cohen kappa系数显示总体为一般至中等程度一致;神经放射科医生A与B之间为0.46,普通放射科医生C与D之间为0.49、C与E之间为0.46。
临床应用与阅片要点
- 作者认为,神经放射科医生可将GPT-4作为最终诊断和鉴别诊断的第二意见。
- 作者认为,GPT-4对普通放射科医生理解诊断线索和学习鉴别诊断特别有用,遇到复杂或不熟悉的病例时咨询GPT-4可指导诊断方向。
- 作者指出,GPT-4的任何建议仅应作为众多参考之一,普通放射科医生在确定最终诊断时应优先咨询专家。
- 作者提出,若将GPT-4纳入标准工作流程,通过咨询ChatGPT输出可能减少漏诊,此为未来有价值的研究方向。
局限性
- 本研究仅使用实际临床放射学报告的措辞,未评估纳入患者病史和图像本身等其他信息的影响,因此放射科医生的表现可能与其真实诊断能力不符。
- 机构A与5名放射科阅读者(神经放射科医生A和B、普通放射科医生C、D、E)来自同一机构,可能因熟悉报告风格和写作方式而产生偏倚。
- 本研究仅评估了GPT-4在单一语言下的诊断性能,作者希望在未来多语言报告中进行评估。
- 本研究未评估脑肿瘤以外疾病的MRI报告。
- 作者指出,本研究令人鼓舞的结果需要在众多医学领域和影像模态中进一步评估大型语言模型的准确性。
全文中译11 节 · 点击展开
引言
GPT系列等大语言模型(LLMs)的出现及随后的进展最近主导了全球技术讨论[1]。这些模型代表了人工智能的新前沿,使用机器学习技术处理和生成语言,其复杂性和细微程度可与人类水平相媲美。大语言模型的快速演变和广泛影响已成为全球现象,引发了关于其潜在应用和意义的讨论[2–5]。此外,像聊天生成预训练变换器(ChatGPT)这样使用这些大语言模型生成对话的聊天机器人的推出,使得以对话形式利用这些模型变得更加容易。
在大语言模型领域中,GPT系列尤其获得了显著关注。在放射学领域内已探索了许多应用[6–21]。其中,GPT根据影像表现辅助诊断的潜力值得注意[18–20],因为此类能力可以补充日常临床实践和教学的基本方面。两项研究展示了GPT-4在神经放射学领域生成鉴别诊断的潜力[19, 20]。一项研究利用了《美国神经放射学杂志》的“每周病例”[19],另一项研究利用了《临床神经放射学》杂志的“弗莱堡神经病理病例会议”病例[20]。此外,像GPT-4这样的大语言模型在神经放射学领域之外的亚专科中也展示了鉴别诊断潜力[6]。
尽管这些开创性研究表明GPT-4可能在放射学诊断中发挥重要作用,但尚无研究报告使用真实世界放射学报告进行评估。与测验[19, 20]不同——测验往往呈现精心策划的典型病例,且由已知正确诊断的人员创建——真实世界放射学报告可能包含结构化程度较低且更多样化的信息。这种差异可能导致偏倚性评估,无法反映临床放射学的复杂性[22, 23]。
为填补这一空白,我们的研究仅使用真实世界临床放射学报告来检验GPT-4的诊断能力。像GPT-4这样的大语言模型通常通过ChatGPT等聊天机器人应用于各个领域。因此,我们特别评估了基于GPT-4的ChatGPT在真实世界临床环境中的诊断能力,以了解其诊断医疗状况的有效程度。我们聚焦于与脑肿瘤相关的MRI报告,因为放射学报告在决定手术、药物治疗或监测等治疗路径中起着关键作用;且病理结果可为脑肿瘤提供明确的金标准[24]。我们将GPT-4的表现与神经放射科医师和普通放射科医师进行比较,旨在提供更全面的视角。通过这项研究,我们旨在揭示GPT-4作为真实世界临床环境中诊断工具的能力和潜在局限性。在我们的日常临床实践中,思考鉴别诊断和最终诊断可能具有挑战性且耗时。如果GPT-4能在这一诊断过程中表现出色,则表明其在临床场景中具有潜在价值。
方法
研究设计
在这项回顾性研究中,我们向基于GPT-4的ChatGPT提供来自我们真实报告的影像学表现,并要求其提出鉴别诊断和最终诊断。为了进行公平比较,我们还将相同的影像学表现以文本形式呈现给放射科医师,并要求其给出鉴别诊断和最终诊断。本研究方案经大阪公立大学医学研究生院伦理委员会审查并批准(批准号2023-015)。本研究按照《赫尔辛基宣言》进行。由于放射学报告是在日常临床实践中获取的,因此豁免了知情同意的要求。本研究的设计基于诊断准确性研究报告标准(STARD)指南[25]。
放射科专家
本研究选择了三名神经放射科医师和四名普通放射科医师。神经放射科医师是指经日本放射学会认证为诊断影像专科医师、专攻中枢神经系统的放射科医师。普通放射科医师定义为放射科住院医师或专攻影像诊断以外领域的放射科医师。一名神经放射科医师和一名普通放射科医师审阅了收集的影像学表现,而另外两名神经放射科医师和三名普通放射科医师进行了阅片测试。
数据收集
本研究连续收集了2021年1月至2021年12月在大阪公立大学医院(机构A)以及2017年1月至2021年12月在日本国立医院机构大阪南医疗中心(机构B)拍摄的术前脑肿瘤脑MRI影像学表现,来源于放射学报告。这些影像学表现随后由一名神经放射科医师(委员会认证放射科医师,具有8年经验)和一名普通放射科医师(放射科住院医师,具有4年经验)进行核实。当影像学表现中描述了诊断时,也将其删除以避免数据泄漏。任何与既往影像学表现相关的描述以及无关的图像描述符(如“图像1”)均被删除。记录了报告撰写者(神经放射科医师或普通放射科医师)。
基于GPT-4的ChatGPT的输入和输出流程
所有MRI报告最初以日语撰写,并由一名普通放射科医师(一名具有4年经验的放射科住院医师)翻译成英文。一名神经放射科医师(一名具有8年经验、获得委员会认证的放射科医师)核实翻译中无信息丢失。两名放射科医师在日常工作中均使用英语。在每份MRI报告之前,相同的提示词在单次对话中连续处理。该提示词采用封闭式零样本提示方法。基于既往研究[18, 26]的提示词,我们的提示词经过修改,以明确输入所见来自头部MRI,并要求按可能性顺序排列三个鉴别诊断。一名神经放射科医师(一名具有8年经验、获得委员会认证的放射科医师)和一名普通放射科医师(一名具有4年经验的放射科住院医师)核实了ChatGPT在给定该提示词时会对三个鉴别诊断进行排序。我们基于GPT-4架构(2024年5月24日版本;OpenAI,加利福尼亚州,美国;https://chat.openai.com/)将以下前提输入ChatGPT:“请根据以下头部MRI所见,按可能性顺序列出三个可能的鉴别诊断。”然后,我们输入临床实践中创建的影像学所见,并从GPT-4获得三个鉴别诊断。三个鉴别诊断中排位最高的诊断被确定为最终诊断。输入ChatGPT和ChatGPT输出的示例见图1。报告撰写者的信息未提供给GPT-4。
放射科医师阅片测试
我们将输入GPT-4的相同影像学所见提供给两名神经放射科医师(A:一名具有13年经验、获得委员会认证的放射科医师;B:一名具有8年经验、获得委员会认证的放射科医师)和三名普通放射科医师(C:一名具有4年经验的放射科住院医师;D:一名具有3年经验的放射科住院医师;E:一名具有2年经验的放射科住院医师)。阅片者的工作年限和专科认证见表1。这两名神经放射科医师和三名普通放射科医师不同于在数据收集期间核实影像学所见的放射科医师。他们仅阅读这些文本所见,并提供三个鉴别诊断,其中包括一个最终诊断。两名神经放射科医师和三名普通放射科医师对报告撰写者的信息设盲。
输出评估
我们以神经外科手术切除肿瘤的病理诊断作为金标准。一名神经放射科医师(一名具有8年经验、获得委员会认证的放射科医师)和一名普通放射科医师(一名具有4年经验的放射科住院医师)确认了LLM输出以及神经放射科医师和普通放射科医师解读所提示的鉴别诊断和最终诊断是否与病理诊断一致。
统计分析
我们计算了GPT-4做出的鉴别诊断和最终诊断的准确率,以及两名神经放射科医师和三名普通放射科医师的准确率。为了比较GPT-4与每位放射科医师在鉴别诊断和最终诊断上的诊断准确率,我们进行了McNemar检验。此外,我们分别在报告者为神经放射科医师和报告者为普通放射科医师的情况下单独计算了这些准确率,以考察输入质量(图像所见)如何影响GPT-4和放射科医师的诊断。此外,采用Fisher精确检验比较GPT-4和五名放射科医师在神经放射科医师或普通放射科医师报告者所产生的报告基础上的诊断准确率。p值小于0.05视为显著。p值未进行多重比较校正。这些统计检验使用R(版本4.3.1,2023;R Foundation for Statistical Computing;https://R-project.org)进行。我们测量了报告者和机构简化MRI所见前后的字数。按报告者和机构评估了MRI报告的平均字节数。我们计算了GPT-4与每位放射科医师之间的Cohen kappa系数。我们根据正确诊断每个病例的放射科医师人数(从0到5)对病例进行分组,并分析了ChatGPT在六个组别中各自病例的准确率。
结果
根据排除标准排除96份报告后,本研究共纳入150份放射学报告。数据收集流程图见图2。脑MRI病例的人口统计学资料见表2。按报告者和机构统计的MRI所见字数见补充附录表1。按报告者和机构统计的MRI报告平均字节数见补充附录表2。
GPT-4、神经放射科医师A、B以及普通放射科医师C、D、E的最终诊断和鉴别诊断准确率见表3和图3。在最终诊断中,GPT-4的诊断准确率与神经放射科医师和普通放射科医师相当。准确率如下:GPT-4:73%(95% CI:65,79%),神经放射科医师A:65%(95% CI:57,72%),神经放射科医师B:79%(95% CI:72,85%),普通放射科医师C:65%(95% CI:57,72%),普通放射科医师D:73%(95% CI:66,80%),普通放射科医师E:65%(95% CI:57,72%)。在鉴别诊断中,GPT-4的诊断准确率超过了神经放射科医师和普通放射科医师。准确率如下:GPT-4:94%(95% CI:89,97%),神经放射科医师A:87%(95% CI:80,91%),神经放射科医师B:89%(95% CI:83,93%),普通放射科医师C:76%(95% CI:69,82%),普通放射科医师D:83%(95% CI:77,88%),普通放射科医师E:73%(95% CI:66,80%)。
表4和图3展示了GPT-4、两位神经放射科医师和三位普通放射科医师对最终诊断和鉴别诊断的每位报告者的准确率。在最终诊断中,GPT-4在使用神经放射科医师和普通放射科医师撰写的报告时,诊断准确率显示出统计学显著差异。准确率如下:神经放射科医师报告:80%(95% CI:71,87%),普通放射科医师报告:60%(95% CI:47,72%),p值:0.013。表5中呈现的Cohen's Kappa评分表明不同放射科医师之间存在不同程度的一致性。神经放射科医师A和B之间的一致性较高(0.46),而他们与普通放射科医师之间的一致性为0.36至0.43。在普通放射科医师(C、D、E)中,最高的一致性见于放射科医师C和D之间(0.49)以及C和E之间(0.46),表明普通放射科医师之间的一致性率也往往高于他们与神经放射科医师之间的一致性率。GPT-4的准确率按五位放射科医师正确回答的数量排序,见补充附录表3。
讨论
向GPT-4和五位放射科医师呈现了150例术前脑MRI表现,并要求列出鉴别诊断和最终诊断。对于最终诊断,GPT-4的准确率为73%(95% CI:65,79%)。相比之下,神经放射科医师A至普通放射科医师E的准确率分别为65%(95% CI:57,72%)、79%(95% CI:72,85%)、65%(95% CI:57,72%)、73%(95% CI:66,80%)和65%(95% CI:57,72%)。对于鉴别诊断,GPT-4达到了94%(95% CI:89,97%)的准确率,而放射科医师的准确率范围为73%(95% CI:66,80%)至89%(95% CI:83,93%)。在最终诊断中,GPT-4使用神经放射科医师报告时的准确率为80%(95% CI:71,87%),而使用普通放射科医师报告时为60%(95% CI:47,72%),差异具有统计学显著性(p值:0.013)。另一方面,GPT-4使用神经放射科医师报告时的鉴别诊断准确率为95%(95% CI:88,98%),使用普通放射科医师报告时为93%(95% CI:83,97%),差异无统计学显著性(p值:0.73)。Cohen's Kappa评分表明总体一致性率为一般至中等。这表明即使在神经放射科医师之间,也可能有许多容易产生诊断分歧的任务。此外,它还显示同一专科医师之间的一致性率略高。也就是说,神经放射科医师彼此之间的一致性率高于与普通放射科医师之间的一致性率,而普通放射科医师彼此之间的一致性率高于与神经放射科医师之间的一致性率。
本研究首次尝试评估GPT-4解读实际临床放射学报告的能力,而非来自图像诊断测验等场景。此前大多数研究[6–12, 17–21]提示GPT-4在诊断中的实用性,但这些研究很大程度上依赖于假设性环境,例如来自学术期刊的测验或考试题目[27]。这种方法可能导致认知偏差,因为制定影像学表现或考试题目的个人同时也掌握答案。在这些模拟场景中,还存在遗漏次要表现的倾向。这些次要表现虽然在实验设置中常被认为不重要,但在真实临床实践中经常遇到,并可能对诊断产生影响。相比之下,我们的研究偏离了此前的方法学,使用在诊断不确定状态下生成的实际临床所见。这种方法有助于更稳健、更实用地评估GPT-4的准确性,同时考虑其在真实临床环境中的潜在应用。
GPT-4的诊断准确性因输入报告由神经放射科医师还是普通放射科医师撰写而有所不同。具体而言,对于最终诊断,使用神经放射科医师的报告比使用普通放射科医师的报告可获得更高的准确性。然而,对于鉴别诊断,无论报告来自神经放射科医师还是普通放射科医师,准确性均无差异。神经放射科医师由于其经验和专业知识,更可能在其报告中纳入最终诊断所需的全面、详细信息[28–30]。此类高质量报告可能提高了GPT-4对最终诊断的准确性。相反,GPT-4具备即使使用普通放射科医师的报告也能提供准确鉴别诊断的能力,因为这些报告能够捕捉对诊断至关重要的某些信息。基于这些发现,GPT-4在临床和教育环境中的一项有益应用是供神经放射科医师将其作为第二意见,以辅助最终诊断和鉴别诊断。对于普通放射科医师,GPT-4对于理解诊断线索和学习鉴别诊断可能特别有用,而后者有时可能耗时较长。当普通放射科医师遇到复杂或不熟悉的病例时,咨询GPT-4可指导其诊断方向。当然,来自GPT-4的任何建议或意见都应仅被视为众多参考之一。普通放射科医师在确定最终诊断时应优先咨询专家。在本文中,我们比较了GPT-4与放射科医师本人基于放射科医师报告文本的诊断能力,并发现通用大语言模型(LLMs)作为放射学诊断决策支持系统具有显著潜力。如果将这一潜力纳入标准工作流程,通过咨询ChatGPT输出有可能减少遗漏表现。这是一个有价值的未来研究机会。
本研究存在若干局限性。本研究仅使用了实际临床放射学报告的文本,未评估纳入患者病史和影像本身等其他信息的效果,这意味着放射科医师的表现可能与其真实世界的诊断能力不相匹配。此外,大语言模型的最新进展已使其不仅能够输入文本,还能够输入图像。评估结合放射学报告文本和图像的大语言模型的性能,可为其在放射学诊断中的潜在实用性提供更深入的见解。在收集MRI报告的两家机构中,机构A和五位放射科读者(神经放射科医师A和B,普通放射科医师C、D和E)来自同一机构,这可能因对报告风格和写作的熟悉程度而产生偏倚。我们仅评估了GPT-4在单一语言中的诊断性能,希望能在多种语言的报告中对其进行评估。我们未评估除脑肿瘤以外其他疾病的MRI报告。
GPT-4展现了出色的诊断能力,在从MRI报告诊断脑肿瘤的任务中表现出与神经放射科医师相当的性能。这些发现的意义深远,提示其潜在的 real-world 实用性,特别是在临床环境中为普通放射科医师生成鉴别诊断方面。本研究令人鼓舞的结果值得进一步评估LLM在众多医学领域和成像模态中的准确性。此类探索的最终目标是为进一步开发更通用、更可靠、更强大的医疗保健工具铺平道路。
补充信息
电子补充材料
引用
- Mitsuyama Y, Tatekawa H, Takita H, et al. Comparative analysis of GPT-4-based ChatGPT's diagnostic performance with radiologists using real-world radiology reports of brain tumors. Eur Radiol. 2024. PMID: 39198333. doi:10.1007/s00330-024-11032-8
- 全文:PMC11913992(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11913992/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。