轴内原发性脑肿瘤鉴别:比较大型语言模型基于结构化MRI报告与放射科医生基于图像的诊断表现
该回顾性研究纳入137例经手术确诊的轴内原发性脑肿瘤,将结构化术前MRI报告输入7种大型语言模型生成前5位鉴别诊断,并与神经放射科医生阅片结果比较。放射科医生前1、3、5位准确率分别为85.4%、94.9%、94.9%,表现最佳的GPT-4分别为65.7%、84.7%、90.5%,GPT-4前3位准确率接近放射科医生前1位准确率。大型语言模型对胶质母细胞瘤准确率高,但对中枢神经系统淋巴瘤等少见肿瘤前1位准确率低。
要点
- 放射科医生前1位准确率85.4%,高于所有受测大型语言模型。
- GPT-4前1、3、5位准确率分别为65.7%、84.7%、90.5%,为模型中最优。
- 大型语言模型对中枢神经系统淋巴瘤前1位准确率低,GPT-4为0%。
核心结论
- 大型语言模型可作为基于结构化MRI报告鉴别轴内原发性脑肿瘤的辅助工具,但其表现与解读实际图像的神经放射科医生之间仍存在显著差距。
- 大型语言模型的选择和肿瘤类型显著影响鉴别诊断结果。
研究设计与样本
- 回顾性研究,经机构审查委员会批准并豁免知情同意,纳入2016年6月6日至2023年2月6日经手术确诊的轴内原发性脑肿瘤137例。
- 术前MRI使用3.0-T Ingenia(Philips Healthcare)或3.0-T MAGNETOM Prisma(Siemens Healthineers)扫描仪,按本机构原发性脑肿瘤评估方案至少包括2D T1加权成像、T2加权成像、液体衰减反转恢复、扩散加权成像、钆增强T1加权成像、3D钆增强T1加权成像、磁共振波谱和动态磁敏感对比灌注成像。
- 结构化报告由具有16年脑MRI诊断经验的神经放射科医生创建,提取影像表现部分由具有20年以上英文撰稿经验的放射科医生译为英文,模糊部分由具有10年以上英文研究经验的神经放射科医生核实。
- 受测大型语言模型包括GPT-4、Claude-3-Opus、Claude-3-Sonnet、GPT-3.5、Llama-2-70B、Qwen1.5-72B和Gemini-Pro-1.0,均通过API以默认配置使用、未进行任务特异性微调,温度设为0,要求按可能性排序列出不超过5个鉴别诊断。
- 以术后最终诊断为参考标准,计算每个模型和放射科医生的前1、3、5位准确率及平均准确率(前1、3、5位准确率的平均值),并分胶质母细胞瘤、中枢神经系统淋巴瘤和其他原发性脑肿瘤三个亚组计算。
关键影像表现/征象
- 结构化报告包含肿瘤解剖位置、大小测量、T1加权、T2加权和FLAIR序列信号强度、对比增强模式和波谱数据。
- 最终诊断包括胶质母细胞瘤77例、中枢神经系统淋巴瘤22例、星形细胞瘤9例(IDH突变型CNS WHO 3级8例、2级1例)、少突胶质细胞瘤9例(IDH突变型且1p/19q共缺失,CNS WHO 3级4例、2级5例)、血管母细胞瘤6例、弥漫性中线胶质瘤H3 K27变异型4例、室管膜瘤3例、节细胞胶质瘤2例,以及弥漫性半球胶质瘤H3 G34突变型、中枢神经细胞瘤、毛细胞型星形细胞瘤各1例。
诊断标准与关键数值
- 前1位准确率定义为模型或放射科医生给出的第一个建议诊断与术后最终诊断一致的病例百分比,前3位和前5位准确率分别为正确诊断出现在前三个或前五个建议中的病例百分比。
- 放射科医生前1、3、5位准确率分别为85.4%、94.9%、94.9%,平均准确率91.7%。
- GPT-4前1、3、5位准确率分别为65.7%、84.7%、90.5%,平均准确率80.3%。
- 其他大型语言模型平均准确率范围为62.3%至75.9%;前1位准确率对胶质母细胞瘤为77.9%(Gemini-Pro-1.0)至100%(Llama-2-70B),GPT-4对胶质母细胞瘤98.7%、对中枢神经系统淋巴瘤0%、对其他原发性脑肿瘤36.8%。
- 前3位准确率对中枢神经系统淋巴瘤为0%(Qwen1.5-72B)至90.9%(GPT-4和GPT-3.5),对其他原发性脑肿瘤为15.8%(Qwen1.5-72B)至52.6%(Claude-3-Opus和GPT-4);GPT-4前5位准确率对胶质母细胞瘤98.7%、对中枢神经系统淋巴瘤100%、对其他原发性脑肿瘤68.4%,Claude-3-Opus对应为97.4%、100%、55.3%。
临床应用与阅片要点
- 作者认为大型语言模型有潜力作为辅助工具,从结构化MRI报告生成鉴别诊断,尤其对非神经专科放射科医生有价值。
- 作者指出大型语言模型目前不能替代神经放射科医生解读原始图像数据的诊断专长。
- 在最终诊断为胶质母细胞瘤或星形细胞瘤的86例中,仅Claude-3-Opus对2例、Gemini-Pro-1.0对1例的输出包含「IDH」状态,提示模型对WHO 2021分类的IDH状态识别有限。
局限性
- 单机构性质及样本量相对较小(n = 137)且肿瘤类型分布不均、胶质母细胞瘤占优势,可能限制结果在不同患者人群和报告实践中的普适性。
- 使用结构化MRI报告而非原始影像数据供大型语言模型分析,虽对本次初步研究可行,但相比真实诊断过程构成人为限制,可能无法完全捕捉放射科医生解读实际图像时可获得的细微信息。
- 研究设计未评估大型语言模型适应能力。
全文中译8 节 · 点击展开
引言
轴内原发性脑肿瘤的准确诊断是神经放射学中一项关键但具有挑战性的任务[1, 2]。这些肿瘤起源于脑实质内,表现出广泛的影像学特征,且这些特征常常相互重叠,使得明确诊断变得困难。MRI在这些病变的评估中发挥着关键作用,可提供关于肿瘤形态、组成及周围组织受累情况的详细信息[3]。
人工智能的最新进展,特别是大语言模型(LLMs),已在多种医学应用中展现出前景[4–6]。这些模型在大量文本数据上训练,在自然语言理解和生成方面表现出令人印象深刻的能力。然而,当前能够同时处理文本和图像的多模态大语言模型在直接解读医学图像方面的诊断能力仍然有限[7, 8]。鉴于这些局限性,结构化MRI报告为AI辅助诊断提供了一种潜在的替代方案。这些报告包含影像学发现的标准化描述,可作为实际图像解读的替代指标。一项关于神经放射学结构化报告的研究表明,该方法可确保脑部病变的可靠检出和记录,凸显了其临床可行性[9]。近期,一项研究探索了大语言模型基于放射科医师的MRI报告对各种常见脑肿瘤提供鉴别诊断的效用,展示了有前景的结果[10]。然而,该研究主要聚焦于范围广泛的疾病或通常较易鉴别的更常见病变。此外,原发性脑肿瘤的指南频繁更新[11, 12],这引发了大语言模型能否适应这些不断演变的诊断标准和分类系统的问题。迄今为止,尚缺乏专门检验大语言模型在鉴别轴内原发性脑肿瘤方面表现的研究,而这类肿瘤以临床复杂性和诊断挑战性著称。此外,近期已有众多大语言模型(包括开源模型)向公众发布[13–16]。然而,它们在解读结构化报告方面的各自能力,特别是在脑肿瘤诊断背景下的能力,尚未得到全面评估。这一知识空白构成了一个重要的研究领域,因为了解各种大语言模型的优势和局限性可为其潜在整合到临床工作流程中提供参考。
本研究旨在评估大语言模型作为辅助工具利用结构化MRI报告鉴别轴内原发性脑肿瘤的潜力。
材料与方法
研究设计与患者
本回顾性研究经我院机构审查委员会批准。我院机构伦理委员会对本回顾性研究豁免了知情同意。本回顾性研究聚焦于经手术证实的轴内原发性脑肿瘤。2016年6月6日至2023年2月6日期间,共有499例患者因怀疑轴内脑肿瘤而接受手术。其中,486例患者在手术前一周内使用我院原发性脑肿瘤评估方案进行了术前MRI扫描。在这486例病例中,148例有可用的结构化报告。在排除11例术后证实为脑转移的病例后,最终纳入分析的队列为137例患者(图1)。
MRI方案
脑MRI扫描使用3.0-T Ingenia扫描仪(Philips Healthcare)或3.0-T MAGNETOM Prisma扫描仪(Siemens Healthineers),采用我院原发性脑肿瘤评估方案进行。该成像方案至少包括以下序列:2D T1加权成像、T2加权成像、液体衰减反转恢复、扩散加权成像、钆增强T1加权成像、3D钆增强T1加权成像、磁共振波谱和动态磁敏感对比灌注成像。其他序列,如扩散张量成像,根据临床指征和放射科医生的判断按需进行。每份结构化报告包括肿瘤的解剖位置、大小测量、T1加权、T2加权和FLAIR序列上的信号强度、对比增强模式以及波谱数据。补充材料中提供了结构化报告的匿名示例。
输入LLM的数据
本研究使用的结构化报告最初由一位在脑部MRI诊断方面拥有16年经验的委员会认证神经放射学家创建。提取术前MRI结构化报告的图像所见部分以输入多个LLM。结构化报告最初以日语撰写,由一位拥有20多年英文手稿写作经验的放射学家翻译成英文。随后,由一位拥有10年以上英文研究经验的神经放射学家对模糊部分进行核实,以确保输入数据的准确性和一致性。本研究使用了以下LLM,代表截至2024年3月可用的最突出的闭源和开源LLM。我们使用Python库“langchain”(版本0.0.100)访问OpenAI(https://openai.com)、Google(https://ai.google.dev)、Anthropic(https://www.anthropic.com)和Together(https://www.together.ai)网站上的应用程序编程接口(API),调用多个模型。这些库和API调用使我们能够在本研究中无缝整合并比较这些多样化语言模型的性能(图2)。每个模型均被提供结构化报告数据,并被要求生成五个潜在诊断的列表,按可能性排序。这些模型范围从OpenAI的生成式预训练变换器(GPT)系列[13, 17, 18]到Anthropic的Claude模型[14]、Meta的开源Llama-2 [15]、阿里巴巴的Qwen [16]以及Google的Gemini [19]。表1显示了这些模型的详细信息。我们对LLM使用了以下提示词:“作为放射科医生,你被要求提供一个简洁且按优先级排序的鉴别诊断目录,不附带相应的疾病描述,包含不超过五个可疑诊断,按怀疑程度排序。”选择该提示词以确保清晰性和统一性。为管理LLM响应中固有的可重复性问题,我们将所有LLM的温度设置为“零”[20, 21]。在本研究中,所有LLM均通过各自的API访问,并使用其默认配置,未进行任何额外的任务特定微调。
数据分析
将大语言模型(LLMs)生成的鉴别诊断与放射科医生提供的鉴别诊断分别与最终术后诊断进行比较,以评估其准确性。我们计算了每个LLM和放射科医生的前1位(Top 1)、前3位(Top 3)和前5位(Top 5)准确率。前1位准确率定义为LLM或放射科医生首先提出的诊断与最终术后诊断相匹配的病例百分比。同样,前3位和前5位准确率分别表示正确诊断出现在前三项或前五项建议中的病例百分比。前1位准确率表示正确诊断被列为最可能选项的病例百分比。前3位和前5位准确率分别表示正确诊断出现在前三项或前五项建议中的病例百分比。此外,我们还计算了平均准确率(前1位、前3位和前5位准确率的平均值),以评估所有模型的平均性能。我们还计算了三种脑肿瘤亚类别的这些准确性指标:胶质母细胞瘤、中枢神经系统淋巴瘤和其他原发性脑肿瘤。进行这些分析是为了评估每个LLM的性能,并将其与放射科医生在不同类型脑肿瘤中的表现进行比较。
我们数据集中的病例时间跨度为2016年6月6日至2023年2月6日,包含WHO 2016和2021分类术语的混合使用。此外,LLMs的鉴别诊断常使用较旧的分类。我们在可能的情况下将这些转换为较新的分类系统,在可行时采用WHO 2021分类系统。例如,先前分类为间变性星形细胞瘤的病例在新系统中被重新分类为星形细胞瘤,IDH突变型,CNS WHO 3级。同样,少突胶质细胞瘤病例被更新为少突胶质细胞瘤,IDH突变型且1p/19q共缺失,CNS WHO 2级或3级。关于胶质母细胞瘤,我们注意到LLMs在其输出中很少指明IDH野生型或突变型状态。此外,一些病理报告包含胶质母细胞瘤IDH突变型的分类。在WHO 2021分类系统中,这些可能对应于星形细胞瘤,IDH突变型,4级。然而,在我们的分析中,我们保留了胶质母细胞瘤IDH突变型的分类,以与可用的病理数据保持一致。
此外,为评估每个模型与WHO 2021分类系统的一致性,我们检查了最终诊断为胶质母细胞瘤或星形细胞瘤的病例。我们特别关注LLMs的输出是否包含“IDH”状态,这对于区分IDH野生型和IDH突变型肿瘤至关重要。该分析旨在识别模型分类中的任何差异,并确保其准确反映更新的诊断标准。
结果
本研究共纳入137例患者(男70例,女67例),平均年龄为58.7 ± 17.2岁。轴内原发性脑肿瘤的最终诊断差异很大,其中胶质母细胞瘤(IDH野生型或IDH突变型)最常见(n = 77),其次为中枢神经系统淋巴瘤(n = 22)。其他诊断包括星形细胞瘤(IDH突变型,CNS WHO 3级:n = 8;2级:n = 1)、少突胶质细胞瘤(IDH突变型且1p/19q共缺失,CNS WHO 3级:n = 4;2级:n = 5)、血管母细胞瘤(n = 6)和弥漫性中线胶质瘤,H3 K27变异型(n = 4)。较少见的肿瘤包括室管膜瘤(n = 3)、神经节胶质瘤(n = 2),以及多种其他肿瘤类型的单发病例,如弥漫性半球胶质瘤,H3 G34突变型、中枢神经细胞瘤和毛细胞型星形细胞瘤。详细的患者特征和最终诊断见表2。
表3和图3全面比较了放射科医师与各种大语言模型(LLM)之间的诊断性能。放射科医师表现出更优的性能,top 1、3和5准确率分别为85.4%、94.9%和94.9%,平均准确率达到令人印象深刻的91.7%。在评估的LLM中,GPT-4表现最佳,top 1、3和5准确率分别为65.7%、84.7%和90.5%,平均准确率为80.3%。值得注意的是,GPT-4的top 3准确率84.7%已接近放射科医师的top 1准确率85.4%,突显了先进LLM在医学诊断中的潜力。
然而,仔细审视表3和图4可发现,LLM在不同肿瘤类型中的诊断能力呈现出更细致的图景。在Top 1准确率方面,大多数LLM主要在胶质母细胞瘤上表现出高性能,准确率从77.9%(Gemini-Pro-1.0)到100%(Llama-2-70B)不等。相比之下,它们将中枢神经系统淋巴瘤和其他原发性脑肿瘤正确识别为首选诊断的能力明显较低。例如,GPT-4尽管在LLM中具有最高的总体Top 1准确率65.7%,其对胶质母细胞瘤的准确率为98.7%,但对中枢神经系统淋巴瘤为0%,对其他原发性脑肿瘤仅为36.8%。这一模式在大多数LLM中一致,许多模型对中枢神经系统淋巴瘤的Top 1准确率为0%。当考虑Top 3准确率时,LLM的诊断能力有所改善。在此,模型在识别中枢神经系统淋巴瘤方面表现出更好的性能,准确率从0%(Qwen1.5-72B)到90.9%(GPT-4和GPT-3.5)不等。其他原发性脑肿瘤的准确率也有所提高,但幅度较为有限,范围为15.8%(Qwen1.5-72B)到52.6%(Claude-3-Opus和GPT-4)。只有在考虑Top 5准确率时,LLM才在所有肿瘤类型中表现出更为均衡的性能。例如,GPT-4的Top 5准确率对胶质母细胞瘤为98.7%,对中枢神经系统淋巴瘤为100%,对其他原发性脑肿瘤为68.4%。同样,Claude-3-Opus在这些类别中分别达到97.4%、100%和55.3%。
在最终诊断为胶质母细胞瘤(n = 77)或星形细胞瘤(n = 9)的86例病例中,语言模型生成的输出中仅识别出少数几例“IDH”状态。具体而言,Claude-3-Opus在2例病例的输出中包含了“IDH”,Gemini-Pro-1.0在1例病例的输出中包含了“IDH”。这表明模型在提供的鉴别诊断中对IDH状态的识别有限,凸显了在与WHO 2021分类标准对齐方面存在潜在改进空间。
表4展示了LLMs对一名胶质母细胞瘤患者的代表性回答。
讨论
本研究为LLMs在利用术前MRI结构化报告的影像所见部分鉴别轴内原发性脑肿瘤方面的潜在应用提供了有价值的见解。我们的研究结果揭示了这些先进LLMs在医学诊断中既有前景广阔的方面,也存在局限性。
人工智能的快速发展为其融入医学诊断(包括脑肿瘤MRI分析)提供了独特的机遇[22]。自ChatGPT问世以来,LLMs在人工智能领域受到了最多关注,一些报告强调了其在解读结构化报告方面的实用性[23, 24]。然而,脑肿瘤诊断的复杂性,加之诊断标准的频繁更新,构成了重大挑战。神经肿瘤学不断演变的格局要求任何辅助工具(包括LLMs)始终与最新指南和分类保持同步。这种动态且具有诊断挑战性的环境似乎非常适合在临床环境中测试LLMs的能力。
尽管存在这些挑战,近期的大语言模型(LLM)在我们研究中作为生成鉴别诊断的辅助工具展现出相当大的潜力。它们分析结构化MRI报告的能力使得能够识别可能为诊断决策提供信息的关键特征。在本研究中,LLM尤其是GPT-4在区分胶质母细胞瘤等常见肿瘤方面显示出有前景的结果,并在识别前3或前5位鉴别诊断方面达到较高准确率。这些结果提示,LLM可作为有价值的辅助手段,尤其是对于非神经专科放射科医师,通过提供额外见解并支持鉴别诊断的生成来增强诊断过程。这与一项使用简单影像模式向LLM提供鉴别诊断的可行性研究结果相似[25]。将LLM整合到临床工作流程中可简化诊断过程,使放射科医师能够专注于更复杂的病例,同时依赖LLM进行初步评估。从Top-1到Top-3和Top-5准确率的显著提高提示,尽管仅基于文本报告为LLM pinpoint单一最可能诊断仍具挑战性,但它们在生成相关鉴别诊断列表方面显示出相当大的优势,这在纳入或排除可能性方面可能尤为有用。此外,这种辅助能力对经验较少的从业者可能尤其有价值,可能有助于增强诊断支持和服务质量。
然而,大型语言模型(LLMs)在独立执行诊断任务方面的当前局限性是显而易见的。脑肿瘤Top 1诊断准确率的鲜明对比,尤其是对于CNS淋巴瘤等较少见类型,凸显了LLMs在达到委员会认证放射科医生所展现的专业水平方面面临的挑战。这些局限性可能源于LLM训练的概率性本质……因此,虽然LLMs可以辅助生成鉴别诊断,但它们不太可能将罕见疾病列为最高诊断。同样合理的是,胶质母细胞瘤等常见肿瘤与CNS淋巴瘤等较少见肿瘤之间观察到的性能差异,反映了模型广泛训练数据中存在的偏倚,这些数据很可能映射了真实世界发病率,从而可能使其在更常遇到的病理上表现更好。模型提供的鉴别诊断中对IDH状态识别有限是一个值得注意的发现。LLMs无法适应更新指南进一步使其作为独立诊断工具的角色复杂化。虽然我们无法完全解释这些现象,但可能存在若干潜在原因。这些局限性可能源于LLM训练的概率性本质,其涉及无监督学习,其中部分输入数据被掩蔽并填充为高概率token [17, 26]。这种方法本质上不考虑时间关系或临床实践的细微差别。因此,虽然LLMs可以辅助生成鉴别诊断,但它们不太可能将罕见疾病列为最高诊断。此外,庞大的训练数据很可能包含大量基于过时指南的医学文献,而LLMs难以学习这些文献与更近期基于指南的文本之间的关系 [4, 27, 28]。有趣的是,鉴于本研究所用模型的知识截止日期,WHO 2021分类应已包含在其训练数据中。然而,模型的表现表明,仅仅包含更新信息并不能保证其有效应用。为解决这些问题,可能需要使用最新医学知识微调的专用LLMs,理想情况下应整合一个系统,指明模型的建议基于哪些诊断标准。这样的系统可能有望缓解对LLM输出可解释性的担忧 [4],因为它将使临床医生能够理解模型建议背后的理由。解决这些局限性对于LLMs成功整合到医学诊断中至关重要,确保它们补充而非取代人类专业知识在患者照护中的关键作用。
近期关于人工智能在医学影像中的应用的综述既强调了大型语言模型(LLMs)在诊断应用中的潜力,也指出了其当前局限性[4, 27]。我们的研究结果——显示对胶质母细胞瘤等常见肿瘤具有令人鼓舞的准确率,但对较少见肿瘤的表现较低——与这些综述一致。此外,新兴的多模态LLMs,如Med-Palm 2 [29],专为医疗相关任务设计并可处理文本和图像,为进一步研究提供了有趣的途径。未来工作应致力于整合多模态数据以进一步提升诊断性能,并评估像Med-Palm 2这样的模型能否解决当前方法所观察到的局限性。
解读本研究结果时存在若干局限性。第一,研究的单机构性质以及相对较小的样本量(n = 137)且肿瘤类型分布不均,尤其是胶质母细胞瘤病例占主导,可能限制研究结果在不同患者群体和报告实践中的普适性。第二,使用结构化MRI报告而非原始影像数据供LLMs分析,虽然对本初步研究而言具有实用性,但与真实世界诊断过程相比代表了一种人为约束,且可能无法完全捕捉放射科医生解读实际图像时可获得的细微信息。第三,研究设计未评估LLMs随时间适应不断演变诊断标准的能力,也未将更广泛的临床背景或患者病史纳入诊断过程。第四,本研究的另一局限性在于未评估LLMs在区分肿瘤性与非肿瘤性病变方面的表现,也未评估其在区分高级别胶质瘤与转移瘤方面的表现,而这些是经验较少的放射科医生面临的关键挑战。第五,本研究未评估LLMs的直接图像分析能力,包括能够处理文本和图像的较新多模态模型(如Claude的变体、GPT-4 with Vision、Gemini,以及Llama 3或4等未来可能的迭代版本)。所有模型均以结构化MRI报告作为输入提供。未来研究应探索这些能够直接处理文本和图像数据的先进多模态LLMs的表现。此外,缺乏比较不同LLMs之间表现的正规统计检验限制了我们的比较结论的强度;本研究主要依赖描述性准确率指标。再者,本研究使用LLMs的默认配置,未进行任何任务特定的微调。在领域特定数据(如神经肿瘤学报告和指南)上对模型进行微调可能潜在提高诊断准确性,是未来研究的一个方向。最后,需要注意的是LLMs是快速发展的技术,本研究中观察到的局限性可能在这些模型继续进步的不久的将来得到解决。这些局限性凸显了需要进一步研究,采用更大、更多样化的数据集、多机构协作以及整合临床背景,以更全面地评估LLMs在辅助脑肿瘤诊断方面的潜力。
总之,大语言模型(LLMs)在利用结构化MRI报告区分轴内原发性脑肿瘤方面展现出作为辅助工具的潜力。然而,其表现与认证放射科医师解读实际图像的诊断能力之间仍存在显著差距。大语言模型的选择和肿瘤类型对结果有实质性影响。
补充信息
电子补充材料
引用
- Nakaura T, Uetani H, Yoshida N, et al. Intra-axial primary brain tumor differentiation: comparing large language models on structured MRI reports vs. radiologists on images. Eur Radiol. 2025. PMID: 40847080. doi:10.1007/s00330-025-11924-3
- 全文:PMC12953250(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12953250/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。