上下文学习使大型语言模型在合成CT和MRI报告中的脊柱不稳定性肿瘤评分分类达到人类专家水平
本研究为回顾性概念验证研究,使用100份合成CT和MRI报告,比较四名人类专家(两名放射科医生和两名神经外科医生)与四种大型语言模型(Mistral、Claude、GPT-4 turbo、GPT-4o)在脊柱不稳定性肿瘤评分(SINS)分类上的表现,并评估上下文学习的影响。结果显示,通用大型语言模型表现不佳(分类正确率26-63%,评分正确率4-15%),经上下文学习精炼后分类正确率达96-98%、评分正确率达86-95%,与人类专家无显著差异,表明上下文学习可使大型语言模型在SINS分类上达到近人类专家水平。
要点
- 通用大型语言模型SINS分类正确率仅26-63%,评分正确率仅4-15%,表现差。
- 经上下文学习精炼后,大型语言模型分类正确率96-98%、评分正确率86-95%,与人类专家无显著差异。
- 精炼后大型语言模型评分中位偏移均为0[0-0],与人类专家相当。
核心结论
- 上下文学习使最先进的大型语言模型在SINS分类上达到近人类专家水平,为自动评估椎体转移瘤稳定性提供了潜力。
- 通用大型语言模型表现不佳,凸显了任务特异性精炼在医学人工智能应用中的重要性。
研究设计与样本
- 回顾性概念验证研究,比较大型语言模型与人类专家在SINS评估中的表现。
- 数据集为100份合成CT或MRI报告,涵盖广泛的SINS评分范围(平均8.7±3.1分,范围1-16分),由一名未参与后续读片的委员会认证放射科医生创建。
- 参考标准由另一名具有13年经验、肌肉骨骼影像亚专业的委员会认证放射科医生严格遵循原始SINS定义和稳定性截断值建立。
- 四名人类专家(两名放射科医生,经验分别为8年和7年;两名神经外科医生,经验分别为13年和11年)独立评估100份报告。
- 四种大型语言模型(Mistral Large、Claude 3 Opus、GPT-4 Turbo、GPT-4o)于2024年5月27日分别在通用形式和经上下文学习与思维链精炼的形式下测试。
诊断标准与关键数值
- 人类专家SINS分类正确率中位数98.5/100(98.5%),评分正确率中位数92/100(92%),评分中位偏移0[0-0],评估者间信度QWK=0.98,评分平均绝对误差0.10。
- 通用大型语言模型分类正确率:Claude 3 Opus 63.0%、GPT-4 Turbo和GPT-4o各55.0%、Mistral Large 26.0%;与真实值比较QWK范围0.18-0.46。
- 通用大型语言模型评分正确率:Claude 3 Opus 15%、GPT-4o 14%、GPT-4 Turbo 10%、Mistral Large 4%;评分中位偏移:Mistral Large 3[2-5],Claude 3 Opus 2[1-3],GPT-4 Turbo 2[1-3],GPT-4o 2[1-3];平均绝对误差2.13-3.50。
- 经上下文学习精炼后分类正确率:GPT-4o 98.0%、Mistral Large和Claude 3 Opus各97.0%、GPT-4 Turbo 96.0%;QWK 0.94-0.97;评分正确例数:GPT-4o 95/100、GPT-4 Turbo 92/100、Mistral Large 88/100、Claude 3 Opus 86/100;评分中位偏移均为0[0-0],平均绝对误差0.07-0.20。
- SINS分类标准:0-6分为稳定,7-12分为潜在不稳定,13-18分为不稳定。
临床应用与阅片要点
- 作者提出该框架可作为临床决策提供SINS评分的工具、质量保证的第二读者,或回顾性为缺乏该信息的现有报告分配SINS评分,但仅在提供评分所需必要信息时可行。
- 作者提出在临床常规中可自动从自由文本报告计算SINS,使放射科医生专注于图像解读并将后续评分外包以提高工作流程效率。
局限性
- 使用合成报告虽允许受控评估,但可能无法完全捕捉真实临床病例的细微差别和复杂性,从而降低泛化性。
- 合成报告不反映临床文档中的模糊性、不完整性和语言变异性,真实报告常含多样措辞、暗示或缺失信息、机构风格差异及偶发报告错误。
- 让更多放射科医生(最好来自不同中心)参与报告创建可增加语言变异性,应纳入未来研究。
- 本研究聚焦文本报告而非直接图像分析,偏离典型放射学实践,未来研究应探索结合文本和图像分析的多模态人工智能方法。
- 未来研究应调查真实世界数据,本研究因数据保护法规未能实现。
全文中译9 节 · 点击展开
引言
脊柱转移瘤在肿瘤诊疗中构成重大挑战,影响高达40%的晚期恶性肿瘤患者。它们与严重疼痛、活动能力下降、神经功能缺损和脊柱不稳相关[1, 2]。在此,影像学对于识别脊柱转移瘤至关重要。此外,它还能够识别易于损害脊柱稳定性、因而需要不同治疗策略的组合情况。为此,脊柱不稳肿瘤评分(SINS)已被确立为评估肿瘤性脊柱疾病不稳性的标准工具[3, 4],临床医生和放射科医生在判定相关分类(即稳定、潜在不稳定或不稳定)方面通常表现良好[5]。SINS将椎体转移瘤分类为稳定、潜在不稳定或不稳定。该分类依赖于一个评分系统,该系统利用影像学特征来评估位置、外观、脊柱序列、椎体塌陷的存在、后柱结构的受累以及疼痛的存在。
被分类为稳定(0–6分)的患者发生脊柱不稳或急性神经功能受损的风险极低。在这些病例中,非手术治疗通常已足够,治疗主要侧重于针对原发恶性肿瘤的系统性治疗。在潜在不稳定类别(7–12分)中,患者存在中等程度的不稳风险,可能需要像不稳定病变一样进行治疗。被分类为不稳定(13–18分)的患者存在脊柱不稳或急性神经功能恶化的高风险,通常需要手术干预以稳定脊柱。这包括减压、固定或脊柱重建。这常与放疗联合使用,放疗也可单独施行。
SINS尤其有价值,因为该分类具有直接的临床意义,且临床医生和放射科医生在判定相关分类(即稳定、潜在不稳定或不稳定)方面通常表现良好[5]。
然而,研究已揭示临床医生之间在精确解读SINS方面存在显著差异[5, 6]。未能正确识别所有影像学特征以及对SINS评分解读不一致均可能促成这一现象[6]。大语言模型(LLMs)的最新进展已证明其在一系列放射学应用中的潜力。研究表明,LLMs可协助使临床决策与既定指南(如ACR适宜性标准)保持一致,有时在一致性和准确性方面甚至优于放射科医生[7]。其他研究探索了LLMs在为患者和非专科医疗服务提供者简化放射学报告方面的效用[8]、分配标准化报告分类如BI-RADS[9],以及准确回答常见癌症相关临床查询[10]。此外,LLMs在从自由文本放射学报告中提取结构化数据[11]以及回答委员会式考试题目方面已显示出前景,其表现与专有模型相当或更优[12]。这些发现凸显了LLMs在增强放射学信息的解读、沟通和标准化方面日益增长的作用。
尽管基于人工智能(AI)的大语言模型具有潜力,但面向广泛用户群体开放的模型(如OpenAI的ChatGPT、Mistral AI的“Le Chat”和Anthropic的Claude)容易出现幻觉,可能无法正确应用复杂的评分或评估系统。底层大语言模型的性能和可信度可以通过多种技术提升,例如精确提示、提供任务特定上下文,或通过思维链增强确定性[13, 14]。
在本研究中,我们比较了人类专家、通用最先进大语言模型以及通过上下文学习针对该特定任务定制的模型在SINS分类正确性方面的表现。我们假设,未经优化,通用大语言模型无法正确应用需要逐项内部求和、为分类做出多项决策并准确累计结果的分类系统。我们预期,上下文学习结合思维链可以显著提高其在这些复杂多步骤分类任务中的表现。
材料与方法
研究设计与数据生成
本概念验证研究比较了大语言模型与人类专家在使用SINS评估脊柱不稳方面的表现。图1提供了概览。由一名未参与后续读片的委员会认证放射科医师创建了100份CT或MRI合成放射学报告数据集,包括SINS评估所需的临床信息和患者病史。该数据集涵盖了在报告生成前随机分配的广泛SINS子评分范围(平均8.7 ± 3.1个SINS分(范围1–16),结果为24%稳定、67%潜在不稳定和9%不稳定)。在创建报告时,我们确保所有相关SINS项目的信息(即位置、疼痛、骨病变外观、脊柱对线、椎体塌陷和后脊柱元件受累)均已呈现。参考标准SINS评分由另一名具有13年经验、专注于肌肉骨骼影像学的委员会认证放射科医师严格遵循原始SINS定义和稳定性截断值建立。这些评分作为准确性和分值偏移分析的 gold standard。由于该数据为虚构数据,无需机构审查委员会批准。此外,人类伦理和参与同意声明不适用。
人类专家表现评估
四名在日常工作中频繁使用SINS评分的委员会认证专家(两名分别具有8年和7年经验的放射科医师,以及两名分别具有13年和11年经验的神经外科医师)独立评估了这100份合成报告。他们被允许不限时间,并在需要时查阅SINS分类系统,以模拟真实临床条件。对于每个病例,专家同时提供SINS类别(0–6分——稳定,7–12分——潜在不稳定,或13–18分——不稳定)和数值评分。
大语言模型表现评估
在本研究中,我们选择了四种最先进的基于人工智能的大型语言模型来测试其在SINS分类中的性能:Mistral Large(发布日期2024年2月26日)、Claude 3 Opus(发布日期2024年3月4日)、GPT-4 Turbo(发布日期2024年4月9日)和GPT-4o(2024年5月13日)。2024年5月27日,每个模型在两种条件下对所创建的100份放射学报告进行了测试:通用大型语言模型:提供病例描述,并使用基本精确提示要求进行SINS分类。
上下文学习与思维链:使用经过优化的精确提示,提供任务特定上下文、SINS分类系统的解释,并通过思维链方法引导模型。
对于通用大型语言模型,在单独的会话中提供单个病例文件作为未进一步定制的提示的一部分,并将直接输出捕获为响应:给定以下患者描述,请评估并提供总体脊柱肿瘤不稳定评分(SINS)及分类:
描述:
{description}
回答模板:
请仅以如下JSON格式提供答案:
{{
“SCORE”: “<脊柱肿瘤不稳定评分(SINS)值,为0至18之间的数字>”,
“CATEGORY”: “<稳定/潜在不稳定/不稳定>”
}}
四个大型语言模型的任务特定优化方式类似,均使用定义了任务的精确提示实施,随后是对SINS分类的解释(即上下文学习),并通过思维链方法引导模型。后者包括在最终响应之前对中间输出的解释字段,涵盖SINS各组成部分(即位置、疼痛、骨病变、对线、椎体塌陷/受累、后柱结构受累)和分类,并包含对SINS计算和分类所需所有项目的完整解释。模型的输出结构化为固定的JavaScript对象表示法(JSON)响应,包括六个SINS组成部分各自的评分和解释以及总体稳定性分类。总分和稳定性类别的计算自动完成。每个病例在单独的会话中处理以避免记忆残留,输出在未经人工校正的情况下进行分析。“给定以下患者描述,请评估并为脊柱肿瘤不稳定评分(SINS)的每个类别分配类别和评分。对于每个类别,请提供分配评分的简要解释。
患者描述:
{CASE DESCRIPTION}
类别和所需评估如下:
位置:
枕骨-C2:3分
C3-C6:2分
[... 其他位置标准 ...]
提供:“vertebra”
提供:“location_class”和“location_score”,并以“location_explanation”作为解释。
[... 其他SINS类别,结构类似 ...]
总体SINS:
计算总分值为所有评分值之和
确定稳定性类别:
total_value <= 6 “稳定”
7 <= total_value <= 12:“潜在不稳定”
total_value >= 13 “不稳定”
提供:total_calc_explanation、total_value和stability_category
请以如下JSON格式提供评分和解释:
“location_explanation”: “<评分类别解释>”,
“location_class”: “<评分类别名称>”,
“vertebra”: “<椎体位置,例如T1>”,
“location_score”: <评分值>,
[... 其他字段 ...]
“total_calc_explanation”: “<总分值计算解释>”,
“total_value”: <总分值>,
“stability_category”:“<stability category>”
}“
统计分析
采用Shapiro–Wilk检验评估数据正态分布假设。使用二次加权Kappa(QWK)评估人类专家间的评分者间信度。计算人类和大型语言模型在SINS分类和评分分配中的准确率。其中,SINS分类性能通过分类准确率比例及相对于真实标签的QWK进行评估。SINS评分分配通过总SINS评分的完全匹配率、平均绝对误差(MAE)和中位绝对偏移[IQR]进行研究。人类性能按每位阅读者及所有评分者的中位数报告。成对比较采用McNemar检验,并对p值应用Bonferroni校正以考虑多重检验。SINS评分的绝对偏移采用Kruskal–Wallis检验进行比较,若存在显著性,则使用Dunn事后检验进行成对比较并采用Bonferroni调整。所有统计分析使用Python SciPy 1.11.3,连续变量根据情况以中位数和四分位距或均值和标准差表示,分类变量以绝对频数和百分比表示。α水平0.05视为具有统计学显著性。
结果
人类在SINS分类中的性能
人类专家在SINS分类中表现出高性能,分类正确分配的中位数为98.5/100(98.5%)。正确计算的SINS评分比例也很高,中位数为92/100(92%)正确答案,所有评分者的中位评分偏移为0 [0–0]。分类评估的评分者间信度几乎完美(QWK = 0.98),评分值的MAE较低,为0.10。请参见表1、图2和图3。
通用大型语言模型在SINS分类中的应用
未经任务特定优化的通用大型语言模型在稳定性分类分配方面表现不佳,正确分类率分别为63.0%(Claude 3 Opus)、55.0%(GPT-4 Turbo和GPT-4o)和26.0%(Mistral Large)。与真实值比较的QWK在0.18至0.46之间。SINS评分计算的正确率分别为15%(Claude 3 Opus)、14%(GPT-4o)、10%(GPT-4 Turbo)和4%(Mistral Large)。所有通用大型语言模型与正确SINS评分的中位偏移量均较高:Mistral Large 3 [2–5]、Claude 3 Opus 2 [1–3]、GPT-4 Turbo 2 [1–3]、GPT-4o 2 [1–3]。MAE在2.13至3.50之间。我们未发现通用大型语言模型之间在SINS分类或评分方面存在显著差异(p > 0.12),但它们在SINS分类和评分两方面均被人类专家读者超越(p < 0.001)。对SINS归属错误病例的深入分析显示,大多数错误为正偏移,表明存在系统性的不稳定性高估。这种情况尤其出现在包含触发词的病例中,如塌陷、后凸畸形、双侧后柱结构、广泛/晚期结构损伤、机械性疼痛表述(负重或活动时加重)。本应降低SINS组分评分的相关否定词或限定词(即序列完整、无后柱受累)常被忽略。
此外,如果报告提及塌陷但未明确区分椎体高度丢失< 50%与> 50%,而是使用诸如“约三分之一”之类的措辞,模型会错误地赋予更高的SINS评分。
通过上下文学习增强的大型语言模型
通过上下文学习对大型语言模型进行优化后,与其通用版本相比,性能显著提高(SINS分类和评分的所有两两比较p < 0.001),正确分类率范围为96.0%至98.0%(GPT-4o:98.0%,Mistral Large和Claude 3 Opus:97.0%,GPT-4 Turbo:96.0%)。与真实值比较的高QWK(0.94–0.97)证实了这一点。GPT-4o和GPT-4 Turbo表现最佳,在100例中分别有95例和92例提供了正确的SINS评分,而Mistral Large和Claude 3 Opus分别提供了88例和86例正确评分。所有大型语言模型与人类专家读者中位数相比表现无显著差异(p > 0.99),所有经上下文学习的大型语言模型评分中位偏移量均为0 [0–0],MAE范围在0.07至0.20之间。补充材料中提供了示例病例文件以及通用版和任务特定优化版Mistral Large的回复。
讨论
在这项比较研究中,通过上下文学习对基于AI的大型语言模型进行任务特定优化,显著提高了最先进大型语言模型对椎体稳定性的正确分类能力,达到人类专家水平。
通用大型语言模型的不佳表现凸显了将未经优化的大型语言模型整合到临床决策中的风险。在没有上下文信息以及通过精准提示和思维链提供指导的情况下,这些最先进的大型语言模型无法一致地应用SINS标准,若用于实践可能导致危险的错误分类[4, 14]。
尽管近期关于通用大型语言模型(LLM)在患者管理各项任务中适用性的研究提供了令人鼓舞的结果,但我们在首批全面比较多个公开可用的最先进LLM性能的研究之一中的发现表明,其通用版本在临床环境中应极为谨慎使用,无法可靠应对放射学领域的广泛范围,而是需要针对特定任务进行细化[7, 15]。具体而言,通过我们的上下文学习方法来提供任务特定背景的细化显著改善了性能,真阳性率达到96–98%,即正确分配的SINS评分点提高了71–84%。值得注意的是,所有研究的LLM均从中受益并达到相当的性能。这一显著改善与LLM能力的最新进展相一致[9–11, 16],例如Brown等人在其少样本学习工作中所展示的[17]。总体而言,提示工程策略可大幅改善大型语言模型的响应[13]。提供任务特定背景的框架,如我们所采用的框架,可简化大型语言模型的响应生成,从而降低幻觉风险,进而增强对输出的信任[18]。此外,所采用的思维链允许深入了解大型语言模型的决策过程,进一步增强信任并可能纠正错误响应,如补充材料中的响应所示。此外,上下文学习必须被视为向LLM提供任务特定知识的强大方法,因为与例如向量化知识[7, 18]相比,它也易于在公开可用大型语言模型的前端环境中应用。这允许任务特定知识库的快速适应,并促进整合到当前临床常规中。
以往医学领域中关于LLM在医学分类任务中性能的大多数研究调查的是二值化问题或简单分类系统。这从二分类如从放射学报告中识别踝关节骨折[19],到根据LI-RADS、BI-RADS或PI-RADS使用MRI报告对前列腺癌、乳腺癌或肝癌进行分级[9, 20, 21]以及肺癌的肿瘤分期[22]。总体而言,通用LLM能够应对简单分类系统,但在更复杂的系统如不同的RADS或肺癌TNM中失败。
相比之下,我们研究了一个复杂的评分系统,该系统需要将各个子评分求和为最终评分并随后归入某一类别(即稳定、潜在不稳定和不稳定)的能力[4]。
尽管大多数关于LLM在放射学任务中适用性的研究调查的是一个LLM[19, 22]或比较OpenAI的GPT不同版本[7, 18, 23, 24]或各种不同LLM的通用版本[9, 20],我们在此呈现对四种最先进LLM的通用版本和任务特定细化版本的全面评估。这揭示了尽管使用了精确提示,所有通用大型语言模型版本在应用SINS分类系统时性能不足,但在进一步细化后所有大型语言模型均有实质性改善且性能值得注意。
所提出的框架可用作提供SINS评分为临床决策提供依据的工具、质量保证的第二阅片者,或在缺乏相关信息的情况下回顾性地为现有报告分配SINS评分,但前提是提供了评分所需的信息。在临床常规中,该框架可用于从自由文本报告中自动计算SINS。这将使放射科医生能够专注于图像解读,并将后续评分外包出去以提高工作流程效率。进一步优化的大型语言模型还可以额外提示是否缺乏进行适当SINS分类所需的信息,例如是否未报告后柱结构的受累情况。这将在存在脊柱转移性疾病的情况下提高报告质量,从而提升患者安全。另外,所提出的模型可与人工SINS分类并行使用以减少人为错误,尤其是在模糊病例中。此类应用在早期职业放射科医生的培训中尤其有价值,因为这些医生尚未充分熟悉SINS,该应用可促进人工评分与基于模型的评分的比较。最后,本研究中优化的大型语言模型可回顾性地应用于放射学报告,以将输出与人工评级进行比较以进行质量管理或改进,或在先前未使用SINS的情况下为影像数据分配SINS评分或类别。后一种方法也可实现质量管理,并可与患者的治疗过程进行比较,以识别临床工作流程中的结构性问题。
此外,以JSON格式存储大型语言模型响应允许自动集成到快速医疗互操作性资源(FHIR)环境中,从而实现针对患者特异性精准医学的结构化输出,并便于轻松评估复杂系统的各个条目。另外,将该模型应用于现有数据以进行质量管理和研究是可行的[11, 25]。
使用合成报告虽然能够进行受控评估,但可能无法完全捕捉真实临床病例的细微差别和复杂性,从而降低普适性。所采用的方法使用涵盖广泛可能的SINS评分和组合的合成报告,使得能够在SINS评估中对人类专家表现与大型语言模型能力进行全面比较。在这项初步概念验证研究中,使用合成数据是必要的,以便在受控环境中系统评估LLM的表现(例如,确保数据集涵盖足够广泛的SINS评分分布),从而能够在广泛可能的病例中对任务特定优化方法进行有针对性的测试。然而,合成报告不能反映临床文档所具有的模糊性、不完整性和语言变异性。真实临床报告通常包含多样的措辞、隐含或缺失的信息、机构风格差异以及偶发的报告错误,所有这些都对LLM的自动解读构成了重大挑战。在此,更多放射科医生——最好来自不同中心——参与报告的创建本可以增加语言变异性,应纳入未来研究。观察到的评分者间信度高于既往研究[5, 6, 26],我们将其归因于能够参考SINS分类系统以及使用标准化报告而非直接进行图像解读。此设计旨在贴近临床常规。然而,聚焦于文本报告而非直接图像分析偏离了典型放射学实践,未来研究应探索结合文本和图像分析的多模态AI方法,因为后者对AI而言同样可行[27, 28]。如Huang等人[29]所建议,探索将基于文本的模型与图像分析相结合的多模态AI方法,可能为放射学评估提供更全面的工具。未来研究应调查真实世界数据,由于数据保护法规,这在本研究中不可行。将所提出的方法转化至临床环境将需要在大型、多样化的真实放射学报告数据集上进行广泛验证。这包括应对异质性语言使用、相关发现的低报告率以及不完整文档等挑战,所有这些都可能阻碍准确的评分分配,这也是人类读者同样必须面对的挑战。在使用来自临床常规的真实数据时,LLM也可能被提示指出缺失信息,从而判定报告不可评分。
总之,采用上下文学习和思维链方法进行任务特定优化的大型语言模型在应用SINS评分系统时达到了人类专家级表现,而相同模型的通用版本则对很大比例的病例进行了错误分类,可能带来重大后果。
引用
- Russe MF, Reisert M, Fink A, et al. In-context learning enables large language models to achieve human-level performance in spinal instability neoplastic score classification from synthetic CT and MRI reports. Radiol Med. 2025. PMID: 40991161. doi:10.1007/s11547-025-02096-7
- 全文:PMC12669255(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12669255/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。