评估大型语言模型将腰椎影像报告简化为患者版文本的能力:GPT-4 的初步研究
该初步研究回顾性纳入单中心2022年因腰椎滑脱接受腰椎减压和/或融合手术的93份术前腰椎MRI报告,用GPT-4(gpt-4-0613)将报告简化为患者版文本并评估准确性与可读性。基础提示下GPT-4将平均阅读难度从11.47级降至8.50级(p<0.001),但34%的翻译至少遗漏一项临床相关信息、6%出现临床显著不准确;使用高分报告构建的增强提示后,遗漏率显著改善,但GPT仍会在狭窄位置、既往脊柱手术描述和其他脊柱病变描述上出错。作者结论认为GPT-4能有效降低腰椎MRI报告阅读难度,但倾向于遗漏关键信息,可通过增强提示减轻,脊柱放射学领域尚需进一步验证以促进临床整合。
要点
- 基础提示下GPT-4把报告平均阅读难度从11.47级降到8.50级(p<0.001),但34%翻译至少遗漏一项临床相关信息,6%出现临床显著不准确。
- 增强提示使主要遗漏率从58%降至7%、次要遗漏率从33%降至4%(均p<0.001),主要和次要不准确率无显著变化。
- 即便增强提示,GPT仍漏报狭窄位置(3份)、漏报既往脊柱手术(2份)、漏报现有脊柱内固定(1份)并错报既往脊柱手术(1份)。
核心结论
- GPT-4能有效简化腰椎MRI报告的阅读难度,但模型倾向于遗漏关键信息,增强提示可减轻该问题。
- 脊柱放射学领域尚需进一步验证以促进临床整合。
研究设计与样本
- 回顾性查询单中心三级学术医疗中心2022年接受腰椎减压和/或融合手术的患者,纳入术前ICD诊断为腰椎滑脱(ICD-10 M43.16)者。
- 共纳入93份最新术前腰椎MRI放射科报告,去标识后输入GPT-4 API(gpt-4-0613),温度设为0,由一名受过训练的骨科脊柱外科医生评审翻译准确性。
- 以Likert评分5分且无遗漏无不准确的报告作为高分模板,每轮模型初始化随机抽取5份拼接至原提示构建增强提示,并在57份低分报告上重新部署评估。
诊断标准与关键数值
- 基础提示下93份报告:35%有主要遗漏、20%有次要遗漏、6%有主要不准确、3%有次要不准确,平均Likert评分3.48(SD 1.56)。
- 增强提示在57份报告亚组中:平均Likert评分4.39(SD 1.28)vs 基础提示2.47(SD 1.23),p<0.001;主要遗漏率7% vs 58%,p<0.001;次要遗漏率4% vs 33%,p<0.001。
- 增强提示下词数455.32(SD 77.35)vs 基础提示380.70(SD 65.16),p<0.001;阅读难度9.01(SD 1.27)vs 8.48(SD 1.34),p=0.031,主要和次要不准确率无显著变化。
- 主要不准确或遗漏定义为错误描述或未描述神经压迫(每节段)、前滑脱/小关节积液/不稳征象(每节段)、狭窄严重程度(每节段)、狭窄位置(每节段)、现有脊柱内固定或既往脊柱手术等影响临床决策的内容。
- 次要不准确或遗漏定义为错误描述或未描述轻/中度退变(不特定于节段)、轻/中度椎管狭窄(不特定于节段)、患者层面的脊柱病理说明等学术或琐碎重要性的内容。
临床应用与阅片要点
- 原文指出LLM早期整合进放射学可能需要放射科医生大量监督。
- 原文指出这种自动简化必须与「幻觉」和向患者提供不准确医疗信息的风险相平衡。
- 原文未据此给出推荐。
局限性
- 研究使用来自单一机构的影像报告,仅涉及单一模态和解剖区域,且为常见术前诊断的患者,结果不能推广至其他脊柱病理、成像序列或机构流程。
- 所有报告均由同一机构和放射学组解读,报告措辞可能同质化。
- 研究仅使用单一评审者,可能影响遗漏和不准确分类的可靠性,这种评审者间信度的缺乏应在后续更大样本报告的研究中更稳健地评估。
- 研究仅评估GPT-4,其他LLM如Google的Gemini或Meta的Llama可能表现不同。
- 原文结论指出脊柱放射学领域尚需进一步验证以促进临床整合。
全文中译6 节 · 点击展开
引言
在过去十年中,像GPT-4这样的大型语言模型(LLMs)迅速发展,并因其在医疗保健中的潜在应用而受到关注。重点关注的关键领域之一是改善医疗服务提供者与患者之间的沟通,尤其是在脊柱外科等复杂领域,影像报告往往指导关键决策[1, 2]。然而,传统影像报告是为医学专业人员撰写的,导致许多患者无法完全理解其含义。将这些复杂的医学发现转化为患者友好语言的工作可显著增加外科医生的工作负担[3, 4]。随着电子健康数据的日益普及,及时、准确且可理解的健康信息沟通已成为一项迫切目标[5]。
研究人员尚未确定LLMs在多大程度上能够完全弥合这一沟通差距,尤其是在总结术前脊柱MRI报告等复杂放射学发现时。虽然一些研究已证明GPT-4在简化放射学报告方面具有优越能力,但遗漏关键发现和事实不一致等问题仍然存在[6–8]。这些局限性引发了人们对在缺乏适当监管监督和人工指导以确保临床实践中伦理和实际实施的情况下依赖LLMs的安全性和准确性的担忧[1, 9]。此外,与放射科医生相比,GPT-4在生成印象方面往往无法达到同等水平的准确性,尽管其简化语言的能力已得到充分记录[10, 11]。
因此,本研究旨在评估GPT-4自动生成术前脊柱MRI报告患者版摘要的能力。通过评估可读性、字数以及简化输出的准确性等关键参数,本研究旨在确定GPT-4是否能够在保持临床准确性和完整性的同时改善可读性[4, 12]。
材料与方法
数据来源
从本院机构数据库中回顾性查询2022年接受腰椎减压和/或融合手术的患者,使用以下手术代码(CPT 63030、63035、63042、63047、63048、22612、22614、22630、22633、22558、22585),同时在其手术时的活动性诊断中具有腰椎滑脱诊断(ICD-10 M43.16)。对于所得患者集,提取手术日期之前最新的术前脊柱MRI放射科医师报告。任何无法检索到MRI报告的患者被排除在分析之外。手术报告在任何进一步分析之前已完全去标识化。
GPT部署
我们将处理后的报告传入GPT-4 API(gpt-4–0613),并使用以下基础提示词:“请将放射学报告翻译为易于理解的通俗语言”。除温度参数(衡量输出随机性的指标)设为0以获得更确定的结果外,其余均使用模型默认设置。一位受过专业训练的脊柱外科医生审查了翻译结果的内容准确性。记录了重大不准确、重大遗漏、轻微不准确、轻微遗漏的存在情况,以及总体定性Likert评分(1至5分)。重大不准确或遗漏定义为:错误描述或未能描述神经压迫(各节段)、前滑脱/小关节积液/不稳定征象(各节段)、狭窄严重程度(各节段)、狭窄位置(各节段)、现有脊柱内固定物或既往脊柱手术,和/或初始放射学报告中可能影响临床决策或共享决策的任何其他方面。轻微不准确或遗漏定义为:错误描述或未能描述轻度/中度退行性改变的存在(不特定于节段)、轻度/中度椎管狭窄的存在(不特定于节段)、对脊柱病理的患者层面解释、任何重大标准项但伴有一定程度临床上可接受的信息即使不完全完整,和/或初始放射学报告中具有学术性或琐碎重要性的任何其他方面。
在初步审查之后,我们使用高评分报告(定义为Likert评分为5分且无遗漏或不准确的报告)的示例构建了增强提示词,供模型作为其回复的模板。具体做法是每次模型初始化时随机选取五份报告样本作为额外提示词上下文,并将这些示例与原始提示词拼接。随后模型在评分较低的报告上重新部署。每组 resulting 报告翻译均按照与初步审查相同的参数再次进行准确性审查。
对于每次提示词迭代以及原始影像报告文本,我们通过统计总词数以及Flesch-Kincaid阅读等级(一种以美国学校教育年级为标度的文本可读性衡量指标)来进行可读性分析。
数据分析
重大和轻微不准确率及遗漏率以及Likert评分分别使用McNemar检验和Wilcoxon秩和检验在所有报告迭代之间进行比较。词数以及Flesch-Kincaid阅读等级使用配对双尾Welch t检验在所有报告迭代之间以及与原始报告文本进行比较。对多重假设检验(n = 9)应用Bonferroni校正,得出校正后的显著性阈值为0.006。GPT失败的定性示例和观察结果也进行了评估和分类。
结果
共有93份腰椎影像学放射学报告符合我们的纳入标准。原始报告文本平均字数为412.45词(标准差:172.59),平均Flesch Kincaid阅读等级介于11至12年级之间(11.47,标准差1.44)(表1)。使用基础提示词时,平均字数无显著变化(399.64,标准差72.70,p = 0.510),但平均阅读等级显著降低至8至9年级之间(8.50,标准差1.27,p < 0.001)。在审查的93份报告中,35%存在重大遗漏,20%存在轻微遗漏,6%存在重大不准确,3%存在轻微不准确。报告的平均Likert评分为3.48(标准差1.56)。这些错误的示例见表2。
在这93份报告中,36份被指示为无错误。这36份被用作增强提示词中GPT的模板示例。在其余57份报告的子组中,与基础提示词相比,增强提示词返回的字数显著更高(455.32,标准差77.35 对 380.70,标准差65.16,p < 0.001),但可读性水平相似(9.01,标准差1.27 对 8.48,标准差1.34,p = 0.031)(表3)。平均Likert评分(4.39,标准差1.28 对 2.47,标准差1.23,p < 0.001)、重大遗漏率(7% 对 58%,p < 0.001)和轻微遗漏率(4% 对 33%,p < 0.001)均较基础提示词有所改善。轻微或重大不准确率无显著变化。
在分析增强提示词中存在的错误时,三份报告翻译未能报告椎管狭窄的位置(表4)。另有兩份翻译未能描述既往脊柱手术,一份翻译未能描述脊柱内现有硬件,一份错误描述了既往脊柱手术。还有一系列报告对脊柱病理提供了不准确的描述,包括脂肪萎缩、2度前滑脱和潜在脓肿。
讨论
《21世纪治愈法案》的出台使患者能够便捷地获取其健康信息,包括放射学报告。随着时间的推移,这已转化为患者在与其外科医生接触时花费更多时间询问报告中的具体细节。然而,放射学报告旨在作为医学专业人员之间的沟通工具,因此包含复杂术语并以较高的阅读等级撰写。外科医生面临的主要任务之一是在患者症状和体格检查的背景下提炼患者影像并解读相关发现。鉴于外科实践面临日益增加的时间限制,为患者翻译放射学报告可能显著增加外科医生的工作量。因此,一种能够简化术语并提高患者对影像报告可读性和理解力的临床工具可能具有价值。这种自动简化的益处必须与“幻觉”和向患者提供不准确医疗信息的风险相平衡。LLM整合到放射学的早期阶段可能需要放射科医生的显著监督。
本研究将GPT-4应用于腰椎MRI影像报告,将放射科医生的文本简化为面向患者的文本。有效实现这一流程自动化,对于减少脊柱外科医生的工作流程负担以及增加患者对个人医疗数据的获取具有重要意义。我们证明,带有基础提示词的开箱即用GPT模型在阅读难度层面能够显著简化报告文本,尽管它常常遗漏关键的临床信息。我们还证明,在提示词中向GPT提供训练数据,可以在保持语言简洁性的同时,与基础提示词相比显著提高翻译的准确性。我们进一步观察到,即使使用增强提示词,GPT在椎管狭窄位置、既往脊柱手术描述以及脊柱病理特定区域方面仍会出现错误。我们呈现了一项全面的研究,该研究针对腰椎专门设计,同时关注可读性和准确性,并包含定量和定性分析。
此前已有若干研究评估了大型语言模型(LLM)在多个领域简化放射学报告的能力。Lyu等人分析了GPT对138份胸部CT扫描和脑MRI放射学报告的翻译,证明GPT能够显著减少字数,但未提供阅读难度的量化数据[2]。Li等人分析了从超声、CT、MRI和X射线中随机抽样的400份影像报告,发现GPT能够显著降低报告的字数以及Flesch-Kincaid阅读难度[13]。Salam等人专门分析了心脏MRI影像,发现GPT能够降低自动可读性指数(Automated Readability Index)评分[14]。类似地,Doshi等人分析了750份报告翻译(其中38份为脊柱MRI)在几种不同LLM下的阅读难度,发现所有模型均能有效降低阅读难度,相较于原始报告文本[15]。我们的分析与上述先前研究一致,证明虽然字数保持稳定,但LLM翻译显著降低了阅读难度。
报告准确性的分析在文献中较少被探讨。在一项概念验证研究中,Jeblick等人使用GPT 3.5翻译虚构的MRI报告[16]。放射科医生对45份翻译报告的审阅指出,51%存在错误文本,22%遗漏了相关信息。除了可读性分析外,Lyu等人还尝试量化准确性[2]。他们发现,对于脑部MRI,9%的报告包含不准确信息,而5%遗漏了相关信息。Kuckelman等人检查了60份肌肉骨骼放射学报告(其中20份为腰椎MRI),由三位审阅者评分,准确性(从1–3分,3分为最高准确性)分别为2.58、2.71和2.77,完整性分别为2.87、2.73和2.87[5]。Salam等人在分析心脏MRI时发现,审阅者在81%的情况下对报告的完整性“强烈同意”,在94%的情况下对报告的事实准确性“强烈同意”[14]。与Salam等人相似,我们发现在腰椎MRI中,GPT倾向于遗漏信息而非包含错误信息。这可能是由于GPT原始来源于互联网的训练集中缺乏受HIPAA保护的医疗数据。然而,这些研究结果的异质性表明,LLM性能可能还显著受到报告的模式、病理、解剖区域和机构的影响。需要开展更多脊柱特异性研究来验证我们的发现。
我们研究的一个更为新颖的方面是使用示例来增强提示和翻译。虽然Lyu等人探索了更改LLM提示中的语言以改变性能的影响,但没有分析放射学报告翻译的研究明确向GPT提供领域特异性训练数据[2]。我们的结果表明,在思维链范式中简单突出有效的LLM输出可以成为显著改善下游输出的有效方式,并可能使LLM随时间推移快速适应其被部署的领域。尽管有这一优化,LLM仍然犯了若干错误,这一事实表明在这些模型能够有效自动化该脊柱外科医生的任务之前,需要进一步的领域特异性训练和验证。
这项工作的一个潜在未来扩展是评估患者而非提供者对报告翻译的看法。Schmidt等人先前的工作使用LLM生成不同复杂度的膝关节MRI报告,并将结果呈现给一组前瞻性收集的20名患者[17]。虽然患者同意报告易于理解,并报告对较简单报告中的发现比更复杂报告有更好的理解,但参与者将这些报告评为“神经性”的,与医疗专业人员解释结果相比。此外,GPT将报告准确翻译为非英语语言的能力也可以被评估。Gulati等人证明,虽然报告相对于其他语言在英语中翻译最准确,但GPT在西班牙语中的表现优于俄语或印地语[18]。这两个未来方向都将更直接地让患者最终用户参与研究,并更好地理解这些技术是否以及如何能在门诊脊柱诊所环境中实施。对大量脊柱放射学报告进行更明确的微调也可以被考虑,并与本文的基本上下文扩展方法进行比较。
我们的研究存在若干局限性。其一,我们使用的是来自单一机构的影像报告,仅涉及单一模态和解剖区域,且患者均为同一种术前诊断。虽然这种同质性使得性能比较更为一致,但我们的研究结果无法推广至其他脊柱病变、成像序列或机构方案。此外,鉴于所有检查均由同一机构和同一放射学团队阅片,放射学报告的措辞也可能具有同质性。我们还注意到,本研究中仅使用了一名审阅者,这可能影响我们对遗漏和不准确分类的可靠性。这种评分者间信度缺失的问题应在后续采用更大报告样本的研究中予以更稳健的评估。我们还仅评估了GPT-4——其他大语言模型(LLM),如谷歌的Gemini或Meta的Llama,可能表现出不同的性能。
总体而言,本研究首次全面考察了GPT为脊柱外科医生自动化简化放射学报告的潜力。我们证明,GPT,尤其是在提供训练数据的情况下,能够以相对较低的差错率胜任地简化报告。需要进一步的工作来在此基础上推进这一初步探索,将大语言模型(LLM)技术带到临床一线。
引用
- Khazanchi R, Chen AR, Desai P, et al. Assessing the ability of large language models to simplify lumbar spine imaging reports into patient-facing text: a pilot study of GPT-4. Skeletal Radiol. 2025. PMID: 40921880. doi:10.1007/s00256-025-05027-9
- 全文:PMC12743105(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12743105/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。