文献速递技术与安全CTMRUSDR

大语言模型用于放射学结构化报告:过去、现在与未来

Large language models for structured reporting in radiology: past, present, and future.
PubMed 文献 · Eur Radiol · 2024-10-23

这篇叙述性综述检索截至2024年3月9日的文献,纳入10项研究,评估GPT-3.5(n=5)和/或GPT-4(n=8)等大语言模型用于放射学结构化报告的表现,另有两项研究同时考察Perplexity与Bing Chat或IT5。所有研究均报告了有希望的结果并认可其潜力,其中6项研究证明多语言应用的可行性;作者指出当前文献数量与范围有限,未来临床应用取决于克服现有局限与监管挑战。

要点

  • 纳入10项研究均报告大语言模型用于结构化报告有希望的结果,6项证明多语言应用可行。
  • 一项研究中GPT-4将不同部位MRI/CT报告匹配至相应模板、转为JSON并结构化,准确率100%。
  • 已发表研究多基于GPT-3.5和GPT-4,商业产品因缺乏同行评议数据未纳入评估。

核心结论

  • 综述强调大语言模型在提高结构化报告及放射学报告处理效率与准确性方面具有变革潜力,但其未来临床角色取决于克服当前局限与监管挑战。
  • 当前用于结构化报告的大语言模型文献数量与范围有限,多数研究聚焦GPT-3.5和GPT-4的应用,但所有研究均报告有利结果并认可其潜力。

研究设计与样本

  • 叙述性综述:两位作者与第三位作者达成共识后独立检索Web of Science、PubMed和Embase,检索式采用Nobel等的(radiol* AND structur* AND report*),无日期限制,截至2024年3月9日。
  • 初步检索识别6篇大语言模型用于放射学结构化报告的文献,同行评议建议1篇,修回时作者补充Google Scholar检索再纳入3项研究,共纳入10篇文献。
  • 纳入研究评估GPT-3.5(n=2)、GPT-4(n=5)或两者(n=3),另有一项研究同时考察Perplexity与Bing Chat,另一项研究考察IT5。
  • 研究涉及的放射学领域异质,包括介入放射学(n=1)、全身CT报告(n=2)、多部位MRI和/或CT报告(n=3)、肝脏超声造影(CEUS)检查(n=1)、甲状腺结节超声报告(n=1)、桡骨远端骨折报告(n=1)和胸部X线(n=1)。
  • 因研究设计(定性与定量方法)及结构化报告性能评价异质,无法进行Meta分析。

诊断标准与关键数值

  • 一项研究中GPT-4将不同部位MRI/CT报告自动匹配至相应报告模板、转换为JSON文件并结构化报告,准确率100%,无错误、无准确性损失、无额外发现提示。
  • 多数研究考察大语言模型将自由文本转换为结构化报告的能力(n=5);一项研究评估大语言模型对放射学结构化报告的知识及生成结构化报告示例的能力;一项研究额外评估自动文本报告生成;一项研究开发了利用解剖区域检测和特征提取的提示引导方法生成结构化报告。
  • 研究通过全程以意大利语(n=3)或中文(n=1)分析、含初始日语翻译任务(n=1)或额外在德语胸部X线报告基准上评估性能(n=1)来考察多语言应用。

临床应用与阅片要点

  • 作者在图1中示意将大语言模型与人工验证整合入放射科医生工作流程以生成结构化报告输出。
  • 作者指出,尽管当前大语言模型应用可能已具备成功自动完成结构化报告的能力,但其临床实践前景取决于克服当前局限与监管挑战。
  • 作者提出未来研究可评估和比较开源医学模型(如BioMistral)结构化放射学报告的能力,以可能更自由地应对监管要求。

局限性

  • 被综述研究强调的局限包括幻觉(生成输入或现实中毫无依据的完全虚构或虚假信息)、对(医学)信息的误读、专业术语方面的不足、性能随任务变化以及信息缺失。
  • 更广泛医学文献报告的局限包括:GPT-3.5和GPT-4在13.6%的儿科急诊病例中错误推荐高级生命支持技术;多项研究指出提供过时医学信息。
  • GPT-3.5关于葡萄膜炎的回答可读性显著高于患者教育材料推荐的六年级水平。
  • 观察到偏见,如心血管疾病信息中与被服务不足的种族群体相关的偏见。
  • 人工智能应用决策过程不可解释;许多作者认为医学领域有必要理解并认同AI系统如何得出结论,才能自信且合乎伦理地用于临床决策。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Oct 23;35(5):2589–602. doi: 10.1007/s00330-024-11107-6

结构化报告(SR)简介

已知最早呼吁放射学报告术语标准化的文献之一可追溯至1922年,由Hickey等人针对X射线报告发表[1]。随着时间的推移,标准化和结构化报告已成为放射学界持续讨论和分析的话题,关于最佳实践和实施策略的观点也在不断演变。如今,结构化报告不仅指报告内容的标准化,还指使用信息技术(IT)工具导入和组织医学内容,以协助放射科医师撰写报告[2]。在旨在提高放射学报告的质量、数据化/量化和可及性的同时,批评者认为结构化报告可能过于僵化,可能限制放射科医师传达细致解读的能力[3–5]。此外,结构化报告模板的创建、维护和更新需要大量时间和资源,而结构化报告的成功取决于放射科医师个人采纳该方法的意愿[3, 4, 6]。尽管存在这些挑战,结构化报告在放射学界已获得越来越多的认可,研究证明其能够减少报告错误、提高全面性并改善对国家指南的依从性[7–9]。

在结构化报告的发展历程中,人们为放射学沟通和报告的标准化做出了大量努力。1991年,美国放射学会(ACR)发布了第一版《沟通指南:诊断放射学》[10]。2006年,北美放射学会(RSNA)推出了RadLex®——一个放射学词汇词典,旨在统一放射科医师使用的术语[11]。为响应2007年ACR跨学会会议达成的共识,RSNA结构化报告倡议创建了RadReport模板库,其中包括基于文本和基于XML的报告模板,将RadLex®放射学词汇及其他本体(如SNOMED CT®和LOINC®)与相应的报告要素相关联[7, 12, 13]。2018年,欧洲放射学会(ESR)发表了关于放射学结构化报告的白皮书,呼吁开展国际、跨学会和行业合作,以在放射学实践中大规模成功实施结构化报告[3]。该文件近期已更新,指出临床常规实施仍然缺乏,政策制定者应激励结构化放射学报告的使用[14]。此外,更新后的ESR声明强调大语言模型(LLM)是将结构化报告整合到放射科医师工作流程中的潜在解决方案[14]。

因此,本叙述性综述旨在详细概述当前关于大语言模型用于放射学结构化报告的文献。此外,我们还涵盖局限性、监管挑战以及自然语言处理(NLP)的演变和大语言模型在放射学及其他领域的其他应用。根据Nobel等人的定义,结构化报告被定义为“一种基于IT的方法,用于将医学内容导入并排列到放射学报告中”,以承认结构化报告与标准化报告之间的区别[2]。由于大语言模型缺乏通用定义,我们将大语言模型定义为任何基于大规模Transformer的生成式语言模型,能够遵循指令,例如通过基于人类反馈的强化学习进行训练[15]。

自然语言处理的演变:从小型机器学习模型到大语言模型

从技术角度看,图像归档与通信系统及放射信息系统(RIS)与电子健康记录的整合本可成为促进结构化报告(SR)采用的里程碑,使结构化模板的实施成为可能,并实现报告在不同机构或医疗系统间的共享[16]。尽管如此,人工操作——如选择合适的模板、将相关自由文本提取到正确的结构化格式字段中,或翻译任务——可能导致了临床实践中对采用SR的抵触。此外,使用SR模板可能耗时,因为用户界面通常需要大量交互,从而可能干扰工作流程。

从计算机科学家的角度来看,自然语言处理(NLP)可能是这些问题的解决方案。NLP是计算机科学的一个子领域,专注于利用语言学和逻辑使计算机能够理解、解释、生成和操作人类语言[17, 18]。然而,NLP在辅助放射科医生进行结构化报告(SR)方面并非一直像现在这样前景广阔。从20世纪90年代的第一批统计语言模型开始,需要为指数级增长数量的词序列估计概率,其中许多词序列甚至可能不出现在训练数据中,这导致了数据稀疏性问题,使得准确预测词序列的概率变得困难,尤其是在医学等词汇丰富且专业的领域[19–21]。在2000年代,长短期记忆网络(LSTM)通过使用深度神经网络处理语言而代表了突破[22, 23]。与前身不同,LSTM具备识别和使用文本中更长范围模式的能力。它们通过构建依赖于累积上下文信息的词预测机制来实现这一点,这使它们能够高效地处理广泛的常见NLP任务[21]。然而,LSTM的顺序处理对于较长的文本来说速度慢且计算量大。2018年,首批基于变换器的语言模型被引入,如BERT(来自变换器的双向编码器表示),能够使用大型文本数据集学习更具区分度的语言表示和语言模式[24]。利用自注意力机制(一种允许模型关注输入相关部分的技术),这些模型实现了更深层的上下文理解,而其固有的可并行性使得高效的大规模训练成为可能[21]。这使得变换器模型能够利用大量训练数据中的知识,并在很少或无需额外训练的情况下泛化到新任务和数据。对于医疗保健任务,变换器在针对生物医学领域的特定下游任务进行微调时也表现出了良好的性能[25]。最终,大语言模型(LLM)这一术语被采用来描述基于变换器、拥有数十亿参数并在大量文本数据上训练的模型,使它们能够学习更细微的关系并解决更复杂的NLP任务[15, 26–28]。虽然LLM通常用于指仅处理自然语言的模型,但类似的基于变换器且也能处理图像的架构被称为视觉语言模型[29]。这些进展显著提高了医疗保健专业人员和医学界利用LLM进行医疗应用的可及性和兴趣[30]。迄今为止,LLM可能是放射学中自动化SR最有能力的模型。在本综述中,我们聚焦于处理自然语言输入(如自由文本放射学报告)以生成结构化报告的LLM。直接分析医学图像以生成报告的模型虽然相关,但超出了本综述的范围。此外,基于BERT的SR方法未纳入本综述,因为它们基于仅编码器架构,且已被详细讨论[31]。

当前用于SR的LLM综述

两位作者(F.B. 和 L.H.)与第三位作者(K.K.B.)达成共识,使用 Nobel 等人的句法检索策略(radiol* AND structur* AND report*),在 Web of Science、PubMed 和 Embase 数据库中独立检索,截至 2024 年 3 月 9 日无日期限制,共识别出六篇关于放射学结构化报告(SR)中大型语言模型(LLM)的文章 [32]。在修订过程中,同行评审建议了一篇文章,作者在修订时额外进行了一次 Google Scholar 检索,又纳入了三项研究。

总体而言,我们发现当前关于放射学 SR 中 LLM 的文献有限,共包括十篇文章,所有这些文章均研究了生成式预训练变换器(GPT)-3.5(n = 2)[33, 34]、GPT-4(n = 5)[35–39]或两者兼有(n = 3)[40–42]用于结构化放射学报告的能力,而一项研究额外考察了 Perplexity 和 Bing Chat(现为 Microsoft Copilot;使用 Microsoft Prometheus 模型,基于 OpenAI 的 GPT-4 构建)的性能 [41],另一项研究考察了 IT5(针对意大利语微调的文本到文本迁移变换器)[34]。所研究的放射学领域异质性强,包括介入放射学(n = 1)[35]、全身计算机断层扫描(CT)报告(n = 2)[40, 41]、不同身体区域的磁共振成像(MRI)和/或 CT 报告(n = 3)[34, 36, 38]、肝脏超声造影(CEUS)检查(n = 1)[37]、甲状腺结节超声报告(n = 1)[42]、桡骨远端骨折报告(n = 1)[33]以及胸部 X 线(n = 1)[39]。大多数研究考察了 LLM 将自由文本转换为结构化报告的能力(n = 5)[33–38, 40, 42],而一项研究评估了 LLM 关于放射学 SR 的知识及其生成结构化报告示例的能力 [41],一项研究额外评估了自动文本报告生成 [33],还有一项研究开发了一种使用解剖区域检测和特征提取的提示引导方法来生成 SR [39]。若干研究探讨了 LLM 在 SR 中的多语言应用,或以意大利语(n = 3)[34, 40, 41]或中文(n = 1)[37]进行完整分析,包括初始的日语翻译任务(n = 1)[35],或额外评估了在德语胸部 X 线报告基准上的性能(n = 1)[36]。由于研究设计存在差异,包括定性和定量方法,以及 SR 性能评估的异质性,无法进行荟萃分析。然而,所有研究均报告了积极的前景,其中一项研究证明 GPT-4 在自动将不同身体区域的 MRI/CT 报告匹配到适当报告模板、将报告转换为 JSON 文件以及结构化报告方面达到 100% 准确率,无错误、无准确性损失、无额外发现提示 [36]。表 1 提供了所有纳入研究的概述,包括研究信息、方法和结果,而表 2 提供了所用模型及其具体特征的概述。

最终,利用大语言模型(LLM)进行结构化报告(SR)的商业解决方案已在市场上存在。例如,总部位于慕尼黑的初创公司Smart Reporting和总部位于旧金山的公司Rad AI通过Amazon Bedrock部署生成式人工智能模型,用于语音引导和数据驱动的文档记录及报告结构化[43, 44]。然而,由于缺乏同行评审的研究数据以及关于所使用确切架构的信息,由于缺乏同行评审的研究数据和关于所使用确切模型的信息,这些解决方案无法在本综述中进行评估。

表1 纳入研究概览及其特征、目的、方法、结果和结论 查看原表 ↗
表2 文献中用于SR的模型概览及其特征 查看原表 ↗

局限性

尽管将LLM应用于SR具有巨大潜力,但所综述的研究强调了所测试LLM的几个局限性,包括幻觉,即创建在所提供的输入或现实中完全没有依据的完全虚构或虚假信息、对(医学)信息的误读、技术术语方面的缺陷、因任务不同而表现各异以及信息缺失[33, 35, 37, 40, 41]。

此外,当审视更广泛的关于LLM在医学中应用的文献时,还报道了其他几个局限性[45]。例如,已发现安全性问题,GPT-3.5和GPT-4在13.6%的儿科急诊病例中错误地推荐了高级生命支持技术[46]。同样,多项研究指出提供了过时的医学信息[47, 48]。可读性是另一个挑战,GPT-3.5关于葡萄膜炎的回答显著高于患者教育材料推荐的六年级阅读水平[49]。虽然报道频率较低,但也观察到了偏见,例如心血管疾病信息中与服务不足的种族群体相关的偏见[50]。人工智能应用另一个日益被认识的局限性是决策过程不可解释的性质。具体而言,许多作者认为,特别是在医学领域,有必要理解并认同人工智能系统如何得出结论,以便在临床决策中自信且合乎伦理地使用它[51–53]。然而,在复杂模型的高准确性与可解释性需求之间取得平衡仍然是医学人工智能应用中的重大挑战[54]。

为解决大型语言模型(LLMs)的局限性,已提出若干解决方案。例如,整合外部知识库或自动化事实核查系统旨在通过对照可靠的医学数据库验证信息,以提高LLM输出的准确性[55]。然而,这些系统的可靠性取决于其所查询的数据库,且其整合可能复杂且计算密集。自我评估方法(例如GPT-4在生成和评分回答中的双重角色)已显示出前景,可使LLMs不仅能生成结构化报告,还能独立评估报告质量;然而,目前这受到自由形式任务中过于严格的评估的挑战[56]。ROUGE-L等指标虽然对简答题任务有用,但由于依赖文本重叠,在创造性或开放式场景中往往失效[56]。此外,虽然多语言指令调优(如BLOOMZ和M3IT)增强了跨语言能力,但其有效性在不同语言和任务类型之间差异显著[56]。领域特定微调,即在高品質、经同行评审的医学文献上训练LLMs,可改善其对医学术语和概念的理解[57]。然而,该过程需要大量资源和时间,且始终存在模型仍会遗漏医学文本中细微差别的风险。人在回路方法将LLM能力与专家监督相结合,以检测和纠正错误[58]。虽然这种混合方法可以提高准确性,但它劳动密集,且可能无法有效扩展至大型数据集。此外,它可能引入人为偏见,可能削弱自动化本应提供的客观性。增强提示工程以引导LLMs产生更准确和全面的回答是另一种提出的解决方案[59]。然而,创建有效的提示需要深厚的专业知识并不断调整,因为在一种情境中有效的提示在另一种情境中可能失效。最后,实施检索增强生成允许LLMs在生成过程中从经验证的医学数据库中动态检索信息[60]。该技术可确保模型能够获取最新信息,但也增加了计算负荷,并可能遭受与底层数据库相同的可靠性问题。

监管挑战

许多国家正计划引入人工智能相关法律框架,人工智能提供者必须遵守这些框架。然而,这些框架的引入进展因地区而异,差异很大。例如,在美国,联邦当局尚未针对人工智能引入具体保障措施,因此,人工智能医疗产品仍须遵循美国食品药品监督管理局的标准审批流程[61]。同样,加拿大的《人工智能与数据法》最初于2022年提出,其颁布时间表仍不确定[62]。亚太地区目前正经历人工智能监管框架的快速发展,各司法管辖区采取不同路径。虽然大多数国家侧重于高层级、基于原则的指南和自愿性措施,但少数国家正转向更具体的人工智能监管。2023年,中国引入了生成式人工智能服务框架,以及深度合成、算法推荐和伦理审查规则[63]。韩国和台湾正在考虑人工智能专门立法,尽管这些仍处于草案阶段[63]。包括澳大利亚、日本、新加坡、印度、香港、泰国和越南在内的许多其他国家,目前依赖不具约束力的指南和现有法律来处理人工智能相关问题[63]。

另一方面,在欧洲,随着欧盟(EU)于2024年3月13日通过《人工智能法案》,首个具有法律约束力的人工智能框架正式生效[64]。该法案不仅适用于总部位于欧盟的公司,也适用于所有希望将其解决方案投放欧盟市场的第三国提供商,并很可能为其他国家监管人工智能产品提供参考。该法案对人工智能系统采用基于风险的分类,包括不可接受风险、高风险、有限风险和最低风险,并配以不同的监管要求[65]。在该框架下,大语言模型(LLMs)被认定为基础模型,即在大规模数据集上训练、具有广泛适用性并可适配多样化任务的人工智能系统,包括一些并非为其专门开发和训练的任务[66]。然而,根据该法案的标准,基础模型只有在属于通用人工智能系统的一部分时才被认定为高风险,而这种情况对于在聚焦、受控环境中使用且不具备自主决策能力的大语言模型而言不太可能,例如用于放射学中的结构化报告(SR)[67]。我们在图1中提供了将大语言模型与人工验证相结合以在放射科医生工作流程中生成结构化报告输出的示意图。尽管如此,为符合《人工智能法案》下的欧盟法律,必须满足核心要求,如质量管理体系、数据治理、风险缓解、效率(能源和资源使用)、性能、可预测性、可解释性、可纠正性、安全性、网络安全、技术文档和欧盟数据库注册[65]。此外,对于ChatGPT等生成式人工智能模型,还要求满足透明度要求、法律内容保障以及训练数据/版权透明度。事实上,像ChatGPT这样的专有模型对其底层算法、训练数据以及数据处理和存储机制提供的访问和信息有限,目前并不满足这些要求[68]。相比之下,可公开获取的开源模型在其许可证允许访问、使用、修改和分发模型及其参数,且不与高风险或禁止性应用相关联、不存在被操纵风险的情况下,可以规避更严格的要求[65]。因此,鉴于我们所分析的研究主要关注专有模型,未来研究可以评估和比较开源医学模型(如BioMistral)在结构化放射学报告方面的能力,以 potentially 更自由地应对这些监管要求[69]。

因此,尽管当前的大语言模型应用可能已具备成功实现结构化报告自动化的能力,其在临床实践中的未来取决于能否克服当前的局限性和监管挑战。随着该领域的发展,开发者、医学专业人员、法律专家和监管机构之间的持续对话对于有效克服这些挑战并成功在放射学中部署大语言模型用于结构化报告至关重要。

图1 在临床实践中整合大语言模型以结构化放射学报告的工作流程示例。RIS,放射信息系统。使用BioRender.com创建 查看原图 ↗

大语言模型在放射学中的进一步应用

放眼SR之外,LLMs有潜力解决放射学领域中的各种任务。事实上,将广泛的医学文档——从个体患者记录到整个机构数据库——的结构化和标准化自动化的能力,为数据挖掘以及在不同医疗系统之间协调数据提供了巨大潜力[70]。甚至在报告生成之前,LLMs就可以通过在放射学检查前采集并汇编患者病史来增强临床文档记录,包括自动化患者分诊、为患者提供可访问的聊天机器人、为医生提供初步概览,以及促进同意书的创建和记录[71–73]。此外,LLMs可以根据患者提供的信息预测疾病或感兴趣区域,并自动选择最合适的成像方案,包括决定是否使用造影剂以及所需的个体剂量[74, 75]。在报告创建过程中,LLMs可用于通过检测语音识别错误来增强报告的语音转文本生成[76]。临床文档记录的另一个方面是检查或疾病的编码和分类[77]。此外,LLMs可以促进医学信息的翻译和总结。在我们的分析中,大多数研究表明LLMs在处理英语以外语言的SR方面具有可行性[35–37, 40, 41]。除语言翻译外,LLMs还可以支持语言纠正/编辑、医学文本总结或文本简化,例如在向患者报告检查结果时,也用于简化成像方案[78, 79]。LLMs可以提供的另一个重要解决方案是数据挖掘的自动化,例如检索或提取医学信息以准备用于研究目的的大型数据集,正如最近针对肺癌自由文本CT报告所展示的那样[80]。最后,LLMs通过根据报告结果自动化转诊/随访、提供鉴别诊断,或通过提供治疗建议或预后预测来支持临床决策过程,为加速临床评估提供了巨大机会[71, 81–83]。我们在图2中示意性总结了LLMs在放射学报告处理范围内的当前和前瞻性应用。

除语言处理任务外,多模态生成模型将重新定义基于图像的诊断。虽然当前诸如GPT-4V之类的多模态生成模型已证明其识别选定图像中病理的能力,在若干放射学亚专科中优于无图像的GPT-4,但它们尚未达到能够逐层分析完整图像序列的专用深度学习模型的性能[84]。然而,随着更先进能力的出现,多模态生成模型在图像分析和处理方面具有巨大潜力,例如,提示被忽视的偶然发现或直接从k空间改善图像重建[85, 86]。尽管如此,迄今为止,多模态生成模型辅助医学影像诊断的能力仍只是未来的前景。

图2 大语言模型(LLMs)在放射学报告处理领域当前和未来作用的示意图,按四个主要方面分类:文档记录、翻译与摘要、临床评估和数据挖掘。RIS,放射学信息系统。由BioRender.com创建。 查看原图 ↗

结论

本综述全面概述了大语言模型(LLMs)在结构化放射学报告及其他领域的过去、现在和未来。面向自然语言处理(NLP)任务的更复杂模型的转变,为放射学中的结构化报告(SR)开辟了新机遇。然而,当前关于使用LLMs进行SR的文献在数量和范围上均有限,大多数研究集中于GPT-3.5和GPT-4的应用。尽管如此,所有研究均报告了有利结果,并认可LLMs在放射学SR中的潜力。尽管LLMs对放射学及更广泛医学领域的影响可能随着更先进能力的出现而重新定义医学劳动力和经济,但克服监管框架——如欧盟《人工智能法案》所引入的框架——以及生成式AI和LLMs的相关挑战(包括专有模型算法和训练数据不透明),将决定LLMs能否成功应用于SR和临床实践的程度。最后,现阶段仍有一些未解答的问题需要进一步研究。例如,这些问题包括:将LLMs生成的结构化报告与放射科医师生成的报告进行比较、LLMs与现有临床软件和系统的最佳整合方式,以及LLMs生成的报告是否与仅由放射科医师生成的报告具有同等临床接受度。未来研究还应调查LLM生成报告对放射科医师和患者的用户友好性,以及这些系统在真实世界环境中的临床接受度和整合情况。

引用

  1. Busch F, Hoffmann L, Dos Santos DP, et al. Large language models for structured reporting in radiology: past, present, and future. Eur Radiol. 2024. PMID: 39438330. doi:10.1007/s00330-024-11107-6
  2. 全文:PMC12021971(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12021971/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。