文献速递技术与安全CTMR

大型语言模型解释影像报告的比较评估:专家对可读性、可理解性和沟通特征的评估

Comparative Evaluation of Large Language Models in Explaining Radiology Reports: Expert Assessment of Readability, Understandability, and Communication Features.
PubMed 文献 · Insights Imaging · 2025-10-29

这项回顾性单中心研究随机选取5个亚专科的100份匿名影像报告,以标准化提示提交给ChatGPT、Gemini和Copilot,由两名放射科医生评估医学正确性、可理解性、可读性、沟通特征及致焦虑潜力。所有模型医学正确性均高(1.97±0.17/2),ChatGPT可读性和可理解性最佳,Copilot临床建议和不确定性语言最多,Gemini患者指导最强,致焦虑潜力均低。

要点

  • 三个模型医学正确性均高(1.97±0.17/2),差异无统计学意义。
  • ChatGPT可理解性最佳(PEMAT-U 89.58±3.90%),可读性指标也最优。
  • Copilot提供最多临床建议和不确定性语言,但语言最复杂。

核心结论

  • ChatGPT在可读性和可理解性方面表现更优,Copilot提供更多临床细节但语言更复杂,Gemini更强调以患者为中心的指导,这些差异支持语言模型在影像沟通中的情境化使用。

研究设计与样本

  • 回顾性单中心研究,随机选取100份匿名影像报告,涵盖CT和MRI检查, evenly分布在神经、腹部、骨肌、头颈和心胸五个亚专科。
  • 报告于2025年5月23日至30日以标准化提示「Can you explain my radiology report?」提交给ChatGPT(GPT-3.5)、Gemini和Copilot各一次,不重新生成。
  • 由两名分别有20年和8年经验的放射科医生通过共识独立评估医学正确性、可理解性(PEMAT-U)、可读性(FRE、ARI、GFI)、沟通特征及致焦虑潜力。

诊断标准与关键数值

  • 医学正确性采用3分制(0=不正确,1=部分正确,2=完全正确),所有模型平均1.97±0.17/2。
  • 可理解性采用PEMAT-U评估,17项中16项适用,ChatGPT 89.58±3.90%、Gemini 84.54±3.94%、Copilot 73.70±4.35%,两两比较均p<0.01。
  • 可读性采用FRE、ARI、GFI评估,ChatGPT的FRE 60.33±3.65、ARI 9.66±1.01、GFI 9.10±1.04;Copilot的FRE 45.62±2.50、ARI 12.50±0.99、GFI 11.38±0.96。
  • 致焦虑潜力采用3点Likert量表(0=否,1=部分,2=是),所有模型平均0.07±0.33,p>0.05。
  • 沟通特征采用3分制(0=否,1=部分,2=是),Copilot不确定性语言1.62±0.62、临床建议1.69±0.60最高,Gemini患者指导1.62±0.58最高(均p<0.01)。

临床应用与阅片要点

  • 作者认为这些差异支持语言模型在影像沟通中的情境化使用,应用应以具体沟通目标为导向并辅以专家监督。
  • 作者指出LLM生成的解释须在适当的临床和伦理框架内解读,实施基于LLM的患者沟通应涉及专家监督并优先考虑伦理透明度。

局限性

  • 仅评估英文书面文本,未分析视觉或音频输出。
  • 仅测试免费可访问版本的LLM,未来或付费版本可能产生不同结果。
  • 所有评估由放射科医生而非患者进行,可能限制对实际患者理解和情绪反应的外推。
  • 使用单一标准化提示,未捕捉替代或优化提示策略可能带来的变异性。
  • 未来研究应探索不同提示设计如何影响沟通质量和患者理解。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Oct 29;16:232. doi: 10.1186/s13244-025-02121-3

引言

近年来,人工智能(AI)融入医疗保健领域呈现出前所未有的增长,尤其是随着大语言模型(LLMs)的广泛采用。OpenAI的ChatGPT、Google Gemini和Microsoft Copilot等工具为患者提供了获取和理解复杂医学信息的新途径,包括放射学报告——这一领域以高度技术性和患者理解困难而著称[1]。

放射学报告是指导医学决策的重要临床文件,但其通常包含领域特定术语和密集的表述,使患者难以解读[2]。对放射学报告的误解可能潜在地导致患者焦虑、困惑或做出不明智的决定;然而,鉴于基于患者的证据有限,这些影响仍属假设。LLMs能够生成自然语言解释,通过将技术性发现转化为患者友好的语言,为放射科医生和患者之间提供了潜在的桥梁[1, 3, 4]。

近期研究强调了LLMs在放射学中日益增长的作用。例如,ChatGPT在从报告生成印象[5]、基于影像模式辅助鉴别诊断[6]以及根据临床医生请求确定适当的成像方案[7]等任务中显示出前景。此外,LLMs已被探索作为教育工具,ChatGPT甚至在未接受领域特定训练的情况下几乎通过了放射学委员会式考试[8]。

尤为相关的是,新兴研究已评估LLMs在简化放射学报告以供非专业人士理解方面的能力[9]。例如,Lyu等[10]证明了使用ChatGPT将放射学报告转化为通俗语言以供患者和提供者使用的可行性。在一项探索性研究中,放射科医生将ChatGPT生成的患者摘要评为事实准确、足够完整且总体安全;然而,也注意到了错误信息和模糊不清的实例,凸显了专家监督的必要性[11]。同样,Butler等[12]表明,AI生成的解释显著改善了骨科放射学报告的可读性,达到了低于八年级水平的可读性且事实性错误极少。Gupta等[13]最近证明,与原始报告相比,LLM简化的放射学报告改善了肿瘤患者理解和信心。

尽管生成式AI近期取得了进展,但文献中仍存在一个关键空白:很少有研究系统比较多个LLMs在向患者传达放射学发现方面的表现,特别是超越诊断准确性,涵盖关键沟通维度如可理解性、可读性、不确定性语言、患者指导、临床建议和引发焦虑的潜力[9, 14]。为填补这一空白,本研究评估了三种可免费获取的LLMs——ChatGPT(GPT-3.5)、Google Gemini和Microsoft Copilot——针对标准化患者关于放射学报告的询问所生成的回答,旨在评估其用于患者教育和放射学沟通的适当性。

材料与方法

患者报告选择

本回顾性研究在获得土耳其卫生部伊兹密尔城市医院非干预性研究伦理委员会批准后启动(决定号:2025/200)。鉴于回顾性设计及使用匿名化数据,伦理委员会豁免了书面知情同意的要求。

本回顾性研究纳入100份匿名化放射学报告,从一家三级医院2024年1月20日至2025年1月期间实施的临床病例中随机选取。数据集包括CT和磁共振成像(MRI)检查,两者比例大致相等,报告均匀分布于五个放射学亚专业,包括神经放射学、腹部影像学、肌肉骨骼影像学、头颈部影像学和心胸影像学(图1)。

纳入标准为年龄超过18岁个体的放射学报告,因临床指征获取,且包含明确的诊断发现,包括良性或年龄相关变异,如偶然发现或临床无显著意义的发现。

排除标准为非常规结构化格式的报告、不完整或信息不足的报告、儿科患者(< 18岁)的报告、随访或治疗后监测报告、因图像质量差而无法诊断的报告,以及完全正常、无任何诊断或描述性发现的报告。

所有报告在分析前均经过去标识化处理以确保患者隐私。

图1 研究流程图,展示大语言模型(LLMs)对放射学报告的评估 查看原图 ↗

所评估的AI语言模型

每份放射学报告均配以标准化患者提问:“你能解释一下我的放射学报告吗?”该提示词提交至三个公开可用LLM的免费版本:ChatGPT Free(GPT-3.5,OpenAI,2025年5月版本)、Google Gemini(Gemini 2.5 Flash,通过Gemini应用可用的免费版本,2025年5月)和Microsoft Copilot(基于GPT-4的免费版本,集成于Microsoft Edge/Bing,2025年5月)。所有回答于2025年5月23日至30日期间收集,每个查询对每个模型仅提交一次且不重新生成,以反映典型用户体验。报告以未经修改的纯文本格式提交,未提供额外指示或说明。使用默认模型行为和设置,未激活任何付费功能或插件。所有生成的回答均记录以供后续评估(补充表1)。

每份放射学报告均配以标准化患者提问:“你能解释一下我的放射学报告吗?”该提示词提交至三个公开可用LLM的免费版本:OpenAI的ChatGPT Free(GPT-3.5)、Google的Google Gemini和Microsoft的Microsoft Copilot(通过Edge/Bing)。所有回答于2025年5月23日至30日期间收集,每个查询对每个模型仅提交一次且不重新生成,以反映典型用户体验。报告以未经修改的纯文本格式提交,未提供额外指示或说明。使用默认模型行为和设置,未激活任何付费功能或插件。所有生成的回答均记录以供后续评估(补充表1)。

本研究涉及使用三种公开可用的基于人工智能的大型语言模型——ChatGPT(GPT-3.5;OpenAI)、Google Gemini(Gemini 2.5 Flash,免费版)和Microsoft Copilot(Microsoft,Edge/Bing)——基于标准化提示词生成面向患者的放射学报告解释。未使用任何人工智能工具进行数据分析或统计计算;统计分析使用SPSS 26版(IBM Corp.)进行。

评估方案

所有人工智能生成的输出由两名分别具有20年和8年放射学经验的委员会认证放射科医师通过共识独立评估,使用以下参数:医学正确性

每个AI生成回答的正确性采用3分制评估(0=不正确,1=部分正确,2=完全正确)。如果回答准确反映了原始报告中所描述的关键放射学发现,则评分为2(完全正确)。

可理解性(PEMAT-U)

可理解性是指具有不同背景和不同健康素养水平的个体能够理解和解释面向患者信息的容易程度。为评估这一维度,本研究采用了患者教育材料评估工具-可理解性(PEMAT-U),这是一种专门为评估书面健康教育内容而开发的经过验证的工具[15]。

在本研究的背景下,AI生成的回答被视为书面患者教育材料。在17个标准PEMAT-U条目中,16个被认为适用于回答的格式和内容。每个条目如果符合标准则评分为“1”,不符合则评分为“0”,不适用则评分为“N/A”并排除在分母之外(例如,条目13“材料的视觉辅助工具具有清晰的标题或说明文字”因不适用于纯文本回答而被排除)。最终可理解性得分计算如下:

PEMAT-U百分比越高表示可理解性越强。

PEMAT的“可操作性”部分未予评估,因为其包含与视觉辅助工具和行为指导相关的标准,不适用于所分析回答的性质。PEMAT-U得分越高表示可理解性越好,患者理解的潜力越大。

可读性指数

为客观评估AI生成回答的文本复杂性,计算了三种成熟的可读性指数:Flesch阅读易读性(FRE)、自动可读性指数(ARI)和Gunning Fog指数(GFI)。所有可读性评分均使用免费可用的网络工具计算,以确保分析间的一致性和透明度。

FRE评估文本阅读的容易程度,评分计算公式为:其中ASL为平均句长,ASW为每词平均音节数。FRE评分范围为0至100,评分越高表示语言越简单、越易于理解。60–70分通常被认为对普通受众是可接受的。

ARI估算理解文本所需的美国年级水平。公式为:

ARI值越低对应可读性越容易,评分与教育年级水平相对应(例如,ARI为8意味着可由8年级学生理解)。

GFI估算一个人首次阅读时理解文本所需的正规教育年数。其计算公式为:其中复杂词定义为具有三个或以上音节的词,不包括专有名词和常见术语。GFI评分为7–8对于面向普通受众的材料是理想的,而更高的值表明难度递增。

可读性评分通过专为文本分析设计的公开在线平台计算[16]。这些指数为每个AI生成输出的语言可及性提供了标准化的定量评估。

引发焦虑的可能性

每个回答引发患者焦虑的可能性采用3点Likert量表(0=否,1=部分,2=是)进行评估,依据是是否存在令人警觉或带有情绪色彩的语言。在缺乏适当背景或安抚的情况下陈述或暗示严重病况的回答(例如“这表明脑损伤”或“这可能是癌症”)评分较高。此外,提及严重诊断但未在报告中明确陈述或缺乏解释性背景的回答(例如“这些发现可能与脑肿瘤一致”)也被认为会增加焦虑。直接警告或紧急行动呼吁——如“立即咨询您的医生”或“可能需要紧急医疗干预”——被归类为引发焦虑。

沟通内容评估

三个额外的沟通维度采用3点量表(0=否,1=部分,2=是)进行评估:不确定性语言, indicating whether the response acknowledged diagnostic ambiguity or limitations (e.g., “These findings may suggest several possibilities; clinical correlation is advised”);

患者指导,评估是否包含对患者的信息性建议,如随访或后续步骤(例如“您应该咨询您的医生以确定这些发现的原因”;“这些影像学发现可能需要进一步评估。可能建议进行随访影像学检查或额外检测”;“如果您出现头痛或视觉障碍等新症状,应咨询医疗保健提供者”);

临床建议,捕捉AI是否试图提供诊断或治疗相关建议(例如“这些发现可能提示微血管缺血,通常通过控制血压进行管理”,或“如果这代表感染,可能需要抗生素”;“这可能反映脱髓鞘疾病;可能需要神经系统评估并可能需要皮质类固醇治疗”;“在心血管危险因素的背景下,这些发现应促使优化血压和血脂控制”)。

两位放射科医生此前已通过既往学术工作和科学报告熟悉可读性指数(FRE、ARI和GFI)。为确保一致性,在评估前进行了一次关于PEMAT-U工具应用的简短校准会议。无需进一步正式培训。

统计分析

所有统计分析均使用SPSS 26版(IBM Corp.)进行。由于连续变量呈非正态分布(通过视觉评估和/或正态性检验评估),采用非参数方法。三种AI模型间的组间差异对每个结局变量使用Kruskal–Wallis H检验进行评估。当结果显著时,使用双侧Mann–Whitney U检验进行事后两两比较,并采用Bonferroni校正以控制多重比较。p值<0.05被认为具有统计学意义。连续数据以均值±标准差(SD)报告,分类变量以频率和百分比报告。

结果

三种AI模型的医学正确性完全相同,平均评分为1.97 ± 0.17(满分2分),三者间未观察到统计学显著差异(p > 0.05;表1)。

相比之下,在可理解性、可读性和沟通特征方面出现了显著差异。ChatGPT获得了最高的可理解性评分(PEMAT-U:89.58 ± 3.90%),其次是Gemini(84.54 ± 3.94%)和Copilot(73.70 ± 4.35%),所有两两比较均产生统计学显著结果(p < 0.01;表1和表2)。

可读性指标也以ChatGPT为优,其获得了最高的FRE(60.33 ± 3.65)以及最低的ARI(9.66 ± 1.01)和GFI(9.10 ± 1.04),反映出更简单的句子结构和词汇(表1)。相比之下,Copilot生成的回答更为复杂,这体现在其FRE(45.62 ± 2.50)、ARI(12.50 ± 0.99)和GFI(11.38 ± 0.96)评分上(表1)。

在所有评估指标中,仅Copilot的GFI评分在不同放射学亚专科间显示出显著差异(p = 0.048;表3)。最高GFI值出现在神经放射学报告中(11.84 ± 1.04),表明与肌肉骨骼影像学(10.92 ± 0.77;表4)相比具有更高的语言复杂性。

三种模型的焦虑诱导潜力均较低(0.07 ± 0.33,p > 0.05;表1)。然而,Copilot表现出最高的不确定性语言使用(1.62 ± 0.62)和临床建议(1.69 ± 0.60),其次是Gemini和ChatGPT,所有差异均具有统计学显著性(p < 0.01;表1和表2)。患者指导在Gemini回答中最常见(1.62 ± 0.58),而ChatGPT提供的指导显著较少(1.02 ± 0.72,所有比较p < 0.01;表2)。

总体而言,ChatGPT在可理解性和可读性方面优于其他模型,而Copilot提供了最多的解释性内容,尽管其语言更为复杂且可及性较低。

表1 AI模型在医学正确性、可理解性、可读性和沟通特征方面的平均评分比较 查看原表 ↗
表2 AI模型在可理解性、可读性和沟通指标方面的事后两两比较 查看原表 ↗
表3 AI语言模型输出在不同放射学亚专科间的比较 查看原表 ↗
表4 按放射学亚专科划分的Copilot回答GFI评分(均值±标准差) 查看原表 ↗

讨论

本研究对三种免费大型语言模型(ChatGPT、Gemini和Copilot)在向患者解释放射学报告方面进行了结构化比较。尽管在可理解性、可读性和沟通特征方面存在差异,但在医学正确性方面未发现显著差异;所有模型输出的内容基本上正确且一致。Amin等[9]发现,在简化150份放射学报告时,ChatGPT-3.5和Bing在事实准确性和完整性方面的得分高于Bard(p < 0.05)。Infante等[17]报告,ChatGPT-4在急诊CT报告中的诊断一致性最高(κ = 0.645),优于Perplexity和Bard(κ = 0.392)。Nakaura等[18]指出,GPT-4的输出与放射科医师报告高度相似,但警告由于存在幻觉风险,不应在未经专家验证的情况下依赖其输出。在清晰性与临床可靠性之间保持平衡仍然至关重要。

在受评估的大型语言模型中,ChatGPT在可理解性(PEMAT-U:89.58 ± 3.90%)和可读性(FRE = 60.33 ± 3.65;ARI和GFI评分最低)两方面均表现最佳。这表明其在生成患者友好型回复方面具有强大潜力。传统放射学报告通常难以理解;Martin-Carreras等[2]指出其平均阅读难度为13年级水平。相比之下,本研究中ChatGPT的FRE评分落在公共卫生材料推荐范围内。Li等[19]也表明,ChatGPT显著改善了可读性,在以患者为中心的提示下将FRE评分从38.0提高至83.5,并将阅读年级从10年级降至6年级。然而,尽管输出清晰,ChatGPT提供的解释性内容有限,在患者指导(1.02 ± 0.72)和临床建议(1.09 ± 0.81)两方面得分最低。它也很少使用不确定性语言——而Copilot使用得更为频繁。这些发现凸显了ChatGPT在可及性方面的优势,但也指出了其在提供更细致且具有临床支持性的回复方面的不足。

其他比较研究也支持本研究的发现。Amin等[9]评估了四种大型语言模型(ChatGPT-3.5、GPT-4、Bard、Bing),发现GPT-4和Bard生成的摘要可读性最高,而ChatGPT-3.5生成的回复最短且临床最准确,在患者沟通方面获得最高评分。类似地,Doshi等[20]证实,在以患者为中心的查询提示下,所有模型均改善了可读性并降低了阅读难度级别。Tepe等[21]在其评估30份放射学报告的研究中发现,所有人工智能模型(ChatGPT-4、Google Bard和Microsoft Copilot)均有效地将医学术语简化为更易懂的语言。Bard获得了最高的可读性评分,而ChatGPT-4和Bard的可理解性评分超过70%(p < 0.01),表现突出。这些结果凸显了提示设计在增强大型语言模型沟通能力方面的作用。

相比之下,Copilot通常生成更长、更复杂的输出,GFI和ARI评分更高。这与Amin等[9]的发现一致,他们指出基于Bing的模型包含过多的技术细节,限制了清晰性。值得注意的是,本研究发现Copilot提供的解释性内容最多,通常包含临床建议和不确定性语言。虽然这可能类似于“医生式”的语气,但若框架不当,也可能增加焦虑。因此,在信息量与情感清晰度之间保持平衡至关重要。

在基于亚专业的分析中,仅Copilot在GFI评分上显示出统计学显著差异(表4)。由Copilot生成的神经影像学报告表现出最高的语言复杂性。这表明模型的输出可能对原始报告的技术密度敏感。未来,对语言模型进行亚专业特定的微调可能有助于产生更合适和定制化的内容。

值得注意的是,所有模型均表现出普遍较低的焦虑诱发潜力,尽管这是由专家评审员而非患者评估的。这与Amin等人[14]提出的担忧略有不同,他们警告称,大型语言模型(LLM)过于技术化或模糊的语言可能引发患者焦虑。未来纳入直接患者反馈的研究对于验证这些观察结果至关重要。

本研究存在若干局限性。仅评估了英文书面文本;视觉或音频输出未在本研究范围内分析。此外,仅测试了LLM的免费可访问版本,因为这些是普通公众最常可获得的版本。由于这些模型持续更新,未来版本或高级版本可能产生不同结果。最后,所有评估均由放射科医生而非患者进行,这可能限制研究结果对实际患者理解和情绪反应的普适性。虽然PEMAT-U和可读性指数等工具提供了标准化指标,但它们并不能完全捕捉患者对内容的感知或情绪反应。

提示设计是影响LLM输出的重要因素。本研究中,我们使用了单一标准化提示(“你能解释我的放射学报告吗?”)以确保各模型之间的可比性。虽然这种方法提供了一致性,但并未捕捉到替代或优化提示策略可能带来的变异性。鉴于提示措辞可显著影响模型回应的语气、完整性和相关性,未来研究应探索不同提示设计如何影响沟通质量和患者理解。

此外,尽管我们的结果凸显了增强放射学沟通的良好潜力,但LLM生成的解释必须在适当的临床和伦理框架内加以解读。放射学报告主要设计用于临床医生之间的沟通,通常包含技术术语和隐含的诊断推理,这可能限制患者对其的可及性[22]。随着患者越来越多地直接获取其医疗记录,关于潜在误解、困惑或焦虑的担忧随之产生。尽管LLM提供了有价值的简化工具,但过度简化、细节丢失或错误表述等风险必须予以考虑[23, 24]。因此,未来实施基于LLM的患者沟通应涉及专家监督并优先考虑伦理透明度。

结论

本研究基于专家对三种可免费访问的大语言模型(LLM)——ChatGPT、Gemini 和 Copilot——在生成放射学报告简化解释方面进行了比较评估。尽管所有模型在诊断内容方面表现出了一致的输出,但其沟通特征各不相同。根据结构化可读性工具,ChatGPT 生成了最易读、最易理解的回答。Copilot 产生了更具解释性但语言复杂的输出,而 Gemini 提供了相对更强的患者指导,清晰度较为均衡。这些发现强调了 LLM 在支持面向患者的放射学沟通方面的潜力;然而,其应用应以特定的沟通目标为指导,并辅以专家监督。未来纳入患者视角的研究可能有助于进一步验证这些基于专家的发现,并为实际实施策略提供信息。

补充信息

电子补充材料

引用

  1. Bozer A, Pekçevik Y. Comparative Evaluation of Large Language Models in Explaining Radiology Reports: Expert Assessment of Readability, Understandability, and Communication Features. Insights Imaging. 2025. PMID: 41162778. doi:10.1186/s13244-025-02121-3
  2. 全文:PMC12572556(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12572556/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。