文献速递胸部技术与安全CTDR

急诊胸部X线报告生成:五款生成式AI模型与放射科医生的多维度比较

Comparative evaluation of generative AI models for chest radiograph report generation in the emergency department.
PubMed 文献 · Eur Radiol · 2026-06-10

本研究回顾性纳入478例急诊同日完成胸片与CT的成人患者,对5款医学视觉语言模型与放射科医生报告进行盲法比较。AIRead的RADPEER 3b比例最低且临床可接受性最高,幻觉率与医生相当;其他模型在诊断一致性、幻觉或语言清晰度方面表现不一。

要点

  • AIRead报告可接受性最高,幻觉率与医生相近,急诊条件下可辅助初筛。
  • 其余模型易产生比较语句、侧位片描述或测量值等幻觉,使用前应核查。
  • 语言清晰不等于诊断可靠,书写模型生成报告时必须结合图像独立验证。

核心结论

  • 医学视觉语言模型用于急诊胸片报告生成的表现差异明显,AIRead整体质量最接近甚至部分优于放射科医生。
  • 除AIRead外,其他模型在RADPEER不一致、临床可接受性或幻觉率方面多于医生报告。
  • 模型文字通顺程度与诊断准确性不完全一致,临床整合前需多维度验证。

研究设计与样本

  • 回顾性单中心研究,纳入2022年1月至2025年4月急诊完成初次胸片与当日胸部CT的478例成人患者。
  • CT作为病变级参考标准,胸片报告由3名胸组放射科医生在随机盲法条件下分别评阅5款视觉语言模型与医生报告。
  • 评估维度包括RADPEER、临床可接受性、幻觉和语言清晰度,并用广义线性混合模型以医生报告为参照进行统计比较。

关键影像表现/征象

  • AIRead对肺实变或磨玻璃影检出敏感度为77.8%(200/257),对胸腔积液检出敏感度未列入本文最优点。
  • Lingshu对肺实变或磨玻璃影敏感度16.3%(42/257)、胸腔积液21.3%(43/202),均低于其他模型。
  • MedGemma对胸腔积液敏感度最高,为71.8%(145/202);其报告常见枚举式描述,可能将压迫性肺不张表述为肿块或感染。
  • MedVersa曾在代表性病例中错误报告气胸,并出现与临床沟通相关的幻觉句子。

诊断标准与关键数值

  • AIRead的RADPEER 3b比例为5.3%(76/1434),低于医生报告的13.9%(200/1434)(p<0.001)。
  • AIRead标准临床可接受率为84.5%(1212/1434),高于医生报告的74.3%(1065/1434)(p<0.001)。
  • AIRead幻觉率为0.3%(4/1425),与医生报告的0.1%(1/1425)无统计学差异(p=0.21)。
  • Lingshu、MAIRA-2、MedGemma、MedVersa幻觉率分别为11.0%、17.4%、5.4%、12.3%。
  • AIRead、Lingshu、MedVersa语言清晰率分别为82.9%、88.0%、88.4%,均高于医生报告的78.1%(p<0.05)。

临床应用与阅片要点

  • 在计划部署自动初步胸片报告时,应重点核查比较语句、侧位描述、测量值及未提供临床信息等幻觉内容。
  • 急诊胸片报告中,文字清晰度不能替代病变检出,使用模型初稿时应逐项核对主要病变征象。
  • 对于模型漏报的气胸、粟粒结节或腹腔游离气体等情况,仍需保留医生独立阅片环节。

局限性

  • 本研究为单中心回顾性设计,部分时段由住院医师或专科医师书写原始报告,可能影响医生参照报告质量。
  • CT作为病变级参考标准,具体病变定义阈值与临床胸片在敏感性上存在天然差异。
  • 模型报告在无临床信息条件下生成,医生原始报告可能受临床信息影响,二者工作条件不完全一致。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2026 Jun 10;36(10):7911–24. doi: 10.1007/s00330-026-12648-8

引言

在过去十年中,基于人工智能(AI)的方法(包括深度学习)已在胸部X线片(CXR)异常检测和定位方面显示出潜力[1]。近期,能够联合处理图像和文本的视觉–语言模型(VLM)的出现,使放射学报告生成受到关注[1]。考虑到全球放射科医生的短缺,以及影像学检查日益增长的需求和临床重要性使这一短缺不断加剧,这一点尤为相关[2–4]。因此,基于VLM的报告生成被提出作为一种潜在的解决方案,用于在放射科医生有限的场景下生成及时且有临床实用价值的报告[1]。

既往研究已探索了AI在CXR报告生成中的表现,大多数使用语义相似度指标或基于标签提取的自动化指标来评估输出[5–8]。然而,评估AI生成报告的临床实用性和质量需要多维度的方法,以准确判断VLM是否具备临床转化的就绪度[9, 10]。例如,一项先前的研究采用了多维评估,包括临床可接受性、专家一致性和整体报告质量[10]。VLM生成报告评估的关键维度应包括诊断性能(报告水平和发现水平)、临床可接受性(即生成的报告仅需少量修改即可用于临床)、无幻觉以及语言清晰度[10, 11]。

医学图像专用VLM能够内化放射学先验知识,超越了通用模型从自然图像和图像说明中获取的内容[10–12]。尽管医学VLM在独立测试中已展现出良好的性能[13–16],但目前文献中尚缺乏针对CXR报告生成这一特定任务的、跨多个医学VLM的系统性标准化比较。在统一框架和相同实验条件下对模型生成的报告进行比较至关重要。

在这项回顾性研究中,我们通过对医学图像专用VLM进行系统性的头对头基准测试来填补这一空白,以评估其在CXR报告生成中的表现。我们使用来自急诊科就诊患者的CXR,对五个近期发布的模型与真实世界中放射科医生撰写的参考报告进行了多维度比较。

材料与方法

本回顾性研究经首尔大学医院机构审查委员会批准(编号:H-2505-199-1646),并免除了知情同意。

患者

回顾性纳入了2022年1月至2025年4月期间在一家三级转诊中心急诊科就诊的成年患者。符合条件的患者为当日接受了初始正位CXR(前后位或后前位)和胸部CT检查的患者,CT作为发现水平评估的参考标准。其中,纳入因发热和/或寒战或呼吸道症状——包括呼吸困难、咳嗽伴或不伴咳痰、痰中带血或咯血、以及胸部不适或疼痛——就诊的患者。排除以下患者:(1)CXR报告中含有比较性描述的患者;(2)无法获取报告的患者;(3)报告重度依赖临床信息而非影像学发现的患者。

数据收集

从电子病历中,我们收集了患者人口统计学信息、放射科医师撰写的胸片报告、胸片与CT扫描的间隔时间、主诉及合并症。胸片的医学数字成像与通信文件从影像归档与通信系统中导出。2022年1月至2024年2月期间的胸片主要由放射科住院医师判读,而2024年3月至2025年4月期间的胸片由持有专科认证的放射科医师判读。后一时段恰逢全国性医学生、住院医师和专科培训医师罢工,急诊科的工作量因此完全转移到了持有专科认证的放射科医师身上 [17, 18]。

胸片报告生成

采用了五种医学影像专用视觉语言模型:AIRead(Soombit.ai)、Lingshu(阿里巴巴)、MAIRA-2(微软研究院)、MedGemma(谷歌DeepMind)和MedVersa(哈佛大学)[10, 13–16]。其中,后四种模型为开源模型。对于每种模型,均根据相应的医学数字成像与通信文件生成胸片报告,且无法获取临床信息或对照影像。模型推理在单块运行CUDA 12.4的NVIDIA H100图形处理单元上执行,未进行微调或迁移学习。各模型的详细信息,包括可用性和所用提示词,见补充文本1。

视觉语言模型生成胸片报告的评估

视觉语言模型生成的胸片报告采用两种方法进行评估:(1)一项多阅片者研究,基于四项标准(RADPEER评分、临床可接受性、是否存在幻觉及语言清晰度)评估自由文本报告的诊断质量 [10, 19];(2)发现级别的诊断敏感性和特异性。

报告级别的诊断质量

RADPEER评分系统最初由美国放射学会开发,作为质量保证的同行评审工具 [19]。该评分采用三级量表:1分表示与原判读完全一致,而2分(可理解的漏诊)和3分(不可接受的漏诊)表示分歧程度逐渐增加。“a”和“b”两个子类别进一步将发现分别归类为无临床意义或有临床意义。研究结局定义为评分为3b(不可接受的、有临床意义的漏诊)的报告比例,以及评分为2b或3b合计(任何有临床意义的漏诊[即更严格的标准])的报告比例。

临床可接受性采用四分制量表进行评估,该量表考虑了检测错误的存在(如假阴性、假阳性、侧别错误)以及临床使用所需编辑的程度,作为对RADPEER系统的补充[11]。在该量表中,1分表示由于临床应转诊异常存在检测错误而不可接受的报告。2分表示因较少的关键检测错误或需要大量编辑,经重大修改后可接受的报告。3分表示仅需轻微修改即可接受的报告,总体上准确但需要有限编辑。最后,4分表示可直接接受的报告,准确、清晰且无需编辑即可用于临床。研究结局为临床可接受报告的比例,按两个阈值定义:(1)标准标准,包括可直接接受或轻微修改后可接受的报告;(2)严格标准,仅限于可直接接受的报告。

幻觉定义为包含了无法从单张正位胸片中获得的信息。示例包括提及侧位片、患者病史、对比检查或研究场景和模型不支持的测量值(如病灶大小或距离)。语言清晰度采用五分制量表作为可读性的衡量指标(1分,不可接受;2分,差;3分,中等;4分,良好;5分,优秀)。研究结局为评分为4分或5分的报告比例。

该评估框架应用于五个视觉语言模型(VLM)生成的报告以及放射科医师撰写的报告。三位经委员会认证、接受过专科培训的胸部放射科医师(J.H.L.,专科培训后4年经验;W.H.L.,2年;J.Y.L.,1年)在可获取原始胸部X线片图像的情况下,使用基于网络的评估平台,以随机、盲法的方式对每个病例的所有六份报告(五份VLM生成的和一份放射科医师撰写的)进行独立评估。所有评估均在单次会话中完成,无洗脱期。标准总结于补充表1。

逐患者发现级分析

对VLM生成的和放射科医师撰写的胸部X线片报告测量了发现级灵敏度和特异度,以同日胸部CT作为参考标准。审阅CT扫描以确定是否存在预定义的异常:主动脉瘤(升主动脉≥50 mm,降主动脉≥40 mm)、心脏增大(CT心胸比>0.5)、空洞、肺气肿、肺门肿块、肺实变影(实变或磨玻璃影)、纵隔肿块、粟粒性结节、非钙化结节(≥4 mm)或肿块、心包积液、胸腔积液、纵隔气肿、腹腔积气、气胸和网状影[20–22]。每份CT由三位经委员会认证的胸部放射科医师之一在读者研究完成后进行审阅。

随后,使用先前开发的标注器从胸部X线片报告中提取各发现的有无(补充文本2)。简言之,使用了CheXGPT,这是一种基于变换器双向编码器表示(Bidirectional Encoder Representations from Transformers)的模型,在300万份胸部X线片报告上训练而成[23]。

统计分析

连续变量的正态性采用Shapiro–Wilk检验进行评估。连续变量根据分布情况以均值±标准差或中位数及四分位距(IQR)表示。

报告质量指标的比例采用带 logit 链接的广义线性混合效应模型进行分析。报告来源(VLMs 或放射科医生)作为固定效应纳入,以放射科医生为参照类别,阅片者和病例作为随机截距建模。原始报告中包含测量值的病例从幻觉分析中排除。进行了亚组分析,按性别(男性 vs 女性)、年龄(≥ 65 岁 vs < 65 岁)和阅片放射科医生的专业水平(住院医师 vs 持证专科医师)分层。在征象水平分析中,以 CT 作为参考标准,分别计算每种报告来源和每种异常的敏感度和特异度及其 95% 置信区间。

所有统计分析由 W.H.L. 使用 R(版本 4.1.2)完成,双侧 p < 0.05 认为具有统计学意义。

结果

患者

在 1037 例就诊于急诊科并接受初次 CXR 和 CT 检查的成人患者中,排除以下患者:(1)无发热、寒战或呼吸道症状的患者(n = 537),(2)CXR 报告中包含对比性描述的患者(n = 19),(3)报告缺失的患者(n = 1),以及(4)报告主要依赖临床信息而非影像学表现的患者(n = 2)。最终共有 478 例患者(中位年龄 67 岁 [IQR,50–78];男性 282 例 [59.0%])纳入最终分析(图 1)。

最常见的主诉是呼吸困难(47.7% [228/478]),其次是发热和/或寒战(23.6% [113/478])(表 1)。5.4%(26/478)的患者存在恶性肿瘤(肺癌,n = 9;其他实体器官恶性肿瘤,n = 12;血液系统恶性肿瘤,n = 5),3.1%(15/478;慢性阻塞性肺疾病,n = 10;间质性肺疾病,n = 5)的患者存在弥漫性肺实质疾病(表 1)。在纳入的 CXR 中,32.6% 的患者(156/478)被解读为正常(即无异常发现),其余 67.4%(322/478)至少有一项异常。

图 1 患者纳入和排除流程图 查看原图 ↗
表 1 研究患者特征 查看原表 ↗

报告水平诊断质量

中位词数分别为:放射科医生 5 个词(IQR,4–7),AIRead 10 个词(IQR,4–15),Lingshu 32 个词(IQR,27–38),MAIRA-2 19 个词(IQR,14–28),MedGemma 275 个词(IQR,242–321),MedVersa 46 个词(IQR,32–66)。

代表性病例见图 2–4 和补充图 1、2。

图 2 真阳性病例的代表性 CXR 和报告。79 岁男性,呼吸困难。正位 CXR 显示肺血管纹理增多,伴可疑的支气管周围模糊影(白色箭头);CT 证实小叶间隔增厚(黑色箭头)。部分报告来源提示肺淤血/水肿,而 MAIRA-2 和 MedVersa 未能报告这些发现。绿色 = 真阳性/真阴性;红色 = 假阳性/假阴性。 查看原图 ↗
图3 假阳性病例的代表性胸片及报告。一名35岁男性,胸部不适。胸片显示左侧胸腔积液和心影增大(白色箭头);CT证实心包积液伴心包增厚及左侧胸腔积液(白色箭头)。AIRead和MedVersa正确描述了这些表现,而其他模型部分或完全遗漏。MedVersa错误报告了气胸,Lingshu生成了比较性陈述。绿色=真阳性/真阴性;红色=假阳性/假阴性;黄色=幻觉 查看原图 ↗
图4 展示幻觉和语言清晰度问题的代表性胸片及报告。A 一名29岁男性,胸部不适。胸片和CT显示纵隔气肿和皮下气肿。放射科医生和AIRead的报告恰当,而MAIRA-2包含比较性陈述,MedGemma推断出了医学信息。绿色=真阳性/真阴性;红色=假阳性/假阴性;黄色=幻觉。B 一名26岁男性,胸痛伴气胸。Lingshu未能报告右侧大量气胸,而其他模型正确描述了该表现。MedVersa包含了一条关于医生沟通的幻觉性陈述。值得注意的是,MedGemma采用了列举式表述方式,将由大量气胸引起的明显压迫性肺不张错误地描述为肿块/肿瘤、感染、积液或实变,从而影响了语言清晰度。此外,MedGemma的报告有时包含不完整的句子。绿色=真阳性/真阴性;红色=假阳性/假阴性;黄色=幻觉/语言清晰度差;下划线=句子不完整 查看原图 ↗

VLM生成报告的一致性和可接受性

放射科医生撰写的报告中,包含RADPEER 3b级不一致的比例为13.9%(200/1434)。在VLM生成的报告中,与放射科医生报告相比,AIRead显示出较低的RADPEER 3b比例(5.3% [76/1434],p < 0.001),而其他VLM则显示出较高的比例:Lingshu(43.0% [616/1434],p < 0.001)、MAIRA-2(24.5% [352/1434],p < 0.001)、MedGemma(16.8% [241/1434],p = 0.02)和MedVersa(25.9% [371/1434],p < 0.001)(表2和图5)。对于RADPEER 2b或3b级不一致,AIRead的比例也低于放射科医生(AIRead,20.3% [291/1434] vs 放射科医生,30.3% [435/1434];p < 0.001),但Lingshu(57.1% [819/1434],p < 0.001)、MAIRA-2(36.8% [528/1434],p < 0.001)和MedVersa(38.4% [551/1434],p < 0.001)的比例较高(表2和图5)。MedGemma的RADPEER 2b或3b率(27.9% [400/1434],p = 0.10)与放射科医生相当。

使用标准标准时,不同VLM的临床可接受报告比例存在差异。AIRead的可接受率最高,高于放射科医师(AIRead,84.5% [1212/1434] vs 放射科医师,74.3% [1065/1434];p < 0.001)(表2和图5)。所有其他模型的可接受率均低于放射科医师:Lingshu(41.1% [589/1434])、MAIRA-2(65.6% [941/1434])、MedGemma(71.4% [1024/1434])和MedVersa(63.7% [914/1434])(均p < 0.05)(表2和图5)。在严格标准下,AIRead仍显示最高的可接受率,且高于放射科医师(58.2% [834/1434] vs 43.5% [624/1434],p < 0.001)(表2和图5)。MedGemma的可接受率与放射科医师相似(42.9% [615/1434],p = 0.68),而其他VLM生成的报告可接受率较低(25.3–39.7%,均p < 0.05)。

图5 视觉-语言模型生成的CXR报告与真实世界放射科医师撰写报告的比较评价。所有CXR报告均由三位胸部放射科医师以盲法和随机方式独立审阅和评分。A 五种视觉-语言模型(AIRead、Lingshu、MAIRA-2、MedGemma和MedVersa)及放射科医师(即原始报告)的RADPEER评分分布。RADPEER类别表示判读一致性水平,较低分数反映较高一致性,较高分数反映较大差异。在每个分数内,“a”描述符表示临床上不显著的差异,而“b”表示临床上显著的差异。B 报告的临床可接受性,分类为可直接接受、需轻微修改后可接受、仅需重大修改后可接受或不可接受。C 语言清晰度按5分制评分,分数越高表示清晰度越高。 查看原图 ↗
表2 三位胸部放射科医师对放射科医师撰写报告和AI生成报告的评价 查看原表 ↗

VLM生成报告的幻觉和语言清晰度

在放射科医师撰写的报告中发现了一处幻觉,但这并非真正的幻觉,而是审阅者对假阳性发现的主观解读。含幻觉的报告比例在Lingshu(11.0% [157/1425])、MAIRA-2(17.4% [248/1425])、MedGemma(5.4% [77/1425])和MedVersa(12.3% [175/1425])中明显高于放射科医师(0.1% [1/1425],均p < 0.05)。相比之下,AIRead的幻觉被显著抑制,仅0.3%的报告(4/1425,p = 0.21)受到影响。

在语言清晰度方面,AIRead(82.9% [1189/1434],p = 0.001)、Lingshu(88.0% [1262/1434],p < 0.001)和MedVersa(88.4% [1268/1434],p < 0.001)优于放射科医师(78.1% [1120/1434])。MedGemma在所有报告来源中语言清晰报告的比例最低(69.7% [1000/1434],p < 0.001)(表2和图5)。

报告级诊断质量的亚组分析

按性别、年龄和判读放射科医师经验水平分层的亚组中,这些趋势保持相似(补充表2–7)。

在按放射科医生经验分层的分析中,与住院放射科医生(5.6% [60/1074] vs 13.3% [143/1074],p < 0.001)和持证放射科医生(4.4% [16/360] vs 15.8% [57/360],p < 0.001)相比,AIRead始终显示出最低的临床显著不一致比例(RADPEER 3b)。相比之下,无论放射科医生的经验水平如何,Lingshu、MAIRA-2和MedVersa始终显示出比放射科医生更高的不一致率(均p < 0.001;补充表6和7)。

类似地,AIRead展示了最高的临床可接受性,而Lingshu在两个亚组中始终显示最低的可接受性(均p < 0.001)。其他VLM表现居中,且根据可接受性标准和阅片者经验的不同存在一定差异(补充表6和7)。

三位评估者之间的一致性总结于补充表8和9。语言清晰度方面的不一致在MedGemma的报告中尤为明显(补充表8和9)。

发现级别的诊断性能

最常见的CT表现为肺实变影(实变或磨玻璃影),占53.8%(257/478),其次是胸腔积液,占42.3%(202/478),结节或肿块占23.4%(112/478),肺气肿占18.2%(84/478),心脏增大占15.7%(75/478)(表3和4)。约16.3%的CT扫描(78/478)为正常。

检测与患者急性症状可能相关的主要异常(即肺实变影和胸腔积液)的每患者敏感度和特异度在不同VLM之间存在差异。AIRead和MedGemma分别在肺实变影和胸腔积液的检测中取得了最高的敏感度(AIRead肺实变影:敏感度77.8% [200/257],特异度70.6% [156/221];MedGemma胸腔积液:敏感度71.8% [145/202],特异度75.0% [207/276])。Lingshu在模型中显示了对这两种异常最低的敏感度(肺实变影:敏感度16.3% [42/257],特异度89.1% [197/221];胸腔积液:敏感度21.3% [43/202],特异度90.2% [249/276])。VLM在其他表现方面也表现出相当大的变异性(心脏增大:敏感度69.3–86.7%,特异度61.5–87.3%;肺气肿:敏感度2.4–20.2%,特异度94.7–99.2%)(表3和4;及图6)。

没有任何VLM识别出10例粟粒性结节中的任何一例,或唯一一例气腹病例(表3和4;及图6)。Lingshu未能检测出9例气胸病例中的任何一例(表3和图6),AIRead成功检测出一例纵隔气肿(图4)。更多结果见表3和4及图6。

表3 以胸部CT为参考标准的诊断性能 查看原表 ↗
表4 以胸部CT为参考标准的诊断性能 查看原表 ↗
图6 各项发现的敏感度和特异度。森林图显示了15项发现的敏感度(左)和特异度(右)及95%置信区间,包括心脏增大、实变或磨玻璃影(GGO)、胸腔积液、气胸、纵隔气肿、肺门增大、纵隔增宽、网状影、结节或肿块、肺气肿、主动脉瘤、空洞、心包积液、粟粒性结节和气腹。结果在五个视觉语言模型(AIRead、Lingshu、MAIRA‑2、MedGemma和MedVersa)和放射科医生(即原始报告)之间进行了比较 查看原图 ↗

讨论

尽管最近已发布了多个用于医学影像的视觉语言模型(VLMs),但对其进行比较评估的研究仍然有限。本研究分析了急诊科以发热或呼吸系统症状就诊的患者的胸部X线片(CXRs),并将五种VLM生成的报告与临床实际中放射科医生撰写的报告进行了比较。在这些模型中,AIRead在多个质量维度上始终表现出最有利的平衡,临床显著不一致率较低,临床可接受性较高,优于放射科医生。其他VLM表现参差不齐,有些在语言清晰度方面表现突出,但在诊断一致性和/或临床可接受性方面可靠性较差。值得注意的是,AIRead表现出极低的幻觉率,这一特性有助于提高报告的可靠性。

我们的研究结果与既往研究一致,表明VLM生成的报告可获得较高的临床可接受性,但仍受幻觉问题及在更严格评估标准下性能下降的限制 [10, 23, 24]。与既往主要评估单一模型的研究不同,本研究对多个当前VLM进行了头对头比较,揭示了模型间存在显著差异。此外,本研究聚焦于急诊科场景,在该场景中,准确、及时的报告至关重要。

我们研究的一个关键发现是诊断性能与可读性之间的脱节。流畅、结构良好的文本并不保证临床准确或有用的内容,这表明语言清晰度与诊断保真度是两个独立的维度 [25, 26]。也就是说,如在Lingshu和MedVersa中观察到的高语言清晰度并未对应更高的诊断准确性,而MedGemma则表现出相反的模式。MedGemma详尽且逐条列举的报告风格在RADPEER评分系统下表现良好,该系统主要强调报告层面的一致性;然而,这种方式似乎以牺牲可读性为代价,从而限制了其实用价值。此外,评估者对语言清晰度的评估者间一致性较低,反映了各评估者评分标准存在较大差异。鉴于语言清晰度易受评估者主观性影响,有必要建立涵盖冗余性、完整性和用词清晰度的标准化评估框架。当VLM生成的输出在事实上不正确时——可能由幻觉所致——却以高置信度和连贯性呈现,可能通过误导最终使用者而带来安全风险 [27]。因此,仍需持续改进,以共同优化诊断准确性与语言清晰度。

鉴于AIRead显示出较低的临床显著不一致率(RADPEER 3b)、在严格标准下更高的可接受性以及罕见的幻觉,该模型可作为临床实践中有价值的辅助工具。一个潜在的应用场景是自动草稿生成,即AIRead生成初步报告,由放射科医师快速审核并定稿,从而在不影响诊断质量的前提下提高效率。在高工作量或资源有限的环境中,AIRead还可作为第二阅片者,以降低错误率并提高报告一致性。此外,其低幻觉率提示其可能适用于急诊或一线诊疗场景,在这些场景中快速可靠的报告至关重要。这些适应证强调此类模型的作用不是替代,而是作为临床支持工具,增强放射科医师的表现,并在繁重工作负荷条件下帮助维持报告质量。

在征象层面,视觉语言模型(VLM)对常见异常表现出相对较高的灵敏度,包括肺实变、胸腔积液、结节或肿块以及心影增大。然而,部分模型观察到的特异度降低凸显了一种权衡,可能导致下游检查的假阳性。更关键的是,放射科医师和视觉语言模型在检测罕见但具有临床意义的征象方面均表现不佳,如主动脉瘤、纵隔或肺门异常以及气腹。延迟识别这些情况可能导致灾难性后果。因此,进一步优化视觉语言模型以更好地识别罕见、高影响的异常至关重要。还需注意的是,每个征象的参考标准均基于CT结果,在解读我们的结果时应考虑胸片在检测某些异常方面的固有局限性——如肺气肿、粟粒性结节和气腹——因为在这些参考标准下灵敏度可能被低估。

本研究存在若干局限性。首先,本研究为单中心回顾性研究。其次,由于韩国的胸部X线(CXR)报告通常采用简洁格式书写,评估者可能倾向于类似的报告风格。这一背景对于解读语言清晰度结果尤为重要,因为其中一位评估者对MedGemma的列举式报告系统性给予了较低评分。然而,在更具描述性报告风格作为标准实践的医疗环境中,偏好的报告风格可能有所不同。因此,我们关于语言清晰度的研究结果应在不同临床和文化背景下加以验证。第三,本研究中放射科医生的诊断表现可能被低估。在研究期间,医学生、住院医师和专科培训医师的全国性罢工增加了已取得专业资格的放射科医生的工作负担,他们不得不在常规临床工作之外额外承担急诊科值班任务。这一非常规临床环境可能对其表现产生了不利影响,在解读结果时应予以考虑。此外,由于报告是在真实临床工作流程中生成的,部分CXR报告可能在参考了后续CT影像后才最终定稿。这可能影响了放射科医生的判读,并可能导致对其表现的高估。因此,解读结果时应考虑到这一点。第四,我们的评估仅纳入了一个非开源模型,其余均为开源模型。第五,本研究未评估对患者结局的下游影响。重要的是,诊断性能的提高并不一定转化为良好的临床结局[28, 29]。第六,视觉语言模型(VLM)的输入仅限于图像,纳入相关临床元数据可能会进一步提升其性能[30, 31]。最后,本研究未评估人机协作,而人机协作可能进一步影响VLM生成报告的临床实用性。

总之,目前已有少数用于CXR报告生成的VLM可供使用,但我们的评估显示其性能差异较大。其中,一个非开源模型不仅在诊断质量上优于放射科医生,而且幻觉率极低,这可能有助于增强对其输出结果的信任。

补充信息

电子补充材料

引用

  1. Lim, Lee, Lee, et al. Comparative evaluation of generative AI models for chest radiograph report generation in the emergency department. Eur Radiol. 2026. PMID: 42268300. doi:10.1007/s00330-026-12648-8
  2. 全文:PMC13574732(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13574732/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。