大视觉语言模型协作式AI辅助胸部X线报告：概念验证研究

引言

放射学在临床决策中发挥着核心作用，放射学报告是放射科医生与其他临床医生之间的主要沟通渠道，例如胸部X线检查，其对诊断多种肺部疾病至关重要[1]。然而，不断增长的影像检查量和持续存在的放射科医生短缺使现有资源承压，并需要更高效的报告解决方案[2, 3]。

基于人工智能的自动化报告生成是提高报告速度并支持准确诊断决策的一种有前景的方法[2]。然而，全自动端到端模型尚不够可靠，偶尔会产生事实性错误或遗漏[4]。因此，它们在临床使用前需要放射科医生仔细审核。

大语言模型（LLMs）的出现标志着人工智能迈出了重要一步，使其能够在各领域实现复杂推理、流畅交互和专业知识处理[5]。在医疗保健领域，这些模型已有效应对具有挑战性的应用，包括临床知识检索、医学考试答题和交互式临床决策支持[5–10]。大型视觉-语言模型（LVLMs）能够联合解读文本和视觉数据，进一步增强了自动化放射学报告生成的潜力[11–13]。然而，当前方法主要集中于完整报告生成或基础聊天功能[11, 12]，尚未探索协作式报告，即允许AI工具提出不完整或不完善的建议，并让放射科医生实时交互式地接受、编辑或忽略建议。与一次性AI预读不同，这一范式保持了对最终报告的持续人工监督和迭代控制。

一些既往研究评估了放射学工作流程中的AI辅助，显示在诊断性能和效率方面均有希望得到改善，AI辅助的胸部X线诊断提高了放射科医生的诊断正确性[14–16]并缩短了平均阅片时间[14, 15]。尽管这些研究证实了AI在支持诊断准确性和报告速度方面的潜力，但它们假定的是静态工作流程，即AI建议在人工输入之前一次性全部呈现。

为弥补这一空白，我们提出了一种更动态、更具协作性的AI辅助报告框架。我们的研究不依赖于一次性AI建议随后由人工事后纠正，而是引入一种协作范式，其中LVLM在报告撰写过程中提供实时、情境敏感的建议。通过整合交互式反馈和迭代优化，这样的系统可以提高准确性、更好地契合放射科医生的偏好，并在保持人工监督和灵活性的同时实现实时支持。

在本研究中，我们提出一个框架，由LVLM在报告撰写过程中提供实时建议，放射科医生可以灵活决定使用或忽略这些建议。我们假设这种方法可以减少报告时间和脑力消耗，同时提高放射科医生满意度和工作流程效率。为评估其有效性，我们开展了一项由执业放射科医生参与的对照用户研究，评估其对报告速度、质量和可用性的影响。

方法

研究设计与数据

本回顾性研究评估了人工智能辅助报告生成在协作环境中的有效性。我们使用MIMIC-CXR数据集[1]，这是一个公开可用的、去标识化的集合，包含377,110张胸部X线片及相关报告。从测试集中，我们随机选择了50例带有非空“所见”部分的扫描，以确保基于文本评估的基线可用性；该标准针对的是文本是否存在而非异常，并且不排除正常病例。仅使用测试数据以避免模型在训练期间接触这些数据。

阅片者研究

三位放射科医生参与了该研究：放射科医生1（委员会认证，8年经验），放射科医生2和3（住院医师，4年和3年经验）。每位放射科医生独立解读全部50张X线图像两次，一次无辅助，一次有人工智能辅助，扫描顺序随机化以最小化回忆偏倚。尽管未采用正式的洗脱期，阅片会话分布在多天进行，且病例顺序随机化并平衡，使人工智能辅助和无辅助阅片在第一次或第二次出现的可能性相等，从而减轻系统性回忆偏倚。在无辅助阅片期间，报告在同一界面中以自由文本形式撰写，所有人工智能功能均被禁用；没有结构化模板或自动完成可用。阅片会话在临床级PACS工作站上使用DICOM图像进行。放射科医生对彼此的报告设盲，并且在无辅助阅片期间对人工智能输出设盲。他们在研究前接受了关于工具使用的简要说明。

报告生成模型

RaDialog模型[13]在HuggingFace[17]上公开可用，用于生成人工智能建议。RaDialog是一个用于胸部X线报告生成的大型视觉语言模型（LVLM），具有双分支架构：视觉特征提取器将X线转换为LLM token空间中的图像token，结构化所见提取器预测关键放射学所见（例如，肺 opacity、水肿、心脏增大），并将其转换为简短文本描述。在推理期间，RaDialog考虑来自（1）图像token、（2）结构化所见文本和（3）当前部分报告的多模态输入。然后LLM在此联合上下文条件下生成后续token，使得每个建议词都基于X线衍生的图像token和结构化所见以及部分报告。该模型采用微调的LLM，在约580k指令风格样本上训练，任务包括报告生成、问答和纠正。该模型及其数据集公开可用，并在报告生成排行榜上排名靠前，为我们的协作写作方法提供了良好基础。我们按照RaDialog论文中的描述提示模型为给定图像生成报告，并在每个建议步骤中将当前报告所有先前生成的部分额外包含在提示中。

协作式人工智能辅助

我们使用RaDialog [13, 17]构建了一个交互式工具，以帮助放射科医生高效地起草胸部X射线报告。图1展示了我们的协作工作流程。该工具设计为本地托管基于网页的平台（图2），界面左侧显示X射线图像，并链接其DICOM ID以便在校准显示器上查看，右侧为用于起草报告的文本字段。该工具利用RaDialog的双分支架构初步提示高层发现，放射科医生可对其进行审核和调整。当开始输入时，我们的工具提供实时预测建议，以浅灰色不显眼地显示，可通过Tab键接受或通过继续输入丢弃。建议在1秒内生成，确保低延迟交互。仅当模型的置信度（源自预测token的SoftMax概率）超过0.5的阈值时，才显示模型建议，以确保更可靠的补全。该置信度在每个词后重新计算，将建议限制在高概率序列范围内。

为支持分析，我们使用JavaScript记录了建议次数、接受次数、修改次数、书写时间（从首次到末次击键）以及报告长度。

问卷设计

为评估放射科医生对AI辅助的主观体验，我们设计了一项可用性调查。问卷如图3所示，基于人机交互文献[18]中的可用性框架开发，并针对放射学报告需求进行了定制。所有问题均采用5点Likert量表评分（1=非常不同意，5=非常同意），评估易用性、建议准确性和工作流程整合度，另设三个开放式问题用于定性反馈，分别涉及最受赞赏的功能、困难与改进潜力，以及与非AI辅助工作流程的比较。

评估与统计分析

连续变量以均值及95%置信区间（CI）汇总。统计学显著性定义为p < 0.05。正态性通过Shapiro–Wilk检验评估。配对t检验用于正态分布数据（如书写时间）；否则使用Wilcoxon符号秩检验（如BLEU-1）。

在评估报告质量时，我们采用标准自然语言生成指标，包括BLEU-1 [19]、METEOR [20]和ROUGE-L [21]，以及如Smit等[22]所述的用于评估诊断准确性的宏平均CheXbert F1评分，将参与者的报告与MIMIC-CXR真实参考报告进行比较。该方法旨在评估AI支持是否影响报告质量，而非作为绝对质量基准，因为X射线报告存在固有变异性。字符数用于评估冗长度。

对于分桶分析，根据无辅助书写时间将报告分为两个离散组，以近似基线复杂度。在每个桶内，使用置信区间和配对显著性检验比较平均书写时间。

对于建议指标，我们记录了AI生成建议的总数、其接受和拒绝计数及百分比。

放射科医生反馈按个人报告。对于负面措辞条目，较低分数表示更有利的回应。

使用scipy库的stats模块（版本1.11.3）和自定义Python 3.10.13脚本进行所有统计分析。未进行正式功效计算，因为本研究为探索性研究。样本量受可行性限制，旨在获得初步见解。

结果

评估比较了放射科医生在辅助和无辅助条件下在建议交互行为、时间效率、报告质量和主观用户满意度方面的表现。下面，我们呈现所有定量结果和定性放射科医生反馈。

建议与AI文本贡献

AI建议指标详见表1。放射科医生1每份报告接受6.38条建议（CI：[5.55, 7.21]），拒绝3.32条（CI：[2.73, 3.91]），接受率为68.43%（CI：[63.79, 73.08]）。放射科医生2接受7.28条（CI：[6.10, 8.45]），拒绝4.28条（CI：[3.32, 5.24]），接受率为65.82%（CI：[59.60, 72.04]）。放射科医生3接受较少，为2.70条（CI：[2.17, 3.23]），拒绝5.25条（CI：[3.85, 6.65]），接受率为40.72%（CI：[32.22, 49.23]）。总体而言，接受5.61条建议（CI：[5.01, 6.22]），拒绝4.21条（CI：[3.64, 4.78]），接受率为59.45%（CI：[55.31, 63.58]）。

效率指标

我们通过比较三名放射科医师在人工智能辅助和非人工智能条件下的书写时间来评估效率（表2，图4）。

对于放射科医师1，平均书写时间从无人工智能时的71.97秒（CI：[63.41, 80.54]）显著降至有人工智能时的52.37秒（CI：[44.96, 59.77]），减少了27.24%（CI：[17.34, 37.14]，p < 0.001，配对t检验）。放射科医师2从142.60秒（CI：[128.19, 157.00]）降至126.71秒（CI：[107.38, 146.03]），差异为11.14%（CI：[−0.69, 22.98]，p = 0.07）。放射科医师3从133.89秒（CI：[109.52, 158.26]）增至146.52秒（CI：[124.30, 168.74]），差异为−9.43%（CI：[−29.60, 10.73]，p = 0.32）。总体而言，无人工智能时平均书写时间为114.28秒（CI：[103.79, 124.77]），有人工智能时为105.36秒（CI：[93.68, 117.05]），减少了7.80%（CI：[−0.72, 16.32]，p = 0.08）。

分桶分析

分桶分析根据无辅助书写时间和用户特定阈值将报告分为两个不同的组，从而能够结构化地比较人工智能在不同报告复杂度或长度下的影响。人工智能辅助对书写时间的影响因报告类别而异。在第一桶中，使用人工智能平均略微增加了12.74%的书写时间，但差异无统计学意义（p = 0.16）。相比之下，第二桶显示使用人工智能后书写时间显著减少，平均节省18.34%（p < 0.001）。在附录C中，我们进一步报告了一项基于发现的探索性分层分析（正常与异常、单发与多发发现、以及选定的发现组）。最大的时间减少见于单发发现研究（平均减少约22.8%；95% CI 11.7–33.7），而其他组的效果较小。

报告生成质量

人工智能辅助报告在基于自然语言处理的质量指标上与非人工智能报告表现相似（表3）。总体BLEU-1评分在有人工智能时为0.27（CI：[0.25, 0.29]），无人工智能时为0.25（CI：[0.23, 0.26]）；METEOR评分分别为0.13（CI：[0.12, 0.13]）和0.12（CI：[0.11, 0.12]）；ROUGE-L评分分别为0.24（CI：[0.23, 0.25]）和0.22（CI：[0.21, 0.23]）（表3）。CheXbert F1评分在有人工智能时为0.37（CI：[0.31, 0.42]），无人工智能时为0.40（CI：[0.32, 0.46]）。报告长度也保持稳定，无人工智能时平均为275.33个字符（CI：[259.22, 291.44]），有人工智能时为278.48个字符（CI：[262.45, 294.51]）（差异：−3.15，CI：[−16.31, 10.00]，p = 0.64）。此外，在附录A中，我们纳入了一项消融分析，分析报告生成建议在多大程度上依赖于X射线图像而非仅依赖于报告前缀。研究结果表明，协作工具中使用的建议明显以图像信息为条件，尽管它们并非完全受其约束，且可能受到习得语言先验的影响。

放射科医生反馈

反馈通过可用性问卷收集，涵盖易用性、建议准确性、书写速度、定期使用的意愿以及系统繁琐程度。如表4所示，易用性评分较高，分别为5、4和4分。书写速度提升评分为4、5和4分，而所有放射科医生对定期使用该系统的意愿均给出4分。AI建议错误评分为1、2和2分，系统繁琐程度评分为1、2和1分。对于这些负面表述条目（即“AI建议错误”和“系统繁琐程度”），评分越低表示评价越 favorable。

讨论

本研究评估了协作式AI辅助胸部X线报告生成的潜力，重点关注效率、报告质量和用户体验。在SOTA报告生成系统[13]的基础上，我们提出了一种基于模型置信度的交互式部分报告补全工具。我们的主要发现表明，AI辅助平均减少书写时间7.80%（从114.28秒降至105.36秒，p = 0.08），且未显著影响报告质量或长度。放射科医生的反馈进一步支持了该系统价值，对工具的可用性和满意度评分较高，支持其临床可行性。

效率提升在放射科医生之间存在差异：两人节省了书写时间，而一人书写时间平均增加。这种差异可能与报告风格的个体差异以及放射科医生对AI生成建议的接受程度有关。接受率的差异（68.43%、65.82%、40.72%）表明，对AI建议的参与度越高，效率提升越大。虽然效率提升仍取决于放射科医生个体，但即使部分采纳也能为那些确实从中获益的放射科医生通过选择性、自愿使用提供价值。

分桶分析显示，按病例复杂度存在额外差异，较长、较复杂的报告（桶2）显著减少，而较短报告略有增加但无统计学意义（12.74%，p = 0.16）。这表明AI的获益可能随复杂度而增加，可能是由于模型能够为多层面发现提供结构化建议。

使用自动化报告正确性指标，我们观察到文本相似度总体稳定，标签指标接近稳定，小幅下降可能由措辞而非临床内容驱动，因为所有报告均由放射科医生最终定稿。报告冗长度未发生变化，表明AI建议未使文档膨胀。这些发现表明辅助工具未实质性改变报告的文本特征；然而，需要注意的是，评估依赖于与参考报告的自动化比较，而非外部放射科医生审阅。

附录A中的消融实验表明，图像输入引导了模型的建议生成，但并未完全约束它们，这意味着语言先验和书面报告前缀可以促成流畅的续写。虽然这种对报告前缀的依赖对于交互性至关重要，能使建议与放射科医生的草稿保持一致，但在低质量或模糊的检查中（例如便携式ICU X线片），这种对先验的同样依赖可能会增加文本过于看似合理但图像依据不足的风险。所提出的工作流程通过让放射科医生保持完全控制来缓解这一问题，但未来的工作可以探索图像退化条件下的性能，并纳入质量感知门控等保障措施。

在定性方面，放射科医生重视该工具与其工作流程的整合，将其评为直观、准确且侵入性最小。在自由文本反馈中，所有参与者均报告书写工作量减少并感知到时间节省。其他评论提到，AI生成的描述完整且遵循常见表述。这些发现与以下假设一致：协作式AI可以在保持诊断可靠性的同时减少脑力负担和报告时间。建议的改进包括在高置信度时启用完整报告草稿，以及整合基于语音的输入以更好地契合临床实践。

通过将AI的速度与放射科医生的专业知识相结合，该工具在不牺牲质量的情况下应对了日益增加的工作量。它作为起草助手可靠地发挥作用——避免了完全自动化的陷阱——同时与临床工作流程和用户偏好保持一致。关于可用性的积极反馈以及表达的定期使用意愿，凸显了该系统在提升工作流程效率和放射科医生满意度方面的潜力，尤其是在时间节省最为显著的复杂病例中。

虽然这些发现显示了前景，但所进行的研究存在局限性。样本量仅限于来自MIMIC-CXR的50张胸部X线片和三名放射科医生，限制了跨人群、成像模式或报告风格的普适性。此外，我们的基线未包括结构化模板或短语库，而这些是临床报告中的常用支持。因此，在模板丰富的环境中，绝对时间节省可能有所不同，这促使未来与此类工作流程进行比较。此外，仅测试了一个模型，其性能可能无法反映其他大型视觉语言模型（LVLM）的性能。最后，所有参与者都较为年轻，拥有3–8年经验，可能比资深放射科医生更熟悉数字工具。他们可能更愿意在起草时直接整合建议，而更资深的放射科医生可能有更严格的报告常规，更倾向于主要将AI用于最终检查。此外，经验较少的阅片者可能更容易快速接受AI建议，而经验非常丰富的阅片者可能会忽略这些建议，除非它们与自己的评估和偏好措辞高度吻合。未来的研究应扩大样本量，纳入更多放射科医生以分析与经验相关的采纳和使用模式，并比较多个模型以验证这些发现。

总之，本研究表明，使用RaDialog进行人工智能辅助放射学报告可以提高效率——尤其是对于复杂报告——而不会降低质量或篇幅，同时因其可用性和准确性而获得放射科医生的高度认可。我们的研究结果表明，在资源受限的情况下优化报告的一条有前景的途径，值得在工作流程中进行前瞻性验证。

补充信息

电子补充材料