大语言模型生成CAD-RADS 2.0合规诊断结论的对比评估

引言

冠状动脉疾病（CAD）是全球发病率和死亡率的主要原因，凸显了早期发现和准确风险分层以改善患者预后的必要性。2022年，CAD在全球造成约920万例死亡，年龄标化死亡率为每10万人108.8例[1]。冠状动脉计算机断层扫描血管造影（CCTA）已确立为诊断CAD的强大无创影像学方法[2]。CCTA是一种有效、安全且快速的技术，不仅可评估狭窄严重程度，还可区分斑块形态和成分。在疑似稳定性CAD且风险为中至低危的患者中，其已表现出高敏感性和强阴性预测值，使其成为检测显著狭窄的可靠工具。近期证据表明CCTA还具有预后价值[2, 3]。为确保报告的一致性并改善医疗提供者之间的沟通，冠状动脉疾病报告与数据系统（CAD-RADS）由来自主要专业学会的放射科医师和心脏科医师组成的多学科团队提出[4]。这一结构化报告系统标准化了CCTA检查结果的解读，提高了临床决策的清晰度并促进适当的患者管理。更新版本CAD-RADS 2.0[5]通过纳入基于狭窄严重程度、斑块特征和高危特征的详细分类来完善该框架，从而改善风险分层并指导治疗策略。此外，纳入修饰符可通过考虑高危斑块（HRP）的存在、功能检查提示缺血（I）以及使用冠状动脉旁路移植术（G）等因素来进行更全面的评估，进一步优化患者管理决策（表1）[6]。

CCTA检查数量的指数级增长，加之对快速可靠报告的需求，促使人们探索人工智能（AI）作为潜在解决方案；AI在通过自动化重复任务、增强图像分析以及辅助病变检测、放射学培训和结构化报告方面支持放射科医师已展现出显著前景[7–10]。在AI驱动的技术中，大语言模型（LLMs）作为AI的一个子集，专门从事基于Transformer架构的自然语言处理（NLP），已在自动化医学报告多个方面（包括生成诊断结论）展现出潜力[11, 12]。LLMs处理复杂医学文本并生成结构化报告的能力使其成为整合到放射学工作流程中的有吸引力候选者，尤其是在CAD-RADS 2.0等结构化报告框架在确保检查结果一致且准确沟通方面发挥关键作用的情况下。

尽管LLMs在简化放射学报告方面具有潜力，但其临床准确性和可靠性总体上仍研究不足；虽然LLMs在文本摘要和解读方面已展现出能力[13, 14]，但其在医学影像应用中的性能需要严格评估[15–17]。

本研究旨在通过系统比较四种领先的大语言模型（GPT-4o、Gemini 2.0 Flash、DeepSeek V 和 Copilot）在以 CAD-RADS 2.0 为标准框架、从 CCTA 报告中生成诊断结论时的准确性、临床相关性和错误特征，来填补这一空白。此外，本研究旨在评估可免费获取的、未经微调的大语言模型如何解读放射学报告的文本内容、总结诊断印象，并仅基于报告文本生成进一步检查的建议。

材料与方法

研究人群

对2024年1月至2024年10月期间转诊至我院三级大学中心的206例患者的CCTA报告进行了回顾性分析。

报告的选择基于结构化报告格式的使用。

排除标准包括：（1）不完整的CCTA报告；（2）重复或随访报告；（3）仅限于钙化评分评估而无增强冠状动脉成像的检查报告；（4）未报告结果的CCTA检查（图1）。

主要目标是评估四种领先大语言模型（GPT-4o、Gemini 2.0 Flash、DeepSeek V 和 Copilot）基于 CAD-RADS 2.0 生成诊断结论的准确性，并评估这些模型如何提出进一步检查建议以支持临床决策。

CAD-RADS 评估

CAD-RADS 编码框架基于狭窄严重程度、斑块负荷和修饰符的评估。

狭窄以百分比表示，考虑冠状动脉血管中最严重的数据；CAD-RADS 0 表示无斑块或狭窄（0%），与类别1和2——分别代表极轻度（1–24%）和轻度（25–49%）狭窄——一样，不需要进一步的诊断检查。相反，对于中度狭窄（50–70%），即对应于 CAD-RADS 3，考虑进行额外的功能评估。CAD-RADS 4 类别进一步分为两组：4A，包括单支或双支血管病变伴重度狭窄（70–99%）；4B，包括左主干狭窄 > 50% 或三支血管病变伴狭窄 > 70%。在 CAD-RADS 4A 中，下一步可包括有创冠状动脉造影（ICA）或功能评估，如 CT-FFR、CTP 或负荷试验（运动耐量试验、负荷超声心动图、SPECT、PET 或心脏 MRI）。在 CAD-RADS 4B 中，推荐进行 ICA。最后，在 CAD-RADS 5 中，ICA 成为强制性的，该类别描述完全血管闭塞（100%）。对于类别 N，表示不可诊断的检查，需要进一步评估。

添加 P1 至 P4 描述符用于表示递增的斑块负荷类别，其评估基于节段累及评分（SIS）、总冠状动脉斑块体积的定量评估（通过 CCTA 测量）或根据 Agatston 方法的冠状动脉钙化（CAC）评分。

修饰符包括：“N”表示因运动伪影、金属干扰或其他因素导致的无诊断价值检查，可根据上下文用作修饰符或CAD-RADS分类；“HRP”即高风险斑块，定义为存在至少两项异常特征，如斑片状钙化、低衰减、正性重构和餐巾环征；“I”表示如果进行了缺血试验（计算断层血流储备分数，CT-FFR或负荷计算断层灌注，CTP）的结果；“S”表示冠状动脉系统任何部位存在至少一个支架，而“G”表示至少一条冠状动脉旁路移植血管；“E”代表例外情况，涵盖所有非动脉粥样硬化性冠状动脉压迫原因，如夹层、起源异常、动脉瘤或假性动脉瘤、血管炎、瘘管或外源性压迫。

报告分析

两名初级和一名高级心胸放射科医师独立分配CAD-RADS评分、修饰符和进一步检查建议。阅片者仅依赖放射学报告，对影像学检查、患者个人信息和临床病史设盲。所有报告均通过机构放射信息系统（MedRIS Elefante系统/Impax，AGFA Healthcare System）查询和检索。

未分配“I”修饰符，因为本中心无法进行该评估。每位阅片者生成CAD-RADS评分所需的时间也使用秒表手动记录。

LLMs报告分析

分析于2025年2月14日至28日进行；我们旨在评估该期间代表下一代通用LLMs最新技术水平的异质性高知名度解决方案样本。选择依据科学和实践标准，包括临床实践中的潜在可及性和可持续性、广泛采用的商业参考模型、具有结构化推理的学术和产业驱动模型，以及针对效率和速度优化的模型。

每份报告排除所有潜在患者身份识别信息、临床病史和诊断结论后，输入所选LLMs进行分析：ChatGPT（GPT-4o）、Gemini 2.0 Flash、DeepSeek V-3和Copilot，使用研究时最新公开可用的免费版本。

每个LLM基于相同的输入提示生成结论：“基于以下发现，提供符合CAD-RADS 2.0标准的简要诊断结论，并在必要时建议进一步检查。”

分析中，我们使用了机构标准化CCTA报告，旨在系统评估每条冠状动脉。报告包括检查技术、预用药、冠状动脉起源和异常评估、使用Agatston法测量的钙化积分、斑块评估（包括存在、位置、范围、偏心性、特征和狭窄程度）、支架、移植血管、旁路、HRP特征的存在，以及瓣膜评估、主动脉测量和额外发现。冠状动脉狭窄量化分类为无（0%）、极小（1–24%）、轻度（25–49%）、中度（50–70%）、重度（70–99%）和闭塞性（100%）。

这些模型未针对此特定任务进行微调，在给出CAD-RADS评分或建议进一步检查后也未收到任何反馈。每份报告均启动一个新会话，所有回复均被记录，包括大语言模型（LLM）未能给出评分的回复。

此外，每个LLM生成CAD-RADS评分所需的时间也使用秒表手动记录。该时间从报告输入LLM的那一刻起测量，直至收到完整回复为止。

统计分析

统计分析使用SPSS软件（版本30.0，SPSS公司）进行。

计算频率、百分比和均值等描述性统计量，以总结研究人群的分布和特征以及模型的预测结果。

初级放射科医师与专家放射科医师之间的观察者间一致性使用Cohen kappa系数（κ）计算。对于Cohen kappa的评估，采用Landis和Koch提出的基准，将一致性水平分类为差（0.00–0.20）、一般（0.21–0.39）、中等（0.40–0.59）、好（0.60–0.79）或优秀（> 0.80）。为评估每个LLM的一致性，随机选取六份报告——每个CAD-RADS类别各一份——由每个模型处理100次，使用Cohen kappa系数（κ）评估其一致性。

真实CAD-RADS类别由资深放射科医师确定。

真实值与LLM评分之间的一致性使用两名评分者的加权Cohen kappa评估。此外，还计算了每个LLM的准确率、精确率、召回率和F1分数等性能指标。F1分数由每个CAD-RADS类别的宏平均精确率和宏平均召回率的调和平均数确定。

采用Friedman检验评估各模型间准确率的差异。采用单因素方差分析评估四个LLM之间以及LLM与放射科医师之间执行时间是否存在统计学显著差异。为进一步探究哪些特定软件对之间存在显著差异，采用Tukey HSD检验进行事后分析。p值小于0.05被认为具有统计学显著性。

结果

在回顾性纳入的206份报告中，共有196份符合纳入标准。

在排除的10份报告中，4份不完整，3份为重复或随访报告，2份仅用于钙化评分，1份未出具报告。

56份（28.57%）报告被资深放射科医师（作为真实值）分类为CAD-RADS 0，38份（19.39%）为CAD-RADS 1，27份（13.78%）为CAD-RADS 2，39份（19.90%）为CAD-RADS 3，25份（12.76%）为CAD-RADS 4（15份4A，8份4B），4份（2.4%）为CAD-RADS 5（表2）。

初级与资深放射科医师之间CAD-RADS分类的观察者间一致性显示出优秀的一致性水平（90.31%；177/196），Cohen Kappa系数（κ）为0.874。

初级和资深放射科医师均识别出70份报告中的修饰符HRP、12份中的修饰符S、2份中的修饰符G（100%一致，κ = 1）。

资深放射科医师 assigned 5个修饰符“E”，初级放射科医师 assigned 11个，κ为0.611，一致率为96.94%，显示出良好的一致性。

资深放射科医师 assigned 7个修饰符“N”，初级放射科医师 assigned 9个，一致率为97.45%，κ为0.740，显示出良好的一致性。

为评估模型内一致性，每个大语言模型（LLM）处理了六份随机选择的报告，每个CAD-RADS类别各一份，共100次。所有模型在所有迭代中均一致提供相同的分类（κ = 1）。

与真实CAD-RADS分类一致性的加权Cohen's kappa分析得出以下数值：GPT-4o（κ = 0.759）、Gemini 2.0 Flash（κ = 0.634）、DeepSeek V（κ = 0.771）和Copilot（κ = 0.761），表明一致性良好至优秀。

各LLM在分配CAD-RADS类别方面的准确率、精确率、召回率和F1分数总结于表3。DeepSeek V和ChatGPT-4o表现出最高的总体准确率（91.83%和91.36%），其次是Copilot（91.33%）和Gemini 2.0 Flash（88.31%）。准确率差异具有统计学显著性，p值 = 00002（图2）。

在196份报告中，12份包含关于支架的信息，2份关于冠状动脉旁路移植手术。所有LLM均未添加任何S或G修饰符。

LLM在基于CAD-RADS类别推荐进一步检查方面表现出不同的准确率。在71.94%的病例中，ChatGPT-4o正确识别了临床指南所确定的适当随访检查；DeepSeek V紧随其后为68.37%，然后是Copilot（60.71%）和Gemini 2.0 Flash（47.96%）。AI生成推荐的准确率在CAD-RADS 0病例中最高（73.21–92.86%），在CAD-RADS 2病例中最低（18.85–48.15%），在侵入性冠状动脉造影推荐方面频繁出现差异。

Gemini 2.0 Flash是所有测试模型中速度最快的，平均任务完成时间为3秒，其次是DeepSeek V为5秒，ChatGPT-4o为6秒，Copilot为9秒。该差异具有统计学显著性（p < 0.05）。所有LLM与初级和高级放射科医生相比均表现出更快的性能，后者分别需要20秒和15秒（p < 0.05）（图3）。

讨论

冠状动脉疾病（CAD）仍然是全球范围内发病率和死亡率的主要原因之一[1]。因此，早期发现和精确的风险分层对于改善患者预后至关重要。在此背景下，冠状动脉CT血管造影（CCTA）已成为诊断CAD的强大无创影像工具[2]，而CAD-RADS增强了医疗服务提供者之间的一致性和沟通[4]。随着影像检查数量的持续指数级增长，放射科医生面临着在不影响诊断准确性的前提下保持效率的日益增大的压力。CCTA分析的复杂性，加上快速准确报告的需求，引发了人们对人工智能（AI）作为协助应对这些挑战的可能解决方案的日益浓厚的兴趣。特别是，大语言模型（LLMs）在解读放射学报告方面显示出广阔前景，通用模型可公开获取，且无需额外训练成本或专业知识。尽管具有这一优势，从众多公开可用的LLMs中选择最合适的模型仍然是一项挑战[17]，并带来固有的技术限制，包括限流、随机输出变异性以及训练数据和更新方面透明度有限。使用标准化提示词并在单中心数据集上与专家放射科医生进行基准比较，我们观察到的结果具有内部一致性，表明潜在的再现性值得进一步验证。

本研究旨在对四种LLMs——ChatGPT、Gemini、DeepSeek和Copilot——进行比较评估，以评价它们在CCTA报告中生成符合CAD-RADS 2.0的诊断结论以及适当的进一步检查建议的能力。模型的选择基于可及性、采用率、功能多样性和学术领域相关性等标准，目的是对反映研究期间下一代通用免费LLMs前沿水平的解决方案进行有意义的比较分析。根据文献，这些LLMs在技术特征和性能方面各存在差异；特别是，ChatGPT-4o以其高质量的语言生成能力和多功能性而突出；DeepSeek V3在编码任务中表现出色；Gemini 2.0 Flash引入了独特的多模态能力，而Copilot代表了生产环境中自动代码生成的高度优化解决方案[14]。

初级和高级放射科医生之间在CAD-RADS分类上的观察者间一致性显示出高度一致性，尤其是对于最常分配的修饰符HRP（κ = 1）；对于定义不太明确或解释更主观的修饰符如E（κ = 0.611）和N（κ = 0.740），一致率表明一致性良好，尽管略低于HRP，提示某些修饰符可能更依赖于临床经验。在我们的研究中，修饰符“I”未被分配和研究，因为本中心无法进行该评估。

该研究显示，LLM生成的CAD-RADS分类与由经验丰富的放射科医师确定的参考标准之间具有良好至优秀的一致性水平。然而，数据集以CAD-RADS 0–2病例为主，这些病例本身复杂度较低，可能导致了较高的总体性能指标。不同LLM之间观察到一些差异：DeepSeek V（κ = 0.771）表现出最高的一致性，其次是Copilot（κ = 0.761）和GPT-4o（κ = 0.759），而Gemini 2.0 Flash（κ = 0.634）的一致性相对较低。在性能方面，DeepSeek V达到了最高准确率（91.83%），其次是ChatGPT-4o（91.36%）、Copilot（91.33%）和Gemini 2.0 Flash（88.31%）。某一LLM生成的“4C”类别在官方CAD-RADS框架中并未定义，因此代表的是错误的推断而非有效的分类。虽然每个模型均表现出完美的模型内一致性（κ = 1），但模型间变异性凸显了训练数据和架构方面的差异。

因此，对LLM的详细错误分析凸显了在分配高CAD-RADS类别、处理修饰符以及临床建议差异方面的不准确之处；事实上，LLM在分配主要CAD-RADS类别方面表现出合理的准确性，但它们系统性地未能识别和纳入诸如HRP、S或G等修饰符。这一局限性具有重要的临床意义，因为修饰符是完整符合CAD-RADS 2.0规范不可或缺的组成部分，并直接影响下游管理决策；例如，HRP提示高风险斑块，可能需要强化药物治疗或更密切的随访，S表示支架，指导再狭窄的评估，G表示冠状动脉移植物，影响影像学评估和潜在的介入规划。这凸显了LLM生成报告在实际应用中面临的一个关键限制。结构化报告的一个关键组成部分不仅是分类，还包括适当的进一步检查建议。在评估的模型中，ChatGPT-4o达到了最高准确率（71.94%），其次是DeepSeek V（68.37%），而Gemini 2.0 Flash表现最差（47.96%）。值得注意的是，所有模型在分类为CAD-RADS 0的病例中表现良好（准确率73.21–92.86%），这可能是由于在无冠状动脉狭窄的情况下建议较为直接。然而，CAD-RADS 2病例的准确率显著下降（18.85–48.15%），分歧往往出现在是否需要进一步功能学评估方面。同样，CAD-RADS 4病例也带来挑战，模型偶尔低估了有创冠状动脉造影的必要性。这些发现强调了在将LLM纳入放射学工作流程时临床监督的重要性，尤其是对于管理决策较为微妙的中等风险病例。

在本研究中，我们还比较了四种大型语言模型（LLM）的任务完成时间，其中 Gemini 2.0 Flash 是其中最快的模型。相比之下，初级和资深放射科医生完成任务的时间均长于任何一款 LLM。这些发现凸显了 LLM 在改变放射学工作流程、简化诊断流程和缩短放射学报告周转时间方面的巨大潜力。通过自动化重复性或耗时的任务，LLM 可能有助于放射科医生更多地关注复杂病例和决策，尽管这些模型生成输出的速度快于放射科医生，但仅凭速度并不能弥补在诊断指导最具影响力的病例中准确性下降的问题。尽管结果令人鼓舞，本研究仍存在若干局限性。首先，回顾性设计和高 CAD-RADS 类别中小样本量本质上限制了研究结果的普遍性，因为研究人群可能无法完全代表真实世界的临床变异性（选择偏倚和代表性偏倚）。另一个关键局限性是对结构化报告的依赖，这确保了统一性，但未考虑临床实践中常见的自由文本报告的变异性。此外，本研究未评估 LLM 生成报告对患者结局的影响。最后，模型是在孤立状态下评估的，没有实时反馈或迭代优化或提示工程，这与 AI 工具通常整合到临床工作流程中的方式不同。缺乏影像数据、临床病史和模型微调本质上限制了本研究评估真正诊断推理或复杂临床决策的能力。因此，研究结果应在纯文本报告解读任务的背景下加以解释。虽然模型生成了合理的总结和建议，但这并不意味着无需更复杂的多模态和临床情境化方法即可将其整合到放射学工作流程中。事实上，未来研究应考虑 LLM 快速演变的特性，确保其在生成诊断结论中的安全有效应用。

我们研究的新颖性在于将 LLM 应用于高度结构化和真实的临床情境，使用创新的实验设置。这些结果凸显了使用 LLM 支持放射科医生日常工作流程、提高标准化和报告一致性的可行性，但对临床实践和患者结局的转化影响仍有待确定。

本研究未纳入涉及心脏病专家的临床验证，也未评估与工作流程相关的结果，如阅读时间或最终CAD-RADS评分的变化。未来需要开展纳入空白期和基于时间指标的前瞻性研究，以评估LLM生成的CAD-RADS分类的临床影响。随着进一步发展，LLM可整合到常规临床实践中，提高诊断安全性和效率。在更大数据集上训练并结合专门的逻辑模块可改善修饰符分类和随访准确性。虽然当前通用LLM主要处理文本，但多模态研究为整合图像和临床数据铺平了道路。动态、可更新且能访问实时数据的模型可确保与最新指南保持一致，并与PACS/RIS系统集成。最终，LLM可作为智能放射科医师助手，提供交互式反馈、标记高风险病例，并建议额外的控制措施或随访。

总之，在现有工具的基础上，我们的工作提供了LLM在临床和操作潜力方面的具体证据，填补了文献中此前探索不足的空白，并展示了初步有效性，为进一步评估和更新提供了方法学上坚实的基础。

结论

GPT-4o、Gemini 2.0 Flash、DeepSeek V和Copilot等LLM在从CCTA文本数据生成符合CAD-RADS 2.0的结构化报告方面显示出初步潜力。DeepSeek V和GPT-4o表现出更高的分类准确性，而GPT-4o在建议随访检查方面表现相对更好。然而，包括修饰符分配不完整、高风险病例准确性较低以及临床建议不一致等局限性表明，这些模型尚未准备好直接应用于临床。未来需要进行模型微调、多模态数据整合以及AI-人类混合工作流程等工作，以评估LLM是否能够在维持患者安全的同时切实支持放射学报告并提高效率。