ChatGPT-4.0 从肌骨影像报告中提取诊断的准确性评估

1. 引言

如今，医护人员将其工作时间的很大一部分用于行政管理和文书工作（通常>15% [1]）。医生、护士和非医疗人员均是如此，与医学专业无关。在保证患者结局质量的前提下，减少文书工作所花费的时间将直接使患者受益。与此同时，预计未来放射服务需求的增长可能无法在不增加能力的情况下得到满足 [2,3]。新型大语言模型（LLM，例如 [4]）有望为这一医疗流程转型提供必要的工具集。在理想情况下，LLM 将在提高患者周转效率的同时改善患者结局质量。

人工智能研究自其早期概念基础 [5] 以来已取得长足发展，近年来的进展使其在放射学中的实际应用成为可能。当前本领域的文献广度超出了本引言部分的范围。数据规模的增长、数据集之间的互联以及终端用户设备速度的提升，已将放射学及其他专业推向一个潜在的转型节点 [6]。传统上，由人工评估各种放射成像模态的图像输出，并手动录入其发现/印象。然而，目前，包含人工智能（AI）组件的商业软件解决方案正在接受测试。其中一个例子是 Aidoc Medical 用于分析计算机断层扫描（CT）的软件（以色列特拉维夫 [7]）。其他系统还包括 Gleamer（法国巴黎 [8,9]）和 AZmed（法国巴黎 [10,11,12]）的软件，这些软件旨在检测胸部 X 线片 [13] 中的异常以及骨折。测试表明，AI 软件目前在临床应用中表现出合理的性能，而不仅限于实验室条件。此外，上述 AI 软件在价格方面的竞争力也日益增强。这两个因素都使得其被纳入临床流程的可能性越来越大。人类放射科医生是否很快将在人机混合环境中工作，仍有待观察。

在放射学领域，LLM应用测试的拓展十分迅速[14,15,16]，同样地，例如在核医学中也是如此[17]。目前展示LLM性能的典型测试是模拟委员会考试[18]。委员会考试的可重复性以及未来重复进行的能力，使得能够追踪LLM系统的持续改进。较新LLM版本的改进在过去已有记录，例如在美国放射学会（ACR）诊断培训考试（DXIT）练习题中的表现[19]。在恰当应用时，LLM已展示出为胸部X线片撰写放射学报告的能力[20,21,22]。从单纯的图像分析迈向报告撰写这一步在放射学中具有重要意义，因为与转诊医生沟通的主要形式仍然是书面文本报告。撰写充分报告所面临的困难可见于，例如，文本中所感知概率的确定与表达[23]。如果LLM要进入临床常规应用，它们必须掌握这一点以及语言表达的许多其他细微之处。介入放射学[24]以及PSMA放射配体治疗（RLT）[25]中的临床决策未来可能从LLM支持中获益。在本研究中，我们使用了LLM ChatGPT-4.0[4]。自2022年底发布以来，该模型受到了公众和学术界的广泛关注。它最初通过人类反馈[26]和近端策略优化算法[27]进行训练。具体在肌骨（MSK）影像领域，此前已测试过其从图像和文本数据中提取信息的能力[28,29,30]。本研究探讨ChatGPT-4.0从多模态MSK影像文本报告中提取正确诊断的诊断准确性。比较基准由人类专家给出的答案组成。本研究比较了个体阅片者表现以及汇总共识表现。该主题的早期初始模型已在2025年北美放射学会（RSNA）年会上展示[31]。本研究还评估了病例和阅片者层面的聚类效应（α_case、α_reader），并估计了共识汇总下的效应量。

2. 方法与材料

本研究使用了一个包含23例多模态MSK影像开放源代码文本病例的数据集（见补充材料S1）。将人类专家阅片者和LLM的答案汇总为共识判读，并进行性能评估比较。

2.1. 文本数据

构成本研究数据集的23份多模态放射学文本报告附于补充材料S1中，并附有在线来源及其真实诊断的医学来源（如有）。数据集规模选定为23例，以确保人工读者的标注工作量处于可控范围。文本来源于美国国立卫生研究院（NIH）维护的MedPix数据库（https://medpix.nlm.nih.gov）。采用结构化抽样方法从MedPix数据库中选取病例，以确保涵盖核心肌肉骨骼（MSK）诊断类别。筛选标准包括：（i）具有完整的放射学报告文本；（ii）来源数据库中有明确确立的参考诊断；（iii）包含多种成像模态（X线、超声、CT和磁共振成像（MRI）），以反映多模态实践。此外，确保每个诊断类别有最低病例数，以避免极端类别失衡，同时保持专家标注的可行性。所得数据集代表了一个经过筛选但诊断多样化的教学病例样本，而非连续的临床队列。表1列出了数据集的诊断及其频次。所有病例均包含病史和影像所见。病例1、2和3还额外包含检查项目。

2.2 ChatGPT与人工读者的调查

将补充材料S1中每个病例的文本提供给ChatGPT-4.0 [4]（以下简称“LLM”），提示词要求其从一个封闭的答案列表中给出一个主要（第1）诊断和一个次要（第2）诊断；答案选项为表1中的6种诊断。由于LLM输出受统计波动影响，此步骤重复（n = 10）次。该方法为LLM实施了一个六选项、双选择的问答任务。提示词的确切措辞为：

对于上述放射学报告，请从以下6个选项中给出您最可能的主要诊断和备选的次要诊断，请仅给出相应的诊断编号：

[1] 骨肉瘤

[2] 脓肿/骨髓炎

[3] 异位骨化

[4] 黏液样脂肪肉瘤

[5] 脂肪瘤

[6] 血管瘤

该提示词被特意设计为一个受约束的封闭集分类任务，包含6个预定义诊断选项和两个排序输出（主要诊断和次要诊断）。选择这种结构是为了：（i）确保LLM输出与人工读者回答之间的直接可比性；（ii）减少与自由文本生成相关的变异性；（iii）通过允许鉴别诊断来近似临床推理过程。总体而言，这种受控的提示词设计优先考虑内部效度和可重复性，而非开放式生成性能，这与本研究在标准化条件下评估诊断提取准确性的目标一致。

人类参与者（n = 10）被要求通过Google Forms（Google LLC，Mountain View，CA，USA）提交答案。与LLM类似，人类阅片者对23个肌骨病例中的每一个病例均面对六选一、两轮作答的问题。调查表打印件附于补充材料S2。在线版本中，每位人类阅片者的问题顺序均被随机化。10位人类阅片者中有8位专攻肌骨放射学。全部10位人类阅片者的平均工作经验为21.4年。10位人类阅片者中有9位为获得委员会认证的放射科医师，自该时间点以来的平均工作经验为17.6年。从LLM和10位人类阅片者获得的答案原始数据包含在补充材料S3中。

在本研究的分析中，第1答案被视为第一步。第二步，将错误的第1答案替换为第2答案，得到“第1和第2”；见图1。通过这种方式，允许了包含鉴别诊断的更广泛答案范围。

2.3. 统计分析

回答数据使用Python（3.11.7）代码进行分析，代码见补充材料S4。该Python（3.11.7）代码遵循此前在[30，32，33]中使用过的结构。回答数据在个体阅片者层面以及汇总的阅片者共识层面均进行了分析。所有显著性检验均在α水平为0.05的条件下进行。

个体阅片者层面的分析。原始准确率比例及描述性95%置信区间（95%–CI）采用Wilson法计算。人类阅片者与AI之间准确率的绝对差异采用Newcombe独立比例法进行描述性比较[34]估计，如表2所示。按诊断计算标准化混淆矩阵（cm）[35]，见图2。按诊断的准确率差异（人类–AI）直接从这些计数中计算，并在图2中可视化，突出显示人类优于AI或AI优于人类的方面。

使用logistic广义估计方程（GEE）比较人类阅片者与AI的诊断效能，采用二项分布和logit链接函数及可交换工作相关结构[36]（表2）。主要分析按case_id对观测进行聚类，假设同一病例的评分之间存在相等的病例内相关性（α_case）。次要描述性GEE按reader_id聚类，用于估计阅片者内相关性（α_reader）。提取工作相关参数α_case和α_reader，以量化病例相关和阅片者相关的变异性。主要推断指标为AI与人类阅片者相比正确分类的比值比（OR），报告稳健95%–CI及由GEE模型得出的Wald p值。为评估聚类对统计精度的影响，计算设计效应（DE）为：其中m表示每个病例的平均评分数量，α为病例相关工作相关性。有效样本量通过将总观测数除以设计效应获得。在存在完全分离的情况下（即第1和第2AI回答数据的准确率为100%），logistic模型不可估计；因此，推导病例层面多数共识，并使用精确McNemar检验[37]及Haldane校正进行配对比较以估计OR。

图3以折线图形式展示了在5次迭代中、随着数据集增长，人类答案与AI答案的首次回答准确率。数据顺序被随机打乱了5次。

评估者间信度（IRR，表3）通过Python（3.11.7）的评估者间信度机会校正一致性系数（irrCAC）软件包进行评估[38]。irrCAC可计算Gwet's AC1以及Fleiss' kappa。Gwet's AC1特别适用于不平衡数据集；医学数据以不平衡著称[39]。此外，irrCAC还可获得相应的p值。这些p值可用于检验零假设（H0），即不存在超出仅凭随机偶然所能预期的任何一致性。两个IRR变量的取值范围均为区间[−1, 1][40,41]。IRR依据Landis和Koch提出的基准进行解释[42]：低于0.00表示一致性极差，0.00–0.20表示轻微一致，0.21–0.40表示尚可一致，0.41–0.60表示中等一致，0.61–0.80表示高度一致，0.81–1.00表示几乎完全一致。

共识汇总的配对比较。对于基于共识的比较，分别在病例层面对人类阅片者和AI输出进行多数投票。针对表1中的每种诊断，获得每个病例的共识判读结果（表4）。表4给出了每种诊断的准确率，以及每种诊断的准确率差值（人类–AI）。人类与AI共识判读之间准确率差值的95%置信区间采用基于McNemar的标准误正态近似法计算；详见补充材料S4。

构建2 × 2列联表，汇总以下情况：（1）两者均正确，（2）两者均错误，（3）仅AI正确，以及（4）仅人类正确，用于在病例层面进行精确McNemar检验（表5）。主要推断参数为基于精确二项检验的McNemar p值[37]。总体一致性、两者均正确和两者均错误分类的比例以及不一致率均使用Wilson 95%置信区间计算[34]。不一致率（人类与AI共识判断不一致的病例比例）被视为与外部效度相关的潜在变异性的描述性指标。

2.4. 生成式AI的使用

生成式AI工具（ChatGPT-5.2 [43]、Claude Sonnet 4 [44]和Deepseek 3.1 [45]）被用于轻微的语言优化、稿件文本编辑以及Python（3.11.7）代码调试。所有研究设计、数据分析、结果解释以及实质性内容决策均由作者完成。

3. 结果

每次比较共分析了460个观察值（23个病例 × 20次评分；10名人类阅片者和10次AI修订，表2）。对于首次诊断，人类准确率为0.865（95%–CI 0.815–0.903），而AI为0.957（95%–CI 0.922–0.976），绝对准确率差异（人类–AI）为−0.091（95%–CI −0.145至−0.040）。病例内相关性为0.247，阅片者内相关性为−0.001（表2）。使用病例水平GEE的聚类校正logistic回归显示AI具有显著优势（OR 3.427，95%–CI 1.066–11.018；p = 3.87 × 10−2），DE为5.7，有效样本量为80.7。当合并首次和二次诊断时，人类准确率提高至0.935（95%–CI 0.895–0.960），而AI达到1.000（95%–CI 0.984–1.000）。绝对差异为−0.065（95%–CI −0.105至−0.035）。病例内相关性降至0.079，阅片者内相关性为0.014。由于完全分离，采用了Haldane校正的McNemar检验（OR 1.000，95%–CI 0.561，1.782；p = 1.00）；DE增至20.0，有效样本量降至23.0。

图2绘制了AI和人类阅片者在首次诊断及首次&二次诊断下的混淆矩阵（cm）。上述关于答题数据准确率的趋势在视觉上也得以呈现。答题数据大多位于主对角线上；AI的收敛程度高于人类阅片者。当考虑首次&二次诊断时，AI获得了完美准确率（1.000）的完美混淆矩阵，所有数据点均落在主对角线上。准确率差异热图（图2底行）显示，在首次诊断中，AI在大多数诊断上优于人类阅片者（红色单元格），但脂肪瘤（绿色单元格）除外，该诊断中人类阅片者准确率更高（人类 = 0.90，AI = 0.75，人类–AI = 0.15）。当合并首次&二次诊断时，AI在所有诊断上均表现更优（全部为红色单元格），差异最大的是黏液样脂肪肉瘤（人类 = 0.70，AI = 1，人类–AI = −0.30）。

Gwet's AC1的值略高于Fleiss' kappa；见表3。这在当前数据不平衡的情况下是预期之中的。两种指标均显示，AI在首次和首次&二次回答上均获得了更高的评分者间信度（IRR）。人类首次诊断的IRR对于Gwet's AC1（0.753）和Fleiss' kappa（0.745）而言是实质性一致。其余情况均达到几乎完全一致。所有情况下，两种指标的p值均<<0.05；因此，可以拒绝一致性纯属偶然的零假设H0。人类与AI回答之间计算的总体IRR在首次诊断时Gwet's AC1为0.836（几乎完全一致），首次&二次回答为0.927（几乎完全一致）。相应的Fleiss' kappa值为0.830/0.925（均为几乎完全一致）。总体IRR的p值同样<<0.05，可以拒绝一致性仅属偶然的零假设H0。

图3绘制了随着样本量增加首次AI和首次人类准确率及其95%–CI的变化，表明一旦样本量超过50，首次准确率在很大程度上与样本量无关。增加研究数据集的规模预计不会使首次准确率发生实质性变化。

在病例层面（n = 23），第一诊断的多数一致同意率为0.913（95%CI 0.732–0.976），21/23例由人类和AI均正确分类（表5）。不一致发生于2/23例（0.087，95%CI 0.024–0.268），包括1例仅AI正确和1例仅人类正确；McNemar精确检验显示无显著差异（p = 1.00）。按诊断实体的结果（表4）显示，6个实体中有4个两种方法均达到完美一致准确率（1.000）。黏液样脂肪肉瘤（人类0.500 vs. AI 1.000）和脂肪瘤（人类1.000 vs. AI 0.500）存在差异；但置信区间较宽且跨越零值。当合并第一和第二诊断时，人类和AI共识均达到23/23正确分类（一致率1.000，95%CI 0.857–1.000），无不一致病例，无显著差异（McNemar p = 1.00）（表5）。

4. 讨论

本研究的最初动机是探讨大语言模型（LLMs）在辅助医疗人员完成行政和文档记录任务方面的潜力。放射学服务需求的日益增长以及预计的人力短缺使得效率提升变得高度相关[2]。既往研究已在肌肉骨骼影像背景下评估了LLMs[28,29,30]。本研究通过特别关注从结构化文本报告中提取诊断信息，并评估个体阅片者和共识聚合后的表现，对这一文献进行了拓展。

在个体阅片者层面，LLM的第一诊断准确率高于人类阅片者（0.957 vs. 0.865），聚类校正后的比值比为3.43，具有显著性。当合并第一和第二诊断时，人类表现有所提高（0.935），而LLM达到了完美准确率。

基于共识McNemar列联表（表5），病例层面的方法间效应似乎较小。23例中仅2例（0.087）在第一诊断上不一致（1例仅AI正确，1例仅人类正确），McNemar p = 1.00，总体一致率为0.913（95%CI 0.732–0.976）。这种对称性不一致表明，在类似的结构化诊断场景中，AI与人类共识之间不太可能出现较大的性能差异。即使在病例组合存在合理变异的情况下，观察到的数据也支持以下预期：未来的外部验证很可能在共识层面揭示个位数百分点的差异，而非较大的效应量。虽然个体阅片者层面的适度差异（表2中约6–9%的绝对准确率差异）可能持续存在，但病例层面的聚合结果表明，基于当前证据，一种方法相对于另一种方法的实质性或具有临床显著性的优势是不大可能的。

这与AI辅助胸片判读的研究结果相呼应，在那些研究中，人机混合工作流程改善或稳定了诊断性能，同时并未取代临床医生的监督[8,13,31,46,47]。评分者间信度（IRR）分析支持这一解释。AI的回答显示出几乎完美的一致性（Gwet's AC1 ≥ 0.938），人类与AI分类之间的总体一致率达到0.836（第一诊断）和0.927（第一和第二诊断），表明存在高度至几乎完美的一致性。这种趋同表明，LLMs可在结构化诊断任务中有效发挥一致性增强工具的作用。

聚类分析带来了一个重要的方法学启示。病例内相关性（首次诊断 α case = 0.247，表2）远大于阅片者内相关性（α reader ≈ 0）。这表明诊断正确性的变异主要由病例特征驱动，而非阅片者个体差异。因此，在纳入合理的专家小组后，通过增加病例数量来提高统计学精度比增加阅片者数量更为有效。这反映在设计效应上（DE = 5.7），尽管有460次观察，有效样本量降至80.7。对于未来的验证研究，扩大病例的范围和数量因此比招募更多阅片者更为关键。

人类阅片者队列主要由肌骨专科医生组成（8/10），辅以两名非专科放射科医生，整体经验丰富（平均21.4年；9/10具有专业资质认证）。鉴于样本量有限，正式的亚组比较不具备统计学效能；然而，描述性分析结合聚类结果表明，阅片者相关的变异极小（α_reader ≈ 0，表2），提示放射科医生亚组之间的差异并未对整体表现产生实质性影响。相反，诊断变异主要由病例特征驱动，病例内相关性显著更高（α_case = 0.247）也反映了这一点。

关于可推广性，累积准确率分析表明，一旦样本量超过约50次观察，准确率即趋于稳定。这提示观察到的效应并非纯粹的小样本波动。然而，本数据集由精选的教学病例组成（https://medpix.nlm.nih.gov）。在更具异质性的真实世界数据集中——包括模糊的报告、不完整的记录或非典型影像学表现——人类阅片者和AI的绝对诊断准确率均可能下降。在更复杂的外部数据集中，这种向较低整体性能的回归是可以预期的。重要的是，本数据并未表明相对性能关系必然会逆转；相反，两个系统很可能经历相似的性能衰减。在连续临床病例上进行前瞻性验证仍然至关重要。

本研究存在几个重要局限性。相对较小的数据集（23例）限制了外部效度，因为它可能无法完全反映常规临床实践中遇到的异质性、模糊性和各种表现谱，因而可能导致对诊断性能的乐观估计。使用经过筛选的MedPix教学病例引入了潜在的选择偏倚，可能过度代表了定义明确的（“教科书式”）表现，限制了在真实世界临床环境中的普适性。可重复性仍不确定，因为大语言模型是专有的黑箱系统，可能在不另行通知的情况下发生版本变更或停止服务，使得长期重复研究面临挑战；此外，训练数据、模型更新和推理参数缺乏透明度，即使在相同输入条件下也可能产生非确定性输出。最后，本评估的受控性质——使用结构化文本报告和预定义诊断选项——未能涵盖临床放射学中的全部挑战，包括与影像数据的整合、病史综合及不确定性的传达。

5. 结论

大语言模型在解读结构化肌骨系统文本报告方面，可以达到与经验丰富的放射科医生相当的诊断准确率。在个体层面，该大语言模型展现了更优的第一诊断准确率，而共识聚合消除了统计学上的显著差异，提示在临床实践中，AI的主要价值可能是作为决策支持工具，辅助个体阅片者并减少变异性，而非取代既有的多人阅片或基于共识的诊断流程。变异性分析表明，未来研究增加病例数比增加阅片者人数获益更大，因为诊断变异性主要由病例驱动。

未来，诊断上具有异质性的真实世界数据集很可能会降低人类和AI的绝对性能。然而，当前数据表明相对性能差异不太可能发生逆转，这支持了大语言模型在有人监督的人机协作工作流程中作为辅助工具的合理性。其角色应被视为增强性的，而非自主性的。

尽管障碍仍然存在——包括数据安全方面的担忧、MRI重建等领域的局限性[48,49]以及参考文献[48]的补充内容、监管方面的考量[50]，以及专业人员技能退化的潜在风险[51]——但本研究的发现为越来越多的证据提供了补充，即人机混合系统可能有助于应对放射科的容量挑战[8,13,46,47]。需要在更大规模且诊断多样化数据集中进行稳健的前瞻性验证，以确定此类系统的真实普适性和长期临床影响。