ChatGPT-4o在乳腺影像引导活检后判断影像-病理一致性和管理建议中的表现
这项回顾性单中心研究分析了244例女性影像引导乳腺活检病例,评估ChatGPT-4o判断影像-病理一致性和推荐后续管理的能力。ChatGPT-4o的一致率98.8%与放射科医生98.0%无显著差异(p=0.625),与金标准诊断高度一致(kappa=0.947)。ChatGPT-4o更倾向于影像随访(49.2% vs 41.8%),手术管理建议较少(41.8% vs 46.7%)。
要点
- ChatGPT-4o判断影像-病理一致率98.8%,与乳腺专科放射科医生98.0%无显著差异(p=0.625)。
- ChatGPT-4o与金标准诊断高度一致(kappa=0.947,p<0.001)。
- ChatGPT-4o更倾向影像随访(49.2% vs 41.8%),手术管理建议少于放射科医生(41.8% vs 46.7%)。
核心结论
- ChatGPT-4o在评估影像引导乳腺活检的影像-病理一致性方面表现出与乳腺影像专科放射科医生相当的诊断性能。
- ChatGPT-4o的管理建议略偏保守,与放射科医生选择存在差异,但差异主要反映良性病例的变化,未影响诊断准确性。
- 作者认为大语言模型可能为一致性评估和管理计划提供可靠支持,尤其在亚专科专业知识有限的环境中。
研究设计与样本
- 回顾性单中心研究,纳入244例女性影像引导乳腺活检病例,活检时间范围为2022年9月至2022年12月。
- 研究在加拿大安大略省多伦多Sunnybrook健康科学中心进行,为三级转诊医院。
- 影像报告由5名委员会认证的乳腺专科放射科医生完成,病理报告由委员会认证的乳腺专科病理医生完成。
- 参考标准为放射科医生评估,金标准为最终手术病理(适用时)或2年影像随访。
- 活检方式包括超声(156例,63.9%)、MRI(45例,18.4%)和立体定向/断层合成(43例,17.6%)。
诊断标准与关键数值
- 影像-病理不一致定义为组织学结果不能充分解释影像学所见的特征。
- ChatGPT-4o判断一致率98.8%,放射科医生98.0%,差异无统计学意义(p=0.625)。
- ChatGPT-4o与金标准诊断的kappa值为0.947(p<0.001)。
- 活检病理良性56.6%、高风险6.6%、恶性(癌/DCIS)36.9%;金标准良性56.6%、高风险4.5%、恶性38.9%。
临床应用与阅片要点
- ChatGPT-4o可辅助影像-病理一致性评估,但作者强调人工监督的重要性。
- 在放射科医生建议手术而ChatGPT-4o建议影像随访的14例一致病例中,金标准均为良性(主要为乳头状瘤和纤维腺瘤)。
- ChatGPT-4o将1例放射科医生判为一致的病例判为不一致并建议再活检,该病灶2年随访为良性。
- ChatGPT-4o将3例放射科医生判为不一致的病例判为一致,均建议影像随访,金标准均为良性。
- 5例高风险病变升级为浸润性乳腺癌,放射科医生和ChatGPT-4o均判为一致,其中4例两者均建议手术管理/会诊。
局限性
- ChatGPT-4o评估基于去标识文本输入,缺乏临床元数据、患者病史或影像视觉信息,可能影响专家决策。
- ChatGPT-4o的通用训练语料中固有偏差可能影响管理倾向。
- 单中心研究反映三级学术机构的实践模式,结果可能不适用于社区环境或不同LLM版本。
- 样本量相对较小,放射科医生和ChatGPT-4o判定的不一致病例数较少。
- 未来研究应探索能整合影像、病史和病理的多模态模型及人机协作框架,并需前瞻性验证、成本-效益分析和伦理考量。
全文中译14 节 · 点击展开
1. 引言
在当前的实践中,放射科医生的作用不仅限于执行影像引导下的乳腺活检;还包括评估影像学与病理学发现之间的一致性[1,2,3]。这一评估对于确定患者护理中适当的后续步骤至关重要。判断一致性时的错误可能导致漏诊和不良的患者结局[1,2,3,4,5]。例如,如果对一组可疑钙化进行了活检,但病理结果仅显示纤维囊性改变,放射科医生的补充报告至关重要。该报告有助于指导临床医生和患者决定下一步行动方案,其中可能包括重复活检,或许使用更大口径的穿刺针。
在许多学术医院中,设有专门的乳腺中心,配备经过乳腺专科培训的放射科医生、病理科医生和外科医生。然而,许多医疗中心缺乏这一专业知识或没有多学科委员会来讨论复杂病例[6,7]。先进人工智能(AI)模型(如ChatGPT)在协助解读这些影像-病理结果并推荐进一步管理方面的潜力,为增强临床决策和改善患者护理提供了有前景的途径。
人工智能的最新进展为利用大语言模型(LLMs)协助解读医学数据和支持临床决策提供了机会[8,9]。多项研究探讨了ChatGPT和其他LLMs在放射学决策中的表现[10,11,12],包括评估ChatGPT基于文本信息为放射学影像决策提供有用建议的潜力[10]、描述乳腺X线摄影发现以及根据影像报告分配BI-RADS分类[13,14]。这些研究使用领域特定术语并基于结构化报告做出决策,为ChatGPT在更复杂任务中的潜力奠定了基础。探索其在理论放射学任务中表现良好的研究有限。本研究调查ChatGPT-4o能否确定影像-病理一致性并提供适当的管理建议,从而可能在专家资源有限的场景中提供决策支持。
2. 材料与方法
这项回顾性单中心研究获得了协调中心所在机构伦理委员会的批准(项目编号6382),由于使用完全匿名化的数据,无需获取特定知情同意。
2.1. 研究设计与设置
这项回顾性单中心研究在加拿大安大略省多伦多的Sunnybrook健康科学中心进行,该中心为三级转诊医院,审查了2022年9月至2022年12月期间的乳腺活检病例。研究纳入了在超声、立体定向/断层合成或MRI引导下接受影像引导乳腺活检的女性的全长描述性放射学报告。所有乳腺影像报告均由5名经委员会认证、完成专科培训的乳腺放射科医生出具。报告以英文撰写(ChatGPT-4o训练数据的主要语言)。与乳腺活检病例相对应,还获取了全长英文病理报告,由经委员会认证的专职乳腺病理科医生出具。
遵循BI-RADS指南的描述性放射学报告被输入ChatGPT-4o,包括患者人口学信息、临床背景、乳腺影像学发现、BI-RADS分类以及活检所采用的成像方式(图1)。例如,我们提供了一份针对接受MRI引导活检的乳腺肿块的描述性MRI放射学报告。该报告包括患者年龄和临床背景的详细信息,例如在高危筛查MRI中检测到的新发强化肿块。此外,我们描述了病变的特征,包括其形状、边缘、强化、动力学特征和大小。放射科医生对影像-病理一致性的评估以及建议的下一步管理措施也被记录。
影像-病理:不一致的定义:当组织学结果不能充分解释影像学研究中观察到的特征时,即出现影像与组织病理学报告之间的不一致。不一致病变包括影像学表现强烈提示恶性但最终结果为良性的情况。
2.2. 报告处理与数据收集
描述性放射学报告和乳腺活检病理报告被导出至Excel电子表格2024S(微软)。由一位读者(A.L.)审阅报告以去除患者身份识别信息。包括任何排版错误在内的完整原始文本保持不变。记录了BI-RADS分类以及放射科医师对影像-病理一致性的评估和下一步管理措施(5名放射科医师,经验范围为5至28年)。乳腺活检的病理报告被分类为良性、高危和恶性。核心活检中发现的乳腺高危病变是指与任一侧乳腺长期发展为乳腺癌风险较高和/或在手术切除时升级为浸润性癌或原位癌风险增加相关的乳腺组织异常。因此,我们将导管非典型增生(ADH)和小叶非典型增生(ALH)归入此组。我们没有发现放射状瘢痕、伴非典型增生的乳头状瘤或小叶原位癌。无非典型增生的良性乳头状瘤被视为良性,导管原位癌(DCIS)被归类为恶性。
为建立金标准,在适用的情况下也收集了适当活检乳腺病变的最终手术病理。如果活检病变未进行手术切除,则以2年影像学随访作为金标准诊断。如果病变在2年影像学随访后消退或保持不变,则将其归类为与初始活检时相同(例如,良性病变仍为良性,高危病变仍为高危)。
2.3. ChatGPT-4o整合
使用公开可用的ChatGPT-4o作为大型语言模型来评估本研究的目标。未对ChatGPT-4o进行训练。该模型评估手动输入的去标识化匹配完整放射学和病理学报告,并确定一致性及建议的管理步骤。在放射学和病理学报告之前输入以下提示词:“Given the following radiology and pathology reports, is there radiology–pathology concordance? What is the single best next management step?”。未进行微调。该过程于2025年2月26日至4月24日期间进行。ChatGPT-4o对放射科医师确定的一致性和管理决策设盲。未向ChatGPT-4o提示任何列出的管理选项。记录每个样本后刷新新的聊天窗口,以限制学习和偏倚的可能性。此外,没有证据表明同一病例在一周后再次呈现给ChatGPT-4o时其表现有任何差异。
2.4. 统计分析
采用描述性统计对研究队列的特征进行总结。在推断统计方面,根据数据性质采用适当的检验方法比较放射科医师与ChatGPT-4o评估之间的差异。在一致性评估中,采用McNemar检验比较放射科医师与ChatGPT-4o之间的配对分类结局。采用Pearson卡方检验评估管理建议的差异。此外,采用Fisher–Freeman–Halton精确检验评估活检病理诊断与金标准的一致性。为量化ChatGPT-4o与金标准之间超越偶然的一致性水平,进行了Kappa检验。该检验使用基于ChatGPT-4o推荐管理所对应的病理分类,将较为被动的管理(影像随访和临床随访)归为良性,将需要进一步采取行动的管理(分期/诊断性MRI、再次活检和外科会诊)根据活检病理归为高风险或恶性。
p值小于0.05被认为具有统计学意义。所有统计分析均使用IBM SPSS Statistics for Windows 27.0.1版(IBM Corp., Armonk, NY, USA)完成。
3. 结果
3.1. 患者人口学特征、放射科医师与ChatGPT-4o评估、管理建议及诊断一致性总结
本研究共纳入244例患者,平均年龄为57.05岁。活检最常用的影像学方式为超声(156例,63.9%),其次为MRI(45例,18.4%)和立体定向/断层合成成像(43例,17.6%)。大多数活检被归类为BI-RADS 4(80.7%),较少病例被归类为BI-RADS 5(19.2%)。ChatGPT-4o评估病理结果为一致的病例占98.8%,而放射科医师为98.0%。放射科医师最常推荐手术管理/会诊(46.7%)和影像随访(41.8%),而ChatGPT-4o更常建议影像随访(49.2%),建议手术管理/会诊略少(41.8%)。关于最终结局,乳腺活检病理诊断为良性的病例占56.6%,高风险占6.6%,恶性(癌症/DCIS)占36.9%。金标准诊断与活检病理几乎相同,良性病例占56.6%,高风险占4.5%,恶性占38.9%(表1)。
3.2. 放射科医师与ChatGPT一致性评估的比较
放射科医师和ChatGPT-4o的一致性均较高,放射科医师确定的一致率为98.0%,ChatGPT-4o略高,为98.8%。不一致病例罕见,仅占放射科医师评估的2.0%(N = 5)和ChatGPT-4o评估的1.2%(N = 3)。两者之间一致性的差异无统计学意义(p = 0.625),表明在诊断一致性方面性能相当。这些发现提示,ChatGPT-4o可作为评估影像-病理一致性的可靠工具,其性能与经过专科培训的乳腺放射科医师密切相当(表2)。
在244例中,有4例在放射科医师与ChatGPT-4o对影像-病理一致性的评估之间存在差异。在所有病例中,239例经放射科医师评估为一致的病例中有1例被ChatGPT-4o判定为不一致,而5例经放射科医师评估为不一致的病例中有3例被ChatGPT-4o判定为一致(补充表S1)。对这些特定病例的进一步分析将在结果部分后面描述。
3.3. 放射科医师与ChatGPT-4o管理建议的比较
放射科医师与ChatGPT-4o的管理建议在多个类别中显示出显著差异。两者均在1.2%的病例中建议临床随访,而ChatGPT-4o建议影像学随访的频率更高(49.2%),相比之下放射科医师为41.8%。相反,放射科医师更倾向于建议手术干预(46.7%),高于ChatGPT-4o(41.8%)。MRI分期或诊断性使用在放射科医师中也略高(8.6%),高于ChatGPT-4o(6.6%)。管理建议总体分布的差异具有统计学意义(p < 0.001)。这些发现表明,虽然ChatGPT-4o在某些类别中与专家判断高度一致,但它倾向于选择侵入性较小的管理策略,在某些临床情境中可能代表一种更为保守的决策方式(表3)。
放射科医师与ChatGPT-4o管理建议之间最大的差异出现在放射科医师建议手术管理/会诊而ChatGPT-4o建议影像学随访的病例中(N = 16)。其次是放射科医师建议分期/诊断性MRI而ChatGPT-4o建议手术会诊的病例(N = 3)(图3,补充表S1)。
3.4. 活检病理诊断与金标准诊断的比较
乳腺活检病理诊断与金标准的比较显示出高度的诊断一致性。在活检分类为良性的病例中,全部138例在2年影像学随访或手术病理后均被正确确认为良性。对于高危病变病例,11例(68.8%)在2年影像学随访或手术病理后仍为高危,5例(31.2%)升级为恶性。全部90例恶性病例在最终手术病理中均被正确确认。这些分布具有统计学意义(p < 0.001)(表4)。
3.5. ChatGPT-4o诊断与金标准诊断一致性的Kappa统计量
使用Kappa统计量评估了ChatGPT-4o基于管理建议的推定诊断与金标准诊断之间的一致性。ChatGPT显示出极好的一致性水平,Kappa值为0.947,近似T值为17.312(SE = 0.020),表明几乎完全一致。该一致性具有统计学意义(p < 0.001),反映了诊断评估与金标准之间的高度一致性(表5)。
3.6. 放射科医师与ChatGPT-4o之间差异的特殊病例
在239例经放射科医师评估为一致的病例中,有1例被ChatGPT-4o判定为不一致。这是一例MRI引导下活检的病例,病理结果为乳腺实质。对于该病例,放射科医师建议影像学随访,而ChatGPT-4o建议再次活检。该病变按金标准为良性(2年影像学随访后稳定)。
5例经放射科医师评估为不一致的病例中,有3例被ChatGPT-4o判定为一致。这3例中有2例是在超声引导下活检的肿块,1例是在立体定向引导下活检的钙化。所有活检病理结果均为良性,放射科医师在2例中建议外科会诊,在1例中建议再次活检。再次活检的病例获得了相同的病理结果,所有3例均接受了2年影像学随访。ChatGPT-4o对所有这些病例的处理建议均为影像学随访。以金标准判定,所有病变均为良性。
有16例放射科医师建议外科处理/会诊而ChatGPT建议影像学随访。在这16例中,有2例放射科医师与ChatGPT-4o之间的一致-不一致评估存在差异,已在上文说明(放射科医师不一致 vs. ChatGPT-4o一致)。其余14例为影像-病理一致,放射科医师和ChatGPT-4o均同意。总计14例中有9例活检为乳头状瘤,14例中有5例活检为纤维腺瘤。所有14例的金标准均证实为良性病理。
我们有16例高风险病变活检结果为ALH或ADH。5例高风险病变在外科病理中升级为浸润性乳腺癌。所有5例均被放射科医师和ChatGPT-4o评估为影像-病理一致。5例中有4例,放射科医师和ChatGPT-4o均建议外科处理/会诊。有1例ALH,放射科医师建议MRI,而ChatGPT-4o建议外科会诊。
4. 讨论
本研究表明,ChatGPT-4o在判断图像引导乳腺活检后影像-病理一致性方面,表现与接受过专科培训的乳腺放射科医师相当。该模型达到98.8%的一致率,在统计学上等同于放射科医师的98.0%(p = 0.625),并与金标准诊断显示出极好的一致性(κ = 0.947)。这些发现提示,ChatGPT有潜力作为影像-病理相关性分析中的有价值辅助工具。
有趣的是,尽管一致性判断表现相似,ChatGPT-4o在处理建议方面显示出统计学显著差异(p < 0.001),比放射科医师更频繁地倾向于影像学随访(49.2% vs. 41.8%),且更少建议外科处理(41.8% vs. 46.7%)。这一趋势反映了该模型更为保守的处理方式,可能受其训练数据中嵌入的风险规避倾向影响。值得注意的是,在14例影像-病理一致、ChatGPT-4o建议影像学随访而放射科医师建议外科会诊的病例中,所有病例最终均为良性(主要为乳头状瘤和纤维腺瘤)。尽管在许多此类病例中保守随访在临床上可能是合适的,但过度依赖算法建议可能会在临床背景或影像-病理不一致需要升级干预时延迟干预。
放射科医师与ChatGPT-4o评估之间少数不一致的病例凸显了 concordance 判定背后细微复杂的推理过程。例如,ChatGPT-4o将一例判定为不一致,而放射科医师认为一致;2年随访后的最终良性结局提示ChatGPT-4o建议重新活检可能过于谨慎。相反,ChatGPT-4o将三例放射科医师标记为不一致的病例解读为一致——这些病例在随访时均为良性——提示在特定情境下,ChatGPT-4o可能适当地避免了不必要的干预。这些例子凸显了基于大语言模型(LLM)的工具在复杂诊断工作流程中的前景与陷阱,并强化了人工监督的重要性。
这些发现建立在既往研究基础之上,那些研究证明了ChatGPT执行放射学推理和分诊的能力[10,11,12,13],如今将其效用扩展至高风险的诊断一致性核对任务。本研究是最早实证验证ChatGPT在放射学-病理学一致性中作用的研究之一——该领域需要整合临床、影像和组织病理学数据。
本研究存在若干局限性。首先,ChatGPT-4o的评估基于去标识化文本输入,缺乏临床元数据、患者病史或影像视觉资料,而这些均可能影响专家决策。尽管这种隔离性增强了模型的可重复性,但限制了ChatGPT像放射科医师那样对发现进行情境化的能力。其次,虽然ChatGPT-4o未在这些数据上进行微调或训练,但其通用训练语料库中的固有偏倚可能影响管理倾向。第三,这项单中心研究反映了一家三级学术机构的实践模式, findings可能无法推广至社区环境或不同的LLM版本。第四,样本量相对较小,放射科医师和ChatGPT判定为不一致的病例数量较少。
未来研究应探索能够实时整合影像、患者病史和病理学的多模态模型,以及通过人机协作框架融入临床工作流程。真实世界环境中的前瞻性验证、成本-效益分析以及伦理考量——包括透明度、可问责性和可解释性——必须指导负责任的人工智能实施。
5. 结论
ChatGPT-4o在评估图像引导下乳腺活检后放射学-病理学一致性方面表现出与乳腺放射科医师相当的诊断性能。尽管其略为保守的管理建议与放射科医师的选择存在分歧,但这些差异主要反映在良性病例中的变异,并未损害诊断准确性。这些发现提示,诸如ChatGPT之类的大语言模型可为一致性评估和管理规划提供可靠支持——尤其是在亚专科专业知识可及性有限的环境中。通过适当的监督和整合,LLM可作为增强乳腺影像工作流程的宝贵工具,支持跨多样实践环境的公平、高质量医疗。
引用
- Lee A, Curpen B, Alikhassi A, et al. Performance of ChatGPT-4o in Determining Radiology-Pathology Concordance and Management Recommendations Following Image-Guided Breast Biopsies. Diagnostics (Basel). 2025. PMID: 41095755. doi:10.3390/diagnostics15192536
- 全文:PMC12523907(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12523907/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。