商用大语言模型基于MRI描述性报告行口腔癌分期准确性研究
本研究回顾性纳入104份口腔癌治疗前MRI描述性报告,评估五款商用大语言模型(ChatGPT5.4、ChatGPT5.0、ChatGPT4.1、Gemini3.1、DeepSeekV3.2)的T分期、N分期及总分期准确率,并与两名多学科团队成员比较。结果显示ChatGPT与Gemini3.1优于DeepSeekV3.2,但各模型均未持续超越人类专家,且存在幻觉输出,不适宜作为独立分期工具。多学科团队成员自身的较低准确率提示需结构化报告包含临床分期以改善多学科评估。
要点
- 商用LLM从描述性MRI报告行口腔癌分期准确率不一,不能替代放射科医生或MDT成员独立分期。
- LLM存在幻觉风险,如DeepSeekV3.2编造不存在的N3c分期,可能误导不熟悉分期系统的使用者。
- 多学科团队成员对描述性报告分期的准确率也有限,结构化报告并包含临床TNM分期有助于提升MDT决策质量。
核心结论
- 商用大语言模型根据描述性MRI报告对口腔癌进行T分期、N分期和总分期的准确率分别为54.8–76.0%、63.5–88.5%和53.8–80.8%。
- ChatGPT三种版本和Gemini3.1在N分期和总分期的准确率显著高于DeepSeekV3.2(均p<0.001),但在T分期上仅ChatGPT显著更高(p<0.001至p=0.001),Gemini3.1与DeepSeekV3.2无显著差异(p=0.07)。
- 大语言模型未能持续优于多学科团队成员的癌症分期表现,不适宜作为独立分期工具用于临床。
研究设计与样本
- 回顾性研究,纳入104份2015年1月至2025年4月间的口腔癌治疗前MRI描述性报告,单中心数据。
- 参考标准由两名头颈放射专科医师根据AJCC/UICC第8版及2020年口腔癌分期修订达成共识制定。
- 五款商用大语言模型为ChatGPT5.4、ChatGPT5.0、ChatGPT4.1、Gemini3.1和DeepSeekV3.2,两名多学科成员为18年经验口腔外科医师和13年经验头颈肿瘤科医师。
- 采用准确率作为主要评价指标,使用McNemar检验比较差异,并以加权Cohen's kappa评估一致性。
关键影像表现/征象
- DeepSeekV3.2将1/104份报告按AJCC第8版错误分类为N3c,而N3c在口腔癌分期中不存在。
- 不同LLM对T4a和T4b类别的错误升降期涉及7至14例患者,DeepSeekV3.2错误率最高。
- ChatGPT5.0、ChatGPT4.1和Gemini3.1全部输出均注明参考AJCC第8版;DeepSeekV3.2和ChatGPT5.4分别在7/104和19/104份输出中未注明。
诊断标准与关键数值
- LLM总分期准确率范围53.8–80.8%,N分期准确率范围63.5–88.5%,T分期准确率范围54.8–76.0%。
- 多学科团队成员T分期准确率为74.0–76.9%,N分期准确率为76.9–77.9%,总分期准确率为68.3–71.2%。
- 与DeepSeekV3.2相比,Bonferroni校正后显著性阈值调整至p<0.0045,ChatGPT及Gemini3.1在多数指标上显著更高(p<0.001)。
- ChatGPT与Gemini3.1之间以及ChatGPT不同版本之间在T、N、总分期准确率上无显著差异(p=0.08至>0.99)。
临床应用与阅片要点
- 不应单独将商用LLM生成的TNM分期直接写入结构化报告或用于口腔癌多学科讨论决策。
- 一版报告若仅提供描述性内容而未给出TNM,即便LLM声称有较高准确率也不可采纳,需由具备头颈影像经验的医师复核。
- 注意LLM对2020年口腔癌分期修订学习不充分,描述性报告中深度浸润等信息可能被忽略或错误引用,导致T4a与T4b歧义。
- 阅片报告时应明确写出肿瘤大小、浸润深度、淋巴结侧别、数目及大小等关键要素,使分期依据可追溯。
- 若无影像信息作出分期判断,不要强行套用LLM结果;发现输出中出现不存在的分期类别时应视为错误结果。
局限性
- 仅研究了五款来自三家公司的商用LLM,且只针对口腔癌,结果可能不适用于其他头颈癌或不同LLM版本。
- 癌症分期标准与LLM版本持续更新,当前研究结果具有时间敏感性,未来可能并不完全适用。
- 对多学科人类专家未明确是否允许参考分期手册也未设时间限制,与LLM评价条件不完全对等。
- 回顾性设计无法评估LLM对报告时间、多学科讨论效率、使用者满意度等临床流程的影响。
全文中译12 节 · 点击展开
引言
在头颈部癌症(HNC)中,治疗前的癌症分期对于疾病管理至关重要[1]。它为治疗策略的制定提供了关键参考,包括手术或放射治疗方法的选择以及化疗的添加[1]。它通常还用于预测治疗后的结局,并有助于多学科团队(MDT)成员、临床医生和患者之间的便捷沟通。
在规划头颈部癌症治疗时,无论是手术还是非手术治疗,分期都高度依赖于使用头颈部磁共振成像(MRI)和/或计算机断层扫描(CT)的影像学检查来确定原发肿瘤和淋巴结转移的范围。美国癌症联合委员会(AJCC)/国际抗癌联盟(UICC)癌症分期手册中的分期标准在不同头颈部区域之间有所不同,且分期系统会定期更新。对于口腔癌(OCC),第8版中T分类原发肿瘤的标准包括肿瘤大小、浸润深度和浸润范围,而淋巴结转移的N分类则包括侧别、大小和淋巴结数目。这一过程耗时且需要专业的放射学知识,因此常常只能获得描述性的MRI报告,而未分配T和N分类,而这些分类是总体分期的主要决定因素[2]。
近年来,大语言模型(LLMs)——基于人工智能(AI)的强大语言模型——已被整合到医疗管理的多个方面[3–6]。这些模型利用深度学习技术和海量文本数据来生成类似人类的回应并执行复杂推理。这些LLMs在仅有描述性报告的情况下有可能提供T和N分类,并且在未来或许能够提示何时缺失重要信息[6–24]。在一些将ChatGPT和DeepSeek等商业LLMs应用于头颈部影像的研究中,它们在肿瘤特征描述、治疗规划和治疗结局预测方面显示出了前景[15, 16, 23, 25–41]。然而,很少有研究调查这些商业LLMs在将T和N分类及分期分配到放射学报告方面的准确性[6, 15, 16]。
在本研究中,我们旨在通过评估ChatGPT、Gemini和DeepSeek基于治疗前MRI报告对口腔癌进行分期的准确性,来探讨商业LLMs作为诊断支持工具的潜在效用,这些MRI报告包含足够的口腔癌描述性内容,可用于临床T和N分类分配及分期。我们将这些LLMs在T分类、N分类和总体分期方面的准确性与一位肿瘤科医生和一位口腔外科医生(他们是口腔癌管理MDT的成员)的准确性进行了分析和比较。
材料与方法
患者与MRI报告
本回顾性研究经机构审查委员会(香港中文大学与新界东医院联网临床研究伦理委员会联合委员会)批准(参考编号:2025.567),并免除了书面知情同意的要求。所有研究程序均符合《赫尔辛基宣言》的原则。纳入和排除标准的详细信息见补充文件。检索了2015年1月至2025年4月期间的202份MRI报告。在排除了98份MRI报告后——其中大多数缺少放射学浸润深度,而该指标于2017年后被纳入分期标准——剩余104份符合条件的MRI报告用于进一步分析(图1)。治疗前MRI报告的获取及合格性分析的详细信息见补充文件。
T分类、N分类及总分期的参考标准
T分类、N分类及总分期由两名具有头颈放射学亚专业资质的委员会认证放射科医师(H.S.L.和H.M.K.)通过讨论达成共识,依据第8版AJCC/UICC癌症分期手册及2020年口腔癌(OCC)分期标准的修订[42–44](补充表1)。T分类、N分类及总分期的最终评估结果作为评估大语言模型(LLMs)和多学科团队(MDT)成员表现的参考标准。
大语言模型的OCC分期及LLM输出数据的收集
本研究使用通过网站访问的三个版本ChatGPT(ChatGPT5.4、ChatGPT5.0和ChatGPT4.1)、Gemini3.1和DeepSeekV3.2进行。程序的详细信息见补充文件。收集LLMs的第一轮输出用于进一步信息评估。上述程序在最长3个月的时间间隔后重复进行,以评估LLMs基于MRI报告进行OCC分期的观察者内变异性。
收集所有输出后,从每份输出中提取以下数据进行分析:(1)是否提及所参考的癌症分期手册(是或否),(2)LLMs所参考的分期标准,(3)T分类,(4)N分类和(5)总分期。无论输出中是否包含任何假设情景或涉及不确定性,仅记录输出中临床T分类、N分类和总分期的最终建议。对于未明确提供临床癌症分期最终建议的输出,在本研究中记录为“未给出”以供进一步分析。
人类专家(肿瘤科医师和口腔外科医师)的OCC分期
每份符合条件的MRI报告中的相同描述性内容分别由一名具有18年口腔癌手术经验的口腔外科医师(M.Y.L.)和一名具有13年头颈癌治疗经验的肿瘤科医师(T.T.S.L.)独立审阅。仅要求两名人类专家根据其工作经验提供OCC MRI报告的癌症分期,未明确说明是否允许参考任何版本/版次的癌症分期手册,且分期过程中未施加时间限制。记录两名人类专家的T分类、N分类和总分期以供进一步分析。
数据处理与统计分析
所有收集的数据首先进行描述性分析,以总结由LLMs和MDT的两位人类专家确定的分期类别。对于每一份MRI输出,如果LLMs确定的T分期、N分期和总分期与相应的参考标准完全一致(例如,LLM生成:T4a;参考标准:T4a),则视为“正确”;否则归为“不正确”(例如,LLM生成:N2a;参考标准:N2c)。任何缺失输出或幻觉输出在后续分析中均视为“不正确”。T分期、N分期和总分期的准确率分别进行分析。此外,计算了LLMs在T分期、N分期和总分期上的宏平均F1分数、各类别精确率和召回率。方法详情见补充文件。
两个LLM之间以及LLMs与人类专家之间在T分期、N分期和总分期上的准确率比较,在不一致对数≥25时采用McNemar检验,在不一致对数<25时采用精确McNemar检验。使用加权Cohen's kappa检验评估以下各方之间在T分期、N分期和总分期上的观察者间一致性:(1)参考标准与LLMs及人类专家之间;(2)每个LLM的两轮测试之间;(3)两位人类专家之间,并计算系数。统计分析使用SPSS 26.0版(IBM,Armonk,NY,USA)进行。所有统计检验均为双侧检验,p值<0.05表示有统计学显著性,如适用则对显著性p值进行Bonferroni校正。
结果
患者与MRI报告
患者人口学特征、原发肿瘤部位、参考T和N分期及总分期见表1。超过65%的患者OCC起源于舌活动部,超过75%的患者为晚期原发疾病(T3或T4),超过50%的患者为晚期淋巴结疾病(N2或N3),超过80%的患者为III期或IV期,其中大多数为IVa期(表1)。
LLMs基于描述性OCC MRI报告确定T和N分期及总分期性能
在各LLM中,ChatGPT5.0(100%)、ChatGPT4.1(100%)、Gemini3.1(100%)的所有输出中均描述了所参考的分期手册,DeepSeekV3.2的97/104(93.3%)输出和ChatGPT5.4的85/104(81.7%)输出中描述了所参考的分期手册。所有这些包含癌症分期手册引用描述的输出均明确说明分期参考的是AJCC癌症分期手册第8版。
ChatGPT5.0和Gemini3.1在所有输出中均提供了T分期、N分期和总分期。ChatGPT5.4有1个输出未提供总分期;ChatGPT4.1分别有2个和1个输出未提供N分期和总分期;DeepSeekV3.2分别有2个、3个和4个输出未提供T分期、N分期和总分期。从ChatGPT、Gemini3.1和DeepSeekV3.2生成的输出中提取的T和N分期及总分期详情见表2。DeepSeekV3.2根据AJCC癌症分期手册第8版将1/104份报告分类为N3c(图2)。
LLM 在 T 分类、N 分类和总体分期方面的混淆矩阵分别见图 3、图 4 和图 5。LLM 在 T 分类、N 分类和总体分期方面的准确率见表 3。LLM 在 T 分类方面的准确率为 54.8–76.0%,在 N 分类方面为 63.5–88.5%,在总体分期方面为 53.8–80.8%(表 3)。与 DeepSeekV3.2 相比,在使用 Bonferroni 校正将显著性 p 值阈值调整为 < 0.0045 后,三个版本的 ChatGPT 在 T 分类(均 p < 0.001 至 p = 0.001)、N 分类(均 p < 0.001)和总体分期(均 p < 0.001)方面均显示出显著更高的准确率(表 4),Gemini3.1 在 N 分类(p < 0.001)和总体分期(p < 0.001)方面显示出显著更高的准确率,但在 T 分类方面则不然(p = 0.07)。ChatGPT5.4、ChatGPT5.0、ChatGPT4.1 和 Gemini3.1 之间在 T 分类(p = 0.08 至 > 0.99)、N 分类(p = 0.45 至 > 0.99)和总体分期(p = 0.15 至 0.82)方面的准确率无差异(表 4)。值得注意的是,ChatGPT5.4、ChatGPT5.0、ChatGPT4.1、Gemini3.1 和 DeepSeekV3.2 分别将 2 例、2 例、1 例、4 例和 1 例患者的临床 T4a 类错误升级为 T4b 类;ChatGPT5.4、ChatGPT5.0、ChatGPT4.1、Gemini3.1 和 DeepSeekV3.2 分别将 7 例、6 例、6 例、4 例和 13 例患者的临床 T4b 类错误降期。
关于(1)参考标准与 LLM 之间以及(2)每个 LLM 两轮测试之间的癌症分期观察者间一致性结果见补充文件。LLM 在 T 分类、N 分类和总体分期方面的宏平均 F1 分数、每类精确率和召回率分别见补充表 3、4 和 5。
LLM 与人类专家之间癌症分期准确率的比较
人类专家在T分期、N分期和总体分期方面的混淆矩阵分别见图3、图4和图5。人类专家在T分期方面的准确率为74.0–76.9%,N分期为76.9–77.9%,总体分期为68.3–71.2%(表3)。与人类专家相比,在采用Bonferroni校正将显著性p值调整为< 0.01后,ChatGPT和Gemini3.1在T分期(p = 0.22至> 0.99)、N分期(p = 0.02至0.14)和总体分期(p = 0.03至0.87)方面显示了相似的准确率(表5);而DeepSeekV3.2在T分期(p < 0.01)和总体分期(仅与肿瘤科医生相比p < 0.01)方面显示了显著较低的准确率,但在N分期方面则不然(p = 0.01至0.02)(表5)。
讨论
在本研究中,我们探讨了商用大语言模型(LLM)——ChatGPT(版本5.4、5.0和4.1)、Gemini3.1和DeepSeekV3.2——基于仅包含足以完成该任务的描述性内容的治疗前MRI报告进行口腔癌(OCC)分期的价值。这些LLM在T分期方面的准确率为54.8–76.0%,N分期为63.5–88.5%,总体分期为53.8–80.8%。宏平均F1分数与LLM癌症分期准确率显示了相似的趋势,逐类分析显示了各癌症分期类别中精确率和召回率的不同范围。与DeepSeekV3.2相比,三个ChatGPT版本和Gemini3.1显示了更高的分期准确率,但Gemini3.1在T分期方面除外。ChatGPT与Gemini之间无显著准确率差异。我们还比较了LLM与来自多学科团队(MDT)的两位人类专家在口腔癌分期方面的准确率。结果显示,仅基于描述性MRI报告,LLM在癌症分期方面并未始终优于MDT成员。
先前评估商用LLM基于放射学报告进行癌症分期的研究显示了不同的T和N分期准确率[14–16, 20–23, 45],可能由于所研究的LLM模型、癌症类型、报告类型、提示设计和参考标准的不同所致。三项头颈癌研究[15, 16, 23]使用ChatGPT4、DeepSeekV3和Claude3.7 Sonnet报告了T分期准确率为0.73至0.95,N分期准确率为0.80至0.94,其中Gupta等[23]进一步显示结构化提示将T分期准确率从0.73提高至0.81,N分期准确率从0.80提高至0.83。在本研究中,我们预期获得描述性报告的LLM能够根据最新手册进行癌症分期。然而,我们观察到LLM对2020年的中期更新评估不一致,因此可能导致其在口腔癌T分期方面的准确率较低。尽管如此,三个模型(ChatGPT5.0、ChatGPT4.0和Gemini3.1)能够在每份输出报告中一致地注明所参考的分期手册(第8版),而DeepSeekV3.2和ChatGPT5.4分别在7/104和19/104份报告中省略了这一信息。尽管ChatGPT5.4是我们研究期间可用的最新版本,预期能产生最佳的分期表现,但它意外地未优于ChatGPT5.0或ChatGPT4.1,这表明商用LLM可能不适合该任务,需要鼓励开发更多专用的医疗健康LLM[46, 47]。
在OCC患者中,治疗前的临床癌症分期在疾病管理中起着重要作用,尤其是在决定初始治疗策略方面。T1–T4a期肿瘤具有高度可手术性,通常采用手术联合或不联合颈清扫术治疗,而许多广泛的T4b期肿瘤则需要转为非手术姑息治疗。在本研究中,我们发现所测试的五种LLM在T4a和T4b类别中错误分类了7至14例患者,其中DeepSeekV3.2的错误率最高。这些发现表明,依赖当前LLM根据MRI报告进行临床分期可能会误导MDT成员做出不适当的治疗决策。此外,LLM还可能生成事实上不正确、荒谬或捏造的输出,这种现象被称为幻觉,在放射学研究中已有广泛报道 [7, 8, 15, 48–50]。在我们的研究中,DeepSeekV3.2对一份输入报告产生了幻觉输出。该幻觉输出提供了T和N类别及总分期,但错误地将癌症分类为N3c,而该类别在参考手册中并不存在 [42–44]。此类幻觉也有可能误导LLM使用者,尤其是那些缺乏相关知识的人。
口腔外科医生和肿瘤科医生在OCC管理的MDT中发挥着重要作用。本研究还报告了口腔外科医生和肿瘤科医生进行癌症分期的准确性。结果显示,口腔外科医生和肿瘤科医生根据MRI报告进行癌症分期的准确性相似,为0.70至0.75。描述性MRI报告通常包含大量放射学术语和表达类型。口腔外科医生和肿瘤科医生对这些内容的解读可能因其工作经验和专业方向的不同而存在差异。此外,OCC的癌症分期手册在2017年第8版手册首次发布 [42, 44] 之后进行了更新 [43],这也可能导致不同专业的专家在临床使用中产生混淆。因此,强烈推荐包含临床癌症分期的结构化MRI报告,因为它们可以将放射科医生的专业图像解读视角带入其中,极大地辅助癌症分期的多学科评估。这确保了MDT成员之间的一致性并协调其方法,从而实现最佳的患者治疗和一致的临床决策。
值得注意的是,虽然本研究基于单中心数据集,但LLM与人类专家之间的性能差异足够稳健,能够经受住严格的Bonferroni p值校正。此外,我们的研究结果表明,即使输入高度详细的描述性MRI报告,所测试的LLM的表现也不足以支持临床实施。将这些模型应用于来自多个中心的质量参差不齐的常规临床报告,可能会进一步降低性能。此外,虽然我们的队列疾病分期分布不均,但晚期OCC病例占主导地位恰好代表了理论上LLM辅助分期最有价值的临床场景。然而,所测试的LLM在该队列中的次优表现表明,它们尚不足以可靠地单独根据描述性MRI报告提供临床分期。
本研究存在局限性。首先,目前有许多大语言模型(LLMs),但我们仅能研究来自三家公司、可供我们机构访问的五种商用大语言模型,并且我们仅聚焦于一组头颈部癌症(HNCs)。其次,癌症分期标准和大语言模型的版本都会定期更新,因此本研究的结果可能具有时间敏感性。第三,本研究未向人类专家说明是否允许参考癌症分期手册,也未施加任何时间限制。这样做虽然从研究角度可能导致不公平的比较,因为大语言模型和人类专家在口腔癌(OCC)临床癌症分期方面可能具有不同的专业水平,但我们期望这能考虑到临床实践中常见的情景,从而使本研究的结果为读者带来具有临床影响的信息。此外,本研究仅关注基于MRI报告的临床分期,这只是口腔癌患者多学科团队(MDT)疾病管理中临床分期的一部分。另外,由于本研究为回顾性研究,我们无法评估大语言模型对临床工作流程的潜在影响,如报告时间、MDT效率、临床医生满意度和用户接受度。
结论
本研究探讨了商用大语言模型(ChatGPT5.4、ChatGPT5.0、ChatGPT4.1、Gemini3.1和DeepSeekV3.2)在基于描述性MRI报告为口腔癌(OCC)确定T分期、N分期和总体分期中的作用。结果显示,ChatGPT和Gemini3.1在确定癌症分期方面优于DeepSeekV3.2。此外,所测试的大语言模型并未一致地优于MDT成员。尽管其中一些测试的大语言模型取得了较高的准确率,但其整体表现和偶发的幻觉输出表明,它们不适合作为独立的分期工具。此外,两名MDT成员在确定癌症分期方面的低准确率凸显了对包含临床癌症分期的结构化MRI报告的需求。此类报告可能有助于促进影像和文本的多学科协作审查,最终确保不同患者之间临床决策的一致性。
补充信息
电子补充材料
引用
- Ai, Kwok, Lu, et al. Commercial large language models for oral cavity cancer staging using descriptive pre-treatment MRI reports: ready for standalone use in clinical practice? Insights Imaging. 2026. PMID: 42768233. doi:10.1186/s13244-026-02409-y
- 全文:PMC13594034(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13594034/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。