文献速递腹部技术与安全MR

大语言模型在分支胰管型导管内乳头状黏液性肿瘤分类中的效能

Efficacy of a large language model in classifying branch-duct intraductal papillary mucinous neoplasms.
PubMed 文献 · Abdom Radiol (NY) · 2025-06-11

本研究基于本院MRI报告构建并微调大语言模型,按2017年修订版福冈指南将分支胰管型IPMN报告分为5组,并在测试集上与2名放射科住院医师和1名实习医师比较。微调模型准确率0.966,与住院医师相当(0.931–0.972)且显著优于实习医师(0.907),分类耗时25秒,远快于阅片者(1,887–2,646秒)。

要点

  • 微调大语言模型按福冈指南分类BD-IPMN报告,准确率0.966,与放射科住院医师相当。
  • 模型分类耗时25秒,较阅片者1,887–2,646秒显著缩短。
  • 模型对囊肿直径≥10 mm分类AUC为0.982,显著优于实习医师的0.944。

核心结论

  • 微调大语言模型能依据MRI报告按修订版福冈指南对BD-IPMN进行分类,性能与放射科住院医师相当或显著优于经验较少者,并大幅缩短分类时间。

研究设计与样本

  • 回顾性研究,训练集3,309例、验证集159例、测试集290例上腹部MRI报告,按时间顺序划分。
  • MRI序列包括2D-MRCP、3D-MRCP、true FISP、单次激发FSE T2WI、DWI、3D脂肪抑制T1WI。
  • 参考标准由1年经验放射科住院医师按2017年修订版福冈指南分为5组,并由14年经验放射科医师验证。

诊断标准与关键数值

  • 分组标准:组0为难以分类者(如未描述最大囊肿直径);组1囊肿直径<10 mm;组2为10–19 mm;组3为20–29 mm;组4为伴WF或HRS。
  • WF包括囊肿≥3 cm、强化壁结节≤5 mm、囊壁增厚或强化、主胰管直径5–9 mm、胰管管径突变伴远端胰腺萎缩、淋巴结肿大、血清CA19-9升高、2年内囊肿增长率≥5 mm;HRS包括胰头囊性病变患者梗阻性黄疸、强化壁结节≥5 mm、主胰管直径≥10 mm。
  • 测试集准确率:微调模型0.966,Reader 1与Reader 2为0.931–0.972,Reader 3为0.907(模型 vs Reader 3,p=0.003)。
  • 区分组0–1与组2–4(囊肿直径≥10 mm)AUC:模型0.982[0.965–0.998],Reader 1 0.993[0.983–1.000](p=0.146),Reader 2 0.987[0.974–1.000](p=0.535),Reader 3 0.944[0.921–0.968](p=0.012)。
  • 区分组0–2与组3–4(囊肿直径≥20 mm)AUC:模型0.968[0.940–0.995],Reader 1 0.981[0.963–0.999](p=0.404),Reader 2 0.978[0.955–1.000](p=0.467),Reader 3 0.941[0.902–0.980](p=0.226);区分组0–3与组4(WF和HRS)AUC:模型0.936[0.868–1.000],Reader 1 0.974[0.932–1.000](p=0.365),Reader 2 0.917[0.841–0.993](p=0.689),Reader 3 0.958[0.902–1.000](p=0.535)。

临床应用与阅片要点

  • 本院无IPMN专用报告模板,所有报告以日语书写,报告中HRS、WF等词已被去除。
  • 模型在组4分类中敏感度较低,测试集24例组4中3例分类错误:2例未能捕捉增长率而仅依据囊肿直径判断,1例未能捕捉<5 mm强化结节而仅依据囊肿直径判断。

局限性

  • 本研究为单中心实验,尚未验证对其他机构或其他报告系统的适用性。
  • 模型无法参考既往报告,写明「与上次相比无显著变化」的报告无论囊肿直径均归入组0;WF包含囊肿增长率,难以从单份报告判断。
  • 本研究仅关注放射学报告,模型基于报告而非图像,基于图像的智能分类仍为未来研究方向。
  • 模型对组4分类敏感度较低,可能与WF和HRS包含多种评价项目及组4报告数量较少有关。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Abdom Radiol (NY). 2025 Jun 11;51(1):417–23. doi: 10.1007/s00261-025-05062-z

引言

导管内乳头状黏液性肿瘤(IPMN)是一种由产生黏蛋白的上皮细胞构成的胰腺外分泌肿瘤,是一种常见疾病,占所有胰腺肿瘤的1%,占所有胰腺囊性肿瘤的25% [1]。根据胰腺导管的受累情况,IPMN分为三种亚型:主胰管型IPMN、分支胰管型IPMN(BD-IPMN)和混合型IPMN [2]。IPMN被认为是胰腺癌的癌前病变 [1],并可观察到腺瘤-癌序列 [1]。据报道,从低级别异型增生到发展为浸润性癌的时间约为4-6年 [1],非恶性IPMN的5年生存率为77%至100%,恶性IPMN为22%至62% [3]。此外,其他合并癌症可发生于IPMN所在胰腺导管以外的其他胰腺导管 [4]。因此,对IPMN进行适当的随访对于癌症的早期发现和治疗干预非常重要。

BD-IPMN是最常见的IPMN亚型,修订版国际共识福冈指南(2017)提供了用于选择BD-IPMN治疗策略和随访间隔的算法。这些指南定义了高危征象(HRS)和令人担忧的特征(WF)作为怀疑恶性的标志,应考虑进行密切检查 [5]。据报道,70%的HRS患者和30%的WF患者存在恶性肿瘤,且风险随WF数量的增加呈阶梯式上升 [6]。因此,遵循指南对于干预和管理非常重要。因此,放射科医生应根据指南撰写报告。然而,在日常实践中做出这些判断可能需要一定的熟悉程度和经验。因此,能够辅助经验不足的人类阅片者的工具是必不可少的。

自2010年代中期以来,深度学习在放射学领域的应用受到了广泛关注 [7]。该技术不仅可应用于基于图像的任务,包括图像处理 [8-10] 和影像诊断 [11-13],还可应用于自然语言处理 [14-18]。一些方法,如ChatGPT和来自Transformer的双向编码器表示(BERT),可用于自然语言处理任务。虽然ChatGPT需要将数据上传至互联网服务器,但BERT可下载至本地计算机使用,不存在隐私顾虑 [19]。BERT在多项任务中对放射学报告的分类已显示出良好前景 [14-18]。因此,BERT有潜力根据修订版国际共识福冈指南对磁共振成像(MRI)报告进行分类,并可能帮助不熟悉这些指南的放射科医生。

在本研究中,开发了一种大语言模型(LLM),用于根据指南对BD-IPMN的MRI报告进行分类,并将其性能与经验不足的人类阅片者进行了比较。

材料与方法

本回顾性研究经我院机构审查委员会批准,因本研究的回顾性性质,豁免了获取书面知情同意的要求。

患者

检索我院医学图像管理与处理系统以识别合适病例,并收集上腹部MRI检查的放射学报告;随后将这些报告分配至训练集、验证集和测试集(图1)。训练集包括2019年5月至2021年6月期间获得的5,000例伴有胰腺囊性病变的上腹部MRI报告;验证集包括2022年6月获得的250例伴有胰腺囊性病变的上腹部MRI报告;测试集包括2024年3月至2024年6月期间获得的500例伴有胰腺囊性病变的上腹部MRI报告。我们选择了形态学上与BD-IPMN一致的病例。所有数据集中均排除了未包含胰腺囊性病变的MRI报告、未确定为BD-IPMN的非特异性囊肿患者、无胰腺囊性病变的主胰管型IPMN以及混合型IPMN。排除主胰管型和混合型IPMN的原因是,我们用作分类依据的修订版国际共识福冈指南(2017)[5]仅对BD-IPMN提供了随访间隔和干预建议。MRI检查包括以下序列:2D-磁共振胰胆管成像、3D-磁共振胰胆管成像、真稳态进动快速成像、单次激发快速自旋回波T2加权成像、弥散加权成像、3D脂肪抑制T1加权成像。从测试集中排除了已纳入训练集的患者。报告以CSV格式获取。在我院,没有针对IPMN的专用报告模板。所有报告均以日语撰写,并从报告中删除了HRS和WF等词语。

图1 患者纳入与排除流程 查看原图 ↗

参考标准

每份报告由一名具有1年诊断影像经验的放射科住院医师根据修订版国际共识福冈指南(2017)[5]分为五组。各组如下:

*第0组:难以根据修订版国际共识福冈指南进行分类的BD-IPMN(例如,未描述最大囊肿直径)。

*第1组:囊肿直径< 10 mm的BD-IPMN。

*第2组:囊肿直径在10至19 mm之间的BD-IPMN。

*第3组:囊肿直径在20至29 mm之间的BD-IPMN。

*第4组:伴有WF(囊肿≥ 3 cm、强化壁结节≤ 5 mm、囊壁增厚或强化、主胰管直径5–9 mm、胰管管径突然改变伴远端胰腺萎缩、淋巴结肿大、血清CA19-9水平升高、以及2年内囊肿增长率≥ 5 mm)或HRS(胰腺头部囊性病变患者出现梗阻性黄疸、强化壁结节≥ 5 mm、以及主胰管直径≥ 10 mm)的BD-IPMN。

该分类由一名具有14年影像经验的放射科医师验证。

模型微调

我们在配备Core™ i9-12900F(Intel)中央处理器、GeForce RTX 3090(NVIDIA)图形处理器和128 GB内存的工作站上,使用Python编程语言(版本3.10.13)(https://www.python.org/)和Transformers库(版本4.35.2)(https://huggingface.co/),对预训练的来自Transformers的双向编码器表示日语模型(https://huggingface.co/cl-tohoku/bert-base-japanese)进行了微调。该模型包含12层、768维隐藏状态和12个注意力头。该模型使用截至2019年9月1日的日语维基百科进行预训练。使用AutoModelForSequenceClassification类方法,基于各组的logits将模型微调为将报告分为五组。根据我们以往的经验,轮数设置为10,其他超参数设置为默认值。由于训练过程的随机性,例如参数初始化和训练数据打乱,在训练和验证数据集上进行了15次会话,并采用性能最佳的模型。这些过程如图2所示。

图2 微调流程 查看原图 ↗

微调模型和读者的测试阶段

在验证数据集上表现最佳的模型在测试数据集上进行评估。两名放射科住院医师(读者1和读者2,分别具有3年和2年诊断影像经验)和一名实习医师(读者3,具有2年医疗经验)手动将测试数据集中的报告分为五组,并将其表现与模型进行比较。读者1、2和3对患者背景信息设盲,并独立进行分类。在此评估之前,一名具有14年影像经验的放射科医师对所有测试数据集进行了随机化。记录结果和完成分类所需的时间。

统计分析

统计分析使用R(版本4.4.2)(https://www.r-project.org/)进行。进行McNemar分析以比较微调大语言模型(LLM)与读者的敏感性和准确性。某一给定类别的敏感性定义为该类别所有实际病例中正确识别的真阳性病例比例。进行受试者工作特征(ROC)曲线分析,通过计算ROC曲线下面积(AUC)评估微调LLM区分0–1组与2–4组、0–2组与3–4组以及0–3组与4组的性能。进行Kruskal–Wallis检验,随后进行事后Dunn检验,以比较LLM与读者1、2和3各自的分类时间。由于对AUC、敏感性和分类时间进行了多重比较,应用Bonferroni校正,统计显著性设定为p值< 0.017(= 0.050 / 3)。

结果

患者

表1展示了提取后的数据集。训练、验证和测试数据集分别包含3,309、159和290份报告,并且在各数据集中未观察到平均年龄或性别分布的显著差异。

表1 患者人口学数据及各组分布 查看原表 ↗

微调模型在验证数据集上的性能

在训练和验证数据集上共进行了15次运行。表2展示了每个模型的准确率。其中表现最好的模型之一,模型5,被选为最终模型。模型5能够以0.981的准确率对验证数据集中的报告进行分类。

表2 模型在验证数据集上的准确率 查看原表 ↗

微调模型和阅读者的测试阶段

表3展示了参考标准与最佳微调大语言模型(LLM)及阅读者预测数据之间的混淆矩阵。表4展示了微调LLM和三名阅读者在分类中的准确率、灵敏度和所需时间。微调LLM在测试数据集上的准确率为0.966,与阅读者1和阅读者2相当(0.931–0.972),且显著优于阅读者3(0.907)(p = 0.003)。

微调LLM在25秒内完成了测试数据集,比阅读者1快约75倍,比阅读者2快约85倍,比阅读者3快约106倍(所有p < 0.001)。

表3 参考标准与预测数据的混淆矩阵 查看原表 ↗
表4 微调LLM和阅读者的表现 查看原表 ↗
图3 通过计算受试者工作特征曲线下面积(AUC)进行受试者工作特征(ROC)分析,以评估微调LLM的表现。a:区分组0和组1与组2–4(囊肿直径≥ 10 mm)的ROC曲线。微调LLM、阅读者1、阅读者2和阅读者3的AUC分别为0.982 [0.965–0.998]、0.993 [0.983–1.000](p = 0.146)、0.987 [0.974–1.000](p = 0.535)和0.944 [0.921–0.968](p = 0.012)。b:区分组0–2与组3和组4(囊肿直径≥ 20 mm)的ROC曲线。微调LLM、阅读者1、阅读者2和阅读者3的AUC分别为0.968 [0.940–0.995]、0.981 [0.963–0.999](p = 0.404)、0.978 [0.955–1.000](p = 0.467)和0.941 [0.902–0.980](p = 0.226)。c:区分组0–3与组4(WF和HRS)的ROC曲线。对于WF和HRS,微调LLM、阅读者1、阅读者2和阅读者3的AUC分别为0.936 [0.868–1.000]、0.974 [0.932–1.000](p = 0.365)、0.917 [0.841–0.993](p = 0.689)和0.958 [0.902–1.000](p = 0.535)。 查看原图 ↗

讨论

在本研究中,我们根据修订版国际共识福冈指南[5]对LLM进行了微调,以对腹部MRI报告进行分类。我们的结果显示,微调后的LLM能够以高灵敏度和准确率对BD-IPMNs的MRI报告进行分类,其表现与经验较少的人类阅读者相当或显著优于后者。此外,完成测试数据集所需的时间显著缩短。

在读者中,读者3(一名实习生)的准确率最低,显著低于微调后的大语言模型(LLM)。此外,读者3的周转时间最长,而具有更长诊断影像经验的读者1的周转时间比读者2短。这一差异可能反映了诊断影像经验和对BD-IPMN分类熟悉程度的差异。由于影像检查的广泛使用和人口老龄化,IPMN病例数正在增加[20]。任何机构的放射科住院医师都将被要求按照指南撰写IPMN报告,本研究中开发的微调LLM将对他们的日常实践大有帮助。此外,微调LLM使得在短时间内以高准确率对患者进行分类成为可能,这对于未来IPMN研究中受试者的选择将非常有用。

微调LLM在分类第4组时的灵敏度低于分类其他组。这一现象可能归因于以下事实:WF和HRS包含多种评估项目,如主胰管直径、壁结节和囊壁直径,且第4组的报告数量少于其他组的报告数量。在测试数据集中,LLM在24例第4组病例中有3例判断错误。在错误病例中,LLM在2例中无法捕捉生长速率而仅根据囊壁直径进行判断,在剩余1例中,LLM无法捕捉小于5 mm的强化结节而仅根据囊壁直径进行判断。训练数据集中仅包含4例仅增强速率符合WF的病例和仅1例仅强化结节符合WF的病例,这可能是LLM在分类第4组时灵敏度相对较低的原因。通过纳入更多第4组报告以及纳入符合WF和HRS各种条件的报告,可以实现改进。

本研究存在一些局限性需要考虑。首先,实验在单一机构进行,尚未验证其对其他机构或其他报告系统的适用性。然而,我们尝试按时间顺序将数据集分为训练集、验证集和测试集。根据Walston等人的研究,虽然随机拆分和交叉验证被归类为内部数据集,但时间或地理集合被归类为外部数据集[21]。其次,该模型无法参考既往报告。写明“自上次以来无明显变化”的报告必须归入第0组,无论囊壁直径如何。此外,WF包含囊壁生长速率,这难以从单份报告中确定。第三,LLM的临床效用已被广泛报道。虽然本研究仅关注放射学报告,但也已有模型被开发用于基于计算机断层扫描表现对胰腺导管腺癌早期和晚期进行分类,以及区分胰腺腺鳞癌和胰腺导管腺癌[22, 23]。第四,所开发的模型基于放射学报告而非图像。虽然基于图像的智能分类可能具有较高的临床价值,但这仍是未来研究的课题。

总之,本研究表明,经过微调的大型语言模型(LLM)能够依据修订版国际共识福冈指南对BD-IPMN进行分类,其性能与经验较少的人类阅片者相当或显著优于后者,并显著缩短了分类所需的时间。

电子补充材料

以下是电子补充材料的链接。

补充材料1

引用

  1. Sato M, Yasaka K, Abe S, et al. Efficacy of a large language model in classifying branch-duct intraductal papillary mucinous neoplasms. Abdom Radiol (NY). 2025. PMID: 40498341. doi:10.1007/s00261-025-05062-z
  2. 全文:PMC12830448(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12830448/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。