文献速递腹部MR

利用领域特异性大语言模型对自由文本MRI报告进行LI-RADS v2018分类的可行性研究

Utilizing a domain-specific large language model for LI-RADS v2018 categorization of free-text MRI reports: a feasibility study.
PubMed 文献 · Insights Imaging · 2024-11-22

本研究回顾性纳入291个肝脏小病灶(120个虚构、171个来自175份单中心MRI报告),开发基于GPT-4的领域特异性聊天机器人LiverAI,用于从自由文本MRI报告中按LI-RADS v2018分类。模型单独分类与真值一致性中等(κ=0.54),LR-5敏感度0.76、特异度0.96;作为分诊工具时与独立阅片者表现无统计学显著差异,工作量减少45%。

要点

  • LiverAI单独行LI-RADS分类与真值一致性中等(κ=0.54),LR-5敏感度0.76、特异度0.96
  • 分诊策略下两位放射科医生κ分别为0.86和0.87,与单独阅片无统计学显著差异,工作量减少45%
  • 双阅加仲裁策略下仲裁者工作量分别减少52.5%(R2)和60.0%(R1),与单独阅片无统计学显著差异

核心结论

  • 基于未标注MRI报告进行LI-RADS v2018分类在LiverAI上可行,可提升数据整理效率。

研究设计与样本

  • 回顾性可行性研究,纳入291个肝脏小病灶,其中120个为虚构、171个提取自175份单中心MRI报告。
  • 数据集分为训练集141个(51个真实+90个虚构)、验证集30个、测试集120个。
  • LiverAI为基于GPT-4架构、由西班牙肝脏研究学会(AEEH)赞助的领域特异性聊天机器人,于2023年11月至2024年1月开发。
  • 参考标准为三位放射科医生(M.M.-G.、A.D.、A.S.)的多数共识评估。
  • 比较对象为两位独立放射科医生(R1、R2)和一位肝病专家,并评估替代、双阅加仲裁、分诊三种策略。

诊断标准与关键数值

  • 测试集真值分布:LR-1 1个(0.8%)、LR-2 7个(5.8%)、LR-3 33个(27.5%)、LR-4 5个(4.2%)、LR-5 66个(55%)、LR-M 5个(4.2%)。
  • LiverAI单独分类与真值一致性κ=0.54(95%CI 0.42-0.65),二分类恶性κ=0.58(95%CI 0.42-0.73)。
  • LiverAI单独LR-5敏感度0.76(95%CI 0.69-0.86)、特异度0.96(95%CI 0.91-1.00)。
  • 分诊策略下R1 κ=0.86(95%CI 0.79-0.93)、R2 κ=0.87(95%CI 0.79-0.94),肝病专家κ=0.76(95%CI 0.67-0.84)。
  • 分诊策略下LR-5敏感度/特异度:R1为1.00(95%CI 1.00-1.00)/0.96(95%CI 0.91-1.00),R2为0.98(95%CI 0.95-1.00)/0.92(95%CI 0.84-0.99),肝病专家敏感度0.85(95%CI 0.78-0.92)。

临床应用与阅片要点

  • 作者认为分诊策略与真值一致性高且减少工作量,是将该LLM整合入数据整理工作流程中最有效的方式。
  • 作者指出结构化报告和LI-RADS等标准化系统可改善与转诊医生的沟通,并可能便于大数据分析中的自动报告评估和内容提取。

局限性

  • 模型开发固有的数据规模和质量限制可能影响LiverAI表现。
  • 有经验放射科医生具备超越LI-RADS表格信息的上下文理解能力,可解读自由文本中的细微差别。
  • 原始报告缺乏标准化LI-RADS术语构成额外局限。
  • 模型使用单中心患者数据集及当地语言报告进行训练和测试。
  • 采用ChatGPT等通用LLM涉及将健康信息传输至公司服务器,存在隐私担忧;LiverAI所有输入临床数据均传输至OpenAI外部服务器。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Nov 22;15:280. doi: 10.1186/s13244-024-01850-1

引言

结构化报告被认为是改善临床和放射学工作流程的关键[1, 2]。具体而言,在肝癌领域,肝脏影像报告和数据系统(LI-RADS)于十多年前开发,作为一个标准化系统,用于协助对肝细胞癌(HCC)风险患者的肝脏病灶进行报告、管理和数据收集[3]。LI-RADS提供了一个算法框架,根据主要和可选辅助特征的组合对肝脏病灶进行分类,指示HCC或恶性的可能性,并指导后续影像学检查[4]。除了其临床意义外,LI-RADS旨在为放射学报告提供标准化框架,以提高数据提取和汇总的效率,目前这一效率受到已发表文献中使用的异质性术语的挑战[5]。像LI-RADS这样的标准化系统,结合结构化报告,可以简化从影像报告中的数据挖掘,从而能够生成对研究和机器学习应用至关重要的大规模数据库。尽管越来越多的证据表明其潜在益处,但结构化报告在临床常规中的实施仍然缺乏[6],而从自由文本放射学报告中提取数据仍然是一项耗时的手工任务。

自然语言处理(NLP)是人工智能(AI)的一个领域,专注于开发算法和模型,使机器学习系统能够解释人类语言。随着大型语言模型(LLMs)通过最近发布的OpenAI生成式预训练变换器(GPT)的普及,NLP在 various 医学领域的研究人员中获得了显著关注[7, 8]。在放射学中,这些模型已证明适用于各种任务,如影像检查转诊、标准化和简化放射学报告、辅助鉴别诊断以及生成印象[8–12]。最近的探索性研究还表明,这些LLMs可以大规模用于从叙述性放射学报告中提取结构化和定量信息[13, 14]。虽然NLP在肿瘤学中的潜在应用此前已被探索[15],但先前的研究集中于为特定应用量身定制并在人工标注数据集上训练的定制NLP系统[16]。相比之下,新的LLMs在未标注数据上训练,可以在最少任务特定信息的情况下应用于复杂任务。

本探索性研究旨在评估LiverAI——一个基于GPT-4架构构建的上下文聊天机器人——在基于从真实磁共振成像(MRI)报告中提取的自由文本放射学描述对肝脏病灶进行LI-RADS v2018分类中的性能。为此,我们将该算法的性能与不同经验水平的人类读者进行了比较。此外,我们评估了其与数据整理流程的最佳整合方式,同时考虑了附加场景和分诊场景中算法的序贯使用。

材料和方法

研究方案获得了本机构临床研究伦理委员会的批准(HCB/2023/0900)。由于数据收集的回顾性特征和匿名数据的使用,知情同意被豁免。

数据来源

我们从既往一项前瞻性系列研究的两个事后研究中随机选取了175份肝硬化患者的自由文本MRI报告样本[17, 18]。这些研究的目的与本研究不重叠。所有参与者均患有肝硬化,并在筛查超声(US)发现新的小局灶性肝脏病变(< 2 cm)后接受了肝脏MRI检查。MRI采用细胞外钆剂的标准方案进行,包括全部四个期相,旨在表征所发现的病变。原始报告撰写于2004年至2015年间,由我们机构的15位不同放射科医生以西班牙语书写,未包含任何LI-RADS分类的提及。所有报告均由研究协调员(M.M.-G.)审核并编码以纳入研究数据库。感兴趣病变的自由文本描述被手动提取,放射科医生的最终印象被删除以防止算法或人工阅读者的偏倚(即与HCC一致等)。共排除13份报告,原因包括缺少测量数据、缺乏LI-RADS特征或报告存在妨碍正确评估的伪影。数据集包含162份报告,共计171个观察,涵盖了多种报告风格和词汇。

领域特定聊天机器人的开发

提取的观察被随机分为训练集(n = 51)和测试集(n = 120)。鉴于真实描述数量有限,我们的优先事项是最大化测试集的规模以严格评估模型性能。为增加训练数据集的规模和多样性,我们使用OpenAI的GPT-4 API模型开发了一个专用脚本,生成额外的120个虚构示例。这些合成病例在纳入开发队列前由研究协调员仔细审核和修正,确保其准确性和相关性。最终训练集共计141个肝脏观察(51个真实和90个合成),另有30个描述指定用于验证(图1)。研究协调员对训练数据集进行了标注。

本研究评估的大语言模型(LLM)为LiverAI,这是一个由西班牙肝病学会(西班牙语缩写为AEEH)赞助的领域特定聊天机器人。LiverAI于2023年11月至2024年1月间基于GPT-4架构使用OpenAI的应用程序编程接口(API)开发。LiverAI的开发过程涉及一系列迭代实验和优化以提升其性能(附录S1)。最初,我们手动将主要以图形和表格形式呈现的LI-RADS数据转换为AI优化的文本描述[19]。文本信息来源于公开可获取的美国放射学会(ACR)CT/MRI LI-RADS v2018 Core(https://www.acr.org/-/media/ACR/Files/RADS/LI-RADS/LI-RADS-2018-Core.pdf)。模型经过微调并应用嵌入以增强其在LI-RADS系统内的分类能力,辅以提示工程进一步优化其性能。脚本及所有相关文档已在Apache 2.0许可下发布于GitHub(https://github.com/aeehliver/lirads)。最后,为评估和验证该方法,我们将LiverAI的性能与公开可用的通用聊天机器人GPT-3.5和GPT-4进行了比较(附录S3和表S1)。

图1 研究设计流程图 查看原图 ↗

研究流程与参考标准定义

五位独立的放射科医师受邀参与本研究,包括研究协调员,均熟悉LI-RADS系统且肝脏影像学经验水平各异:M.M.-G.(2年)、A.D.(25年)、A.S.(5年)、B.S.(3年)和J.R.(20年)。此外,还纳入了一位具有9年经验的肝病学专家(E.M.)。每位阅片者根据叙述性报告描述并按照现行LI-RADS v2018定义,独立对测试集中纳入的所有肝脏观察灶(n = 120)进行LI-RADS分类赋值。研究协调员将相同的报告信息以单次查询方式呈现给聊天机器人,并记录算法给出的输出(图2)。

每个观察灶的参考标准通过三位放射科医师(M.M.-G.、A.D.和A.S.)的多数评估共识确定。其余两位未参与参考标准定义的独立放射科医师(B.S.和J.R.)及肝病学专家(E.M.)的表现被评估,并以参考标准为参照与LiverAI进行比较(图3)。聊天机器人正确和错误分类的示例见在线补充材料(表S2)。

图2 领域专用大语言模型(LiverAI)的聊天机器人界面,展示了一个被正确分类的自由文本肝脏观察灶描述示例。为便于理解,聊天机器人界面和报告均已从西班牙语翻译为英语。LI-RADS,肝脏影像报告和数据系统 查看原图 ↗
图3 领域专用大语言模型(LiverAI)的工作流程与性能分析。LI-RADS,肝脏影像报告和数据系统;R1和R2,分别为独立放射科医师1和2;H,肝病学专家 查看原图 ↗

临床场景

为探索所开发算法在数据管理流程中的最佳整合方式,研究了三种不同场景(图4)。一方面,我们将该算法视为放射科医师进行数据分类的潜在替代方案(替代策略)。另一方面,我们采用两种组合策略探索大语言模型算法与独立阅片者的序贯表现。第一种策略中,我们评估了放射科医师1(R1,B.S.)或放射科医师2(R2,J.R.)与聊天机器人组合的表现,由另一位参与者作为仲裁者解决分歧(R1 + LiverAI#R2,或R2 + LiverAI#R1)(双阅片加仲裁策略)。第二种策略中,聊天机器人评估所有肝脏观察灶,阅片者(包括肝病学专家H,E.M.)仅对算法分类为LR-3、LR-4和LR-M的观察灶进行进一步评估(分诊策略)。三种探索方法的主要终点为LI-RADS分类的准确性。次要终点为检出LR-5观察灶的比例。

图4 用于评估领域专用大语言模型(LiverAI)在自由文本MRI报告中描述的肝脏观察灶LI-RADS分类最佳整合方式的临床场景。R1和R2,分别为独立放射科医师1和2。* 双阅片策略重复进行,分别考虑R1与LiverAI组合后由R2仲裁,以及R2与LiverAI组合后由R1仲裁 查看原图 ↗

统计分析

LI-RADS 各类别间的一致性采用两种不同方法计算。首先,分别考虑每个 LI-RADS 类别,按恶性风险升序排列 [20]:LR-1、LR-2、LR-3、LR-4、LR-5 和 LR-M。其次,采用二分类方法,将类别分为较低恶性风险或可能/明确恶性(LR-1、LR-2 和 LR-3 对比 LR-4、LR-5 和 LR-M)。

三名独立读者和聊天机器人在最终测试集中的表现,以及每种组合策略所得的归类,均根据共识参考标准进行评估。不一致的类型以混淆矩阵呈现。在所有 LI-RADS 类别中与参考标准的一致性采用线性加权的加权 kappa 评估,而二分类方法通过 Cohen's kappa 测量。两名以上读者间的一致性计算 Fleiss' kappa。根据 kappa 系数,一致性分类如下:< 0.20,轻微;0.21–0.40,一般;0.41–0.60,中等;0.61–0.80,高度;> 0.80,几乎完全一致 [21]。还计算了 LR-5 的敏感度和特异度。置信区间(CI)通过 bootstrap 重采样获得,但 kappa 指数采用二项正态近似。所有统计分析均使用 R 统计软件(版本 4.2.2)计算。

结果

患者和观察特征

图 1 显示了纳入研究的报告流程图。共纳入 291 个肝脏观察:120 个为虚构,171 个提取自 154 例患者的肝脏 MRI 报告。表 1 总结了各数据集的特征。

初始测试数据集包括 120 个肝脏观察的 MRI 描述。根据参考标准,1 个观察归类为 LR-1(0.8%),7 个为 LR-2(5.8%),33 个为 LR-3(27.5%),5 个为 LR-4(4.2%),66 个为 LR-5(55%),5 个为 LR-M(4.2%)。没有报告归类为存在静脉内癌栓的观察(LR-TIV)。1 个观察归类为“不可分类”(LR-NC),2 个观察未达成共识一致。这 3 个观察被排除在最终测试数据集(n = 117)的表现分析之外(图 1)。

表 1 测试和开发数据集中纳入的肝脏观察特征 查看原表 ↗

人类读者间的一致性

五名放射科医师对 70.0%(120 个中的 84 个)肝脏观察的 LI-RADS 归类达成一致,读者间一致性为高度(κ = 0.74 [95% CI:0.68–0.79])。对于二分类恶性,一致性几乎完全一致(κ = 0.87 [95% CI:0.79–0.92]),一致百分比为 105/120(87.5%)。在考虑所有可能组合时,肝病科医师与每位放射科医师的一致性始终低于放射科医师之间的一致性。所有 LI-RADS 类别中两两之间的读者间一致性值总结于图 5。

图 5 所有人类读者间在所有 LI-RADS 类别中的读者间一致性。R,读者 查看原图 ↗

LiverAI 在数据挖掘策略上的最优整合

LiverAI 与独立读者相比的表现(替换策略)

根据参考标准,算法准确分类了73/117(62.4%)个观察结果(图6a),与既定共识相比具有中等一致性(κ = 0.54 [95% CI:0.42–0.65])。LR-5的灵敏度和特异度分别为0.76(95% CI:0.69–0.86)和0.96(95% CI:0.91–1.00)。关于独立阅片者,放射科医师1(R1)和放射科医师2(R2)分别正确分类了101/117(86.3%)和105/117(89.7%)个观察结果。与共识的一致性在所有LI-RADS类别中几乎完美(R1:κ = 0.82 [95% CI:0.73–0.91];R2:κ = 0.86 [95% CI:0.77–0.95]),显著高于模型。LR-5的灵敏度和特异度分别为:R1为1.00(95% CI:1.00–1.00)和1.00(95% CI:1.00–1.00),R2为0.98(95% CI:0.95–1.00)和0.94(95% CI:0.87–1.00)。相比之下,肝病科医师正确分类了85/117(72.6%)个观察结果。与参考标准的一致性为中等程度(κ = 0.72,95% CI:0.62–0.81),但与模型相比无显著优势,且准确率显著低于最有经验的放射科医师(R2)。LR-5的灵敏度和特异度分别为0.76(95% CI:0.66–0.86)和0.96(95% CI:0.90–1.00)。

对于二分类恶性,算法正确分类了97/117(82.9%)个观察结果(图6b),与参考标准相比具有中等一致性(κ = 0.58 [95% CI:0.42–0.73])。对于可能/明确恶性观察结果(LR-4、LR-5和LR-M)的灵敏度和特异度分别为1.00(95% CI:1.00–1.00)和0.51(95% CI:0.37–0.66)。三名独立阅片者的一致性显著更高(详细统计见Table 2)。

图6 LiverAI的评估与共识放射学评估在所有LI-RADS类别(a)和二分类恶性(b)中的比较。RCA,放射学共识评估 查看原图 ↗
表2 测试数据集中独立人类阅片者和领域特定大语言模型(LiverAI)单独应用,以及两种联合场景(放射科医师的双阅片加仲裁,以及所有参与者的分诊)的性能统计 查看原表 ↗

双阅片加仲裁策略

R1或R2与聊天机器人组合,并由另一名人类参与者进行后续仲裁(R1 + LiverAI#R2,或R2 + LiverAI#R1),两种策略均达到几乎完美的一致性,与每位人类阅片者单独表现相比无统计学显著性差异(R1 + LiverAI#R2:κ = 0.87 [95% CI:0.79–0.96];R2 + LiverAI#R1:κ = 0.88 [95% CI:0.80–0.96])。相应地,分别有107/117(91.5%)和106/117(90.6%)个观察结果被准确分类,第一种组合的LR-5灵敏度和特异度分别为0.98(95% CI:0.95–1.00)和0.96(95% CI:0.91–1.00),第二种组合为0.98(95% CI:0.95–1.00)和0.98(95% CI:0.94–1.00)。同样,对于二分类恶性,未观察到一致性差异(Table 2)。采用此方法,其中一名阅片者评估了整个数据集,而仲裁者的工作量从120个观察结果分别降至57个(− 52.5%)(R2)和48个(− 60.0%)(R1)。

分诊策略

由R1和R2对算法归类为LR-3、LR-4和LR-M的观察结果进行序贯评估,两位放射科医师均达到几乎完美的一致性(R1:κ = 0.86 [95% CI:0.79–0.93];R2:κ = 0.87 [95% CI:0.79–0.94]),与每位读者单独判读的表现相比,差异无统计学意义。采用该策略后,两位读者分别有102/117(87.2%)和104/117(88.9%)的观察结果被准确归类,R1对LR-5的灵敏度和特异度分别为1.00(95% CI:1.00–1.00)和0.96(95% CI:0.91–1.00),R2分别为0.98(95% CI:0.95–1.00)和0.92(95% CI:0.84–0.99)(表2)。对于肝病科医师,采用该策略有90/117(76.9%)的观察结果被准确归类。尽管与单独判读表现相比差异无统计学意义(表2),但该方法略微提高了与参考标准的一致性(κ = 0.76 [95% CI:0.67–0.84])和灵敏度(0.85 [95% CI:0.78–0.92])。

对于二分类恶性判定,未观察到一致性差异,所有读者与参考标准均达到几乎完美的一致性(表2)。采用该策略后,每位读者的工作量从120个观察结果减少至66个(− 45%)。

讨论

在这项概念验证研究中,我们评估了采用本地运行的专业领域大语言模型LiverAI对肝硬化患者新发现肝脏观察结果的无标注自由文本MRI报告进行LI-RADS分类标注的可行性。我们的结果提示,该模型可高效用于此目的,当整合入人工工作流程时,有可能减轻专家放射科医师的工作量。

近期多项研究探索了通用大语言模型从报告中提取有价值信息的能力[13, 14, 22, 23],甚至专门针对HCC影像学[16, 24]。在最近一项研究中,Gu等利用GPT-4进行LI-RADS特征提取和多语言自由文本报告分类[25]。然而,其队列主要纳入较大的肝脏观察结果,75%测量值超过21 mm(中位大小30 mm [四分位距(IQR),21–50 mm])。这引入了朝向更高LI-RADS分类的固有偏倚,因为大于20 mm的肝脏观察结果已高度怀疑HCC(几乎所有实际上都会被归类为至少LR-4)。相比之下,我们的研究专门聚焦于小肝脏观察结果(< 20 mm),由于该尺寸范围内需要更高的细分程度,这对LI-RADS分类提出了更大挑战。

我们研究的另一个重要优势是分析不仅限于单一策略。尽管人类放射科医生在所有LI-RADS分类中的个体表现均显著优于单独使用LiverAI(κ = 0.82–0.86 vs 0.54),但该算法在LR-5识别的特异性(0.96)和恶性病灶的敏感性(1.00)方面取得了阳性结果,这使得第二种方法——考虑将其作为分诊工具——成为可能。因此,当聊天机器人整合到人工工作流程中时,无论是带仲裁的双重阅读还是分诊策略,在整体LI-RADS分类(κ分别为0.87–0.88 vs 0.86–0.87)和二分类恶性判定(κ分别为0.92 vs 0.91–0.94)方面均显示出更高的效能,与人类阅片者的个体表现相比无统计学显著性差异。分诊策略中观察到的与参考标准的高度一致性,加之工作量的减少,使该方法成为将我们的LLM整合到数据管理流程中最有效的途径。随着机器学习应用在临床实践中的实施日益成为放射学界关注的议题[26],我们的工作提供了一个真实世界的范例,展示了本地AI解决方案如何整合到临床常规中并减轻放射科医生的工作负担[27]。

除了模型开发中固有的局限性(如数据规模和质量)之外,LiverAI的表现可能还受到其他因素的制约。经验丰富的放射科医生拥有深度的情境理解能力,能够解读自由文本报告中的细微差别,而这些超出了LI-RADS所考虑的表格化信息。原始报告中缺乏标准化的LI-RADS术语是另一个局限性。由于这些信息的主要接收者——如患者、临床医生甚至NLP工具——通常缺乏这一水平的专业知识,自由文本放射学描述在信息流中的有效性可能受到质疑。事实上,肝病科医生尽管是肝脏肿瘤学专家,其表现并未达到放射科医生的水平。结构化报告和LI-RADS等标准化系统为放射学报告提供了同质化框架,这不仅改善了与转诊医生的沟通[28],还可能促进大数据分析中的自动化报告评估和内容提取[29]。此外,与其他相关研究[30]一致,我们的模型使用单中心患者数据集进行训练和测试,报告为当地语言。根据最近一项跨语言验证研究,人类与LLM之间在BI-RADS分类赋值上的一致性因语言而异,英文报告的结果优于意大利文或荷兰文报告[31]。这引发了对“特权偏倚”的担忧,因为某些地理群体——少数民族语言和欠发达社会——可能被排除在获得此类AI解决方案同等潜在益处之外[32]。更加标准化的结构化报告方法和标准化术语的推广有助于减轻这种偏倚,并增强NLP模型在不同语言和医疗环境中的泛化能力。

使用大语言模型(LLM)在患者数据保护方面呈现重大挑战。在临床实践中采用ChatGPT和其他通用大语言模型涉及将健康信息传输至公司服务器,不可避免地引发隐私担忧[14, 33, 34]。LiverAI基于GPT架构构建,尽管遵守当地隐私保护法规,所有输入的临床数据仍被传输至OpenAI的外部服务器,这在考虑其潜在推广至临床常规应用时构成限制因素。

我们的研究还存在其他多种局限性。首先,训练数据集和测试数据集中放射学报告数量有限,可能降低了我们大语言模型的潜在性能。其次,聊天机器人的输出仅基于报告中书写的横断面信息,可能受到报告放射科医生个人解读的偏倚,未考虑病理结果或随访影像等额外临床数据。第三,由于LI-RADS可能随时间演变,确保这些模型对未来更新的适应性对于维持其在临床实践中的相关性至关重要。

总之,我们的概念验证研究为大语言模型的潜在应用提供了新见解,提供了一种原创方法,作为这些工具如何整合到本地工作流程中以提升研究环境效率的真实世界示例。

补充信息

电子补充材料

引用

  1. Matute-González M, Darnell A, Comas-Cufí M, et al. Utilizing a domain-specific large language model for LI-RADS v2018 categorization of free-text MRI reports: a feasibility study. Insights Imaging. 2024. PMID: 39576290. doi:10.1186/s13244-024-01850-1
  2. 全文:PMC11584817(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11584817/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。