文献速递技术与安全

放射学期刊关于使用大语言模型的政策缺失:一项元研究

The policies on the use of large language models in radiological journals are lacking: a meta-research study.
PubMed 文献 · Insights Imaging · 2024-08-01

该横断面元研究检索2022年JCR放射学、核医学与医学影像分类的189种期刊,评估其大语言模型使用政策的呈现情况。结果显示43.9%(83/189)的期刊有相关政策,涉及作者、审稿人和编辑的比例分别为43.4%、29.6%和25.9%。出版商与政策存在相关(p < 0.001),Elsevier出版期刊较Springer和BMC更可能呈现政策(校正OR 23.756,95%CI 6.072–92.946)。结论认为放射学期刊LLM使用政策不足,鼓励制定报告指南以促进报告质量与透明度。

要点

  • 仅43.9%(83/189)的放射学期刊呈现LLM使用政策,针对作者、审稿人和编辑的政策分别为43.4%、29.6%和25.9%。
  • 政策中最少提及LLM的潜在影响(4.2%,8/189)和使用LLM的章节(1.6%,3/189)。
  • 出版商与政策存在相关(p < 0.001);Elsevier出版期刊较Springer和BMC更可能呈现政策(校正OR 23.756,95%CI 6.072–92.946)。

核心结论

  • 放射学期刊中LLM使用政策的呈现比例不理想,鼓励制定报告指南以促进报告质量与透明度。

研究设计与样本

  • 横断面元研究,纳入2022年Journal Citation Reports中放射学、核医学与医学影像分类的189种期刊,排除非英语期刊及无法获取相关文件的期刊。
  • 由两名独立评价者筛选期刊并提取数据,分歧通过讨论或咨询研究组解决。
  • 政策评估依据LLM应用报告标准的条目草案进行,评估是否存在政策及六个潜在报告条目。

诊断标准与关键数值

  • LLM使用政策总体呈现率43.9%(83/189)。
  • 针对作者、审稿人和编辑的政策呈现率分别为43.4%(82/189)、29.6%(56/189)和25.9%(49/189)。
  • 政策中提及使用(43.4%,82/189)、名称(34.9%,66/189)、验证(33.3%,63/189)、角色(31.7%,60/189)、潜在影响(4.2%,8/189)和使用章节(1.6%,3/189)的比例。
  • 呈现政策的方式:提供出版商共同政策超链接71.1%(59/83),直接更新期刊网站政策18.1%(15/83),发表专门文件10.8%(9/83)。

临床应用与阅片要点

  • 作者、审稿人和编辑可参考期刊是否呈现LLM使用政策及其覆盖的报告条目,以评估论文中LLM使用的报告透明度。
  • 期刊政策较少涉及LLM的潜在影响和使用LLM的具体章节,这可能是报告不完整之处。

局限性

  • 本研究仅纳入放射学期刊,有必要评估医学期刊中LLM使用政策。
  • 本研究为横断面研究,依赖网站和在线文件,期刊和出版商可能随时调整政策,未来需开展更全面文件的更新研究。
  • 仅评估期刊是否呈现LLM使用政策,因目前无LLM使用报告指南,无法对指南认可程度进行评级。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Aug 1;15:186. doi: 10.1186/s13244-024-01769-7

引言

生成式大语言模型(LLM)是新兴的人工智能技术之一,通常采用深度神经网络处理大规模自然语言数据,已在医学领域的广泛临床任务中展现出潜力[1],尤其是在放射学领域[2–4]。LLM被用于转换和解释放射学报告[5, 6],从放射学报告中自动提取和挖掘数据[7, 8],以及根据放射学报告优化临床实践[9, 10]。除了在放射学领域的显著潜力外,LLM还被用于自行生成科学论文[11]。LLM被认为是科学写作中的有用助手,能够生成难以与医学研究者的写作区分的内容。然而,它具有局限性,包括潜在偏倚、数据来源过时、透明度不足以及包含不准确或不存在的信息[12]。越来越多的论文探讨在医学学术写作中声明LLM使用的伦理问题[13–17],但在没有明确政策或具体报告指南的情况下,作者可能并不会总是报告科学写作中LLM的使用情况。

越来越多的论文讨论LLM在科学写作中的潜力和陷阱[18–25],但医学研究中LLM使用的报告指南仍在制定中[26]。报告指南是指导作者透明报告特定类型研究的文件[27]。如果没有完整、准确地报告LLM的使用情况,利益相关者可能难以区分人类作者撰写的内容与LLM生成的内容。因此,这导致难以评估研究的有效性以及证据的最佳应用[28, 29]。有必要促进报告指南的使用,以鼓励完整报告[30–34]。然而,通用报告指南的认可仍然不足[35–37],而人工智能应用相关报告指南的实施则更差[38, 39]。如果我们向LLM询问放射学期刊关于其作者身份的政策,它们会建议我们自行查阅特定放射学期刊关于LLM使用的政策(图1)。在此,我们接受了它们的建议,调查了放射学期刊关于LLM使用的政策,为其报告标准的建立和推广提供见解。关于LLM使用的共享报告标准可能使作者、审稿人和编辑能够以更合理、公平和批判性的过程来评估论文是否使用了LLM。

作为最早接受和应用LLM的医学领域之一[5–10],我们假设放射学期刊更有可能提出其关于LLM使用的政策。因此,本研究的目的是评估放射学期刊是否以及如何提出其关于LLM使用的政策,并确定与政策存在相关的期刊特征变量。

图1 与大型语言模型(LLM)关于期刊作者政策的对话。这两张屏幕截图分别显示了与(A)ChatGPT(ChatGPT-3.5-Turbo,OpenAI,https://openai.com/chatgpt)和(B)文心一言(ERNIE V2.5.4,百度,https://yiyan.baidu.com)的对话,对话时间分别为2024年3月23日22:00–22:10(UTC+8)。两个LLM均使用听起来合理且语法正确的句子进行回答。它们不知道任何放射学期刊中关于LLM作者身份的政策(红线)。然而,它们在对话中都建议查阅特定期刊的政策(蓝线)。文心一言甚至指出,期刊和学术机构目前正在努力应对如何处理人工智能在研究和出版中日益增加的作用——正如我们的研究一样(绿线)。图中中文已翻译为英文 查看原图 ↗

方法

研究设计

我们开展了一项横断面元研究[40–44]。我们在开放科学框架(https://osf.io/tpxkn/)上注册并上传了相关材料。本研究方案为事先起草,见补充说明S1。本研究无需伦理批准或书面知情同意,因为本研究未纳入任何人类或动物受试者。由于元研究的报告指南尚在制定中[45],我们参照关于期刊政策的类似元研究[35–37]进行报告。我们的审查小组由具有多元背景和知识、来自多个学科的成员组成,以确保我们的研究具有平衡的视角。

期刊选择

我们于2023年12月20日通过Clarivate检索了2022年期刊引证报告中放射学、核医学和医学影像类别的Science Citation Index Expanded和Emerging Science Citation Index收录的期刊[46]。由两名独立审查者根据排除标准对期刊进行资格筛选:(1)非英文期刊;(2)投稿须知不可获取以供评估。任何分歧均通过讨论或咨询审查小组解决。

数据提取

我们通过Clarivate直接导出了纳入期刊的以下文献计量学信息[46]:期刊名称、期刊缩写、2022年期刊影响因子(JIF)、JIF四分位数、可引用条目和总被引次数。记录每本期刊的官方网站地址,并从每本期刊的网站上提取以下项目:出版地区、出版机构或出版商、出版频率、获取类型、期刊是否仅属于放射学、核医学和医学影像类别,以及期刊是否为学术团体的官方期刊。数据提取由两名独立审查者于2023年12月22日至2023年12月23日进行。任何分歧均通过讨论或咨询审查小组解决。

政策评估

由于迄今为止尚无此类指南,对放射学期刊中LLM使用政策的评估依据一份关于LLM应用报告标准条目及说明的草案清单进行[26]。我们评估了:(1)期刊是否提出了自身关于LLM使用的政策;(2)期刊是否分别针对作者、审稿人和编辑提出了政策;(3)期刊是否就六个潜在报告条目提出了政策:LLM的使用、LLM的名称、使用LLM的章节、LLM的角色、LLM的验证以及LLM的潜在影响。政策评估的条目、说明和示例见补充说明S2。我们还根据补充说明S3中的六个潜在报告条目报告了本研究中的LLM使用情况。每本期刊的政策由两名独立评审员于2023年12月26日至2023年12月31日期间进行评估。任何分歧均通过讨论或咨询评审组来解决。

统计分析

我们使用RStudio软件1.4.1106版本中的R语言4.1.3版本进行统计分析。除非另有说明,所有统计检验均为双侧检验,α水平为0.05。我们首先对数据进行了描述性总结。提出了LLM使用政策的期刊被视为阳性,未提出的被视为阴性。我们比较了阳性组与阴性组之间的期刊特征。我们使用α水平为0.10的单因素logistic回归评估与LLM使用政策存在相关的潜在因素。如果相关因素被认为可能与LLM使用政策的存在潜在相关,则将其纳入多因素logistic回归。采用多重logistic回归分析估计调整后的比值比和95%置信区间。本研究中生成和分析的所有数据均可在补充数据表中获取。

结果

期刊纳入

在2022年期刊引证报告放射学、核医学和医学影像分类中,科学引文索引扩展版和新兴科学引文索引列表分别有135本和68本期刊。我们排除了9本非英文期刊、3本无可用网站进行评估的期刊以及2本仅接受邀请投稿且无公开投稿须知的期刊。最终,我们共纳入189本放射学期刊(图2)。

图2 放射学期刊筛选与纳入流程图 查看原图 ↗

期刊特征

JIF的均值±标准差、中位数(范围)为3.0±2.6、2.4(0.10–19.7)(表1)。可引用条目和总被引频次的均值±标准差、中位数(范围)分别为131.1±127.4、87.0(9.0–902.0)和6136.3±12,436.3、1828.0(13.0–129,835.0)。期刊更可能属于无JIF四分位数(33.9%,64/189)、由Springer出版(22.8%,43/189)、来自北美(46.6%,88/189)、每年出版频率少于六期(44.4%,84/189)以及采用混合出版模式(61.9%,117/189)。大多数期刊仅属于放射学、核医学和医学影像分类(60.3%,114/189),且由学术学会所有(69.3%,131/189)。

表1 纳入放射学期刊的特征 查看原表 ↗

LLM使用政策

纳入的放射学期刊中,不到一半提出了关于LLM使用的政策(43.9%,83/189)(表2)。出版商在提出政策组与未提出政策组之间的贡献不同(p < 0.001)(表1)。政策更可能针对作者提出(43.4%,82/189),其次是针对审稿人(29.6%,56/189)和编辑(25.9%,49/189)。政策中提及的方面按降序依次为:论文是否使用了LLM(43.4%,82/189)、所用LLM的名称及其他细节(34.9%,66/189)、对LLM生成内容的验证(33.3%,63/189)、LLM在写作过程中的作用(31.7%,60/189)、LLM对论文的潜在影响(4.2%,8/189)以及使用LLM的章节(1.6%,3/189)。期刊更倾向于通过提供出版商共同政策的超链接来展示其LLM使用政策(71.1%,59/83),而非直接在期刊网站上更新自身政策(18.1%,15/83)或进一步发布关于该问题的专门文件(10.8%,9/83)(图3)。存在LLM使用政策的代表性示例见补充说明S4。

表2 放射学期刊中关于LLM使用政策的存在情况 查看原表 ↗
图3 期刊展示其政策所在位置的柱状图。共有83种纳入期刊提出了关于LLM使用的政策。A 政策的存在情况。B 分别针对作者、审稿人和编辑的政策存在情况。C 根据六项潜在报告条目划分的政策存在情况 查看原图 ↗

与LLM使用政策存在相关的因素

与Springer和BMC出版的期刊相比,Elsevier出版的期刊更可能提出其LLM使用政策(调整比值比23.756,95%置信区间:6.072–92.946,p < 0.001)(表3)。未发现LLM使用政策的存在与其他因素之间的关联。

表3 放射学期刊中与LLM使用政策存在相关的因素 查看原表 ↗

讨论

我们的研究表明,放射学期刊中关于LLM使用的政策是缺乏的。我们认为这样的政策是必要的,以提高放射学学术界中LLM使用的透明度。在我们的研究中,不到一半的纳入放射学期刊提出了其LLM使用政策。政策大多针对作者提出,其次是针对审稿人和编辑。在针对作者的政策中,约三分之一的期刊提及了LLM的使用、名称、验证和作用等方面,而LLM的潜在影响以及使用LLM的章节等主题则很少涉及。出版商与LLM使用政策的存在相关。

一项对排名前五十的放射学期刊的调查发现,这些顶级放射学期刊中近半数未提供任何关于LLM使用的政策[17]。我们的研究显示,仅不到半数的放射学期刊公布了其关于LLM使用的政策,表明放射学学术界在LLM使用的认识和规范方面存在差距。大多数有明确政策的放射学期刊引用了主要出版商的通用指南[47–51],仅少数放射学期刊在投稿须知中或通过社论提出了自己的政策[52–55]。这与我们的发现一致,即出版商与LLM使用政策的存在相关。在那些没有自己政策的期刊中,并非所有期刊都在其网站上更新了指向其出版商关于LLM使用的通用指南的超链接,导致相关政策存在的比例进一步降低。此外,有明确政策的期刊在不同位置提供出版商政策的超链接[17],这可能阻碍作者获取相关信息。

这些政策主要讨论了作者在科学写作中使用LLM的问题[47–55]。主要出版商和期刊一致认为,LLM不应被列为论文作者,因为其无法对论文承担责任或负有问责。在这些政策中,一些严格限制在科学写作中使用LLM来改善论文的语言和可读性[48, 52],而另一些仅要求对LLM的使用进行适当披露。值得注意的是,随着LLM能力的快速发展,这些政策中已讨论了生成式人工智能工具产生的图像和视频[47, 48, 50, 52]。尽管由于法律版权和研究诚信问题,这些图像和视频目前不允许发表,但这提醒我们将政策和报告指南的范围从科学写作中的文本扩展到多模态的信息表达形式。除出版商的政策外,放射学期刊在不同文件中提出了其政策[52–55],并为LLM使用的声明提供了不同位置[17]。尽管已努力就此问题达成共识,但期刊似乎尚未建立应对LLM使用的标准化方法[17]。

一份关于大语言模型(LLM)使用的报告指南正在制定中,以提高LLM在医学研究中使用的透明度[26]。我们根据本文在六个潜在报告条目上评估了这些政策。然而,这些政策均未满足这六个条目,无法实现对LLM使用情况相对完整的报告。LLM的潜在影响[49]以及使用LLM的具体章节[55]是最少被讨论的。不仅需要在期刊中建立关于LLM使用的政策,而且制定并认可一份完整的作者指南以涵盖必要条目也很重要。对LLM使用情况进行完整且适当的报告,可能使审稿人和编辑能够执行更公平的同行评审过程,并对论文做出合理决定。此外,使用LLM撰写的论文可能面临数据过时或不准确、提示不当以及回答不稳定等问题[56]。利益相关者可以通过对LLM使用情况进行最佳报告而受益,从而对证据进行更好的有效性评估。使用LLM的研究质量可能受到生成内容是否已被充分确认和批判性修订的潜在影响。禁止在科学写作中使用LLM是困难的。更明智的做法可能是鼓励作者、审稿人和编辑明智地使用它们,并强制报告。除了对研究质量的潜在影响外,在科学写作中使用LLM的根本问题是伦理问题。政策的缺乏可能影响这样一个事实:应该做什么和不应该做什么之间的界限仍然模糊。因此,我们强调需要制定控制这些程序的法规。Jeblick等[6]最近发表了一篇关于ChatGPT简化放射学报告能力的论文,其标题由ChatGPT生成。这一标题使论文更有趣,同时未损害其科学稳健性。与科学写作类似,LLM的使用在放射学报告写作中可能非常有益。随着这些技术的快速介入,迫切需要重新审视我们在撰写和签署报告中的立场。LLM在报告写作中的使用可能为科学写作中LLM使用的指南制定提供启示。另一方面,Hamm[23]撰写了一篇社论,介绍欧洲放射学会期刊编辑关于LLM使用指南的联合声明,并在结尾强调该社论并非在LLM帮助下撰写,而是在编辑部工作人员的参与下完成。这一额外说明再次提醒我们,人的洞察始终是科学写作中最本质的要素。

除了关于作者使用大型语言模型(LLM)的政策外,我们进一步评估并发现,提供审稿人和编辑使用LLM政策的期刊比例更低。不到三分之一的期刊声明了针对审稿人的政策。期刊认为批判性思维和原创性评估是同行评审的关键,而LLM在这方面仍然欠缺[48, 52–55]。此外,还有人担心该技术可能会以不正确、不完整或有偏见的观点生成关于论文的结论。规范同行评审中使用LLM的另一个原因是,其使用可能侵犯作者的保密权和专有权利,以及如果论文包含个人可识别信息时的数据隐私权。审稿人因其在评审过程中作为人类监督的角色而受到重视,并对评审报告负有责任和问责义务[49, 52, 55]。然而,审稿人被允许使用不违反保密政策的工具,并进行适当报告[52, 55]。约四分之一的政策是针对编辑制定的,要求他们履行保密义务,并报告违反政策的潜在行为[48, 49, 55]。目前尚不清楚这些针对审稿人和编辑的政策可能如何影响同行评审过程和对论文的编辑决策。

我们的研究具有以下局限性。第一,我们的研究仅纳入了放射学期刊。诚然,放射学期刊的编辑已经就人工智能辅助技术对生物医学出版的影响进行了讨论并达成了共识[52, 55]。尽管如此,仍有必要评估医学期刊中关于LLM使用的政策。第二,我们的研究是一项依赖于网站和在线文档的横断面研究。作为一个快速发展的领域,期刊和出版商可能会在必要时调整其政策。在作者投稿过程中、审稿人的评审过程中以及编辑的编辑系统中,可能会出现额外的说明。未来应开展一项包含更全面文档的更新研究。最后,我们仅评估了期刊是否提供了其关于LLM使用的政策。由于目前尚无关于报告LLM使用的指南,我们无法对此类指南的认可程度进行评级[35, 36, 38],而是评估了政策中提及的各个方面。尽管如此,我们的研究展示了期刊关于LLM使用政策的现状,这可能有助于制定医学研究中应用LLM的报告标准[26]。

总之,我们的研究表明,提供自身关于LLM使用政策的放射学期刊比例较低。有必要制定报告指南以促进医学研究中LLM使用的报告透明度。

补充信息

电子补充材料

补充数据表

引用

  1. Zhong J, Xing Y, Hu Y, et al. The policies on the use of large language models in radiological journals are lacking: a meta-research study. Insights Imaging. 2024. PMID: 39090273. doi:10.1186/s13244-024-01769-7
  2. 全文:PMC11294318(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11294318/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。