文献速递技术与安全

放射学中人工智能模型的可用性与透明度:一项元研究

Availability and transparency of artificial intelligence models in radiology: a meta-research study.
PubMed 文献 · Eur Radiol · 2025-03-17

该元研究系统检索了2022年五本领先放射学期刊中268项AI模型开发研究,发现仅39.9%的模型可用,深度学习模型可用率低至11.5%,训练代码提供率仅22.1%;多变量分析显示传统回归模型与更高可用性相关,放射组学包使用与更低可用性相关,作者呼吁加强模型共享政策以提升透明度和可复制性。

要点

  • 仅39.9%(107/268)的放射学AI研究共享了模型,深度学习模型可用率仅11.5%(13/113)。
  • 深度学习模型训练代码提供率仅22.1%(25/113),限制用自有数据训练模型的能力。
  • 传统回归模型可用率73.3%(88/120),显著高于深度学习模型,多变量OR为17.11。

核心结论

  • 放射学出版物中AI模型的可用性仍不理想,尤其是深度学习模型。
  • 需要强制执行模型共享政策、加强外部验证平台、解决商业限制并在开放存储库中为商业模型提供演示,以改善放射学AI研究的透明度和可复制性。

研究设计与样本

  • 元研究,系统检索Ovid Medline和Embase,纳入2022年1月1日至2022年12月31日发表在五本领先放射学期刊的AI模型开发研究,共268项。
  • 可用性定义为透明报告独立复制所需的相关技术和模型信息:传统回归模型需共享模型公式、列线图或带系数的预测因子;深度学习模型需同时提供推理代码和带权重的模型。
  • 由两名委员会认证的放射科医生共识完成文献筛选、数据提取和可用性评估,并在PROSPERO前瞻性注册(注册号CRD42024583225)。

诊断标准与关键数值

  • 总体模型可用率为39.9%(107/268);传统回归模型可用率73.3%(88/120),放射组学模型44.3%(47/106),深度学习模型11.5%(13/113)。
  • 深度学习模型中训练代码提供率为22.1%(25/113);13个可用DL模型中12个提供推理代码和带权重模型,1个仅共享标准架构模型而无代码。
  • 多变量分析:传统回归模型与更高可用性相关(OR 17.11;95%CI 5.52, 53.05;p<0.001),放射组学包使用与更低可用性相关(OR 0.27;95%CI 0.11, 0.65;p=0.003)。
  • 二次分析中,限用开源或商业软件预处理时可用率降至37.3%(100/268),仅用开源软件时降至23.5%(63/268);DL研究相应为11.5%(13/113)和9.7%(11/113)。

临床应用与阅片要点

  • 作者建议:强制执行更严格的模型共享政策、加强外部验证平台、解决商业限制、在开放存储库中为商业模型提供演示。
  • 作者建议:在共享模型或代码不可行时,要求作者明确说明不披露的原因,以提高透明度并促进共享。

局限性

  • 研究聚焦于2022年发表的文章,可能不反映近期趋势。
  • 研究聚焦于五本领先临床放射学期刊,限制了向其他类型期刊(如Medical Image Analysis或IEEE Transactions on Medical Imaging,因工程导向被排除;Radiology: Artificial Intelligence因未被SCIE索引被排除)的推广性;后续研究应覆盖这些期刊和更新政策。
  • 未评估运行代码所需环境是否被充分描述、代码是否无错误运行、或结果是否与报告一致。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 Mar 17;35(9):5287–98. doi: 10.1007/s00330-025-11492-6

引言

近年来,放射学领域预测模型(包括基于人工智能(AI)的模型)的发表数量迅速增加。要确立临床实用性,必须评估这些模型的泛化能力。这通常通过外部测试来实现,外部测试评估模型是否容易出现选择偏倚或过拟合。选择偏倚发生在研究人群不能准确代表目标人群时,从而限制了泛化能力。过拟合是另一个关键问题,即模型在训练数据上表现良好,但由于在训练过程中学习到了过于复杂的模式,而无法泛化到未见过的数据。一项研究发现,在接受外部测试的深度学习(DL)模型中,近一半在外部测试期间表现出至少轻度的性能下降[1]。

为了在科学界进行有效的外部测试,模型应对研究人员可获取。医学影像人工智能清单(CLAIM)和Must AI Criteria-10等指南倡导公开代码共享,以增强AI研究的透明度和可重复性[2, 3]。同样,影像组学研究评估清单(CheckList for EvaluAtion of Radiomics Research)强调披露代码和最终模型文件的重要性[4]。Radiology[5]等顶级期刊已强制要求代码共享,且对这些实践的遵守程度正在提高[6]。

重要的是,仅发布训练代码不足以让其他研究人员进行有效的外部测试。模型架构和权重也必须公开可用。如果没有原始训练数据和超参数,仅凭训练代码重建模型是不可能的,即使使用相似数据,也无法保证性能。此外,还存在训练代码可能未被完全披露的风险。因此,在无法获取训练模型的情况下复现结果实际上是不可能的。无法获取模型架构和权重不仅阻碍了复现和外部测试,还可能导致类似模型的重复开发,这不利于科学界的进步[7]。以下示例展示了成功的模型可用性。Weise等[8]发表了一个从胸部X线片预测10年心血管风险的DL模型,并通过上传样本图像、预处理和推理代码,以及在其GitHub仓库(https://github.com/circ-ml/CXR-CV-Risk)提供模型权重的下载链接,促进了复现。相比之下,一些研究仅提供部分资源,例如只提供训练代码而不提供推理代码或模型权重,这可能限制复现。

在本研究中,我们旨在评估放射学领域的AI模型开发研究在多大程度上提供了使用新数据集进行独立复现所需的技术和模型细节——我们将其定义为可用模型或模型可用性。具体而言,我们调查了2022年1月1日至2022年12月31日期间发表在顶级放射学期刊上的研究中,共享模型以供潜在复现的比例。

材料与方法

这项元研究研究免于机构审查委员会批准,并已在国际前瞻性系统评价注册库(PROSPERO)网络上进行前瞻性注册(注册号:CRD42024583225)。该系统评价遵循系统评价和荟萃分析优先报告条目(PRISMA)指南[9]。

文献检索与研究选择

对Ovid Medline和Embase数据库进行了系统性检索,以识别2022年1月1日至2022年12月31日期间发表在Radiology、Radiologia Medica、Investigative Radiology、European Radiology和Diagnostic and Interventional Imaging上的关于AI模型的文章——这五本期刊是2022年Journal Citation Reports影响因子在“放射学、核医学和医学影像”类别中位列Science Citation Index Expanded(SCIE)收录前五名的临床放射学期刊。在本综述中,AI模型指放射学中广泛的AI应用,涵盖传统统计模型和较新的DL方法。详细检索策略见补充文本1(在线)。

研究排除标准如下:(1)未同时涉及AI模型的开发和评价(例如,仅测试已有AI算法的研究);(2)仅使用回归统计进行关联分析;(3)最终模型仅基于单一输入变量;(4)非原创论著;(5)与研究问题无关。纳入文章的完整列表见补充表1(在线)。

数据提取

系统提取了研究、个体和模型的特征:(a)研究特征包括发表期刊、第一作者所在国家、图像模态和成像身体部位;(b)个体特征包括开发集规模(即训练集、调优集和内部测试集)、是否进行外部测试,如进行,则包括外部测试集的规模和来源(分类为不同机构、开放获取或两者兼有);(c)模型特征包括模型目的(即诊断或预后)、模型类型(即DL方法、传统基于回归的模型或其他),以及是否使用放射组学软件包(例如pyradiomics)进行特征提取。

具体而言,开发集规模分类为:1–99、100–199、200–499、500–999和1000或更多个体。如果模型的预测涉及未来事件,则该模型被视为预后模型。如果最终输出使用卷积神经网络、多层感知机、人工神经网络、生成对抗网络或Transformers等方法生成,则该模型被归类为使用DL方法。如果最终输出通过逻辑回归、Cox比例风险回归、线性回归、广义线性模型或线性混合效应模型等技术生成,则该模型被归类为传统基于回归的模型。如果一项研究中开发了多个模型但仅呈现一个最终模型,我们聚焦于该最终模型。

模型可用性的主要分析

在这项元研究中,若研究透明报告了相关技术和模型信息,以便使用新数据集进行独立复现,则认为该模型是可获得的。对于传统的基于回归的模型,可获得性通过共享模型公式、列线图或所选预测变量及其系数、比值比(OR)或风险比来定义[10]。若推理代码和带权重的模型均可访问,则认为深度学习(DL)模型是可获得的。若仅模型权重可访问,但模型使用标准DL架构(如U-Net),无需额外代码即可进行推理,则该模型仍被视为可获得。若针对不同目的开发了多个模型但仅部分可获得,我们对此进行了相应记录。

对于DL研究,分别评估了模型训练和推理代码的可获得性。我们验证了代码的可访问性并记录了共享平台(如GitHub)。我们还记录了共享代码是用于训练、推理还是两者兼有。对于任何声称代码可获得但存在链接失效、仓库为空或代码损坏的情况,也进行了记录。

文献检索、研究选择、数据提取以及模型可获得性和代码可获得性的评估由两位在人工智能模型开发和测试方面具有专业知识的委员会认证放射科医师(T.L.和H.K.)协商完成。

二次分析

用于复现的研究产物可获得性需要模型和一致的数据预处理。在二次分析中,采用了更严格的模型可获得性定义,仅当模型满足主要分析标准且在预处理过程中使用了可复现的软件时才认为模型可获得。研究根据预处理中使用的软件类型进行分类:(a) 仅使用开源软件,(b) 商业和/或开源软件的组合,或 (c) 在任何阶段使用内部开发或未指定的软件。然而,仅在训练阶段使用且推理时不需要的软件(例如仅用于构建金标准)被排除在评估之外。我们在该分析中还考虑了用于特征提取的影像组学软件包,认识到它们在研究复现中的作用。

我们使用三个层次的定义评估软件可获得性:(a) 可获得性仅限于开源软件,(b) 可获得性扩展到开源和商业软件,(c) 所有软件,包括内部开发或未指定的软件,均视为可获得。

鉴于分割软件与其他预处理工具相比往往对所用软件类型更为稳健,二次分析进一步分为两部分:通用可获得性:该部分考虑了预处理过程中分割和非分割软件的使用,以及用于特征提取的影像组学软件包。

仅非分割软件和影像组学软件包:假设分割软件因其稳健性而本质上完全可复现,该部分侧重于非分割软件和影像组学软件包的可获得性。

我们首先对所有人工智能模型进行分析,随后对DL研究进行亚组分析,以评估预处理软件和影像组学软件包对研究复现的影响。

统计分析

采用描述性统计总结文章特征、所有研究中模型的可用性,以及专门针对深度学习(DL)模型的可用性。进行单变量和多变量逻辑回归分析,以评估模型可用性与多种因素之间的关联,包括发表期刊;图像模态;成像身体部位;开发集大小;外部测试状态;模型用途(诊断性 vs. 预后性);模型类型(深度学习方法、传统基于回归的模型或其他)以及放射组学软件包的使用。

统计分析使用R软件3.5.1版(R Foundation for Statistical Computing,维也纳,奥地利)进行,p < 0.05表示具有统计学意义。

结果

文献检索

研究选择过程见图1。我们从初始系统文献中识别出672篇文章。去除104篇重复文献后,对568篇标题和摘要进行筛选,获得293项可能符合条件的研究。经过全文审查,25项研究因以下原因被排除:(a) 回归分析而非预测建模研究(n = 16);(b) 测试已有AI模型(n = 5);(c) 单输入变量模型(n = 4)。因此,共有268篇文章纳入本荟萃研究。

图1 研究选择过程流程图 查看原图 ↗

研究特征

表1总结了研究特征。大多数研究发表在European Radiology(73.9%,198/268)和Radiology(12.3%,33/268)上。大多数研究来自亚洲(61.9%,166/268)和欧洲(26.5%,71/268)。横断面成像模态(CT、MRI和PET/PET-CT)占主导地位(82.5%,221/268)。研究集中于胸部、心血管和乳腺成像(34.7%,93/268)以及腹部成像(28.0%,75/268)。

关于开发集大小,56.3%(151/268)的研究使用中等规模的开发集(100–499人)。29.5%(79/268)的研究进行了外部测试,大多数数据集来源于不同机构(75.9%,60/79),其次为开放获取资源(12.7%,10/79)。诊断模型占61.9%(166/268),而预后模型占38.1%(102/268)。42.2%(113/268)采用深度学习方法,39.6%(106/268)使用放射组学软件包,44.8%(120/268)使用传统基于回归的模型。

图2展示了各类别中有无可用模型的研究分布。

表1 纳入研究的特征和模型可用性 查看原表 ↗
图2 按类别划分的模型可用性概览 查看原图 ↗

模型可用性的主要分析

在268项研究中,107项(39.9%)公开了其模型(表1)。传统的基于回归的模型公开率最高(73.3%,88/120),其次是放射组学模型(44.3%,47/106)。深度学习(DL)模型的公开率最低,为11.5%(13/113)(表2)。在13个公开的DL模型中,12个提供了推理代码和带权重的模型,而1个仅分享了模型而未提供代码(图3)。尽管如此,该研究仍被视为公开了模型,因为它使用了标准架构,无需特定指南或代码即可直接进行推理。一项DL研究声称其训练好的网络可应要求提供,但未将模型上传至存储库[11]。虽然作者积极回应了我们的请求并澄清访问训练好的网络需要签署研究模型共享协议,但该协议施加了额外限制,包括使用限制和遵守欧盟法规。这些要求给模型的可用性带来了一定的不确定性。因此,在本分析中该研究的模型未被归类为可用。如果将这项研究视为提供了可用模型,那么12.4%(14/113)的DL研究可被视为可用。除模型可用性外,22%(25/113)的研究提供了DL模型的训练代码,表明使用自己的数据训练DL模型的能力有限。

模型可用性因期刊而异。Radiologia Medica的可用率最高(65.0%,13/20)(表1),而European Radiology为39.9%(79/198),Radiology的可用率较低,为33.3%(11/33)。横断面成像研究的可用率为41.7%(92/221),而基于投影的成像最低,为14.3%(3/21)。腹部成像研究的可用率较高(50.7%,38/75),而肌肉骨骼成像研究为20.8%(5/24)。预后模型更为可用(57.8%,59/102),而诊断模型为28.9%(48/166)。在107项有可用模型的研究中,3项开发了多个模型,但每项研究仅共享了一个模型。

图3 DL研究中代码和模型可及性的流程图 查看原图 ↗
表2 DL研究的特征和模型可用性 查看原表 ↗

二次分析

当分析仅限于使用开源或商业软件进行预处理的研究时,可用模型的比例略微下降至37.3%(100/268)(表3)。当进一步限制为仅使用开源软件的研究时,该数字降至23.5%(63/268)。在另一项聚焦于非分割软件和放射组学软件包(其中分割软件被认为可复制)的分析中,使用开源或商业软件的可用模型比例为39.6%(106/268)。仅使用开源软件时,该比例进一步降至31.7%(85/268)。

在DL研究中,使用开源或商业软件的研究的可用模型比例仍为11.5%(13/113),但当限制为仅使用开源软件的研究时,略微下降至9.7%(11/113)。这一趋势在涉及非分割软件和放射组学软件包的研究中一致观察到。

表3 基于预处理和放射组学软件包所使用软件的模型可用性二次分析 查看原表 ↗

与模型可用性相关的因素

单因素logistic回归显示,发表在《Radiologia Medica》的研究(OR,3.71;95%置信区间(CI):1.15,11.96;p = 0.028)、腹部成像(OR,2.05;95% CI:1.10,3.84;p = 0.024)、预后模型(OR,3.28;95% CI:1.96,5.49;p < 0.001)以及传统基于回归的模型(OR,13.29;95% CI:5.05,34.98;p < 0.001)具有更高的可获得性(表4)。相反,基于投影的成像(OR,0.23;95% CI:0.07,0.82;p = 0.023)和较大样本量(≥ 1000人,OR,0.30;95% CI:0.10,0.84;p = 0.023)与较低的可获得性相关。在多变量分析中,传统基于回归的模型仍与较高的可获得性相关(OR,17.11;95% CI:5.52,53.05;p < 0.001),而较低可获得性的相关因素均不再显著。此外,外部测试(OR,2.51;95% CI:1.09,5.76;p = 0.029)与较高的可获得性相关,而使用影像组学软件包(OR,0.27;95% CI:0.11,0.65;p = 0.003)与较低的可获得性相关。然而,这些关联仅在多变量分析中具有显著性。

表4 模型可获得性的logistic回归 查看原表 ↗

讨论

AI模型的公开共享对于可重复研究和外部测试至关重要,使研究人员能够验证结果并评估模型在不同环境中的泛化能力。这种开放性促进了科学诚信,鼓励合作,并增强稳健AI系统的开发。本研究旨在评估发表在领先放射学期刊上的AI研究中模型的可获得性。我们的研究结果显示,39.9%(107/268)的研究共享了其模型。将可获得性限于使用开源软件进行预处理和影像组学软件包的研究,该比例降至23.5%(63/268)。对于深度学习(DL)模型,可获得性更低,为11.5%(13/113),进一步将分析限制为仅使用开源软件进行预处理的模型,该比例降至9.7%(11/113)。

传统基于回归的模型显示出显著更高的可获得性(73.3%,88/120)相较于DL模型(11.5%,13/113)。这可能是由于通过系数、OR、风险比、回归公式和列线图来呈现模型更为便捷。

在所检查的期刊中,没有一本要求披露或共享AI模型。然而,《Radiology》是唯一强制要求代码披露的期刊[12],这导致66.7%(14/21)的DL研究共享了其代码。尽管如此,由于不要求披露带权重的模型,《Radiology》中的模型可获得性仅为9.5%(2/21)。虽然更强的模型共享政策,特别是针对DL研究,可以提高可获得性,但仅靠此类政策可能不足以增加可用模型的数量。更严格的要求可能会使一些开发者倾向于选择预印本平台而非同行评审期刊,以避免共享模型,尤其是在涉及商业利益时。

此外,模型共享实践通常受到机构和监管约束的影响,例如数据保护要求、使用限制和分发控制(如MDR/FDA法规)。这些因素对于训练好的模型尤为相关,因为此类模型可能包含敏感数据或带来隐私风险,例如对抗性攻击导致重识别的理论可能性。此外,商业利益可能因知识产权保护方面的顾虑而阻碍模型和权重的完全披露。

鉴于这些挑战,诸如提供用户可访问的演示或基于网络的界面等替代方案,可作为实际解决方案,以在这些限制下平衡透明度[13, 14]。例如,Bercean等报告了一个用于COVID-19体积量化的商业AI系统,并在其论文中包含了演示网页(https://rayscape.ai/lung-ct)[15]。在共享模型或代码不可行的情况下,要求作者明确说明不披露的原因可以提高透明度并促进共享。为进一步解决这些问题,表5总结了AI研究工件可用性的基本报告条目,重点关注数据、代码和模型的共享。该表还将这些关键方面与CLAIM 2024清单相对应,提供了一个结构化框架,以提高AI研究中工件的可用性并确保透明度。

近期研究强调了在放射学中实现AI模型的泛化性和可重复性所面临的挑战。一篇全面综述[16]检查了2015年至2019年间发表的放射学AI研究,发现32%(169/535)进行了外部测试,平均性能下降6%。另一篇针对头部CT扫描AI模型的系统综述[17]显示,仅8%(7/83)提供了开源代码,阻碍了复现。第三篇系统综述[18]探讨了发表在《Journal of Digital Imaging》上的医学影像深度学习研究,发现5%(4/80)共享了代码,44%(35/80)发布了其数据集或使用了开放获取数据,6%(5/80)进行了外部测试。第四篇系统综述[19]针对医学影像的机器学习算法(排除传统统计方法),显示18%(34/194)的原始数据可获取。约十分之一的研究使其建模前(13%,25/194)、建模(14%,28/294)或建模后文件(8%,15/194)可访问。此外,一项针对2017年至2021年发表在北美放射学会(RSNA)系列期刊上的AI研究的元研究[6]显示,34%(73/218)共享了代码,但仅11%(24/218)共享了可复现的代码。

除现有证据外,本研究的价值在于其全面调查了AI模型在广泛方法范围内的可复现性。这不仅包括深度学习,还包括逻辑回归、支持向量机和基于树的模型等方法。我们的研究涵盖了领先的临床放射学期刊,未限制范围,提供了对模型可用性的整体理解。特别聚焦于深度学习研究,这是首个从外部测试和复现角度强调模型可用性的研究,评估了模型架构和权重是否均被共享。此外,我们的研究检查了预处理和特征提取步骤,并使用多种更严格的模型可用性定义进行了二次分析。

我们的研究存在局限性。首先,研究聚焦于2022年发表的文章,可能无法反映近期趋势。其次,研究聚焦于五本领先的临床放射学期刊,限制了对其他类型期刊的普适性,例如《医学图像分析》或《IEEE医学成像汇刊》(因其工程学导向而排除)以及《放射学:人工智能》(因未被SCIE收录而排除)。后续研究应涵盖这些期刊及更新后的政策。第三,我们未评估运行代码所需环境是否被充分描述、代码是否无错误运行,或结果是否与所报告的一致。

总之,放射学中AI模型的可用性仍然有限,尤其是深度学习(DL)模型。为提高放射学AI研究的透明度和可用性,必须执行更严格的模型共享政策、加强外部验证平台、解决商业限制,并在开放存储库中为商业模型提供演示。

表5 AI研究工件可用性的基本报告条目 查看原表 ↗

补充信息

电子补充材料

引用

  1. Lee T, Lee JH, Yoon SH, et al. Availability and transparency of artificial intelligence models in radiology: a meta-research study. Eur Radiol. 2025. PMID: 40095011. doi:10.1007/s00330-025-11492-6
  2. 全文:PMC12350510(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12350510/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。