迈向可重复的影像组学研究:影像组学研究数据库的引入
该研究回顾性筛选了2021年1月1日至2022年12月31日发表在六本放射学期刊上的1254篇文章,纳入257篇原创研究,分析其模型、代码和数据共享情况。结果显示仅约半数文章共享模型、28%进行外部验证、6%共享数据、7%共享代码,多数影像组学模型技术上不可重复。研究同时推出了影像组学研究数据库RadBase。
要点
- 多数影像组学模型未共享模型、代码或数据,技术上不可重复。
- 仅28%(73/257)的模型在外部独立数据集上验证。
- 仅6%(16/257)共享数据或使用公开数据集,7%(20/257)共享代码。
核心结论
- 大多数已发表的影像组学模型在技术上不可重复,因为它们既未共享模型,也未共享代码和数据。
- 影像组学研究的可重复性和开放科学实践水平仍然很低。
- 确保模型、代码和数据共享的可重复影像组学研究将促进更快的临床转化。
研究设计与样本
- 回顾性检索PubMed和Embase数据库,筛选2021年1月1日至2022年12月31日发表在六本领先放射学期刊上的文章。
- 共筛选1254篇文章,最终纳入257篇描述新影像组学模型开发与评估的原创研究文章。
- 六本期刊为European Radiology、European Journal of Radiology、Radiology、Radiology: Artificial Intelligence、Radiology: Cardiothoracic Imaging、Radiology: Imaging Cancer。
- 由四名放射科医生筛选文章并提取数据,分类变量采用Fisher精确检验或卡方检验,数值变量采用Student t检验。
诊断标准与关键数值
- 统计可重复性定义为共享验证模型及建模方法细节,128/257(半数)文章满足。
- 概念可重复性定义为进行外部验证,73/257(28%)模型在外部独立数据集上验证。
- 技术可重复性定义为代码和/或数据可获取,16/257(6%)共享数据或使用公开数据集,20/257(7%)共享代码,7/257(3%)同时共享代码和数据。
临床应用与阅片要点
- 影像组学研究社区应采用开放科学实践,以将影像组学研究转化为临床实践。
- 鼓励研究人员在RadBase数据库中共享统计、概念或技术可重复性数据以及整个流程的数据。
- 鼓励研究人员加入并利用RadBase数据库进行验证研究的规划与执行。
局限性
- 仅纳入近期发表在领先期刊上的部分文章,结果可能无法推广到其余影像组学文献。
- 未从技术上控制共享模型是否可重复。
- 未提取整个研究流程的方法学细节数据,如后处理方法、特征提取技术、特征归一化或协调方法,这些细节也可能影响研究可重复性。
全文中译11 节 · 点击展开
引言
影像组学是一种图像分析方法,能够发现超出肉眼可见范围的信息,是一个快速发展的研究领域[1]。自其首次出现在文献中[2]以来,已发表了数千篇文章[3]。在影像组学研究进入新的十年之际,影像组学模型的临床转化仍然远远落后[3]。研究与临床实施之间这一鸿沟的主要原因之一是缺乏可重复性。该领域缺乏临床数据或影像组学模型共享实践,进一步加剧了实现这一目标的难度[4]。这一趋势类似于心理学领域的可重复性危机,独立研究者试图重复先前发表的著名文章的结果,但仅成功了30%[5]。开放科学实践[6, 7],即数据和代码共享,是克服这些挑战的重要步骤,因为它们使更多研究者能够在独立数据集上独立测试所提出的方法。
随着影像组学研究评价清单(CLEAR)[8]、医学影像人工智能清单(CLAIM)[9]或Must AI Criteria 10清单(MAIC-10)[10]等清单的发展,影像组学和人工智能(AI)研究中的代码和数据共享日益受到鼓励。尽管这些实践正在被推广,但它们可能不一定足以实现可重复性,即作者可能只共享“伪代码”,而伪代码仅是主要代码的一种表示,或者即使代码被完全共享,代码中也可能存在错误[11]。这一趋势在放射学AI研究中也可以观察到:根据最近的一篇文章,仅有13%的AI论文发布了数据,仅有34%共享了代码,而共享的代码中仅有33%是可重复的[12]。
在缺乏普遍接受的可重复性定义的情况下,在本文中,我们采用先前对“研究可重复性”的描述[13, 14]。即,如果使用相同的数据、代码和方法时获得相同的结果,则研究是可重复的;如果在独立数据集上应用相同的方法和代码时获得相同的结果,则研究是可复现的。考虑到这些定义,可重复性是影像组学研究可推广的最低标准[14]。
在本文中,我们探讨了当前影像组学研究格局中模型、代码和数据共享的实践。除了在本文中呈现我们的发现外,我们还引入了一个大型影像组学研究数据库,以便于检索已共享的影像组学模型、代码和数据。我们相信影像组学研究数据库将帮助研究者传播科学知识并为临床实施铺平道路,我们希望这将鼓励更多研究者共享他们的模型、代码和数据。我们将继续扩展影像组学研究数据库,并呼吁感兴趣的研究者帮助我们完成这一工作。
材料与方法
文章选择与筛选
在PubMed和Embase数据库中使用以下检索式进行回顾性检索:(“radiomics”[标题/摘要] OR “radiomic”[标题/摘要])AND(“Radiology”[期刊] OR “Radiology Artificial Intelligence”[期刊] OR “European Radiology”[期刊] OR “European Journal of Radiology”[期刊])AND 2021/01/01:2021/12/31[日期—出版]。
对2021年1月1日至2022年12月31日期间发表的所有文章进行审查,以识别在标题或摘要中使用“radiomics”或“radiomic”关键词的原创研究。我们随机选取了来自欧洲和美国的领先的第一季度(Q1)期刊,即European Radiology、European Journal of Radiology、Radiology、Radiology: Artificial Intelligence、Radiology: Cardiothoracic Imaging和Radiology: Imaging Cancer。首先,通过文章类型、标题和摘要筛选,排除非原创文章,即系统综述、荟萃分析、文献综述、社论、通讯和勘误。其次,通过全文筛选,排除测试特征稳健性的技术研究和验证先前发表模型的外部验证研究(图1)。
所有研究均由四名放射科医生筛选(T.A.D.,具有6年研究和放射学经验;D.P.d.S.,具有13年研究和放射学经验;R.C.,具有11年研究和放射学经验;B.B.,具有12年研究和放射学经验)。
文章特征
随后,四名评分者从入选文章中提取以下数据:文章标题、数字对象标识符(DOI)、期刊名称、第一作者、通讯地址、国家、研究设计、主要主题、子主题、成像模态、模型方法、模型是否共享、模型链接、数据是否共享、数据链接、代码是否共享以及代码链接。评分者还负责审查共享的代码或数据。我们明确提出,只有在留出集上进行内部验证才被视为可用,因为这在临床相关性方面更为有用。当一项研究仅使用交叉验证进行内部验证时,该研究被视为不符合内部验证标准,因为没有可用的独立测试数据。如果单独使用交叉验证,则整个流程必须是嵌套的,或者应从流程中留出测试集以获得无偏结果;否则,模型将过拟合而无法泛化[15, 16]。使用公共数据集的研究被视为已共享数据。评分者之间的分歧(如有)通过协商解决。
统计分析
使用描述性统计总结文章特征以及代码和数据共享实践。分类变量的比较使用Fisher精确检验或卡方检验,数值变量的比较使用Student t检验。结果还在2021年和2022年发表年度之间进行了比较。所有分析均使用STATA程序(IC版本15.1)进行。α值设定为0.05。
结果
文章筛选与特征
本研究共纳入257篇描述新放射组学模型开发和评估的原创研究文章(图1)。大多数纳入文章发表在European Radiology(76%;195/257),其次是European Journal of Radiology(17%;44/257)。发表文章总数从2021年的106篇增加到2022年的151篇(表1)。
大多数文章来自中国(68%;175/257),其次是韩国(7%;19/257)和美国(6%;16/257)(图2)。大多数纳入文章集中于胸部(20%;52/257)和腹部放射学(20%;52/257)。纳入研究使用的主要模态为CT(42%;109/257)和MRI(42%;110/257)。研究设计主要为回顾性(96%;249/257)。仅4%(8/257)的纳入研究为前瞻性,且在这8项研究中,仅1项为随机对照试验。有趣的是,我们发现一项回顾性研究被错误地报告为前瞻性研究,因为该模型在回顾性数据集上训练但在前瞻性数据集上验证,即时间验证。在大多数情况下,模型用于分类任务(56%;144/257),第二常见的是用于预测预后任务(30%;79/257)(表1)。
开放科学实践
为评估本研究中放射组学研究的可重复性,我们采用了先前提出的可重复性分类框架[17]:统计可重复性,即共享验证模型和建模方法细节;概念可重复性,即进行外部验证;技术可重复性,即代码和/或数据可获取。所有结果见表2和表3。
统计可重复性
半数文章(128/257)纳入了最终模型公式或所选放射组学特征及其系数。我们认可任一方法均足以满足模型共享要求,且我们观察到2021年和2022年之间无差异(p = 0.19)。在257篇文章中,两篇表明模型已在补充材料中共享;然而,在评估所有可用的补充材料后,未发现模型;因此,为我们的分析目的,这些被纳入为未共享模型的文章。
最常用的建模方法是最小绝对收缩和选择算子或逻辑回归(LASSO/LR;54%;257篇中的139篇)。此外,72%(139篇中的100篇)的LASSO/LR模型被共享。第二常用的建模方法是使用多种机器学习(ML)分类器的组合,例如K近邻(KNN)、朴素贝叶斯、弹性网络、梯度提升决策树(XGBoost)和AdaBoost;257篇中的64篇(25%)和64篇中的15篇(23%)ML模型被共享。最常用的单独使用的机器学习分类器是随机森林(RL;7%;257篇中的20篇)和支持向量机(SVM;7%;257篇中的20篇),20篇中有4篇(20%)RF和20篇中有7篇(35%)SVM模型被共享。只有4%的建模方法是深度学习(DL;257篇中的11篇),11篇中只有2篇(18%)DL模型被共享。有趣的是,在257篇文章中有3篇,研究人员完全没有指明建模方法(1%)。
大多数论文在内部留出集上验证了模型(71%;257篇中的182篇),这种做法在2021年至2022年间没有变化(p = 0.41)。我们注意到一些研究人员仅进行了交叉验证(6%;257篇中的16篇),而未在留出集上验证其模型,因此,如上文针对本手稿目的所详述,该方法被评估为未进行内部验证。仅使用交叉验证的论文数量从2021年的1篇增加到2022年的15篇(p = 0.018)。
概念可重复性
只有28%(257篇中的73篇)的模型在独立数据集上进行了外部验证,外部验证模型的数量在一年内从23篇增加到50篇(p = 0.046)。
技术可重复性
只有6%(257篇中的16篇)的纳入文章共享了数据或使用了公开可用的开放数据集。同样,只有7%(257篇中的20篇)的文章包含了用于数据分析的代码链接。在有代码链接的20篇文章中,有一篇仅包含伪代码。只有3%(257篇中的7篇)的文章同时共享了代码和数据。
表3显示了按期刊划分的共享代码和数据的文章数量明细。
影像组学研究数据库(RadBase)
作为第一步,本文收集的数据已以逗号分隔值(CSV)文件形式提供,但我们希望能在不久的将来不断添加和完善更多数据。我们选择在GitHub上提供该数据库,因为这样可以实现交互,例如,如果研究人员想要更新与其研究相关的字段,或者其他人想要贡献新条目,可以通过议题或拉取请求来完成。未来,作者和期刊还可以在发表前后主动在数据库中注册其研究并附上代码链接。
对于该数据库的第一个版本,我们提供了直接访问CSV文件的说明,以便研究人员可以创建脚本以通知其更新。
我们的初始数据库RadBase包含本研究纳入文章的所有信息,可访问https://github.com/EuSoMII/RadBase。
讨论
在本研究中,我们发现大多数影像组学研究没有共享代码或数据;换言之,大多数影像组学模型不可重复。令我们惊讶的是,作者倾向于共享其验证过的模型以及详尽的模型构建方法;然而,只有约30%的模型在概念上可重复,因为它们是在外部数据集上验证的。在本研究中,我们还引入了一个可检索的影像组学研究数据库(RadBase)。据我们所知,人工智能研究界此前只有一项类似的举措:Papers with Code网站共享包含代码链接的论文以促进代码共享[18]。通过所提出的影像组学数据库,我们旨在促进可重复影像组学研究的各个方面,并在影像组学界获得更广泛的认可。
尽管有越来越多的指南鼓励在影像组学研究中采用开放科学实践,但我们的结果表明,影像组学研究界仍然远远落后。此外,一些研究人员设法规避核查表和指南,有意或无意地共享失效链接、空的GitHub仓库、不完整的代码或永远无法使已发表方法真正被重复的数据[12]。在本研究中,我们还观察到诸如误导性陈述等做法,例如报告模型在补充材料中但实际并非如此[19, 20],以及仅共享伪代码[21]而无法重复所提出的模型。为避免这些问题,不仅鼓励共享代码或数据,还鼓励共享可重复的代码,主要人工智能会议如神经信息处理系统大会(NeuroIPS)通过机器学习可重复性核查表[22]对此予以鼓励。
在十年交替之际,如果我们不想再花十年等待临床转化,就应当着手开展可重复的影像组学研究。我们还应当确保数十年后我们的方法能够经受住不断变化的技术所带来的挑战。最近一项旨在确定研究人员10年前编写的代码是否仍然有效的倡议[23]的结果可作为前车之鉴。虽然一些研究人员能够使10年前的代码运行起来,甚至当数据不得不从软盘转移到云端时也是如此,但其中大多数人(80%)的代码无法运行[24]。不幸的是,我们过去2年的结果指向同一方向——大多数影像组学模型在技术上不可重复。在日益发展的影像组学研究领域,当我们采用开放科学实践时,我们也应当确保我们的方法能够长期存续。
与先前的一项研究[12]类似,我们观察到被要求作出数据和代码共享声明的作者更有可能公开共享他们的数据和代码。通过期刊标准、检查清单和徽章来促进可重复性,可以推动开放科学实践的广泛采用[25]。此外,这可能就像要求作出相关声明一样简单[6]。期刊可以采用所提出的可重复性标准模型,以滑动 scale 相应地奖励这些实践[6, 25]。显然,模型和代码必须随稿件一同提交以确保可重复性。然而,如果作者能够证明他们希望在一段时间内保护其知识产权,可以作出例外,但如果他们在合理的时间范围内未能这样做,稿件应被撤回或修改。显然,患者隐私问题可能会阻碍医疗保健中的数据共享,但这可以通过在具有严格数据使用协议的数据库中共享数据来轻松克服。
我们的研究存在一些局限性。首先,我们仅纳入了近期发表在领先期刊上的部分精选文章。因此,我们的结果可能无法推广到放射组学文献的其余部分。即使我们能够表明欧洲和美国一些排名最高的期刊上的出版物很少遵循开放科学实践,这一结果在世界其他地区的其他期刊(例如亚太地区的期刊)中可能有所不同。其次,我们没有从技术上控制共享的模型是否可重复,但我们鼓励研究人员加入我们的努力,并使用我们的数据库来规划和执行验证研究。最后,尽管我们在本研究中没有提取整个研究流程的方法学细节数据,例如后处理方法、特征提取技术、特征归一化或协调方法,但这些细节也可能影响研究的可重复性,应予适当报告。因此,我们鼓励研究人员不仅共享本研究中收集的关于统计、概念或技术可重复性的数据,还应在我们数据库中共享整个流程的数据。
总之,放射组学研究的可重复性仍有改进空间。我们敦促研究人员采用开放科学实践,以确保现在和未来的放射组学研究具有可重复性。
引用
- Akinci D'Antonoli T, Cuocolo R, Baessler B, et al. Towards reproducible radiomics research: introduction of a database for radiomics studies. Eur Radiol. 2023. PMID: 37572188. doi:10.1007/s00330-023-10095-3
- 全文:PMC10791815(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10791815/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。