指南与共识技术与安全

METhodological RadiomICs Score(METRICS):由EuSoMII认可的一项影像组学研究质量评分工具

METhodological RadiomICs Score (METRICS): a quality scoring tool for radiomics research endorsed by EuSoMII.
PubMed 文献 · Insights Imaging · 2024-01-17

本研究通过在线改良Delphi法,由来自19个国家的59名专家经三阶段四轮投票,制定出METRICS评分工具。最终工具包含9个类别共30个条目,按权重从高到低依次为研究设计、影像数据、图像处理与特征提取等。还开发了网页应用以便计算评分并收集反馈。

要点

  • METRICS包含30个条目、9个类别,按权重排序以研究设计最重要、开放科学最低。
  • 前5位高权重条目为高质量参考标准、外部测试、入组标准、图像预处理、数据划分。
  • 工具提供在线计算网页,最终评分为百分比并考虑条目条件性。

核心结论

  • METRICS是一项由大型国际专家组基于改良Delphi法制定的影像组学研究方法学质量评分工具,提供透明的类别与条目重要性权重。

研究设计与样本

  • 在线改良Delphi研究,分三阶段:条目准备、EuSoMII审计组成员讨论、四轮改良Delphi投票确定条目及权重。
  • 共有来自19个国家的59名专家参与条目选择和排序,其中42名参与投票轮,14名参与讨论轮。
  • 以75%作为共识阈值,基于专家小组意见的中位秩次及秩和法转换为重要性评分,计算类别和条目权重。

诊断标准与关键数值

  • 最终METRICS工具包含9个类别共30个条目,类别按权重降序为:研究设计、影像数据、图像处理与特征提取、指标与比较、测试、特征处理、建模准备、分割、开放科学。
  • 权重最高的前5个条目:条目3高质量参考标准(权重0.0919)、条目27外部测试(0.0749)、条目2代表性研究人群的入组标准(0.0735)、条目11适当的图像预处理技术(0.0622)、条目18正确的数据划分过程(0.0599)。
  • 权重最低的3个条目均属开放科学类别:条目28数据可及性(0.0075)、条目29代码可及性(0.0075)、条目30模型可及性(0.0075)。
  • 作者提出将总分划分为5个任意等级:0≤评分<20%为极低,20≤评分<40%为低,40≤评分<60%为中等,60≤评分<80%为好,80≤评分≤100%为优秀。

临床应用与阅片要点

  • METRICS采用条件化格式以覆盖从手工影像组学到端到端深度学习的多种流程,可用于评估影像组学研究论文的方法学质量。
  • 作者推荐使用在线计算工具计算最终百分比评分,因该评分基于考虑条目条件性后的最大可得分自动计算。
  • 总分的5级分类应作为METRICS定量评分的补充而非替代,需通过未来使用METRICS的系统综述加以验证。

局限性

  • 总分5级分类为任意划分,需通过未来使用METRICS的系统综述加以验证,且应作为定量评分的补充而非替代。
全文中译20 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Jan 17;15:8. doi: 10.1186/s13244-023-01572-w

引言

影像组学是一个不断发展的图像分析技术领域,旨在从医学图像中提取定量特征,前提是构建预测模型并辅助临床决策[1]。自十多年前引入医学领域以来,与影像组学相关的文章每年发表数量呈指数级增长[2]。然而,影像组学研究与临床实践之间的转化差距日益扩大[3, 4]。造成这一问题的主要原因之一是研究方法学质量不佳,包括但不限于研究设计不良、图像分割描述不充分、特征提取或模型构建方法学描述不足、缺乏普适性、缺乏数据以及模型和代码共享实践不足,所有这些最终都限制了所提出的影像组学模型的可重复性[3, 5–9]。

2017年,Lambin等[10]提出了影像组学质量评分(RQS),这是一套涵盖影像组学工作流程的评估标准,旨在提高影像组学研究的质量。此后,许多系统综述应用RQS对已发表的研究进行评估,以检验影像组学研究的质量[11]。然而,某些RQS条目定义可能导致歧义,且条目的适用性可能因研究设计的不同特征而受到限制,这可能对该评分的可重复性产生负面影响,即使在领域专家中也是如此[11–13]。此外,如前所述[12],高RQS评分并不总能保证研究的高质量或不存在显著偏倚[14]。再者,该评估系统由一小群研究人员开发,开发过程未深入详细说明其如何处理各条目对整体影像组学研究质量的相对重要性。

近期,用于影像组学研究报告的评估清单(CLEAR)指南已发表,该指南涵盖最佳影像组学研究的整个生命周期,并获得欧洲放射学会(ESR)和欧洲医学影像信息学会(EuSoMII)的认可[15]。CLEAR报告指南在提高影像组学论文报告质量方面具有巨大潜力,最终将导致研究质量的提升。然而,报告指南并非评估工具或衡量研究质量的仪器[16, 17]。因此,仍需要一种易于使用、可重复的影像组学研究评估系统。在本文中,我们提出了一种新的质量评估工具——影像组学方法学评分(METRICS),该工具由该领域一大群国际专家开发,易于使用,专门旨在提高影像组学研究的方法学质量。

材料与方法

设计与开发

由于尚无开发评分系统的指导文件,因此遵循了开发报告指南的建议[18]。因此,首先成立了指导委员会(T.A.D.、B.K.和R.C.)来组织和协调METRICS的开发。

为开发METRICS工具,计划开展一项由国际专家组参与的在线改良德尔菲研究。该过程分为三个阶段。指导委员会成员实施第一阶段(Stage#1),包括条目准备。第二阶段(Stage#2)由来自EuSoMII影像组学审计组的一组小组成员参与,讨论待投票的条目。第三阶段(Stage#3)由两个独立的小组成员组进行四轮,以确定METRICS条目及其权重。Stage#3的前三轮旨在确定哪些方法学条目符合METRICS的条件。条目的权重随后在Stage#3的最后一轮中确定。每轮之后,小组成员收到关于前一轮的结构化反馈,以调和个别意见。

在Stage#3中,每轮调查至少开放2周,并在截止日期前1周、3天和1天发送提醒电子邮件。必要时(例如,当与重要会议或假期重叠时),截止日期被延长,以确保达到合理的小组成员人数。

改良德尔菲调查使用计算机辅助网络访谈(CAWI)系统进行,即Google Forms(Google LLC)。对于在线小组讨论,使用在线平台,即Google Docs(Google LLC)或WhatsApp(Meta Platforms Inc.)。

为简化METRICS评分的计算,计划开发一种在线计算工具。还计划建立GitHub仓库,用于提供更新和收集社区反馈。

匿名性

尽管小组成员独立投票,但改良德尔菲练习的投票轮次并非匿名,以追踪小组成员的参与情况。只有组织者可以访问小组成员的数据,并且他们在投票任务期间和之后(即在每轮后提供反馈时)保持了投票及其各自评论的匿名性。

知情同意

在德尔菲问题开始时,使用同一表格征求参与者的知情同意。参与者可随时选择退出研究。表示希望拒绝调查者将被从未来的邀请中删除。仅当该轮次处于活跃状态时,小组成员才可以撤回其投票。

共识标准

“非常同意”和“同意”的投票计为同意,“非常不同意”和“不同意”计为不同意。“中立”投票不计入任一决定。共识预先定义为同意(同意≥75%)或不同意(不同意≥75%)[19]。如果既无同意也无不同意,则称为“无共识”,并再次投票。如果“无共识”条目在下一轮投票中未达成同意,则从工具中删除。存在不同意的共识条目从工具中删除,无需进一步讨论。

参与者招募

来自不同国家、在影像组学、机器学习、深度学习、信息学或相关编辑工作方面具有丰富经验的个人被通过电子邮件邀请,邮件描述了METRICS工具的开发计划并解释了其目的。EuSoMII影像组学审计组成员(第1组专家组成员)被分配至第2阶段和第3阶段第3轮的讨论小组。其他受邀者(第2组专家组成员)被分配至改良德尔菲投票轮次(即第3阶段的第1轮、第2轮和第4轮)。

改良德尔菲法

第1阶段(准备)

为确定潜在条目,进行了全面且系统的文献综述。指导委员会的两名成员使用以下检索式在PubMed中进行了独立文献检索,以查找相关清单、指南或工具:(radiomics)AND((checklist)OR(guideline))。检索日期为2023年1月24日。所有条目及相关文献(若读者可获取)均经过评估以确定当前可用的工具。所有符合条件文献均由整个指导委员会独立评估,以制定METRICS的初始模板。

参与者被要求考虑以下原则:i,条目之间不应有重叠;ii,理想的研究应能够获得满分(即所有可得分数或100%),这意味着条目不应互斥;iii,条目必须客观定义,以提高可重复性;iv,不仅应考虑手工设计的研究,还应考虑基于深度学习的研究,并应相应评估条目的条件性;v,由于这是一个方法学评分系统,条目应主要与研究论文的“材料和方法”和“结果”部分相关;vi,虽然条目也应旨在提高研究的方法学可重复性和透明度,但METRICS不是报告清单;vii,条目应指出潜在的偏倚来源并帮助使用者避免这些偏倚。

考虑上述定义的原则,与METRICS项目的三名组织者共同创建了初始草案。对于组织者之间的任何分歧,均基于多数投票做出决定。

第2阶段(与第1组专家组成员的讨论)

组织者准备的条目以相同原则呈现给EuSoMII影像组学审计组并进行在线讨论。此阶段为公开讨论,非匿名。专家组成员可自由建议添加、删除、合并和修改条目。

第3阶段(改良德尔菲轮次)

第1轮(条目选择)

采用5点李克特量表(非常同意;同意;中立;不同意;非常不同意),第2组专家组成员被要求对每个条目纳入METRICS工具的同意程度进行评分。通过文本框,参与者进一步被要求对条目名称和定义提出建议。此外,每个部分末尾提供文本框供参与者建议额外条目。此轮之后,第2组专家组成员获得了第1轮各条目的统计摘要以及匿名评论。

第2轮(继续条目选择)

同一批第一轮(Round#1)的专家组成员被邀请参加第二轮(Round#2)。被邀请但未对第一轮作出回应的专家组成员也被邀请参加第二轮。采用与第一轮相同的结构,向专家组成员呈现未达成共识的条目以及前一轮中建议的新条目。要求他们使用相同的5点Likert量表表达对将每个条目纳入METRICS工具的意见程度。本轮不要求提出新条目建议。第二轮结束后,向同一批专家组成员提供第二轮各条目的统计摘要以及匿名化评论。

第三轮(Round#3,与EuSoMII影像组学审计组进行小组讨论)

第三轮的目的是讨论前几轮的结果,必要时进行修改,并最终确定纳入METRICS工具的条目。讨论在在线平台(Google Docs和WhatsApp群组)上进行。所有第一组(Group#1)专家组成员均被邀请。讨论内容包括已达成共识和未解决的议题。任何修改建议均经过讨论,条目由指导委员会协商一致后编辑。

第四轮(Round#4,对最终确定的条目进行排序以确定权重)

参与前两轮(第一轮和第二轮)中至少一轮的第二组(Group#2)专家组成员被邀请参加本轮。要求专家组成员按照其在影像组学研究中的重要性对各类别及每个类别内的所有条目进行排序。第四轮结束后,向同一批专家组成员提供各条目和类别的匿名化统计摘要。

试点测试

我们邀请第一组专家组成员测试在线清单的可用性和可理解性。此外,最终的METRICS工具在文献研究上进行了测试,包括不同流程设计和研究目的的样本(即手工影像组学、深度影像组学和端到端深度学习;病灶表征和感兴趣区分割)。

统计分析

采用描述性统计(即中位数、四分位距、百分比)呈现结果。通过专家小组意见得出的层次(即多层)排序等级使用其中位数进行汇总。使用秩和法[20, 21],首先将中位秩次按以下公式转换为重要性评分:评分 = (N+1) - 秩次,其中N为类别总数或类别内条目总数。然后将类别权重重新缩放至1。每个条目的最终权重计算为类别权重与条目权重的乘积(例如,[类别A的权重] × [类别A中条目#1的权重])。各类别内的条目经过相同的重新缩放程序。最终METRICS评分按百分比尺度计算,考虑条目和类别的条件性。

结果

所有关键研究步骤以流程图形式总结于图1。

图1 METRICS开发的关键步骤。与阶段和轮次相关的方框根据所涉及的主要专家组成员组别进行颜色编码。虚线表示组织者在相关轮次中作为专家组成员参与讨论。*包括组织者(即指导委员会成员) 查看原图 ↗

改良德尔菲法

总共,3名指导委员会成员邀请了61名专家参与本研究,其中56人接受了邀请。具体而言,来自欧洲医学影像信息学学会(EuSoMII)影像组学审计组的14名专家(第1组)接受了邀请,与指导委员会成员一起参与小组讨论(即第2阶段和第3阶段第3轮的讨论)。此外,42名专家(第2组)接受了邀请,参与德尔菲投票(即第1轮和第2轮的评分;第3阶段第4轮的排序)。所有参与者的国家数据见图2。

文献检索共获得58篇出版物。在指导委员会成员对这些出版物内容进行独立评估后,确定了16份相关清单、指南或质量评分工具,认为它们可能有助于设计新的质量评分工具[7, 10, 22–35]。基于该文献综述的结果和既往经验,初步起草了33个条目。随后在与第1组专家在第2阶段的讨论后,这些条目被缩减至30个,因为其中3个被认为不明确或与其他条目部分重叠,并已与后者合并。

第2阶段讨论后获得的30个条目被提交给第2组专家进行第一轮德尔菲调查,42名专家中有40人完成了该轮调查。26个条目达成了共识,而4个条目未能达成任何共识。没有任何条目达到不一致的共识阈值。指导委员会讨论后新增了1个新条目提案(条目17,端到端深度学习流程的稳健性评估)。德尔菲第1轮投票摘要见图3。最高同意率(100%)由条目21达成(即对不确定性的考虑)。

在第1轮之后,4个未达成共识的条目和1个新提出的条目在第2轮德尔菲过程中被提交给第2组专家。本轮共有42名专家中的41人参与。4个条目达成了共识。关于前瞻性数据收集的1个条目未达成共识,因此被从列表中删除。没有达成共识的不一致。第2轮投票摘要见图3。

所有第1组专家均被指导委员会成员邀请参加第3轮小组讨论。此时对条目定义进行了少量细微修改。全部9个类别中的30个条目均达成了共识。

最后的德尔菲轮次即第4轮,包括对所有9个类别和按类别划分的30个条目进行排序。该轮由全部42名第2组专家完成。专家们所赋予的类别总排序计数见图4。第4轮中类别排序和条目排序的摘要分别见图5和图6。

按类别和条目计算的权重见图7。对于类别,最高和最低权重分别属于研究设计和开放科学。根据最终权重,权重最高的前5个条目如下:条目#3(即具有明确定义的高质量参考标准;权重,0.0919);条目#27(即外部测试;权重,0.0749);条目#2(即描述具有代表性研究人群的纳入标准;权重,0.0735);条目#11(即适当使用图像预处理技术并透明描述;权重,0.0622);条目#18(即适当的数据划分流程;权重,0.0599)。最低权重属于“开放科学”类别的三个条目,如下:条目#28(即数据可用性;权重,0.0075)、条目#29(即代码可用性;权重,0.0075)和条目#30(即模型可用性;权重,0.0075)。

第3阶段第1轮、第2轮和第4轮获得的匿名个人投票和排序见补充文件1。

图2 专家组成员的所属国家。a 59名专家组成员(包括三名组织者)按国家分布的世界地图。b 按组别划分的国家。第1组,EuSoMII审计组,包括三名组织者,参与了第2阶段和第3阶段第3轮的讨论;第2组,投票者,参与了第3阶段第1轮、第2轮和第4轮。在涉及多个国家的情况下,以第一所属单位所在国家为准 查看原图 ↗
图3 第3阶段改良德尔菲法第1轮和第2轮的支持率。条目编号与最终METRICS工具的条目编号一致。条目#X,即前瞻性数据收集,代表从最终METRICS工具中排除的条目。请注意,第1轮中缺少条目#17,该条目是第1轮中提出并在第2轮中投票的条目 查看原图 ↗
图4 直方图,描绘专家组成员所赋予的类别排序总计数。排序越接近1,其相对重要性越大 查看原图 ↗
图5 类别排序统计的箱线图。排序越接近1,其重要性越大。阴影条表示四分位距 查看原图 ↗
图6 条目排序统计的箱线图。排序越接近1,其重要性越大。阴影条表示四分位距 查看原图 ↗
图7 METRICS类别和条目的权重。每个类别具有不同颜色,且这些颜色在右图和左图之间相匹配 查看原图 ↗

最终确定的METRICS工具

最终METRICS工具包含9个类别下的30个条目,并在表1中呈现了相对条目权重。它还通过纳入若干条件条目来考虑不同的研究流程。图8和图9呈现了示例其实际使用的流程图。

为简化METRICS评分的计算,我们准备了一个用户友好的在线计算工具(https://metricsscore.github.io/metrics/METRICS.html)。该工具还允许打印(纸质和PDF)和导出(Excel电子表格)。补充文件2(无说明)和补充文件3(有说明)允许以表格格式下载METRICS工具。然而,强烈建议使用上述在线工具,因为最终的METRICS百分比评分是基于考虑条目条件性后的最大可实现绝对评分计算的。该计算可由基于网络的工具(在线和离线版本)自动完成。补充文件4包括来自文献的评估示例,涵盖METRICS在不同影像组学流程设计中的应用。

为METRICS工具建立了一个GitHub仓库(https://github.com/metricsscore/metrics)。讨论功能已启用,以接收社区反馈以便未来改进。此外,可从该仓库下载计算工具的离线版本,无需设置或安装,可直接在常见网络浏览器(如Google Chrome,推荐使用;Google LLC)上运行。在线计算工具及可能的更新也可通过该仓库访问。

表1 METRICS工具 查看原表 ↗
图8 “分割”部分条件的使用。请注意,“分割”一词指的是对图像或图像堆叠中感兴趣区域或体积进行精细(如语义或基于像素的)或粗略(如裁剪或边界框)勾画,以用于模型训练或评估。研究也可以在没有此类标注的情况下进行,例如使用分配给整个图像、体积、检查或患者的类别标签,或使用完全不需要标注的无监督方法(如聚类模型) 查看原图 ↗
图9 与“图像处理和特征提取”及“特征处理”部分相关的条件使用。请注意,流程图假设给定研究中仅使用单一流程。然而,不同技术可能在同一研究中共存。例如,一项研究可能同时包括手工特征提取和端到端深度学习以进行比较,在这种情况下,所有条件均可选择为“是” 查看原图 ↗

总分分类

为提高METRICS总分的可理解性,我们建议使用5个任意分类来代表逐渐递增的质量,即0 ≤ 评分 < 20%为“极低”;20 ≤ 评分 < 40%为“低”;40 ≤ 评分 < 60%为“中等”;60 ≤ 评分 < 80%为“良好”;80 ≤ 评分 ≤ 100%为“优秀”质量。然而,这些分类应通过未来使用METRICS的系统综述加以验证,并作为METRICS定量评分的补充而非替代。

讨论

在这项工作中,我们基于一个由59名参与者组成的多元化大型国际专家组的意见,开发了一种用于评估放射组学研究方法学质量的评分工具,即METRICS。我们的研究分3个连续阶段进行,最后阶段进行了4轮改良德尔菲法。根据专家组成员的评分,最终将9个类别下的30个条目纳入METRICS工具。随后,基于德尔菲专家组成员基于排序的评估,通过对类别和条目进行分层排序,计算了这些条目的权重。开发了一个网络应用程序以自动化计算METRICS评分,并创建了一个存储库以收集来自放射组学研究界的反馈。

文献中提出的用于评估放射组学研究方法学质量的工具很少,例如RQS[10]。尽管RQS是作为综述文章的一部分发表的,但它受到了学界的极大关注,已成为评估放射组学方法学的事实标准[11]。尽管它是由顶尖的放射组学研究人员开发并发表的,但在其开发方式以及各条目评分如何分配方面缺乏方法学透明度。第一个也是使用最广泛的版本旨在评估传统放射组学和一般建模,因此不适用于深度学习工作流程。尽管与放射组学没有直接关系,但Must AI Criteria-10(MAIC-10)清单可用于评估人工智能(AI)和医学影像研究的质量[36]。它旨在简化流程,同时克服人工智能和医学影像领域其他已发表清单的一些局限性。MAIC-10是一个非常简单短小的工具,涵盖了广泛的概念。据MAIC-10的作者称,与其他清单或质量评分工具不同,它旨在提供一个定量、客观且可重复的质量评分,在医学影像AI研究中具有广泛的应用范围。尽管仅在其发表期刊的少量出版物上进行了测试,MAIC-10与医学影像人工智能清单(CLAIM)[27]——一个广泛使用的42条目报告清单——达到了高度相关性评分。它也被认为在观察者内可重复性方面是最可重复的清单,CLAIM位居第二。然而,MAIC-10评分为非加权评分,即忽略每个条目的相对重要性,仅对依从性简单赋分1分。这种简单的评分策略也被用于个体预后或诊断多变量预测模型的透明报告(TRIPOD)清单[37]。最近一个放射组学专用报告清单——CLEAR清单——由一个专家组领导的国际倡议制定,并得到了ESR和EuSoMII的认可[15]。尽管CLEAR主要设计为报告工具而非方法学指南,但它仍然提供了有关方法学的有用信息。此外,它还有一个缩短版本称为CLEAR-S,仅关注方法学方面和开放科学,不含评分或权重。还有一些针对AI和医学影像的报告清单并非专为放射组学设计,例如CLAIM[27]。CLAIM是一个被高度引用的清单,为报告和方法学提供指导。然而,当前版本的CLAIM由一个相对较小的科学家小组创建,没有确定条目资格的正式方法(如德尔菲法);尽管如此,目前还有一项更新CLAIM的进一步倡议正在进行中[38]。值得注意的是,最近一篇文章对可用于AI研究和医学影像的现有指南进行了全面综述[39]。

为了开发所提出的评分系统,我们采用了改良德尔菲法,并组建了一个国际专家小组,同时定义了各条目的权重,以提供一种更为细致的评估方式。因此,“研究设计”这一类别具有最高的权重,因而对最终得分的影响最大。这一结果意味着,在考虑所有可能的条件组合的情况下,遵循该类别中的所有条目即可使METRICS评分达到20%至25%之间。该类别包括以下三个条目:i,遵循影像组学和/或机器学习专用清单或指南;ii,描述具有代表性研究人群的纳入标准;iii,具有明确定义的高质量参考标准。与RQS [10]和MAIC-10 [36]工具相比,第一个条目是作为一个新概念引入的。MAIC-10清单的作者将研究设计作为单一项目纳入,并将其定义为一个非常宽泛的概念。虽然其10个条目中的大多数在至少一半作为MAIC-10评估部分的研究中有所讨论,但研究设计在所有被评估的研究中均未被定义。此前,CLEAR清单[15]以及在一定程度上CLAIM [27]在报告方面已引起了对其中一些概念的关注。

与开放科学实践相关的类别具有最低的权重,因而对最终得分的影响最小,这一点可能看起来令人意外。然而,这一结果应仅被理解为反映METRICS各类别之间的相对权重,绝不意味着对开放科学的普遍忽视。毕竟,这些条目出现在METRICS中本身就证明了专家小组就其纳入的必要性达成了共识。众所周知,影像组学研究存在显著的可重复性和可复制性问题,这些问题主要归因于缺乏数据、代码和模型共享实践,从而导致泛化性较差[8, 40–42]。METRICS的作者坚信,应遵循开放科学实践以解决这些局限性,并促进影像组学在临床实践中的转化应用。这些考量与所赋予权重之间的差异可能归因于这样一种评估,即适当的研究设计“优先”。换言之,如果研究的目标和方法学步骤存在缺陷,数据和模型的可用性便成为次要问题,因为这些研究在临床环境中仍将缺乏价值。还应指出,可重复性、可复制性和泛化性是复杂且相互交织的议题,并非影像组学领域所独有,能够令人满意地解决这些问题的可靠方案仍在研究中[43]。我们认为,在METRICS上获得高分不仅意味着实验设计和呈现正确,而且这些方面最终也将改善其可重复性、可复制性和泛化性。

尽管最初纳入了一个关注前瞻性研究设计/数据收集作用的条目,但专家组成员未能就该条目达成一致,因此最终版METRICS工具中未包含该条目。另一方面,RQS则高度重视前瞻性研究,尤其是那些在试验数据库中注册的研究,并在该条目上给予此类研究该工具的最高评分[10]。根据专家组成员在第三阶段第一轮中的反馈,最可能的原因是放射组学研究需要大型数据集,与回顾性设计和数据集相比,前瞻性研究难以实现这一点。专家组成员提出的另一个问题是,与小型数据集的前瞻性研究相比,大型回顾性数据集可能受到不利评价。因此,尽管前瞻性数据收集在临床研究中无疑具有高度重要性,但其在医学影像领域放射组学和人工智能研究中的作用和附加价值目前仍不确定,并且与METRICS专家组所确立的关于总体数据标注和管理的其他考量相比,可能处于次要地位。未来就这一问题及其他主题收集学界反馈将是值得的,这可能有助于METRICS的未来修订。

应当指出,METRICS不仅有可能提高放射组学研究论文的质量,还可作为未来标准化和评价工具的开发模型。然而,为促进放射组学的临床转化,仍需要进一步的努力和标准化项目。以往标准化尝试的例子包括IBSI[28]和CLEAR清单[15]。这些努力还应包括改变学术期刊对阴性结果(即统计学上无显著意义的结果)的态度[3, 6],促进清单和质量评分工具的使用[44],以及推动可重复性研究的开展。还应特别关注一些趋势性研究做法,这些做法不仅可能对临床环境不切实际,而且在方法学上也不恰当,例如使用基于放射组学的列线图[45]。最后,METRICS明确针对研究环境,而基于放射组学和机器学习的市售产品还必须考虑监管要求和潜在错误的赔偿责任等进一步问题,这些均超出了我们所开发工具的范围。

与之前已有的工具相比,我们的工作具有若干显著特征和优势。第一,某些RQS条目,例如基于体模的重测实验或多次时间点扫描的要求,不应期望在所有影像组学研究中都具备。第二,我们基于专家排序而非任意地为条目和类别分配权重。这是本研究的主要目标之一,因为此前尚无影像组学质量评分方面的工作提出过透明的条目权重分配方法。第三,METRICS工具不仅考虑手工设计的影像组学特征,还考虑基于深度学习的影像组学。第四,第1组和第2组均拥有大量专家组成员。此外,专家组在国家来源和领域专长方面具有多样性。这对于减少计算中的噪声是必要的。第五,专家组成员在德尔菲轮次中的参与率也非常高,最低为95%(42人中的40人)。第六,我们创建了一个易于使用的网络应用程序以简化评分流程。这一点至关重要,因为METRICS包含涵盖影像组学各个方面的条件性条目,这可能使纸质计算变得困难。最后,我们建立了一个动态存储库,用于讨论METRICS工具及其内容并接收反馈,以便将来改进它们。

然而,有几个局限性需要声明。首先,我们修改后的德尔菲程序并非完全匿名,指导委员会可以获取身份信息,这偏离了标准德尔菲练习。我们选择这种方法以确保小组成员的参与。尽管如此,我们对其他小组成员保留了投票和评论的匿名性。其次,在小组成员(特别是第2组小组成员)的选择中,未采用系统性或定量策略,例如考虑发表计量指标。我们的努力集中在汇集放射组学和信息学领域知识渊博人物的多样化群体,包括经常发表与这些主题相关作品的出版物的编辑和编辑委员会成员。为了代表医学影像中的不同利益相关者,小组成员还包括在放射学和核医学方面均有深厚背景的知名人物,以及非医师人员。小组成员的地理位置不是其参与的因素;因此,作者组内不同国家的代表性呈现出一定程度的不平衡。第三,第3阶段第4轮的排名未考虑可能具有同等重要性的项目。层次分析法和成对投票本可以是考虑同等重要性的替代方法。然而,通过这种方法,第4轮中的问题数量将加倍,这可能导致疲劳并对评分过程产生负面影响。第四,在工具开发过程中,条件性项目的需求变得明显,即使其使用可能使评分过程复杂化。实际上,放射组学研究涉及众多方法学变异和细微差别,固定项目列表可能会忽略这些。然而,在线和离线自动计算工具的可用性应有助于减轻这一局限性。第五,在计算权重时未考虑项目或类别的条件性。动态权重将需要计算所有可能的条件组合,并因此需要多重排名,这是不切实际的,且价值有限,因为与当前METRICS工具相比,预期差异很小。第六,每个类别中的项目数量各不相同。尽管如此,加权过程考虑了这一点,以避免因类别内项目数量而导致最终工具的偏差。第七,德尔菲轮次中项目和类别的顺序是固定的,这可能对排名产生影响并引入偏差。或者,这些的顺序可以在投票期间随机化,并且也可以为每个小组成员独立进行。最后,未评估METRICS的可重复性。这样的分析需要专门的研究设计,纳入其他工具进行比较,应在未来的研究中进行。

总之,我们开发了一种用于综合评价影像组学研究方法学质量的评分工具,即METRICS,并借助大型国际专家小组通过改良德尔菲方案完成。该工具采用灵活格式以涵盖所有方法学变体,为评估影像组学研究论文质量的关键方法学概念提供了一个构建良好的框架。我们开发了一个网络应用程序以帮助计算METRICS评分,并创建了一个存储库以收集影像组学界的反馈。我们希望研究人员在设计研究、在系统综述中评估论文的方法学质量时能从该工具中获益,并希望期刊能采用METRICS质量评分工具进行同行评审。欢迎通过其存储库对该工具提出意见和建议,以便未来改进。

补充信息

附加文件1。

附加文件2。

附加文件3。

附加文件4。

引用

  1. Kocak B, Akinci D'Antonoli T, Mercaldo N, et al. METhodological RadiomICs Score (METRICS): a quality scoring tool for radiomics research endorsed by EuSoMII. Insights Imaging. 2024. PMID: 38228979. doi:10.1186/s13244-023-01572-w
  2. 全文:PMC10792137(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10792137/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。