METRICS-E3 的解释与说明及示例:EuSoMII 影像组学审计组的倡议
影像组学研究因方法学质量不一致而阻碍临床转化,METRICS 评分工具应运而生但需更清晰的使用指导。METRICS-E3 由 EuSoMII 影像组学审计组开发,为 METRICS 每个条目和条件提供详细理由、解释性指导、评分建议和示例,共包含 227 个示例(124 个文献正面示例和 103 个假设性负面示例),并通过交互式网站公开提供。
要点
- METRICS-E3 为 METRICS 每个条目和条件提供解释性指导、文献正面示例、假设性负面示例和评分建议。
- METRICS-E3 共包含 227 个示例,其中 124 个为文献正面示例,103 个为假设性负面示例,覆盖 30 个条目和 5 个条件。
- METRICS-E3 是 METRICS 的补充教育资源,并非替代工具,其提升评分一致性的效果尚未经正式验证。
核心结论
- METRICS-E3 作为 METRICS 的配套资源,通过提供详细理由、解释性指导、文献正面示例、假设性负面示例和评分建议,支持对影像组学研究方法学质量进行一致和知情的评估。
- 鼓励 METRICS 用户将 METRICS-E3 与 METRICS 工具结合使用,以支持一致且可重复的评分实践。
研究设计与样本
- METRICS-E3 由 EuSoMII 影像组学审计组在 2024 年度科学项目规划会议上发起,通过组内公开征集招募贡献者,由第一作者(B.K.)在资深作者(Re.Cu.)监督下协调。
- 每位贡献者被分配一到两个 METRICS 条目或条件,需为每个条目或条件收集至少三个不同的正面示例,示例来源不限于特定学术数据库(如 PubMed、Scopus、Web of Science),优先选择开放获取文章。
- 负面示例为假设性场景,经组内讨论决定避免使用文献中真实负面示例以防伦理问题,必要时在资深作者监督下使用大语言模型(ChatGPT-4o 和 Gemini 2.0 Flash)辅助生成。
- 每个 METRICS 条目或条件至少选取两个正面示例和两个假设性负面示例作为代表性说明,最终内容经全体贡献者集体评估和共识,资深作者进行最终全面审查。
- 最终 METRICS-E3 共包含 227 个示例,覆盖 30 个条目和 5 个条件,其中 124 个为文献来源的正面示例,103 个为假设性负面示例,通过交互式网站(https://radiomic.github.io/METRICS-E3/)公开提供。
诊断标准与关键数值
- METRICS 包含 30 个条目、9 个类别,覆盖手工特征和深度学习两种方法,每个条目根据专家共识加权,通过改良德尔菲流程由国际专家组确定。
- METRICS 最终评分通过交互式在线平台以标准化 0–100% 量表计算。
- METRICS-E3 为每个 METRICS 条目或条件提供理由、文献正面示例、假设性负面示例、示例评注和评分指导。
- METRICS 初始评估显示评分者内信度良好,但评分者间信度较低,提示特定条目的解释和应用存在变异性。
- METRICS 已被用于探索大语言模型自动化质量评估的研究,不同工具的一致性从差到中等和从差到良好不等。
临床应用与阅片要点
- METRICS-E3 工作组建议用户在 METRICS 工具使用中参考 METRICS-E3 以获得每个条目和条件的解释与评分指导。
- METRICS 用于评估影像组学研究的方法学质量而非指导稿件报告,METRICS-E3 是官方解释与说明文档,补充 METRICS 但不替代 METRICS 工具。
- 尽管 METRICS 用于事后质量评估,计划开展新影像组学研究的研究者可在研究早期查阅 METRICS 和 METRICS-E3 以建立高质量研究的方法学标准。
- METRICS-E3 中的示例应在上下文中解释,示例并非穷尽或规定性的,包含正面示例不意味着整个研究方法学健全或在所有 METRICS 条目上得分高。
- 应用 METRICS 评分时应依据 METRICS-E3 提供的定义和解释支持进行系统逐条目评估,每个条目或条件须整体评估,部分分数仅在评分标准明确证明时给予。
局限性
- METRICS-E3 的开发涉及许多同时也参与原始 METRICS 工具的贡献者,可能引入解释的同质性,虽确保与原始框架一致,但可能限制指导在无外部验证情况下的普遍适用性。
- 负面示例因伦理限制必然是假设性的,其现实世界保真度尚未经实证评估。
- 当前版本缺乏正式验证研究,如评分者间一致性测试或最终用户评估(如对评估者培训的影响),以量化其对评分一致性或方法学严谨性的影响。
- 开放获取许可要求等实际限制限制了文献示例的选择,否则订阅制文章中可能有更好的示例。
- 未正式评估选择偏倚,主要标准是示例合理、与 METRICS 条目明确对齐且具有教育价值,但许多贡献者因可及性和许可考虑从高质量开放获取期刊(常包括 ESR affiliated 出版物)获取示例,加上贡献者可能偏向易于检索的示例,可能引入选择偏倚。
全文中译18 节 · 点击展开
引言
影像组学是指从医学影像数据中高通量提取和分析定量特征,以识别能够反映潜在病理生理过程或表型变异的特征[1]。其核心前提是医学图像包含人眼无法感知但可通过计算方法获取的复杂、具有生物学意义的信息。影像组学分析采用手工设计或基于深度学习(DL)的方法[2],正日益用于在各种临床领域开发预测和预后模型,包括诊断[3, 4]、治疗反应评估[5, 6]、基因组关联或蛋白质组表达[7–9]以及结局预测[10, 11]。
影像组学领域在过去十年中经历了快速增长。截至2025年4月,超过14,000篇PubMed索引的出版物包含“影像组学”一词,其中近一半发表于2023年以来。最近的一项文献计量分析报告年发表增长率约为29%,倍增时间较短,反映了研究界持续且日益增长的兴趣[12]。尽管有这一势头以及大量报告良好结果的研究[13–15],影像组学的临床实施仍然有限。研究产出量与其向常规临床实践转化之间仍存在巨大且不断扩大的差距[16, 17]。
这一转化差距可归因于多个因素,尤其是方法学复杂性。影像组学涉及多步骤流程,包括图像采集、数据采样、分割、特征提取、建模和验证,每一步都会引入潜在的偏倚和变异性来源[18–21]。研究设计和分析实践的异质性,加之研究效力不足和样本量论证不充分[22],进一步损害了可重复性和泛化性。此外,正如最近两项偶然且独立的最大规模伞状综述式元研究研究所证明的[23, 24],影像组学研究的整体方法学质量仍然普遍较差且高度不一致,对其临床转化构成了重大障碍。
认识到这些挑战,近期的倡议旨在提高标准化和透明度。影像生物标志物标准化倡议(IBSI)推进了协调特征提取方案的努力[25, 26]。与此同时,基于共识的报告指南如影像组学研究评价清单(CLEAR)已被制定,以提高研究报道的质量和透明度[27]。然而,报告指南虽然有价值,但并非旨在评估已发表研究的方法学严谨性和质量。一项研究可能被透明地报道,但在其设计或分析执行上存在根本性缺陷。
为满足这一需求,并作为众所周知的影像组学质量评分(RQS)的替代方案,方法学影像组学评分(METRICS)近期被开发为一种领域特定的质量评估工具,旨在系统评价影像组学研究的方学严谨性[28, 29]。该工具由欧洲医学影像信息学会(EuSoMII)背书,包含9个类别下的30个条目,涵盖手工特征工程和基于深度学习的方法。每个条目根据专家共识进行加权,该共识通过涉及国际专家组的改良德尔菲过程得出。该工具具有条件特异性,反映了影像组学工作流程的多样性,包括传统手工特征工程流程和基于深度学习的方法(含计算机视觉)。最终得分通过交互式在线平台(https://metricsscore.github.io/metrics/METRICS.html)以标准化的0–100%量表计算。
自2024年推出以来,METRICS迅速获得采用,表现为多项系统评价使用了该工具[15, 30–47]、截至2025年4月已被引用超过100次,以及科学界的支持[48–50]。其在受控环境中的初步评估显示了良好的评分者内信度;然而,评分者间信度较低,表明在特定条目的解释和应用上存在变异性[50]。后续在不同条件下评估METRICS的针对性研究也提出了类似关切[15]。此外,METRICS框架已被用于探索使用大语言模型自动化影像组学研究质量评估的研究中,结果显示一致性从差到中等以及从差到好不等,取决于所使用的工具[48]。总体而言,这些发现强调需要增强解释性资源,以提高在不同评估情境下的一致性、可重复性和可用性。
为填补这些空白,我们推出METRICS-E3(解释与阐述及示例),这是一份配套资源,旨在支持一致且知情地使用METRICS框架评估影像组学研究的方法学质量。METRICS-E3为每个METRICS条目提供详细的理论依据、解释性指导、说明性示例和评分建议。该资源参照CLEAR-E3[51]等类似倡议设计,旨在增强METRICS工具的可解释性、采用率和影响力。
METRICS-E3的开发
贡献者招募与项目启动
METRICS-E3项目在EuSoMII影像组学审计组2024年度科学项目规划会议上提出。贡献者通过组内公开征集招募。项目由第一作者(B.K.)在资深作者(Re.Cu.)的监督下发起和协调。
任务分配
每位贡献者被分配一个或两个METRICS条目或条件[28]。提供了详细指导以确保选择符合开放获取标准的多样化相关示例。每位贡献者须为每个条目或条件收集至少三个不同的正面示例。鼓励贡献者纳入文本和视觉内容(如表格和图片)中的数据。
在METRICS-E3中,每个METRICS条目或条件均附有:解释其重要性的理论依据。
来自文献的正面示例,展示对相应条目或条件的适当遵循。
假设性阴性示例,用于说明不依从情况,供对比之用。
对每个阳性示例和阴性示例进行详细阐述的评论。
评分指南,以确保METRICS标准的应用一致性。
阳性示例的文献筛选
阳性示例的选择基于与特定METRICS标准定义的一致性(即阳性评分),而非整项研究的整体方法学质量。
优先选择来源于开放获取文章的示例,尤其是以知识共享(CC)许可发表的文章,以便在适当署名的情况下合规复用。未对特定学术数据库(如PubMed、Scopus和Web of Science)施加限制。
在开放获取材料不可用的情况下,贡献者仅出于链接至其公开可访问存储库的目的查阅订阅制文章,不复制任何受版权保护的文本、图片或表格。
所有许可条款均由第一作者全面审查,以确保遵守版权规定。
假设性阴性示例的生成
经内部讨论后,小组集体决定避免使用文献中的真实阴性示例,以防止与识别或批评个别研究者相关的伦理问题。相反,所有阴性示例均刻意构建为假设性情景,旨在说明不符合METRICS标准的情况,代表不会满足该标准的常见方法学缺陷。在适当情况下,使用大型语言模型(ChatGPT-4o和Gemini 2.0 Flash)在第一作者(B.K.)的监督下,通过多种提示辅助生成和扩展这些示例。
示例呈现
阳性示例或逐字引用,或为清晰起见进行了改编,任何省略均以方括号省略号(如“[…]”)明确标示。为尽量减少潜在混淆或错误归因,所有与无关图片或表格相关的引用和参照均被有意省略。在纳入同一来源的图片和表格的情况下,其编号已调整以与当前文档的结构保持一致。
所有来源文章均在示例后引用,并明确说明其CC许可。
内部审查与共识
在个人贡献提交后,第一作者(B.K.)对所有材料进行了全面审查和修订,以确保一致性、清晰性和整体质量。此阶段还得到了最后作者(Re.Cu.)的监督,并就条目和条件进行了多次讨论。对于每个METRICS条目或条件,至少选择两个阳性示例和两个假设性阴性示例作为代表性说明。
此外,我们仔细考虑了METRICS可重复性研究[50]的最新发现,以及具有类似分析的相关研究[15],特别是针对先前显示可重复性较低的条目(约占条目总数的一半),以指导细致的修订并提高可靠性。在最终编辑过程中,这些条目得到了特别谨慎的处理,但没有采用统一且明确的策略。考虑到可重复性问题的潜在来源,这些条目获得了有针对性的改进,例如扩展的建议或迭代完善的示例,以提高清晰度并支持更一致的评分。
随后,包含两类示例的修订内容在全贡献者小组中共享,以进行集体评估和共识达成,在此期间贡献者可以自由地对任何内容提出修改建议或表达疑虑。在整个过程中,资深作者(Re.Cu.)再次提供了持续监督,并进行了最终全面审查,以确保与项目目标保持一致。
最终确定的METRICS-E3及获取方式
最终确定的METRICS-E3共包含227个示例,涵盖30个条目和5种条件,其中包括124个来源于文献的正面示例和103个假设性负面示例。
为便于使用,METRICS-E3托管在一个交互式网站上,访问地址为:https://radiomic.github.io/METRICS-E3/。相应的代码仓库(同时支持版本追踪)已公开可用,地址为:https://github.com/radiomic/METRICS-E3。
图1展示了METRICS-E3网站的二维码和响应式显示效果。图2展示了网站功能。图3提供了METRICS-E3的一个示例条目。
将METRICS-E3与METRICS工具结合使用的建议
METRICS-E3工作组鼓励METRICS工具的用户考虑以下建议,以确保正确有效地应用METRICS质量评价框架(图4)。METRICS工具可在https://metricsscore.github.io/metrics/METRICS.html获取。
了解METRICS和METRICS-E3的目的
METRICS是一种结构化的质量评分工具,旨在评估放射组学研究的方法学质量[28],而非指导论文报告。METRICS-E3是官方的解释与阐述文件,辅以示例说明和评论。它通过为如何解释和应用每个条目和条件提供清晰指导和说明来补充METRICS,从而支持一致且可重复的评分实践。METRICS-E3不是METRICS工具的替代品,而是为研究者、审稿人和编辑提供的教育和解释性资源。
在研究过程的早期查阅METRICS和METRICS-E3
尽管METRICS旨在用于事后质量评估,但计划开展新放射组学研究的研究者可能受益于早期同时查阅METRICS和METRICS-E3。这种方法有助于建立高质量研究预期的方法学标准,并最大限度地减少可能影响未来可评价性的常见设计缺陷。
在语境中解读示例
METRICS-E3包含选自已发表研究的正面示例以及针对每个条目或条件的假设性负面示例。这些示例说明了依从或不依从在实践中可能的表现形式。然而,示例并非详尽无遗或规定性的,高质量的方法学实施不限于所展示的形式。重要的是,纳入正面示例并不意味着整个研究在方法学上是可靠的或在所有METRICS条目上均获得高分。
全面、客观地应用评分标准
使用METRICS进行评分应通过系统性的、逐条目的评估来实施,并以METRICS-E3中提供的定义和解释性支持为指导。每个条目或条件必须被完整评估,仅在评分标准明确证成时才应给予部分分数。METRICS-E3在这一过程中是有价值的资源,既可作为评估者培训的教育工具,也可作为应用METRICS框架期间的实用参考。通过提供说明性的正面和负面示例以及详细建议,METRICS-E3旨在支持一致且客观地应用METRICS标准;然而,其在这方面的有效性尚待正式验证。
为便于实际使用,表1提供了五个METRICS条件的适当评分建议的简明摘要,表2提供了30个METRICS条目的评分建议摘要。鼓励读者查阅完整的METRICS-E3网站(https://radiomic.github.io/METRICS-E3/),以获取表格中所提供简要内容之外的全面解释、示例和指导。
记录并分享评分结果
当应用METRICS评估影像组学研究时,例如在系统综述、方法学评价或元研究中,鼓励研究人员将填写完成的METRICS评分表或结构化摘要作为补充材料纳入,或存放于可公开访问的存储库中。透明的记录有助于提高可重复性、促进批判性评价并支持数据再利用。它还能够支持大规模伞状综述,在不同研究背景下评估不同质量方面,而不论疾病类型、成像模态或其他变量如何[23, 24, 52]。
原始研究作者也可使用METRICS进行自我评估,并随稿件一同分享其评分结果[53, 54]。这可以为审稿人和编辑提供方法学严谨性的简明概览,有助于简化本已承受压力的同行评审流程[16, 55]。此外,这种做法支持未来的元研究,包括对报告趋势和自我评估质量可靠性的分析[56]。然而,研究人员应谨慎应用这些做法,因为既往研究表明,类似报告工具的实施情况并不理想[53, 56, 57]。
提升对METRICS和METRICS-E3的认识,以解决影像组学中的质量问题
鉴于影像组学研究中有充分文献记载的方法学缺陷以及临床转化方面持续存在的差距,促进质量评估工具的适当使用至关重要。近期元研究强调,方法学评价工具在影像组学中的采用有限[53]。为支持METRICS及其详述文件METRICS-E3的广泛和一致应用,我们建议用户在 publications 中引用这些文件。审稿人还应评估作者在声称高方法学质量时是否适当引用并应用了METRICS。在此类情况下,鼓励作者纳入标准化声明,例如:“本研究的方法学质量是在METRICS-E3指导下使用METRICS工具评估的。”
METRICS-E3开发过程中遇到的挑战
在METRICS-E3的开发过程中,遇到了若干实施挑战。第一,部分METRICS条目本身较为宽泛或复杂,需要随着工具的演进进行细致解读和反复澄清。第二,贡献者对条目意图的理解偶尔存在分歧,需要通过集中审核和监督进行协调统一。第三,伦理方面的顾虑使得无法使用真实的阴性示例,需要创建看似合理但为假设性的情景,而这些情景必须既贴近现实又与评分逻辑保持一致。第四,许可限制进一步将符合条件的阳性示例来源池限制为具有合规再利用权利的开放获取来源。第五,在多元化的贡献者群体中保持语气、结构以及对METRICS标准遵循的一致性,增加了编辑复杂性。在整个过程中,我们尽最大努力确保示例说明不会无意中歪曲或过度延伸METRICS评分指导的意图,在提高其可解释性的同时保持对原始工具的忠实性。
局限性
尽管这项工作具有潜在的教育价值,但它也存在若干局限性,可在未来版本中加以改进,以提升其实用性和影响力。首先,METRICS-E3的开发涉及许多同时也参与了原始METRICS工具的贡献者,可能引入解读上的同质性。虽然这确保了与原始框架的一致性,但在缺乏外部验证的情况下,可能限制该指南的可推广性。其次,尽管为确保示例的合理性和相关性付出了大量努力,但由于伦理限制,负面示例必然是假设性的,其现实真实性尚未经过实证评估。第三,当前版本缺乏正式验证研究,如评分者间一致性检验或终端用户评估(例如对评估者培训的影响),以量化其对评分一致性或方法学严谨性的影响。此外,METRICS-E3可作为参考资源,支持自动质量评估工具的开发和改进,包括使用大语言模型的工具[48, 58, 59],这些工具也需要经过正式评估。所有这些方面均计划在未来研究中开展。第四,开放获取许可要求等实际限制限制了文献示例的选择。否则,订阅制文章中可能有更好的示例。第五,我们未正式评估选择偏倚,因为主要标准是示例须合理、与METRICS条目明确对应且具有教育价值。然而,我们承认许多贡献者出于可获取性和许可方面的考虑,从高质量开放获取期刊中选取示例,通常包括ESR附属出版物。这一点,加上贡献者可能偏向于易于获取的示例,可能引入一定的选择偏倚。最后,虽然METRICS-E3是通过结构化的小组审阅和讨论开发的,但它并非基于德尔菲法等正式共识方法,这在解释与详述文件中并不常见,但在未来的详述工作中可能有所裨益。
结语
影像组学成功融入临床实践不仅依赖于技术进步,还依赖于严谨方法学标准的持续应用。为支持这一点,METRICS框架被开发为一种结构化的、基于共识的工具,用于评估影像组学研究的质量[28]。
为促进其有效使用,METRICS-E3工具作为配套指南被引入,为框架中的每个条目提供详细解释、评分建议和实践示例。基于我们此前在CLEAR-E3项目[51]中的经验,METRICS-E3采用了更为结构化的网络平台。主要新增内容包括假设性负面示例、讨论所有示例的具体评论以及针对准确一致评分的定向建议,帮助用户根据METRICS区分强与弱的方法学实践。
METRICS-E3 是由 EuSoMII 影像组学审计组牵头的一项协作计划。该组织始终致力于通过推出有针对性的计划、发表有影响力的论文和工具,来提升影像组学研究的透明度和质量。鼓励社区反馈,以确保 METRICS 和 METRICS-E3 持续演进,并支持高质量的、具有临床相关性的研究。
引用
- Kocak B, Ammirabile A, Ambrosini I, et al. Explanation and Elaboration with Examples for METRICS (METRICS-E3): an initiative from the EuSoMII Radiomics Auditing Group. Insights Imaging. 2025. PMID: 40802002. doi:10.1186/s13244-025-02061-y
- 全文:PMC12351001(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12351001/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。