文献速递妇产影像技术与安全CTMRPETUS

使用RQS和METRICS工具评估子宫内膜癌影像组学研究的质量

Evaluating the quality of radiomics-based studies for endometrial cancer using RQS and METRICS tools.
PubMed 文献 · Eur Radiol · 2024-07-16

该系统评价纳入68项子宫内膜癌影像组学研究,用RQS和METRICS评估方法学质量,RQS中位11分(IQR 9-14),METRICS中位67.6%(IQR 58.8-76.0),两种工具评定者间信度均高(ICC分别为0.897和0.959),主要缺陷为缺乏外部验证。

要点

  • 子宫内膜癌影像组学研究以MRI(82.3%)和机器学习(88.2%)为主,RQS中位11分提示方法学质量欠佳。
  • METRICS中位67.6%显示整体方法学质量尚可,但仅14.7%研究有外部验证,30.2%研究包含外部验证。
  • RQS(ICC 0.897)和METRICS(ICC 0.959)在不同经验放射科医生间均有高重复性。

核心结论

  • RQS评估显示子宫内膜癌影像组学研究质量明显不理想,而METRICS显示整体质量良好。
  • 研究强调需要严格遵守质量指标,以提高影像组学在子宫内膜癌术前管理中临床应用的一致性。

研究设计与样本

  • 系统评价,遵循PRISMA清单,检索PubMed和Scopus截至2023年10月30日,最终纳入68项原始影像组学研究。
  • 由2名新手和2名专家放射科医生使用RQS(16项要素)和METRICS(30项要素)独立评分,评分以百分比表示。
  • 纳入标准为使用CT、MRI、PET或超声的子宫内膜癌原始影像组学研究,排除非原始文章、不同主题及非英语文献。

诊断标准与关键数值

  • RQS中位11分(IQR 9-14),专家IQR 9-14(24.3-38.9%),新手IQR 8-14(22.2-38.9%)。
  • METRICS总体中位67.6%(IQR 58.8-76.0),专家中位68.7%(IQR 60.4-76.5),新手同。
  • RQS评定者间ICC 0.897(95% CI 0.821, 0.946),METRICS ICC 0.959(95% CI 0.928, 0.979)。
  • 专家对METRICS ICC 0.980(95% CI 0.959, 0.990),RQS ICC 0.940(95% CI 0.874, 0.971);新手METRICS ICC 0.980(95% CI 0.958, 0.990),RQS ICC 0.913(95% CI 0.825, 0.957)。

临床应用与阅片要点

  • RQS和METRICS均可作为识别子宫内膜癌影像组学研究不同方法学缺陷的工具。
  • METRICS还反映了对实际适用性和文档清晰度的关注。
  • 作者认为采用这些质量评分工具(尤其是METRICS)可作为设计影像组学研究的逐步指南,促进临床转化。

局限性

  • 影像组学领域快速发展及命名差异可能漏检潜在合格研究,但两名评审员参与有望最小化该风险。
  • 时间框架上部分研究早于RQS采用、全部早于METRICS指南,可能影响评估。
  • 进行培训课程的必要性可能影响ICC结果。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Jul 16;35(1):202–14. doi: 10.1007/s00330-024-10947-6

引言

影像组学是从放射学图像中提取人眼不可见的定量特征。这些数据可独立使用或与其他临床参数结合使用,有助于开发预测模型并支持临床决策[1, 2]。在过去十年中,探讨影像组学在肿瘤影像学中作用的研究数量呈指数级增长,但其向临床实践的转化仍是一个未解决的问题[3–7]。事实上,缺乏标准化方法、可重复性和可解释性是主要局限性[8–12]。

为解决这些问题,已制定了多种指南、检查表和评分系统[13–17]。2017年提出了影像组学质量评分(RQS)以提高影像组学研究中方法的严谨性。尽管其最初 conceived 为设计适当影像组学研究提供指导,但此后已成为影像组学论文的“标准”评估工具[18]。然而,RQS在可解释性及在深度学习研究评估中的适用性方面存在一些局限性[19]。此外,它缺乏对其开发过程及为各条目分配评分所用标准的准确描述[20]。在此倡议之后,已成功提出若干检查表以帮助作者和审稿人评估人工智能在医学中应用论文的质量,如医学影像人工智能检查表[15]、Must AI Criteria-10[21]和影像组学研究评估检查表[14]。最近,欧洲医学影像信息学会提出了影像组学方法学评分(METRICS)作为一种易于使用的质量评估工具,用于评估和改善影像组学研究的方法学和可重复性[20]。它包含30个条目(+5个条件条目),分为九个类别,并作为用户友好的在线自动计算工具提供。

子宫内膜癌是发达国家最常见的妇科癌症[22]。近来,在理解子宫内膜癌复杂生物学行为方面取得了许多进展,包括分子表型在决定预后中的重要性[23, 24]。此外,最近修订的国际妇产科联盟(FIGO)子宫内膜癌分期系统现已纳入仅通过活检和术后病理分析可获取的参数,包括组织学、分级、淋巴血管间隙浸润和分子特征[25]。鉴于传统影像技术在术前评估这些因素方面的局限性,影像组学在预测目的中的作用日益受到重视[26, 27]。

在此背景下,我们旨在通过RQS和METRICS,由具有不同专业知识的放射科医生对基于影像组学的子宫内膜癌模型的方法学质量进行批判性评估。

方法

方案

本研究按照系统综述和荟萃分析首选报告条目检查表进行[28]。

检索策略

两名研究者(L.R. 和 S.B.)对 PubMed 和 Scopus 数据库进行了全面检索,以识别截至2023年10月30日发表的论文。检索字符串包括以下术语及其变体:(“放射组学”或“放射基因组学”或“机器学习”或“深度学习”)且“子宫内膜癌”且(“计算机断层扫描”或“磁共振”或“正电子发射断层扫描”或“超声”)。剔除了重复文献、非原创性文章(如综述、评论、社论)、不同主题的研究以及非英文语言的研究。

数据收集与分析

评估由四名研究者完成,根据其在放射组学方面的专业知识和对该评分的熟悉程度分为两组:两名新手(L.R. 和 S.B.)和两名专家阅片者(B.K. 和 A.P.)。作为放射组学评分系统的入门,进行了初步培训课程,分析和讨论两种评分的条目。初步评估了阅片者之间的评分者间信度(IRR)。为此任务,随机选取了30篇文章,由每位阅片者独立审阅[29]。每对阅片者通过共识解决分歧,这些结果被纳入进一步分析。对于其余文章,每对阅片者独立审查了RQS(由16个要素组成)和METRICS评分(包含30个要素)的组成部分,评分以百分制表示(满分100%)。此外,对全文手稿进行了全面分析以提取特定数据:研究主题(分类、表征、淋巴结转移预测、预后预测、分割或治疗计划)、成像技术(MRI、CT、US或PET/CT)、发表年份和期刊分区。

统计分析

定性变量以绝对值和百分比频率进行汇总。定量数据的分布正态性使用Shapiro–Wilk检验评估,若非正态分布则以中位数和四分位距(IQR)表示。组内相关系数(ICC)采用双向随机效应、单评分者、绝对一致性模型评估,基于所有四名阅片者及按经验水平分组的阅片者配对对30篇随机样本论文的评分,参照常用指南[29]。结果值解释如下:ICC < 0.5表示信度差,ICC在0.5至0.75之间表示中等信度,ICC在0.75至0.9之间表示信度良好,ICC大于0.90表示信度极好。采用双单侧t检验(TOST)程序比较RQS和METRICS总评分分布的等效性和/或差异,包括总体和按经验组分析。TOST以α水平0.05进行,假定等效界值为总评分的−5%至+5%。为确定总体RQS和METRICS评分是否因研究目的、成像技术类型、发表年份和期刊分区而不同,采用Kruskal–Wallis秩检验进行亚组分析。统计分析使用“TOSTER”(版本0.8)、“irr”(版本0.84.1)和“R”(版本4.3.2)完成。p值 < 0.05被认为具有统计学意义。

结果

文献检索

研究选择的流程图见图1。最初检索到187篇文章。其中,85篇为重复文献。随后,审稿人因以下原因剔除了34/102条记录:非原创文章(24篇)、主题不同(6篇)和非英文(4篇)。最终,68篇文章被纳入系统评价。

图1 文献检索与筛选流程图 查看原图 ↗

研究特征

研究人群数量的中位数为171(IQR,138–333)。在纳入的论文中,24/68(35.3%)关注特征描述,13/68(19.1%)关注风险分层,10/63(14.7%)关注分类,9/68(13.2%)关注淋巴结转移预测,8/68(11.8%)关注预后,4/68(5.9%)关注分割与治疗计划(各2篇)。68篇文章中有2篇(2.9%)发表于2018年和2019年(每年各1篇),8/68(11.8%)发表于2020年,19/68(27.9%)发表于2021年,18/68(26.5%)发表于2022年,21/68(30.9%)发表于2023年。MRI是最常采用的成像模态(56/68,82.3%),其次是CT(5/63,7.4%)、PET/CT(5/63,7.4%)和US(2/68,2.9%)。大多数研究使用机器学习方法(60/68,88.2%),而深度学习仅应用于8/68(11.8%)篇。

IRR

ICC值表明所有评价者在RQS和METRICS评分上均具有极好的一致性(图2)。具体而言,所有评价者之间METRICS评估的ICC为0.959(95% CI:0.928,0.979)。对于RQS评估,一致性同样很强,ICC为0.897(95% CI:0.821,0.946),表明评价者之间具有高度可靠性。不同读者对之间的ICC显示,专家读者在METRICS(0.980,95% CI:0.959,0.990)和RQS(0.940,95% CI:0.874,0.971)方面均具有极好的一致性。对于新手读者,METRICS的ICC与专家相似(0.980,95% CI:0.958,0.990),而RQS略低(0.913,95% CI:0.825,0.957)。

图2 按评价者专业水平分组的METRICS和RQS箱线图比较。评分以百分比表示,红色箱代表专家评价者,蓝色箱代表新手评价者 查看原图 ↗

研究评价—RQS

两组的中位RQS均为11(30.6%),专家组的IQR为9–14(24.3–38.9%),新手组为8–14(22.2–38.9%)。专家读者的详细结果报告于表1。成像方案在63/68篇论文(92.6%)中有详细记录,但仅有一项研究使用了公开方案。35/68项研究(51.5%)进行了多次分割。没有研究在体模上进行或使用多个时间点的成像。在61/68项研究(89.7%)中采用了特征选择方法。36/68项研究(52.9%)在分析中纳入了非影像组学变量,而12/68项研究(17.6%)检测并讨论了生物学相关性。没有研究采用前瞻性设计或纳入成本效益分析。40/68项研究(58.8%)与当前金标准进行了比较,而24/68项研究(35.3%)分析了潜在临床效用。最后,8/68项研究(11.8%)提供了代码和/或数据。8篇论文中有7篇提供了代码:1篇用于图像预处理和网络实现,1篇用于重新运行分割实验,1篇用于图像预处理和数据分析,2篇用于数据分析,1篇用于影像组学数据预处理,1篇用于重新运行整个实验。

表1 专家读者对所有纳入研究的RQS 查看原表 ↗

研究评价—METRICS

总体中位METRICS评分为67.6%(IQR,58.8–76.0),专家读者和新手读者分别为68.7%(IQR,60.4–76.5)。图3显示了专家读者的METRICS评分结果。仅3/68项研究(4.4%)遵循了特定的影像组学指南或清单。研究人群的纳入标准和参考标准分别在66/68项(97.1%)和61/68项(89.7%)中被明确定义。临床可转化性在65/68项研究(95.6%)中适用,而所用影像与金标准之间的间隔仅在34/68例(50.0%)中被明确。4/68项研究(5.9%)进行了全自动分割,其中3项进行了正式评估。分割方法在57/68项(83.8%)中被清晰描述,38/68项(55.9%)由单一读者或自动化工具产生测试集分割。适当的图像预处理技术和标准化特征提取软件分别用于36/68项(52.9%)和43/68项(63.2%)。关于特征选择,57/68项(83.8%)移除了冗余特征,而37/68例(54.4%)移除了非稳健特征。42/68项研究(61.8%)的维度与数据量相适应。仅1/8项(12.5%)采用深度学习方法的研究评估了端到端流程的稳健性。随后,66/68项研究(97.1%)的模型性能评价指标适当,其中54/68例(79.4%)考虑了不确定性。33/68项研究(48.5%)使用了单参数成像或被证明劣于多参数成像。46/68项研究(67.6%)将影像组学与非影像组学方法进行了比较,但仅有一项将基于影像组学的模型与简单基线参考模型进行了比较。模型验证为内部的43/68项(63.2%),外部的10/68项(14.7%),内部加外部的9/68项(13.2%),而6/68项研究(8.8%)未进行验证。

图3 专家读者对所有纳入研究的METRICS 查看原图 ↗

统计分析

TOST程序显示,在经验丰富读者与新手读者的比较中,RQS和METRICS均在−5%至5%界限内具有等效性(均p < 0.01)。另一方面,对于两个经验水平,在比较RQS以及METRICS总分时均未发现等效性(均p = 1)。图4和图5呈现了TOST获得的平均差和效应量(即Hedges's g)。不同发表年份、成像模态、研究主题或期刊分区的RQS和METRICS评分无显著差异。详细结果见表2。

图4 平均差(下排)和效应量(上排)图,描绘专家与新手读者中RQS(A)和METRICS(B)的等效性检验结果 查看原图 ↗
图5 平均差(下排)和效应量(上排)图,描绘专家(A)和新手(B)读者中RQS与METRICS的等效性检验结果 查看原图 ↗
表2 经RQS和METRICS评估的子宫内膜癌影像组学研究亚组分析 查看原表 ↗

讨论

大多数影像组学应用用于特征描述(35.3%)[30–53]、复发风险分层(19.1%)[54–66]和分类[67–76]。RQS和METRICS评分在新手和专家读者中均表现出极好的评分者间可重复性,凸显了其可靠性。这种高度一致性可部分归因于旨在使所有读者熟悉METRICS的入门培训课程,与更为成熟的RQS相比,METRICS是一种相对较新的工具。RQS评估显示总体质量不令人满意,突显了显著缺陷,如缺乏体模研究、前瞻性研究和成本效益分析。此外,缺乏对生物学相关性的检测和讨论、截断值分析以及开源数据也被指出为缺陷。有趣的是,METRICS描绘了总体上更好的方法学质量,同时仍识别出在遵循特定影像组学和机器学习指南、纳入全自动分割流程以及有限的外部测试等方面的弱点。

我们关于常见研究局限性的发现与既往文献一致,既往文献中通过RQS应用报告了各医学影像领域影像组学研究的方法学质量不令人满意。具体而言,对于子宫内膜癌,Huang等分析了基于MRI的影像组学研究,报告RQS总百分比中位数为38.2%,强调需要方法学改进[77]。在其他领域,结果更不令人满意:卵巢癌、乳腺癌、脑膜瘤和肾细胞癌的RQS总百分比中位数分别为16.7%、11.8%、19%和9.4%[78–80]。迄今为止,鉴于METRICS最近才开发,其才刚刚开始应用于影像组学研究。

尽管这些评分无法直接比较,但当应用于基于深度学习的研究[71, 74, 76, 81–83]时,与METRICS相比,RQS给这些文章的评分低于中位数,原因是缺乏特征选择或多重分割。此外,RQS某些条目的相对权重(例如前瞻性设计±7分)可能不平衡,并可能对那些需要回顾性设计作为建立更强证据初步基础的初步探索性研究不利。相反,METRICS便于逐步进行质量评估,能够描述具体的方法学缺陷,并且由于其条件化格式,允许根据方法学进行更细致的评估。其中之一是自动分割过程的稀缺。尽管若干基于深度学习的模型在分割子宫内膜癌方面已显示出与经验丰富的放射科医师相似的准确性,但自动分割远未在放射组学研究中常规使用[84]。它们在分割子宫内膜癌方面已显示出与经验丰富的放射科医师相似的准确性,减少了所需时间并提高了分割的稳健性[82, 83]。METRICS特别提出的另一个不足是放射组学与简单或经典统计方法之间的比较,仅在一项研究中发现。这可能反映了向更复杂模型发展的趋势,可能是由于先进机器学习对潜在更优预测能力的吸引力[85]。然而,将放射组学与更简单的模型进行比较至关重要[86]。它有助于确定放射组学的复杂性是否比更传统的方法具有显著优势。此外,还应考虑成本效益和可解释性[87]。外部验证也被发现并不常见(占研究的30.2%)。尽管多年来呈积极趋势,但外部验证的频率仍不理想,限制了所提出模型的泛化能力(图6)。生物学相关性的讨论对于解释放射组学结果至关重要,但很少被描述(占研究的17.6%)。在子宫内膜癌中,这比其他一些类型的癌症更为关键,因为组织病理学和分子特征的作用已得到充分确立,这些特征现已被纳入FIGO分期[88, 89]。由于术前分期在当前临床实践中具有挑战性,旨在弥合这一差距的放射组学研究必须检测并讨论这些生物学相关性,以提高其临床可转化性[90]。

总体而言,根据我们的经验,RQS在总体研究评分中似乎呈现负偏态,反映出其条目权重分布高度集中在少数关键条目上。METRICS呈现出总体上更为均匀的条目权重分布和更清晰的条目定义,以及在处理不同研究设计方面更大的灵活性。这些要点——部分归因于METRICS的协作性、系统性开发过程,该过程可能减轻了单一或少数专家带来的偏倚——可能有助于解释两种工具之间最终评分分布的差异。在直接比较中,如图2所示,大多数研究集中在中等至良好评分附近(如METRICS所呈现)似乎比使用RQS获得的低结果更为合理。由于RQS中从绝对评分到百分比评分的转换具有非线性特征,而METRICS则不然,这些差异进一步被放大[91]。

我们的综述存在一定局限性。首先,影像组学领域发展迅速,加之命名术语的差异,存在遗漏潜在合格研究的风险。然而,预计两名评审员的参与已将这一风险降至最低。其次,时间框架——其中某些研究早于RQS的采用,且所有研究均早于METRICS指南——可能影响我们的评估[92]。最后,开展培训会议的必要性可能影响了ICC结果。

总之,RQS和METRICS均可作为重要工具,用于突出子宫内膜癌影像组学研究中的不同方法学缺陷,这些缺陷限制了模型的可解释性和泛化性。对组织病理学和分子因素的准确预测可在术前揭示明确的FIGO分期,从而据此对患者治疗进行分层。值得注意的是,尽管远非完美,METRICS在这些研究中揭示了总体令人满意的方法学质量和高度可重复性,其评分更为宽容,尤其对于回顾性和探索性研究,反映了其对全面记录和实际适用性的强调。采用这些质量评分工具,尤其是METRICS,还可作为设计影像组学研究的逐步指南,促进其向临床实践转化。

图6 2018年至2023年子宫内膜癌影像组学研究中METRICS评分与外部验证频率的比较分析。图中展示了年度METRICS评分(黄色柱)和包含外部验证的研究比例(蓝色线) 查看原图 ↗

补充信息

电子补充材料

引用

  1. Russo L, Bottazzi S, Kocak B, et al. Evaluating the quality of radiomics-based studies for endometrial cancer using RQS and METRICS tools. Eur Radiol. 2024. PMID: 39014086. doi:10.1007/s00330-024-10947-6
  2. 全文:PMC11632020(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11632020/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。