文献速递骨肌技术与安全CTMR

使用METRICS和RQS对软骨肉瘤影像组学研究的方法学质量评价

Quality appraisal of radiomics-based studies on chondrosarcoma using METhodological RadiomICs Score (METRICS) and Radiomics Quality Score (RQS).
PubMed 文献 · Insights Imaging · 2025-06-18

该系统评价检索EMBASE和PubMed截至2024年7月31日的文献,最终纳入18篇软骨肉瘤影像组学研究,由3名读者独立用METRICS和RQS评分。METRICS依从率37.3–94.8%、RQS依从率2.8–44.4%,两者读者间信度均为优秀(ICC分别为0.961和0.975);METRICS依从率更高且更适合评价回顾性研究。

要点

  • METRICS依从率37.3–94.8%,RQS依从率2.8–44.4%,前者更高。
  • METRICS与RQS读者间信度均优秀,ICC分别为0.961和0.975。
  • 纳入研究均为回顾性设计,外部测试数据集使用率仅27.8%。

核心结论

  • METRICS和RQS均为可重复的影像组学质量评价工具,METRICS在软骨肉瘤研究中依从率更高。
  • METRICS更适合评价回顾性设计的研究,而骨骼肉瘤低患病率使回顾性设计在骨肌肿瘤学中常被选择。
  • 应推广使用质量评分系统设计软骨肉瘤影像组学研究,以提高方法学质量并促进临床转化。

研究设计与样本

  • 系统评价,按照PRISMA清单在EMBASE和PubMed检索截至2024年7月31日的文献,最终纳入18篇原创研究论文。
  • 由3名骨肌放射科医生独立提取基线特征并评分,评分者为具有7至10年影像组学和人工智能经验的研究者。
  • 采用METRICS(30个条目、9个类别,METRICS Tool v1.0计算)和RQS(16个条目、总分36分)评价,最终得分以百分比表示。
  • 读者间信度用双向随机效应、单评分者、绝对一致性模型的组内相关系数(ICC)计算。
  • 用双单侧t检验(TOST)比较两种评分最终得分的分布,alpha水平0.05,等效界值为总分的−5%至+5%。

关键影像表现/征象

  • 纳入研究中15篇针对病变分类、2篇针对结局预测、1篇同时涉及两者。
  • 分类任务包括良恶性鉴别或软骨性骨肿瘤分级(n=13)以及软骨肉瘤与其他病变(如颅底和骶骨脊索瘤)的鉴别(n=3)。
  • 预测任务包括复发预测(n=1)和生存预测(n=2),其中1篇同时预测生存和分级。
  • 最常研究的影像模态为MRI(13篇,72%)和CT(4篇,22%),1篇同时纳入两种模态;X线和SPECT各1篇。
  • 纳入研究的数据库中位大小为103例(IQR 84–143),无研究使用公共数据。

诊断标准与关键数值

  • METRICS最终得分范围为37.3–94.8%,RQS最终得分范围为2.8–44.4%。
  • METRICS的ICC为0.961(95%CI 0.916–0.984),RQS的ICC为0.975(95%CI 0.944–0.990),均属优秀信度。
  • TOST显示METRICS与RQS最终得分在−5%至+5%界值内不等效(p > 0.99)。
  • 分类研究中组织学为参考标准,例外为2篇良性病变依据随访稳定的影像特征诊断、1篇未报告参考标准。
  • 预测研究中生存依据临床和影像随访评估,复发依据组织学或影像表现评估。

临床应用与阅片要点

  • METRICS和RQS均表现出优秀读者间可重复性,可作为影像组学研究质量评价工具。
  • METRICS条目权重分布较RQS更均衡,且包含条件问题的逐步评价流程,更适合评价回顾性研究。
  • RQS对前瞻性研究设计等少数条目赋予较高权重(如前瞻性研究设计+7分),可能不利于罕见病变的初步研究。
  • 作者建议推广使用质量评分系统(尤其是METRICS)作为逐步指南来设计未来的软骨肉瘤影像组学研究。

局限性

  • 迄今软骨肉瘤影像组学研究论文数量有限,导致纳入分析的文章相对较少。
  • 多数被分析的研究发表于METRICS引入之前,METRICS可能在未来研究中作为指南从而提高整体方法学质量。
  • 参与评分的3名读者均具有影像组学经验,其中2名(R.C.和M.E.K.)还是METRICS开发者;由经验较少的评分者评价时读者间信度可能更低。
  • 被评价研究的局限包括缺乏前瞻性研究和基于深度学习的分析,以及对影像组学指南、外部测试数据集和开放科学数据的依从性有限。
  • RQS评价中发现所有研究均缺乏前瞻性设计、体模研究、多时间点影像评估和成本效益分析,且截断值分析、校准统计、临床效用分析和开放科学数据不足。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Jun 18;16:129. doi: 10.1186/s13244-025-02016-3

引言

软骨肉瘤是成人中最常见的骨肉瘤,占原发性恶性骨病变的20–30%[1]。过去三十年间,其发病率显著上升,尤其是非典型软骨肿瘤(ACT——既往称为低级别软骨肉瘤)这一类别,原因是MRI检查中的偶然发现增多[2, 3]。根据2020年版世界卫生组织骨肿瘤分类,ACT被归类为位于长骨的中等(局部侵袭性)病变,属于低级别,临床表现相对惰性,转移可能性不大[4]。组织学与ACT相同但位于中轴骨骼的软骨病变被称为I级软骨肉瘤,归入恶性组,该组还包括高级别(II级及以上)软骨肉瘤,无论位于中轴骨还是附肢骨[4]。治疗策略从ACT的观察等待或病灶内刮除术,到高级别及中轴骨I级软骨肉瘤的广泛切除术不等[5, 6]。然而,软骨骨肿瘤的准确鉴别和分级对放射科医师和病理科医师而言均具有挑战性,尤其是长骨中ACT等中间性病变,即使在专家之间也存在较高的观察者间变异[7–9]。

近期关于软骨肉瘤的研究探索了影像组学在分类和预后方面的应用,如分级或结局预测,近年来相关出版物数量呈指数增长[10]。影像组学包括从医学图像中提取和分析定量特征,即影像组学特征,可与机器学习模型结合以预测感兴趣的诊断或结局[11–13]。然而,尽管影像组学在增强软骨骨肿瘤临床决策方面具有巨大潜力,但其向临床实践的转化仍面临挑战[14]。基于影像组学的软骨肉瘤研究的科学质量和报告质量较低被认为是阻碍临床转化的主要原因[10]。为解决这一问题,已提出若干指南、清单和评分系统[15–18]。特别是,Lambin等人于2017年提出了影像组学质量评分(RQS),并逐渐成为评估影像组学流程方法和报告质量最常用的评分系统[17]。最近,欧洲医学影像信息学会提出了影像组学方法学评分(METRICS),作为一种易于使用的质量评估工具,用于评估和改进基于影像组学的研究的方法学[16]。

本研究的目的是系统综述基于影像组学的骨软骨肉瘤研究,并使用METRICS和RQS评估其方法学质量。最终目标是促进稳健的影像组学流程,弥合影像组学研究与实际应用之间的差距,从而潜在帮助临床医师应对日常实践中软骨骨肿瘤检出率不断增加的情况。

方法

检索策略

本研究基于对文献的系统综述,未纳入任何新的患者数据,因此无需伦理委员会批准。本研究按照系统综述和荟萃分析优先报告条目(PRISMA)清单进行[19]。文献检索和研究选择由三名在骨肿瘤和影像组学方面具有3至7年经验的肌骨放射科医师(S.G.、C.M.、D.A.)独立完成。在EMBASE(Elsevier)和PubMed(MEDLINE,美国国家医学图书馆和美国国立卫生研究院)数据库上进行了电子文献检索,检索截至2024年7月31日发表的关于骨软骨肉瘤影像组学的研究。采用受控词汇,使用PubMed的医学主题词和EMBASE的叙词表。精确检索式为:(‘radiomics’/exp OR radiomics)AND(‘chondrosarcoma’/exp OR chondrosarcoma)。检索符合条件论文的全文和补充材料以供进一步审阅。此外,还检查了符合条件研究的参考文献以纳入额外论文。纳入标准为:(1)发表在同行评审期刊上的原创研究论文;(2)研究聚焦于影像组学应用于骨软骨性肿瘤,对研究目的不作限制;(3)声明已获得当地伦理委员会批准,或遵循了伦理标准。 duplicates、不同主题的研究以及非英文语言的论文被排除。

数据提取与评分

数据提取与评分由三名在影像组学和人工智能方面具有7至10年经验的阅读者(R1 = S.G.,R2 = R.C.,R3 = M.E.K.)完成。举行了介绍性会议以分析和讨论METRICS和RQS的条目。因此,三名研究者均被要求使用两种评分工具独立阅读和评估所有论文,包括可获得的补充材料。METRICS由30个条目组成,分为9个类别[16]。使用网络应用程序METRICS Tool v1.0(https://metricsscore.github.io/metrics/METRICS.html)进行计算,该程序为每篇评估论文生成单独的评分表。RQS由16个条目组成,每个条目有相应的分值,总计36分[17],予以赋值并记录在评分表中。METRICS和RQS的最终评分均以百分比表示。此外,由同一组阅读者提取并汇总所有评估研究的基线特征,包括第一作者姓名、发表年份、期刊、研究目的、研究设计、参考标准、成像方式和数据库规模。

统计分析

分类变量以绝对值和百分比表示。定量变量以中位数和四分位(第1–第3)距(IQR)表示。阅片者间信度采用组内相关系数(ICC)计算,采用双向随机效应、单评分者、绝对一致性模型。ICC值的解释如下:ICC < 0.50表示信度差,0.50 ≤ ICC < 0.75表示信度中等,0.75 ≤ ICC < 0.90表示信度良好,ICC > 0.90表示信度极好[20]。采用双单侧t检验(TOST)程序比较RQS和METRICS最终评分分布的等效性和/或差异。TOST以α水平0.05进行,假设等效界值为总分的−5%至+5%。统计分析使用IBM SPSS Statistics(版本29.0)和R(版本4.3.2)进行。p值 < 0.05被认为具有统计学意义。

结果

文献检索

最初共检索到68篇论文。其中,25篇为重复文献。在排除非原创研究论文(n = 16)、不同主题的研究(n = 9)或非英文语言的研究(n = 2),并在符合条件出版物的参考文献中额外识别出研究(n = 2)后,最终有18篇论文纳入我们的分析。展示文献检索过程的流程图见图1。

图1 PRISMA(系统评价和荟萃分析首选报告项目)流程图,展示从检索到的研究中系统识别、筛选、 eligibility和纳入信息 查看原图 ↗

基线研究特征

纳入研究的基线特征总结于表1。18项纳入研究中,9项(50%)发表于2023年至2024年,5项(28%)发表于2021年至2022年,4项(22%)发表于2019年至2020年。分类(诊断相关)和预后(结局相关)研究均被纳入。分类任务包括软骨性骨肿瘤的良恶性鉴别或分级(n = 13)以及软骨肉瘤与其他病变(如颅骨和骶骨脊索瘤)的鉴别(n = 3)。预后任务包括预测复发(n = 1)和生存(n = 2)。值得注意的是,一项研究旨在同时预测生存和分级[21],如表1所述。所有研究的设计均为回顾性。在分类研究中,除2项研究外,其余所有病例均以组织学为参考标准,这2项研究中良性病变基于随时间稳定的影像学特征进行诊断[22, 23],另一项研究报告无参考标准[24]。在预后研究中,生存基于临床和影像学随访评估,复发基于组织学或影像学发现评估。研究最多的影像学模态分别为MRI(13项研究,72%)和CT(4项研究,22%),其中一项研究在影像组学工作流程中同时纳入两种模态[25]。X线和SPECT各在1项研究中被研究。数据库大小的中位数(IQR)为103(84–143)例患者。纳入研究中无一使用公共数据。

表1 骨软骨肉瘤影像组学研究的基线特征 查看原表 ↗

影像组学评分

表2报告了所有读者对每篇评估论文的METRICS和RQS最终评分。具体而言,METRICS和RQS最终评分范围分别为37.3%~94.8%和2.8%~44.4%。ICC值表明METRICS和RQS均具有优异的读者间信度,如图2所示。具体而言,METRICS的ICC值为0.961(95%置信区间:0.916~0.984),RQS的ICC值为0.975(95%置信区间:0.944~0.990)。表3和表4分别总结了纳入论文中METRICS和RQS的总体评分结果及按条目分组的结果。TOST程序显示METRICS和RQS最终评分在−5%至+5%界值范围内不等效(p > 0.99)。图3展示了通过TOST获得的平均差异和效应量(即Hedges's g)。

表2 所有三位读者报告的METRICS和RQS最终评分 查看原表 ↗
图2 所有三位读者的METRICS和RQS最终评分(以百分比表示)箱线图比较 查看原图 ↗
表3 骨软骨肉瘤影像组学研究各条目和条件的METRICS总体评分结果,由R1(S.G.)评定 [16] 查看原表 ↗
表4 骨软骨肉瘤影像组学研究各条目的RQS总体评分结果,由R1(S.G.)评定 [17] 查看原表 ↗
图3 效应量(Hedges's g)和平均差异图,展示METRICS和RQS最终评分之间的等效性检验结果 查看原图 ↗

讨论

在本研究中,我们使用METRICS和RQS评估了软骨肉瘤影像组学研究的方​​法学质量。大多数分析的研究涉及软骨性骨肿瘤诊断和分级相关的临床问题,而少数论文侧重于结局预测。总体而言,METRICS和RQS揭示了当前影像组学流程中的一些缺陷,应在未来研究中加以解决,以改进方法学并促进临床转化。此外,两种评分均具有优异的读者间可重复性,强调了它们作为影像组学研究质量评估工具的可靠性。

在所评估的论文中,METRICS的依从率高于RQS,范围在37.3%至94.8%之间。发现了一些不足,包括缺乏全自动分割流程、深度学习流程以及与统计方法的比较,以及对影像组学或机器学习指南、外部测试和开放科学数据可及性的依从性有限。在肌肉骨骼肿瘤学中,全自动分割和深度学习流程的研究分别少于手动图像分割和传统机器学习方法 [26]。然而,在骨肉瘤和软组织肉瘤的初步研究中已取得令人鼓舞的结果 [27–29],从而凸显了在该方向进一步努力的必要性。影像组学模型与统计方法之间的比较对于确定前者是否较传统统计方法具有显著优势也很重要。此外,尽管最近有改善的报道 [30],但纳入外部数据集进行独立测试的研究数量仍不理想(根据我们的分析为27.8%),因此限制了影像组学模型的泛化性。最后,开放科学数据、代码和模型的可及性有限仍是一个未解决的问题,然而,旨在建立基于影像组学研究公共数据库的倡议可能有助于解决这一问题 [31]。

基于影像组学的骨软骨肉瘤研究中发现RQS依从率较低,介于2.8%至44.4%之间。所有纳入评估的论文均报告缺乏前瞻性设计研究、体模研究、多时间点影像评估和成本效益分析。此外,截断值分析、校准统计、临床效用分析和开放科学数据的不足被反复提及。这些发现与先前关于骨软骨肉瘤影像组学的系统综述一致,该综述也强调了类似问题[10]。

尽管两种评分无法直接比较,但在所分析的研究中RQS依从率低于METRICS,这与先前关于子宫内膜癌[32]和前列腺癌[33]影像组学质量评估的报告一致。这至少部分归因于两种评分中条目权重分布的不同,RQS侧重于少数几个条目。事实上,某些RQS条目的相对权重(例如,前瞻性研究设计+7分)可能对初步研究およびglass聚焦于罕见病变(如骨骼肉瘤)的研究不利,因为后者通常选择回顾性设计以纳入足够数量的患者进行数据分析。相反,METRICS包含一个带有条件问题的逐步质量评估流程,条目权重分布比RQS更为均衡,并允许处理各种研究设计,从而导致两种评分之间的最终得分分布不同。

本研究的一些局限性应予说明。首先,迄今为止关于骨软骨肉瘤影像组学的研究论文数量有限,导致纳入我们分析的文献数量相对较少。此外,大多数所分析的研究发表于METRICS引入之前,METRICS可作为未来研究论文的指南,从而改善整体方法学质量。最后,参与论文评分的三位读者均具有影像组学经验,其中两位(R.C.和M.E.K.)同时也是METRICS的开发者。由于影像组学评分工具的应用对缺乏经验的读者具有挑战性[34],如果由经验较少的评估者评估论文,观察者间信度可能较低。

总之,METRICS和RQS均是骨软骨肉瘤影像组学研究中的可重复质量评估工具,在当前研究中发现了不同的依从率。特别是,基于METRICS的质量评价产生了比RQS更高的依从率,因为前者包含更均衡的条目权重分布,更适合评估采用回顾性设计的论文,而在处理如骨骼肉瘤等罕见病变时通常选择回顾性设计。应推广使用质量评分系统,尤其是METRICS,作为逐步指南来设计未来关于软骨性骨肿瘤的影像组学研究,改善方法学质量并促进临床转化。

引用

  1. Gitto S, Cuocolo R, Klontzas ME, et al. Quality appraisal of radiomics-based studies on chondrosarcoma using METhodological RadiomICs Score (METRICS) and Radiomics Quality Score (RQS). Insights Imaging. 2025. PMID: 40533701. doi:10.1186/s13244-025-02016-3
  2. 全文:PMC12177113(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12177113/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。