文献速递技术与安全

影像组学质量评分的可重复性:一项评分者内与评分者间信度研究

Reproducibility of radiomics quality score: an intra- and inter-rater reliability study.
PubMed 文献 · Eur Radiol · 2023-09-21

本研究纳入33篇影像组学原始论文,由9名不同背景评分者分三组评估影像组学质量评分(RQS)的总分及条目分的评分者内与评分者间信度。结果显示总分评分者间信度差至中等(ICC 0.30–0.55),条目分信度极低至良好(k −0.12至0.75),提示RQS的可重复性低,需要稳健且可重复的评估方法。

要点

  • RQS总分评分者间信度差至中等(ICC 0.30–0.55,p<0.001),条目分信度极低至良好(k −0.12至0.75)。
  • 经验丰富的评分者评分者内信度极好(ICC 0.91–0.99,p<0.001),经验中等者仅为中等(ICC 0.522,p=0.009)。
  • 仅条目3(体模研究)和条目15(成本效益分析)评分者间信度较高,其余条目差至中等。

核心结论

  • RQS总分及各个条目分的可重复性低,需要一种稳健且可重复的评估方法来评估影像组学研究的质量。

研究设计与样本

  • 多评分者信度研究,共纳入33篇影像组学原始研究论文,来自European Radiology在2022年9月1日至2022年10月20日期间发表的文献。
  • 共9名不同背景和经验的评分者,随机分为三组:组1为接受RQS培训的评分者间信度组,组2为未接受培训的评分者间信度组,组3为评分者内信度组。
  • 组1和组2的评分者评估全部33篇论文;组3的评分者对其中17篇论文间隔1个月进行两次评估。
  • 连续变量(总RQS)采用ICC(双向、单评分者、一致性、随机效应模型),分类变量(条目分)采用Fleiss' kappa和Cohen's kappa统计。

诊断标准与关键数值

  • 总RQS评分者间信度:组1 ICC 0.30(95%CI 0.09–0.52,p=0.0015),组2 ICC 0.55(95%CI 0.29–0.74,p<0.001)。
  • 总RQS评分者内信度:评分者3 ICC 0.522(95%CI 0.09–0.79,p=0.009),评分者6 ICC 0.91(95%CI 0.77–0.96,p<0.001),评分者9 ICC 0.99(95%CI 0.96–0.99,p<0.001)。
  • 条目分评分者间信度:组1和组2的k值范围−0.12至0.75;仅条目3(体模研究)和条目15(成本效益分析)评分者间信度较高。
  • 条目分评分者内信度:多数条目k值范围−0.40至1,呈中等至良好信度。
  • 组1平均RQS 10.2±3.5,组2平均RQS 13.2±4,组3第一次阅读平均RQS 12.23±5、第二次阅读12.4±4.9。

临床应用与阅片要点

  • 作者认为RQS工具不易理解和采用,其结果在许多情况下可能无法重复,建议更新RQS系统使其更易于使用。
  • 作者提醒审稿人、编辑和读者,应基于本研究证据审慎评估作者自报的RQS分数,因为自报分数可能高于多评分者评估的平均RQS。
  • 作者建议将样本量分析和研究对象的定义纳入评分框架,并指出当前RQS主要关注手工影像组学,缺乏针对深度学习方法的条目。

局限性

  • 仅纳入有限数量的论文,但根据指南仍超过评分者间信度研究所需的最小样本量。
  • 仅纳入来自European Radiology的文章。
  • 未发现培训对RQS可重复性有任何积极影响。
  • 未探讨培训对评分者间信度分析的影响。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2023 Sep 21;34(4):2791–804. doi: 10.1007/s00330-023-10217-x

引言

影像组学是一种分析工具,用于从医学图像中提取裸眼可能无法感知的信息[1]。在十年间,影像组学研究领域已发表了数千项研究,涵盖多种成像学科[2]。然而,这些用于提取定量影像组学特征的先进方法本身具有复杂性,可能使人难以理解分析的各个方面并评估研究质量,更不用说将这些已发表的技术应用于临床环境[3]。显然,需要易于应用且稳健的工具来评估影像组学研究的质量,以推动该领域向前发展。

为提高影像组学研究方法的质量,Lambin等[4]于2017年提出了一种评估工具——影像组学质量评分(RQS)。遵循开展影像组学研究的理想工作流程,RQS将其分解为若干步骤并旨在使其标准化。因此,RQS包含16个条目,涵盖影像组学研究的整个生命周期。自2017年引入以来,它已被影像组学研究界广泛采用,并发表了大量使用该评估工具的系统综述[5–9]。然而,对于研究者或综述者而言,正确解读和实施RQS并因此给出可重复的评分本质上仍具有挑战性;结果,在这些系统综述中,大多数情况下RQS评分是通过共识决策确定的,且未进行可重复性分析[5–7, 10–13]。重要的是,原始RQS发表中未提供评分者内或评分者间可重复性分析[4]。

根据最近一篇关于使用RQS的系统综述的综述文章,在大多数情况下RQS采用共识方法使用:44篇综述文章中有27篇选择使用共识评分,10篇甚至未说明最终评分是如何获得的,只有7篇使用组内相关系数(ICC)或kappa(k)统计量评估评分者间信度[5]。尽管共识决策具有正面含义,但这并不一定意味着通过共识达成的评分是可重复的。共识决策可能仅反映最有经验的评分者的意见,因为新手的声音可能被压制,从而导致对分歧的低估[14]。选择使用共识而非评分者间信度,推测也可能是因为应用RQS存在挑战,以及评分无法在评分者之间可靠地重现。显然,在建立一个对所有研究者都易于使用且可重复的工具方面仍有改进空间。

在本研究中,我们旨在开展一项大型多读者研究,以调查RQS总评分和各个RQS条目的评分者内和评分者间信度。我们认为,一种稳健的影像组学研究质量评估方法对于将该领域带入放射学的未来至关重要,而不是迎来可重复性危机。

材料与方法

本研究遵循可靠性与一致性研究报告指南(GRRAS)报告规范进行[15]。

论文筛选

我们纳入了近期发表于《European Radiology》的研究,时间范围为我们研究开始前任意选取的1个月。使用的检索式如下:(“European Radiology”[期刊])AND(“radiomics”[标题/摘要] OR “radiomic”[标题/摘要])AND(2022/09/01:2022/10/20[日期—出版])。选择《European Radiology》是因为它是一本第一四分位(Q1—Scimago期刊排名)期刊,在所有放射学期刊中影像组学发文量最高;例如,在PubMed中以文章标题/摘要中的关键词“radiomics”或“radiomic”检索,2021年1月1日至2022年12月31日间共返回249篇原始影像组学文章(图1)。

我们仅纳入原始研究文章,排除系统综述、文献综述、社论、通讯和更正。应用纳入和排除标准后,共选择33篇文章用于研究,这高于基于《可靠性研究组内相关系数选择与报告指南》的评分者间可靠性研究所需的最低样本量,即30(图2)[16]。

图1 柱状图显示2021年至2022年间发表于第一四分位综合放射学期刊的原始影像组学文章数量 查看原图 ↗
图2 研究流程图 查看原图 ↗

评分者选择与评分者调查

通过在欧洲医学影像信息学会(EuSoMII)影像组学审计组内公开招募,共招募了9名具有不同背景和经验水平的评分者参与研究。他们最初均完成了一项调查,该调查通过电子邮件发送给所有评分者,以确定其在RQS应用方面的专业水平以及其职业的专业水平。然后,根据其专业水平被随机分配到以下组别:两个评分者间可靠性组,包括一个有RQS使用培训课程和一个无培训课程,以及一个评分者内可靠性组(表1)。

有培训的评分者间可靠性组(第1组)接受了RQS评估的简短培训课程,期间由一名经验丰富的评分者(T.A.D.)指导他们如何对一篇随机文章的所有条目进行评分[17],然后他们分别完成对所有33篇论文的评估。无培训的评分者间可靠性组(第2组)未接受任何RQS培训,并完成对所有33篇论文的评分。评分者内可靠性组(第3组)未接受培训,并被要求对33篇选定论文中的17篇进行两次评分,间隔1个月,以尽量减少回忆(图3)。所有评分者在阅读文章及其可获得的补充材料时提供评分。如有需要,也允许进行关键词检索。

研究结束时,评分者收到另一项调查,以了解他们在RQS评估过程中面临的挑战及其可能的解决方案。

表1 按RQS评分经验水平划分的评分者特征 查看原表 ↗
图3 研究流程图,显示研究中不同组别及其路径 查看原图 ↗

统计分析

我们使用ICC(双向、单评分者、一致性、随机效应模型)分析连续变量,即总RQS,并使用Fleiss' k和Cohen's k统计量分析分类变量,即条目评分,正如推荐的那样[15, 16, 18]。Cohen's k不支持两个以上评分者/评分的比较,如果有两个以上评分者/评分,应使用Fleiss' k [19]。因此,当有两个评分/评分者时,即第3组,使用Cohen's kappa;当有两个以上评分/评分者时,即第1组和第2组,使用Fleiss' kappa进行比较[19]。我们使用两个单侧t检验(TOST),一种基于经典t检验的等效性检验,来研究平均RQS评分之间的组间差异[20]。所有统计分析均使用R软件(版本4.1.1)进行,并使用“irr”和“TOSTER”包[21]。

结果

论文筛选

本研究共纳入33篇论文。其中两篇为技术论文,即体模研究,其余均为原始研究文章。纳入研究的特征见表2。

表2 纳入论文的特征 查看原表 ↗

评分者选择及评分者调查

根据初始调查结果(表1),评分者被随机分配到各组。完成评估后,对评分者进行了另一项调查,以探究他们在RQS评估过程中面临的挑战及其可能的解决方案。所有回答见补充表E1。他们面临的主要问题之一是,RQS主论文和RQS清单[4]中对RQS条目缺乏清晰解释所造成的困惑。表3列出了RQS的主要问题以及我们为简化方法提出的建议。

表3 放射组学质量评分各条目挑战的潜在原因及建议修正 查看原表 ↗

统计分析

评分者间信度

第1组评分者之间的评分者间信度较差(ICC 0.30;95% CI [0.09–0.52];p = 0.0015),第2组评分者之间为中等(ICC 0.55;95% CI [0.29–0.74];p < 0.001),当比较具有相同经验水平的第1组和第2组评分者时,信度仍为低至中等(ICC 0.26–0.61)。组内信度分析也观察到这一趋势:第1组评分者显示较差的评分者间信度,第2组评分者显示中等的评分者间信度(表4)。

表4 总体RQS的组内和组间信度分析结果 查看原表 ↗

评分者内信度

在评分者内信度分析中,仅具有中等经验水平的评分者3在第一次和第二次阅读之间显示出中等信度(ICC 0.522;95% CI [0.09–0.79];p = 0.009),而具有高级经验水平的评分者6和评分者9显示出极好的评分者内信度(分别为ICC 0.91;95% CI [0.77–0.96];p < 0.001和0.99;95% CI [0.96–0.99];p < 0.001)。

RQS条目评分的信度

RQS条目评分在组1和组2内组间的可重复性评定者间信度非常低。唯一具有高评定者间信度的条目是条目3(体模研究)和条目15(成本效果分析)。所有其他条目的评定者间信度为差至中等。RQS条目评分的评定者内信度较高,大多数条目的评定者内信度为中等至良好,甚至完美。组1的k值均值和标准差为0.18 ± 0.33,组2为0.43 ± 0.3,组3内评定者3为0.7 ± 0.3,评定者6为0.75 ± 0.22,评定者9为0.88 ± 0.27。组1和组2各RQS条目的Fleiss k值以及组3各RQS条目的Cohen k值总结于表5。

此外,我们发现33篇稿件中有2篇包含了自我报告的RQS,其评分高于本研究评定者所给定的评分,如表3所示[51, 52]。

组1的平均RQS为10.2 ± 3.5,组2为13.2 ± 4,组3首次阅读的平均RQS为12.23 ± 5,第二次阅读为12.4 ± 4.9(图4)。对组1和组2读者获得的平均RQS值进行了两次单侧t检验。计算下限和上限以使统计功效为0.8,α为0.05。因此,在等效界值为± 2.6、平均差值为− 3.1的情况下,下限的p值为0.7,上限的p值< 0.001(图5)。

表5 RQS条目可重复性的评定者内和评定者间信度分析结果 查看原表 ↗
图4 直方图和核密度估计图,分别显示平均RQS的总体分布:(a) 组1(蓝色)和组2(橙色);(b) 组3首次阅读(蓝色)和第二次阅读(橙色) 查看原图 ↗
图5 两次单侧t检验图 查看原图 ↗

讨论

在本研究中,我们开展了一项多读者研究,调查了总RQS以及各RQS条目评分的评定者内和评定者间信度,涉及在RQS评分方面具有不同经验水平的读者。我们发现,尽管RQS工具被广泛采用,但其理解和采用并不简单直接,且在许多情况下其结果可能不可重复(评定者间信度ICC 0.30–055,p < 0.001;评定者内信度ICC 0.522,p = 0.009,针对总RQS;评定者间组k − 0.12至0.75,评定者内组k − 0.40至1,针对条目可重复性)。我们的结果表明,在建立一套易于使用的评分框架方面仍有改进空间,以供作者、审稿人和编辑评估影像组学研究的质量。

迄今为止,RQS已成为填补放射组学研究质量评估指南空白的有价值工具。与Lambin等人[4]一样,我们认为放射组学研究的质量不应被妥协,研究人员应透明地报告其方法以确保质量和可重复性。此外,为进一步推动该领域发展,应激励研究人员采纳开放科学实践。然而,任何用于评估研究或临床实践的问卷或评分系统都应经过严格的信度和可重复性评估。迄今为止,尽管RQS被广泛用作评估放射组学研究质量的工具,但这一评估尚未进行。因此,我们认为在其推出5年后,RQS系统应进行更新,以便研究人员、审稿人和编辑更易于使用。最近,一份新的报告指南已发表,涵盖了提高放射组学研究质量和可靠性所必需的所有要求[53]。我们认为我们的建议也与这一新指南一致。

有趣的是,我们发现RQS应用之前进行的培训课程存在轻微的负面效果(根据双单侧t检验,第1组和第2组不等效且统计学上存在差异,等效界值为±2.6,平均差异为−3.1,下界p值=0.7,上界p<0.001)。第1组的评分者在接受培训后仍表现出较差的评分者间信度,而第2组尽管事先未接受任何指导,却表现出中等的评分者间信度。此外,我们仅在内信度分析中观察到更多经验的正面效应。高级评分者表现出完美的内信度结果,而经验较少的评分者具有中等信度。我们在评分者间信度分析中未观察到经验的影响。

评分者指出,RQS说明在大多数情况下并非不言自明;因此,他们需要更多时间来解读RQS条目并连续进行评分。例如,条目4,即“多时间点成像”,就是这样一个评分者间可重复性较低的条目(第1组k=−0.1;第2组k=0.54),原因在于检查表以及文章[4]中条目定义不清晰。可以认为这指的是同一检查内不同时间点的成像,即动脉/门静脉期成像;吸气/呼气;以及重测。另一方面,也可以认为这是对纵向研究的提示,即在不同的时间点(如3个月内)进行成像以执行delta放射组学分析。此外,非标准的数值范围,即从+1突然变为+2再变为−7再变为+7,在没有对此类非标准范围进行适当论证的情况下(例如条目5、12和16),给作者评分时造成了困惑。在根据条目重要性对条目评分进行加权的情况下(表3),非标准范围本是可以接受的。

其中一个问题是,一些对放射学工作流程而言可能不寻常的条目导致了混淆而非清晰。例如,一些影像组学研究仅涉及体模,旨在涵盖技术方面或测试影像组学特征的稳定性[54, 55]。在这种情况下,设置一个涉及体模研究的条目(条目3)可能是个好主意,但在实践中,临床影像组学研究不一定使用此体模步骤来稳定其特征,因此不符合该条目。尽管在影像组学背景下,特征稳健性从体模向特定生物组织的可迁移性仍应得到证明,但以技术为重点的体模研究通常缺乏临床验证,因此在RQS系统中往往获得较低评分。条目15也发现了类似问题,该条目涉及成本效益分析。这对当前的影像组学研究来说非常不寻常,即大多数为回顾性研究,很少有前瞻性研究,更不用说被纳入随机对照研究了。此外,影像组学的成本定义仍然是一个挑战,据我们所知,文献中尚无已发表的影像组学成本效益分析[56]。其方法学质量方面的价值可能受益于对该主题的更多研究。尽管条目3和条目15是最具可重复性的(表5),但我们认为它们造成了不必要的杂乱,并对整体研究质量影响有限,因为它们往往仅基于研究目的或设计而始终缺失(即条目3和条目15)。

如今,越来越多的研究利用深度学习进行影像组学分析;然而,当前的RQS工具主要侧重于手工影像组学,缺乏专门针对深度学习影像组学方法学挑战的条目。因此,稳健且设计合理的深度学习研究可能仅仅因为未能涉及与深度学习方法学相关的问题而被低RQS总分所惩罚。此外,在当前RQS工具中,样本量分析或正确选择受试者未被评分。我们认为样本量分析和定义研究受试者可以纳入,因为研究设计是研究最关键的步骤之一[57]。

我们注意到一些研究在其出版物中包含了自评分数,但遗憾的是,我们发现这些评估过于热情,并观察到与我们的多读者分析所得平均RQS结果相比存在很大差异[51, 52]。研究人员倾向于高估其结果并在乐观框架内报告,这并非新现象。这仅是对审稿人、编辑和读者的警示性说明,以基于我们的证据帮助正确评估自报的RQS分数。

我们的研究存在一些局限性。我们仅纳入了有限数量的论文,但根据指南,这仍超过评分者间信度研究所需的最低样本量[16]。此外,我们仅纳入了来自《European Radiology》的文章。然而,在医学影像领域,《European Radiology》是过去2年影像组学发文量最高的Q1期刊,确保了来自不同影像组学研究领域所选研究质量。此外,尽管我们打算在本研究中探讨培训的效果,但我们未发现培训对RQS可重复性有任何积极影响。一方面,仅使用一篇论文作为教学示例可能不足以捕捉显著差异。另一方面,一种即使在该领域研究人员中也需要大量培训才能达到足够可重复性的工具,揭示了RQS的局限性。此外,我们未研究培训对评分者间信度分析的影响;然而,我们认为培训的效果可能太小而无法检测,因为我们已发现评分者内信度为中等至优秀。

总之,我们在影像组学研究领域已取得长足进展,但在通往临床实施的长路上,我们需要可重复的评分系统,正如我们需要可重复的影像组学研究一样。我们希望我们关于更简明的影像组学质量评估工具的建议能够帮助研究人员、审稿人和编辑实现这一目标。

补充信息

以下是电子补充材料的链接。补充文件1(PDF 179 KB)

引用

  1. Akinci D'Antonoli T, Cavallo AU, Vernuccio F, et al. Reproducibility of radiomics quality score: an intra- and inter-rater reliability study. Eur Radiol. 2023. PMID: 37733025. doi:10.1007/s00330-023-10217-x
  2. 全文:PMC10957586(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10957586/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。