影像组学质量评分应用系统综述:EuSoMII影像组学审计组倡议
该系统综述检索多个数据库,纳入44篇基于RQS的影像组学质量评估系统综述,将RQS转换为0-100%后分析。结果显示RQS中位数仅21.00%(IQR=11.50),不同亚组间无显著差异,提示影像组学研究整体方法学质量偏低且与应用领域无关。
要点
- 影像组学研究整体方法学质量低,RQS中位数仅21.00%,阅片时需警惕模型可重复性。
- RQS可作为评估影像组学研究质量的参考工具,但需注意其可靠性和适用范围。
- 多数研究缺乏外部验证和开放科学,报告影像组学模型时应关注验证与数据共享。
核心结论
- 该系统综述未发现不同亚组间影像组学文章质量存在显著差异,且影像组学研究整体方法学质量偏低,与具体应用领域无关。
研究设计与样本
- 研究为遵循PRISMA指南的系统综述,在国际前瞻性系统综述注册数据库注册(CRD42021292310)。
- 检索PubMed、Web of Science、Embase和Scopus至2021年12月31日,最终纳入44篇基于RQS进行影像组学质量评估的系统综述。
- 由四名有影像组学/纹理分析、系统文献综述和RQS评估经验的放射科医生共识选择文章并提取数据。
- 将RQS评分转换为0-100%量表,使用Mann-Whitney检验和Kruskal-Wallis检验比较RQS评分与综述特征,显著性水平设为0.05。
诊断标准与关键数值
- RQS包含16个条目,总分范围-8至+36分,百分比评分由总分除以36得出(低于0分按0计)。
- RQS可分为六个域:域1协议质量与图像/分割可重复性(条目1-4),域2特征降维与验证报告(条目5和12),域3生物学/临床验证与效用(条目6、7、13、14),域4性能指数(条目8、9、10),域5更高证据级别展示(条目11-15),域6开放科学(条目16)。
- 纳入系统综述的RQS中位数为21.00%(IQR=11.50)。
- 亚组分析(肿瘤/非肿瘤、神经/体部、单一/多种成像技术、表征/预后/检测/其他)均未显示RQS显著差异。
临床应用与阅片要点
- 阅读影像组学研究时,可参考RQS条目评估其方法学质量,重点关注协议可重复性、特征降维、验证和开放科学。
- 注意RQS在深度学习研究中的适用性有限,其条目可能不完全适合评估深度学习影像组学分析。
- 报告影像组学模型时,应明确是否进行外部验证、成本效益分析和决策曲线分析,这些是常见缺失项。
局限性
- 该系统综述未汇总各纳入综述的单个RQS条目数据,部分原因是评分方法(共识、单读者)存在显著差异。
- 仅少数纳入研究评估了RQS的读者间可重复性(采用ICC或Cohen‘s kappa),部分采用共识方法,其余未说明可重复性检验。
- RQS对特征降维等条目评估较表浅,未评估技术适用性或数据集大小与训练实例数的匹配性,可能导致评分高估。
全文中译9 节 · 点击展开
引言
放射组学领域不断增长的出版物数量[1, 2]凸显了人们对它的极大热情。这种从医学图像中挖掘定量数据以寻找新型生物标志物并生成决策支持模型的高通量策略,被认为是克服传统图像解读局限性的一种可行方法,尤其是在肿瘤学领域[3–5]。放射组学在所有成像模式中的潜在应用似乎无穷无尽,并且根据一项调查研究,未来的医生相信先进的计算机辅助图像分析将朝着最好的方向彻底改变放射学[6–9]。
然而,经过近十年的研究,将放射组学转化为临床实践仍然是一个遥远的前景,关于商业放射组学工具的潜在可用性仍有许多未解答的问题[10]。此外,人们也提出了合理的担忧,即我们可能忽视了阴性、未发表但可能有价值的结果,即发表偏倚[11]。
放射组学是一个复杂的多步骤过程,在每个步骤中都有需要克服的方法学挑战,以确保模型发现的稳健性,而可重复性和泛化性往往受到损害[12–14]。为了理清这种方法学复杂性并简化放射组学流程的结构,2017年发布了一套建议,同时提出了对已发表结果进行“质量认证”的提案,命名为放射组学质量评分(RQS)[15]。尽管仍有改进空间,但RQS已被科学界所接受,并主要用于在系统评价中评估先前发表的放射组学研究的方法学质量[16]。
RQS包含16个条目,总分范围为− 8至+ 36分。百分比评分由绝对评分得出,通过将总分除以36获得[17]。RQS条目也可分为六个领域[18]。领域1涵盖图像和分割的方案质量与可重复性(条目1–4),领域2报告特征降维和验证(条目5和12),领域3生物学/临床验证和实用性(条目6、7、13和14),领域4性能指标(条目8、9和10),领域5展示更高水平的证据(条目11–15),领域6开放科学(条目16)。
在本研究中,我们旨在对基于RQS的系统评价进行全面概述,以突出大量放射组学应用中存在的常见问题和独特挑战。
方法
本研究已在国际前瞻性系统评价注册数据库上注册,注册号为CRD42021292310。
文献检索策略
文献检索根据PRISMA(系统评价和荟萃分析优先报告条目)指南在电子数据库(PubMed、Web of Science、Embase和Scopus)中进行,使用以下检索式:((“radiomics” OR “radiomic”) AND “quality” AND “score”)。纳入截至2021年12月31日发表的、按照RQS进行影像组学质量评估的系统评价。信件、社论、重复文献、原始论著、文献综述以及以非英文发表的RQS系统评价被排除在分析之外。纳入文章由四位在影像组学/纹理分析、系统文献综述和RQS评估方面经验丰富的放射科医师共识选定。图1显示了文章筛选的结果。
数据提取与分析
RQS包含六个领域(图像采集方案、影像组学特征提取、数据分析与统计、模型验证、临床有效性和开放科学)和16个条目。通过评估每个条目,将确定最终评分,以− 8至36的量表表示,并可转换为百分比(低于0分的评分按0计,36分等于100%),如Lambin等 [15] 所报道。RQS领域和条目及其评分的详细信息可见于补充材料。同一组放射科医师(A.S.和L.U.:各5年经验,C.F.和T.A.D.:各2年经验)还从所有纳入研究中提取数据,并收集纳入研究的RQS中位数或均值。
此外,纳入的研究根据以下特征进行分类:(1)肿瘤性与非肿瘤性靶目标;(2)神经影像与体部影像重点;(3)单一与多种成像模态;(4)纳入系统评价的研究目的(表征、检测、预后预测或其他)。
统计分析
所有分析均使用各系统评价中报告的RQS百分比平均评分进行,中位数转换为相应均值后 [20]。必要时,检索纳入研究的原始数据以计算RQS百分比平均评分。检验了研究质量与文章亚组之间的关系。数据分布的正态性采用Kolmogorov-Smirnov检验评估。对于非正态分布的变量比较,采用Mann-Whitney检验。Kruskal-Wallis检验用于比较多个连续变量。连续变量以中位数和四分位距(IQR)表示,分类变量以计数和百分比表示。所有统计分析使用SPSS(SPSS version 27;SPSS)进行。Alpha水平设为0.05。
结果
文献综述
初步文献检索获得345篇文章,其中210篇为重复文献。最终,从剩余的135篇中选出44项研究,因为91篇文章不符合纳入标准。研究流程图见图1,本研究中纳入的所有系统评价列于表1。
研究特征与亚组分析
研究特征总结于表2。更多细节报告在补充材料中。RQS的中位数为21.00%(IQR = 11.50)。在36篇系统综述中,质量评估由2名或以上读者进行(36/44,81%)。差异通过不同方式评估:11/44项研究评估了组内相关系数(ICC)或Cohen's kappa的一致性,2名作者报告了RQS评分的均值,而23名作者选择共识法进行可重复性评估。其余研究(8/44,18%)未说明可重复性检验方法。如图2所示,2018年发表的系统综述报告的RQS平均评分最高,为27.50%,而RQS最低的发表于2019年。大多数综述文章聚焦于肿瘤影像组学研究(40/44,90%);44篇综述中有10篇(22.7%)聚焦于神经放射学影像组学文章。25%的系统综述在主分析中纳入了50项或以上研究(11/44),纳入文章数量范围为6至113篇。此外,以体部影像为主题的系统综述平均纳入33篇文章,而神经影像综述平均涵盖20项研究。值得注意的是,38%(17/44)的文章聚焦于单一成像技术,其中大多数选择了MRI(16/44,36%)。图2报告了各年度所选系统综述的平均RQS百分比,图3描述了所纳入每篇综述的平均RQS百分比。按系统综述特征分组的平均RQS百分比见图4和图5。
根据系统综述特征进行的亚组分析结果未显示亚组之间存在任何显著差异(图4和图5)。
讨论
近年来,已发表的影像组学研究数量呈指数级增长,尤其是在肿瘤影像学领域[63]。这主要归因于该领域令人鼓舞的研究成果,而这些成果之所以成为可能,得益于使用人工智能/机器学习方法取代经典统计检验和专家系统,此类方法能够分析如此大量的定量数据并生成分类或预测模型。由于该领域研究数量激增,产生了提供研究指南的需求,以确保更好的标准化和同质化。在此背景下,影像生物标志物标准化倡议(IBSI)作为一个独立的国际协作组织,一直致力于标准化从采集图像中提取影像生物标志物的过程。IBSI提供了影像生物标志物命名法和特定特征定义,以及通用图像处理工作流程、用于验证影像组学软件实现的工具,以及影像组学研究的报告指南[64]。与标准化需求相伴而生的,还有对一种能够对极其异质的影像组学方法学进行定性评估和比较的工具的需求。针对这一问题,Lambin等人在2017年引入了影像组学质量评分(RQS)[15]。RQS继承了此前并非专门针对影像组学的相关工作,例如2015年发表的多变量预测模型个体预后或诊断透明报告声明[65]。RQS的目的是评估基于影像组学的研究的方法学质量,识别高质量的研究结果以及限制其价值和适用性的问题。然而,正如RQS的创建者本人所述,该评分并非作为外部审计工具而设计,不用于以绝对术语表达定性评价或开展系统综述,而是作为一份实用清单,指导研究人员进行研究设计,并使他们能够为任何方法学不合规之处提供正当理由[16]。然而在实践中,正如我们的研究发现所证实,该工具已成为聚焦于影像组学质量评估的文献系统综述的事实标准。无论如何,应当承认已有一些替代方案被提出,尽管其使用通常是零星的[66, 67]。此外,近期文献中还提出了若干清单,包括医学影像人工智能清单、医学人工智能报告最低信息清单,以及目前正在制定中的个体预后或诊断多变量预测模型透明报告声明的人工智能扩展版和预测模型偏倚风险评估工具[68–70]。然而,这些清单并非专门为影像组学的使用而定制,而是侧重于机器学习建模以及与模型偏倚相关的数据正确管理。此外,它们作为清单的性质不允许形成正式的方法学质量评分,而只能对所含条目的总体依从性进行非加权评估。
关于使用RQS对放射组学研究的方法学质量进行外部评估,其潜在的可重复性不足可能是一个问题。在我们系统综述纳入的研究中,仅有少数研究的作者对RQS的读者间可重复性进行了评估,或通过组内相关系数,或通过Cohen's K。在若干情况下,采用了多名评分者的共识方法,这可能是一种确保评分可靠性的有效解决方案。如果RQS继续被用于系统性研究质量审计,那么对RQS可重复性的评估——同时考虑评分者经验水平的差异——本身可能构成未来研究的一个方向。理想情况下,还应确定该主题的标准做法,要么要求纳入读者间可重复性分析,要么对所有未来基于RQS的综述采用共识方法。这将减轻对最终评分可能存在偏倚的担忧。
RQS的另一局限性在于其用于基于深度学习的研究。若干作者已使用RQS评估此类研究的质量,但RQS条目并非完全适合这一任务。一方面,可以认为计算机视觉神经网络,尤其是基于卷积的神经网络,本质上提取的是可等同于典型放射组学参数的定量特征。然而,这些数据的处理偏离了放射组学经典的特征处理、选择和模型调优流程。对于深度学习研究,RQS的适用性可能应逐案评估。未来,可能适合开发专门工具,以同时针对经典机器学习和深度学习放射组学分析,共享部分条目但在必要时有所差异以避免偏倚[41]。在此背景下,前述医疗保健人工智能建模清单中所包含的信息可能对补充原始RQS具有价值。
还应注意到,所有纳入综述的平均RQS较低(中位数 = 21.00%;IQR = 11.50)。这不仅支持了各篇综述所得的结论,即科学研究中其方法学质量和/或呈现的全面性仍远未达到理想状态,而且对RQS作为影像组学研究定性质量指标的适当性提出了质疑。前者还得到了一项近期跨不同领域(包括医学和放射学)机器学习研究方法学问题调查的支持,该调查同样支持数据分析技术的不当使用确实构成一个关键问题[71],而后者则源于所报告RQS的低方差。当前影像组学研究格局的这一局限性无疑是阻碍将这些工具转化为临床决策支持系统的主要因素之一。此外,随着医学影像界对该问题认识的提高,公众的怀疑只会增加。即使影像组学研究的质量和可靠性在不久的将来有所改善,这种负面看法也可能持续一段时间。因此,活跃在该领域的研究人员应尤其受到激励,改进其方法的呈现和清晰度,并便利其实验的可重复性,以营造更积极的环境,促进而非阻碍基于影像组学的软件在临床实践中的应用。正如我们的综述所示,不幸的是,目前似乎并非如此。在此背景下,期刊和审稿人可能需要发挥更积极的作用,提高影像组学研究发表的最低质量标准。引导研究人员更加关注旨在改善临床结局而非仅技术可行性的研究也将是一个积极的发展方向。一些编辑和期刊已开始朝这一方向迈进,这一趋势至少推广到本领域更受关注的出版物是可取的[68, 72, 73]。
根据本调查纳入的RQS系统评价所报告的结果,一些共同的趋势显现出来。所有或几乎所有实例中都缺少某些要点,例如成本效果和决策曲线分析。前瞻性设计的研究也非常罕见,与其他临床专科相比,这是放射学研究中的普遍情况。更令人担忧的是,仍有相当数量的研究未对最终模型进行验证,也未进行再训练(例如如交叉验证中所做的那样)。虽然交叉验证是从较小数据集中提取更多信息并提供流程总体性能更好估计的有价值工具,但它也确实不能提供模型在真实世界环境中部署的明确评估。将用于模型开发和流程调优的交叉验证与在多样化数据集上对确定模型进行外部验证相结合,可能是最佳解决方案。然而,可以理解的是,数据集规模必须足够,以使训练数据和外部验证数据都能适当代表模型的总体目标人群。还应指出,RQS对一些条目仅作了表面涉及,例如特征降维。它未评估所用技术的适当性或所得数据集规模与可用于训练的实例数量之间的比较。这可能导致研究RQS评分的过高估计,因为特征降维在最高36分中占−3或+3分。最后,我们希望强调许多影像组学研究缺乏开放性。共享模型以及理想情况下用于训练它们的数据,对于正确评估其有效性并在不同于其开发机构的数据上进行验证至关重要。这些步骤对于增强对影像组学研究的信任并允许开发整合此类模型的临床决策支持工具至关重要。
我们的系统评价存在一些应予承认的局限性。我们未汇总本研究纳入的每个基于RQS的评价中的单项数据。部分原因是进行评分所用方法存在显著差异(共识、单一阅片者)。此外,我们无意在各自主题特定的评估中替代原始研究,而是提供当前影像组学研究现状的更广泛概览。因此,我们选择汇总总体RQS百分比评分以获得这一结果。
总之,我们的评价证实了普遍观点,即影像组学研究质量在不久的将来必须提高,因为无论研究主题如何,其目前均不令人满意。除标准同行评审过程外,对这些调查进行外部审计对于突出常见局限性并为改进未来研究设计提供见解具有价值。RQS作为该任务事实上的参考工具发挥着必要作用,但未来研究应旨在提高其可靠性并开发新工具以适应不断发展的研究领域。
补充信息
ESM 1(DOCX 24 kb)
(XLSX 12 kb)
引用
- Spadarella, Stanzione, Akinci D'Antonoli, et al. Systematic review of the radiomics quality score applications: an EuSoMII Radiomics Auditing Group Initiative. Eur Radiol. 2022. PMID: 36282312. doi:10.1007/s00330-022-09187-3
- 全文:PMC9935718(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9935718/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。