卵巢影像组学研究的方法学质量评估:EuSoMII放射组学审计小组倡议
该系统综述检索了PubMed、Web of Science和Scopus数据库,纳入63项使用CT、MRI、US或PET进行卵巢影像组学研究的原始论文,采用放射组学质量评分(RQS)评估方法学严谨性。结果显示中位总RQS为6分(IQR -0.5至11),仅占最大可能评分的16.7%(IQR 0-30.6%),主要缺陷为缺乏前瞻性设计和结果验证。结论认为卵巢影像组学研究的方法学严谨性不理想,限制了结果的可重复性和临床转化。
要点
- 卵巢影像组学研究的方法学质量普遍较低,中位RQS仅6分(16.7%)。
- 主要缺陷包括缺乏前瞻性设计、结果验证不足及特征稳健性评估缺失。
- CT是最常用的影像模态(41%),但并非卵巢临床常规首选。
核心结论
- 卵巢影像组学研究的整体方法学严谨性仍不理想,限制了结果的可重复性和临床转化潜力。
- 需要更多努力推动工作流程标准化,才能使影像组学成为临床决策的可行工具。
研究设计与样本
- 系统综述,遵循PRISMA声明,方案注册于PROSPERO(CRD42021293541)。
- 检索PubMed、Scopus和Web of Science数据库至2021年11月19日,最终纳入63项原始研究。
- 由两名有影像组学和RQS经验的研究者共识评估每项研究的放射组学质量评分(RQS),分歧由第三名评审解决。
诊断标准与关键数值
- RQS包含16个项目,总分范围-8至36,百分比按0-36量表计算。
- 纳入研究的中位总RQS为6(IQR -0.5至11),对应最大评分的16.7%(IQR 0-30.6%)。
- 仅6%(4/63)的研究具有前瞻性设计,51%(32/63)缺少内部或外部验证。
- 29%(18/63)评估了特征对分割变异的稳健性,仅2%(1/63)进行了体模实验。
- 76%(48/63)使用了特征降维技术,29/63纳入了非影像组学特征。
临床应用与阅片要点
- 在日常阅片和报告中参考影像组学研究时,需警惕其方法学质量,尤其是缺乏前瞻性设计和验证的研究。
- 关注影像组学模型的可重复性,注意分割方法、特征提取和验证策略是否充分报告。
局限性
- 未评估RQS评估者间一致性。
- 影像组学领域不断发展,可能遗漏潜在合格研究。
- 部分纳入研究发表于RQS引入之前。
全文中译11 节 · 点击展开
引言
放射组学代表了一个结合定量图像分析、人工智能和医学影像的新综合性研究领域[1]。该学科允许从成像数据中提取人眼无法检测到的信息[2, 3]。这些数据可用于创建能够提供诊断和预后输出的分类模型,并作为决策支持工具[4, 5]。多项研究将放射组学应用于卵巢成像领域,尤其关注肿瘤患者[6–8]。事实上,在过去十年中,临床对提高诊断准确性和患者风险分层的需求不断增加。在此背景下,通过无创成像技术提取的预测因子在多种临床场景中可能具有价值,例如用于卵巢肿块的分类或预测其临床结局[9–11]。然而,由于方法本身的复杂性以及所涉及的众多流程(特别是图像分割、特征提取和数据集分析)的可重复性有限,放射组学的应用仍局限于学术研究[12]。因此,需要对放射组学数据的准确性、可重复性以及临床实用性进行标准化评估。为回应这些需求,Lambin等人提出了放射组学质量评分(RQS),这是一个用于整体评估基于放射组学研究的方法学有效性和严谨性的指标系统[13]。该工具已被用于评估不同主题(主要集中于肿瘤学,如前列腺癌、肾癌和乳腺癌)中基于放射组学研究的科学严谨性[14–16]。近年来,随着临床对卵巢领域无创诊断技术需求的不断增加,从医学图像中提取特征以用于肿瘤检测和表征或预测预后和治疗反应的科学研究数量持续增长[10, 17, 18]。
因此,本系统综述的目的是评估使用计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声(US)进行卵巢评估并探索基于放射组学模型用于诊断或预后目的的研究的方法学严谨性。
方法
方案与注册
本研究遵循PRISMA(系统综述和荟萃分析优先报告条目)声明[19]。综述方案已在PROSPERO注册(CRD42021293541)。
检索策略
由两位研究者(A.P.和A.S.)协商一致,使用PubMed、Scopus和Web of Science数据库进行英文文献检索,以识别截至2021年11月19日发表的文献。使用以下检索词及其变体:“radiomics” AND “ovary” AND “computed tomography” OR “magnetic resonance” OR “positron emission tomography” OR “ultrasound”。详细检索式见补充材料。去除重复后,对所有摘要进行评估,以排除非原创研究(如综述、社论、病例报告)、非关注目标主题的研究或未涉及人类受试者的研究。
数据收集与研究评价
采用RQS评估纳入论文的方法学严谨性[13]。该量表由16个条目组成,涉及影像组学工作流程中的不同步骤。总分合计范围为−8至36分,而百分比则按0–36分尺度计算(表1)。两名具有影像组学和RQS既往经验的评审者(A.P.和G.S.)通过共识对论文进行评估。分歧由第三名评审者(R.C.)解决,其在阅读相应全文后审查有争议的条目,并与其他评审者讨论以达成共识。对完整稿件进行评估以收集以下数据:第一作者类别(医学或其他)、研究目的(诊断或预后)、主题(肿瘤学或其他)和设计(单中心或多中心)、成像 modality(CT、MRI、PET或US)、期刊四分位(第一或其他,基于Scopus数据)、分割策略、机器学习算法以及纳入患者总数。
统计分析
采用Shapiro-Wilk检验评估连续变量分布的正态性。连续变量以中位数和四分位距(IQR)表示,而分类数据以计数和百分比表示。采用Mann-Whitney U检验或Kruskal-Wallis秩检验进行亚组分析,以确定总RQS是否根据第一作者类别、研究目的、主题、成像 modality 和期刊四分位而有所不同。当一篇论文属于一个以上类别时,在亚组分析中对其所属的每一类别分别计数。统计分析采用“stats”(v4.1.3)R包(v4.1.3)进行[20]。p值<0.05被认为具有统计学意义。
结果
文献检索
研究选择流程图见图1。初步检索识别出531篇可能符合条件的文章,其中346篇为重复文献。评审者在评估剩余185篇论文的标题和摘要后,剔除了116条引文。随后,研究者对剩余69篇文章的全文进行盲法审阅,其中6篇被排除。最终,63篇论文被纳入系统评价。
研究特征
纳入研究的特征见补充表1。人群中位数为105(IQR,67–217)。在纳入的论文中,49%(31/63)发表于2021年,17%(11/63)发表于2020年,13%(8/63)发表于2019年,8%(5/63)发表于2018年,3%(每年各2/63)发表于2013年和2017年,2%(每年各1/63)发表于2011年、2014年、2015年和2016年(图2)。大多数研究(78%,14/63)的第一作者为医学博士。影像组学分析分别以诊断和预后为目的的研究占68%(43/63)和30%(19/63),而2%(1/63)的研究同时具有这两种预期目的。CT是最常用的成像技术(41%,26/63)。MRI和US分别用于34%(22/63)和22%(14/63)的研究,而2%(1/63)的研究同时使用了PET和CT。至于分割方法,感兴趣区大多在医学图像上手动标注(78%,49/63),大多数情况下为三维分割(70%,44/63)。最后,关于机器学习算法,发现了高度异质性,少数研究采用深度学习策略(8%,5/63),最常采用的方法总体为逻辑回归(40%,25/63)。
研究评价
结果详见表2。总体而言,63项纳入研究获得的RQS总中位数为6(IQR,−0.5至11),对应百分比为16.7%(IQR,0–30.6%)(图3)。RQS中位数随年份的分布见图4。关于第一个RQS检查点,作者在相应研究中71%(45/63)纳入了其成像方案的全面信息。在第二个RQS检查点,29%的论文(18/63)评估了特征对分割变异性的稳健性,而仅有一项研究(2%)进行了体模实验。关于第三个RQS检查点,76%(48/63)的研究使用了降维技术以避免特征过拟合,而不到一半的研究(29/63)将非影像组学特征纳入模型构建。判别统计通常得到执行(86%,59/63),而仅6%(4/63)的研究具有前瞻性设计。约一半的纳入研究(51%,32/63)缺少对结果的验证(内部或外部)。52%(33/63)的研究进行了影像组学与当前金标准的直接比较,而24%(15/63)的论文对影像组学模型的临床实用性进行了正式评估。最后,仅一项研究(2%)进行了成本效益分析,8项研究(13%)公开了其代码和/或数据。
亚组分析
表3显示了按第一作者类别、研究目的和主题、成像方式以及期刊分区进行的亚组分析结果。4项非肿瘤主题的研究得分显著低于其他研究(p = 0.01)。相反,根据第一作者类别(p = 0.75)、研究目的(p = 0.9)和成像方式(p = 0.48),论文之间未发现统计学显著差异。此外,在发表于第一四分位数期刊的研究中,RQS总分百分比高于发表于较低四分位数期刊的研究(中位数19.4 vs. 8.3),但该差异无统计学显著性(p = 0.09)。
讨论
已有若干基于影像组学的研究以诊断或预后为目的针对各种卵巢病变开展,尤其集中于肿瘤相关主题[9, 10, 17, 21–23]。值得注意的是,CT是最常用的诊断技术,尽管它并非临床常规中的首选成像方式。
然而,尽管结果令人鼓舞,将其转化为临床常规仍似乎是一个遥远的目标。这尤其归因于该方法的复杂性以及所涉及的多个流程的可重复性低[3, 24, 25]。
在我们的系统评价中,使用CT、MRI、PET或US进行的卵巢影像组学研究的总体方法学严谨性结果并不令人满意,RQS总分中位数为6,相当于最高可能评分的16.7%。此外,我们的结果并非例外。事实上,既往研究已强调,影像组学研究的总体方法学质量参差不齐,且在医学影像的多个领域中低于理想水平[14–16, 26–29]。特别是,Granzier等针对乳腺癌、Ugga等针对脑膜瘤、Ursprung等针对肾细胞癌在其系统评价中分别报告了较低的平均或中位RQS总分百分比,分别为11.8%、19%和9.4%[15, 16, 27]。RQS随年份变化的趋势相当不一致,尽管2021年的增长可能代表未来的积极信号。考虑到近一半的研究(31/63)发表于2021年,且“如何做”指南近期已发表以规范影像组学的实践,我们可以谨慎乐观地认为趋势将朝向整体改善[2, 30]。期刊和编辑对该问题的更多关注也可能有助于提高此类研究的质量和诊断效能水平,进而促进其引入临床实践[21, 31]。
我们的系统综述指出了纳入研究中若干必须在未来卵巢影像领域基于影像组学的研究中解决的问题。具体而言,部分研究仍缺乏影像采集方案的全面记录;不过,与聚焦其他主题的研究相比,相应条目的评分似乎更好[14, 15]。另一个主要问题是普遍缺乏对特征稳健性的检验,包括对分割、扫描仪或时间变异性的稳健性。这至少部分可能是由于纳入研究以回顾性设计为主,而这也构成了一项显著局限性。分割无疑代表影像组学工作流程中的关键步骤,因为数据是从分割后的感兴趣区域中提取的。值得注意的是,在纳入的论文中,感兴趣区域大多是在医学图像上手动标注的。然而,“理想”的分割策略仍存在争议[32]。一些作者采用由专家读者进行手动分割作为参考标准,但该方法可能非常耗时[33]。对整个感兴趣体积进行自动分割可能克服这一问题,但对于不均匀病变,可能需要进行大量用户校正[34]。
此外,由于患者数量有限且可提取无数影像组学特征,减少特征数量至关重要,尤其是去除那些可重复性差、可能影响算法性能的特征[3, 25, 35]。从积极方面看,76%的综述论文进行了特征降维,从而降低了过拟合风险。此外,尽管影像组学验证的必要性已被广泛讨论[36],但纳入研究中不到一半对其结果进行了内部或外部验证。然而,卵巢领域在该特定条目上的评分略优于前列腺癌以及乳腺癌影像组学研究 reported 的评分[14, 15]。
开放科学在卵巢领域仍是一个主要问题,87%的纳入论文未共享其数据和/或代码。公开可用的数据集,如癌症基因组图谱计划(The Cancer Genome Atlas Program)和国家癌症研究所影像数据共享平台(National Cancer Institute Imaging Data Commons),可能代表一种可能的解决方案,有助于增进对影像组学中各种因素影响的认识[37–39]。值得注意的是,纳入研究中没有一项使用公共影像方案。
亚组分析指出,聚焦肿瘤学主题的论文其RQS总评分显著高于非肿瘤学论文。然而,应考虑到大多数研究(94%)旨在评估影像组学在肿瘤学领域的性能。此外,尽管未达到统计学显著性,发表在第一四分位数期刊上的论文其中位RQS百分比高于发表在其他四分位数期刊上的论文,这可能是由于高排名期刊对方法学严谨性,尤其是对结果验证的要求更高。
值得注意的是,RQS可能并非评估影像组学研究方法学质量的完美工具。例如,由于其条目的性质,RQS可能会对使用深度学习算法的研究不利,这些研究可能因缺乏特征选择或多重分割而在评分上处于劣势(而这些在深度学习研究中未必是局限性)[40]。此外,某些条目的相对权重可能不平衡,从而对那些回顾性设计的初步探索性研究不利,而这些研究是构建更强证据所必需的首要基础。最后,应考虑的是,可推广性是影像组学模型临床转化的关键问题之一,但需要外部独立验证,而本研究中此类验证较为罕见(11%,7/63)。为提高影像组学研究的科学价值和方法学稳健性,研究人员不妨将重点放在利用其数据集作为独立验证队列来验证已发表的影像组学特征,而非构建新模型。然而,开放科学是实现这一目标的必要前提。
本研究存在一些局限性,应予说明。首先,未探讨RQS评估的读者间一致性;然而,评估论文的两位读者此前均有使用该指标系统的经验[14, 28]。其次,由于影像组学领域不断发展,即使在命名方面也是如此,可能遗漏了潜在的合格研究。最后,部分纳入的研究发表于RQS引入之前。
总之,卵巢影像组学研究的整体科学严谨性不尽如人意,尤其在特征可重复性和结果的形式化验证方面存在明显不足。需要在流程中付出更多努力以实现方法学标准化,才能使影像组学成为临床决策的可行工具。
补充信息
ESM 1(DOCX 31 kb)
引用
- Ponsiglione, Stanzione, Spadarella, et al. Ovarian imaging radiomics quality score assessment: an EuSoMII radiomics auditing group initiative. Eur Radiol. 2022. PMID: 36303093. doi:10.1007/s00330-022-09180-w
- 全文:PMC9935717(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9935717/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。