影像组学Meta分析的概览:需要更多证据支持临床转化
该概览纳入44篇影像组学系统综述并复现53项Meta分析,评估其报告质量、方法学质量与偏倚风险。结果显示系统综述质量欠佳,仅3项Meta分析达令人信服证据级别,支持影像组学临床应用的证据尚不充分。
要点
- 仅3项影像组学应用达令人信服证据级别,43项Meta分析为弱证据。
- 系统综述报告质量、方法学质量与偏倚风险均不理想。
- 令人信服证据涉及低级别胶质瘤IDH分型、COVID-19鉴别、高级别胶质瘤与脑转移鉴别。
核心结论
- 影像组学系统综述质量欠佳,仅有限数量的影像组学方法获得令人信服证据级别支持。
- 支持影像组学临床应用的证据尚不充分,呼吁开展研究将其从学术工具转化为可行的临床辅助手段。
研究设计与样本
- 研究类型为对影像组学系统综述与Meta分析的概览,已在前瞻性注册于PROSPERO(CRD42021272746)。
- 检索截至2022年11月15日,纳入44篇系统综述,复现其中38篇的53项Meta分析,覆盖497项原始研究、65,955名受试者和29,408个事件。
- 采用PRISMA 2020清单、AMSTAR-2工具和ROBIS工具分别评估报告透明度、方法学质量和偏倚风险。
- 证据级别分为令人信服、高度提示、提示、弱和不提示五个等级。
关键影像表现/征象
- 影像组学系统综述最常评估乳腺癌应用(7篇),其次为胶质瘤(5篇)和肝癌(4篇)。
- 非肿瘤疾病系统综述较少,仅2篇评估COVID-19、1篇评估胰腺炎。
- 质量评估工具使用最多的是影像组学质量评分(RQS,31篇),其次为TRIPOD清单(4篇)、IBSI清单(2篇)和CLAIM(1篇)。
诊断标准与关键数值
- PRISMA依从率均值±标准差为65±9%(中位数64%,范围48%-83%)。
- AMSTAR-2评定5篇系统综述为低置信度、39篇为极低置信度。
- ROBIS评定5篇、11篇和28篇系统综述分别为低、不明确和高偏倚风险。
- 令人信服证据包括:低级别胶质瘤IDH突变型与IDH野生型鉴别的T2-FLAIR影像组学(诊断OR 7.2,95%CI 4.0至12.9;p=3.13×10⁻¹¹)、COVID-19与其他病毒性肺炎鉴别的CT影像组学(OR 26.7,95%CI 19.5至36.7;p=4.54×10⁻⁸²)、高级别胶质瘤与脑转移鉴别的MRI影像组学(OR 48.8,95%CI 32.8至72.5;p=7.25×10⁻⁹²)。
- 53项Meta分析中3项、7项和43项分别为令人信服、高度提示和弱证据级别。
临床应用与阅片要点
- 原文未据此给出推荐。
局限性
- 仅纳入含Meta分析的系统综述,且仅纳入Meta分析中提及的原始研究进行再分析,可能未涵盖所有符合条件的影像组学原始研究。
- 多数Meta分析基于训练或验证数据集,可能高估结果。
- 纳入的原始研究大多为回顾性、单中心、小规模研究,且被评估为质量欠佳。
- 纳入系统综述的总体质量也不充分,上述证据级别评定结果应谨慎解读。
- 诊断准确性试验的证据评级标准尚未建立,仅估计诊断比值比作为效应量,未纳入敏感度、特异度和曲线下面积。
全文中译12 节 · 点击展开
引言
自影像组学概念提出以来已过去十年 [1]。影像组学的概念基于这样一个假设:医学图像包含肉眼无法检测的疾病特异性过程信息 [2]。影像组学是一种从医学图像中提取大量成像生物标志物的高通量方法学,被认为是最有前景的方法之一,可将现有图像增强为更深入的可挖掘数据以支持临床决策 [1–6]。快速发展的影像组学领域已引起相当大的关注,大量原始影像组学研究得以发表 [7, 8]。乍看之下,影像组学似乎可能对临床常规产生巨大影响,但迄今为止,这些令人鼓舞的发现中几乎没有或完全没有作为证据支持这些研究工具转化为临床应用 [9–13]。
原始影像组学研究是临床证据的信息来源,而系统评价和荟萃分析则提供证据的整合或综合,以更高精度从相互矛盾的结果中得出结论,并解决单个研究无法提出的问题 [14]。尽管在各个医学领域(包括影像组学 [15])发表的系统评价和荟萃分析数量不断增加,但影像组学距离从当前研究到临床应用还有多远仍不清楚 [9–13]。已有系统评价试图涵盖影像组学的广泛主题 [16, 17]。然而,已发表的原始影像组学研究数量太多,无法在单个系统评价中总结 [16],而当前影像组学的证据等级评定超出了方法学系统评价的目标 [17]。尽管如此,系统评价的概览是一种相对较新的出版物类型,试图提供更广泛的证据综合,突出知识空白、偏倚和未来研究的优先事项,有助于临床从业者和政策制定者解读影像组学中更高层次证据的结果 [18–20]。
因此,我们的原始影像组学研究系统评价的概览旨在评估研究质量和支持影像组学在临床环境中应用的证据等级。
方法
方案与注册
本荟萃分析概览已在PROSPERO前瞻性注册(CRD42021272746),评价方案见附加文件1:注释S1。由于研究性质,无需伦理批准。荟萃分析概览按照指南进行 [19–22]。相应的核查表见附加文件1。文献检索、研究选择、数据提取和质量评估由两名独立评价者(J.Z.与Y.H.、Y.X.、X.G.或D.D.之一)重复进行。分歧通过与第三名独立评价者(G.Z.、S.M.、H.C.、Q.Y.、G.Y.、H.Z.或W.Y.)协商解决。数据分析由一名评价者(J.Z.)在统计专家(J.L.)监督下完成。
文献检索与研究选择
进行了一项系统检索,以识别关于影像组学在诊断、预测或预后应用方面的系统评价及荟萃分析。检索策略通过“影像组学”、“系统评价”和“荟萃分析”等术语的变异形式进行了可行性测试。完整的正式检索执行至2022年9月30日,并更新至2022年11月15日。我们检索了同行评审的电子数据库(PubMed、Embase、Web of Science、通过Cochrane Central检索的Cochrane reviews、EBSCO护理与相关健康文献累积索引、电气与电子工程师协会及工程技术学会Xplore、美国计算机协会数字图书馆、中国知网、万方数据)、预印本服务器(arXiv、medRxiv、bioRxiv)以及系统评价方案注册平台(PROSPERO和通过Cochrane Central检索的Cochrane方案)。为进一步识别符合条件的系统评价,对所有纳入文章的参考文献列表进行了筛选,并咨询了影像组学专家。
我们纳入所有关于影像组学在人类诊断、预测或预后应用方面的系统评价及荟萃分析。对发表时间、目标人群、研究场所或对照组均无限制,但仅纳入英文、中文、日文、德文和法文文章。我们按以下标准排除:(a) 无荟萃分析的原发研究系统评价,以及信息不足以进行评估的文章;(b) 单纯评估人工智能、机器学习或深度学习的系统评价;(c) 关注方法学或稳健性问题而非临床相关问题的系统评价。排除重复文献后,我们筛选了标题和摘要以寻找可能符合条件的系统评价,然后通过阅读全文、补充材料和相关评价方案确认其合格性。详细的检索策略和研究选择过程见附加文件1:注释S2。
数据提取与研究评估
数据按照预先设计的数据提取表(附加文件1:表S1)进行提取。该表包括文献信息、研究特征,以及荟萃分析水平和各原始研究水平的效果指标。提取或重建了个体研究水平的列联表,以重复进行荟萃分析。
PRISMA(系统评价和荟萃分析优先报告条目)2020清单[22]、AMSTAR-2(评估系统评价的测量工具,第2版)工具[23]和ROBIS(系统评价偏倚风险)工具[24],分别用于报告质量、方法学质量和偏倚风险评估。这三种工具的操作性定义可见附加文件1:表S2至S5。PRISMA 2020清单已更新,以指导系统评价者通过十二项摘要清单和二十七项全文清单进行透明报告。AMSTAR-2工具经开发和修改,用于批判性评价系统评价,包含十六个问题以评估其方法学质量。三阶段ROBIS工具专门设计用于评估系统评价中的偏倚风险,涵盖四个领域:研究纳入标准、研究的识别与选择、数据收集与研究评价、以及综合与发现。这些工具已针对放射学系统评价进行了调整,并分别应用于识别被忽视的报告条目、方法学不足和潜在偏倚风险[25–27]。
引入了培训阶段以测试和修改工具,以达成每个条目的操作性定义,并确保所有评价者具有共同的理解。数据提取和质量评估期间达成的共识可见附加文件1:注S3。
数据分析与证据强度
统计分析使用R语言4.1.3版本并配合相关软件包进行[28, 29]。PRISMA依从率、AMSTAR-2评级和ROBINS评估的差异分别按以下因素进行比较:(a) 期刊引证报告四分位数(Q1或Q2-Q4),(b) 期刊类型(影像学或非影像学),(c) 第一作者身份(放射科医生或非放射科医生),(d) 生物标志物(诊断性、预测性或预后性),以及(e) 发表年份(2020、2021或2022),使用学生t检验、单因素方差分析和卡方检验。除另有说明外,双侧p < 0.05被认为具有统计学意义。
使用R语言4.1.3版本并配合相关软件包重新进行荟萃分析以允许证据评级[30, 31]。诊断比值比(OR)及相应的95%置信区间(CI)使用随机效应模型合并为汇总效应量,并计算相应的p值。敏感性、特异性、曲线下面积和一致性指数未纳入分析,因为相应的方法学迄今尚未充分建立[21]。I2统计量用于评估原始研究间的异质性。计算95%预测区间(PI)以促进对放射组学模型潜在应用的更保守预测。进行Egger检验以评估小样本效应和发表偏倚。过度显著性偏倚通过卡方检验评估,比较实际观察到的p < 0.05的原始研究数量与预期具有统计学意义的原始研究数量。
支持影像组学临床应用的证据强度根据上述一系列分析的结果[21]被分为五个等级:令人信服、高度提示、提示、薄弱和无提示(附加文件1:表S6)。详细的数据分析过程见附加文件1:注释S4。
结果
文献检索
筛选过程的流程图见图1。我们的初步文献检索共获得926条记录,其中纳入43篇系统评价。通过预印本服务器、系统评价方案注册平台或引文检索未发现其他可用的系统评价。最新检索发现了1篇额外的合格系统评价。最终,共纳入44篇系统评价用于本综述[32–75]。纳入的含荟萃分析的系统评价列表以及排除文章及排除理由见附加文件1:注释S5。
研究特征
纳入系统评价的特征已进行总结(表1及附加文件1:表S7和表S8)。系统评价最常评估影像组学在乳腺癌中的应用(n = 7),其次是胶质瘤(n = 5)和肝癌(n = 4)。评估非肿瘤性疾病的系统评价较少见。仅有2篇和1篇系统评价分别探讨了影像组学在COVID-19和胰腺炎中的应用。
纳入系统评价所使用的质量评估工具各不相同(表1)。影像组学质量评分(RQS)是最常用的工具(n = 31),其次是多变量预测模型个体预后或诊断透明报告(TRIPOD)清单(n = 4)、影像生物标志物标准化倡议(IBSI)清单(n = 2)和医学影像人工智能检查清单(CLAIM)(n = 1)。修订版诊断准确性研究质量评估(QUADAS-2)工具和预测模型偏倚风险评估工具(PROBAST)分别被30篇和2篇系统评价用于偏倚风险评估。
质量与偏倚风险评估
质量评估结果见图2和表2。各系统评价的评估结果见附加文件1:表S9至表S11。报告质量的PRISMA依从率总体均值 ± 标准差(中位数,范围)为65 ± 9%(64%,48%-83%)。AMSTAR-2将5篇和39篇系统评价分别评定为方法学质量评估置信度低和极低。ROBIS工具的总体偏倚风险评估结果显示,分别有5篇、11篇和28篇系统评价具有低、不明确和高偏倚风险。第一作者为放射科医师的系统评价的PRISMA依从率高于非放射科医师第一作者的系统评价(68 ± 7 vs 62 ± 10,p = 0.023)。
荟萃分析与证据强度
基于提取或重建的数据,在38篇系统综述中重新进行了53项荟萃分析,涵盖497项原始研究、65,955名受试者和29,408例事件[32, 33, 35–41, 44–47, 49–59, 61–63, 65–75](图3)。6篇系统综述中的荟萃分析因数据不可获得而被排除[34, 42, 43, 48, 60, 64]。多达47项荟萃分析达到了小于10−6的严格p值,6项荟萃分析呈现p值< 10−3。没有任何荟萃分析被判定为无统计学意义。28项荟萃分析呈现I2 > 50%。有5项荟萃分析纳入的原始研究少于3项。对于纳入3项或以上原始研究的荟萃分析,37项荟萃分析的95%PI排除了无效值。28项荟萃分析的Egger检验达到p > 0.05,表明无小样本效应或发表偏倚。35项荟萃分析未呈现过度显著性偏倚。
据此,分别有3项和7项荟萃分析被评为令人信服和高度提示性证据等级(表3)。放射组学在以下方面被评为令人信服证据等级:(1)T2-FLAIR放射组学用于低级别胶质瘤中IDH突变型与IDH野生型鉴别(诊断OR 7.2,95%CI 4.0至12.9;p = 3.13 × 10−11),(2)CT放射组学用于COVID-19与其他病毒性肺炎鉴别(OR 26.7,95%CI 19.5至36.7;p = 4.54 × 10−82),以及(3)MRI放射组学用于高级别胶质瘤与脑转移瘤鉴别(OR 48.8,95%CI 32.8至72.5;p = 7.25 × 10−92)。这些荟萃分析被评为高度提示性证据主要归因于高异质性、显著的小样本效应和发表偏倚。尽管这些统计学显著性十分显著,仍有43项荟萃分析被评为弱证据。它们未能达到更高证据等级的原因主要是参与者数量不足。
讨论
越来越多的研究正在探索放射组学在多种临床场景中作为诊断、预测或预后工具的潜力,然而尚无任何放射组学学术研究成功转化为日常临床实践。我们针对带荟萃分析的系统综述的概述共识别出44篇系统综述并重新执行了53项荟萃分析。放射组学似乎是回答以下三个临床问题的令人信服的工具,包括:(1)低级别胶质瘤中IDH突变型与IDH野生型的鉴别,(2)COVID-19与其他病毒性肺炎的鉴别,以及(3)高级别胶质瘤与脑转移瘤的鉴别。然而,纳入的系统综述在报告方面不充分、方法学质量欠佳,且存在高偏倚风险。欠佳的研究质量可能导致对放射组学应用的信心不足,从而即便存在高水平的支持性证据,仍阻碍放射组学的临床转化。
影像组学最常应用于肿瘤学领域,其中乳腺癌是一个代表性例子,占纳入系统综述中的七项,仅有三项为非肿瘤学影像组学系统综述。Sollini等[16]宣称肿瘤学图像挖掘研究的数量是非肿瘤学领域的六倍。Spadarella等[17]发现其纳入的系统综述中超过十分之九聚焦于肿瘤学影像组学。这并不令人意外,因为影像组学的概念最初提出就是为了从医学图像中挖掘与肿瘤基因组学相关的更深层信息[1]。然而,影像组学与生物学的关联不仅限于放射基因组学,还涵盖多样的临床、影像和分子谱数据,从而能够理解复杂疾病以实现准确诊断,进而提供最佳可能的治疗[12, 76]。鼓励影像组学研究扩展至非肿瘤学领域以获得更广泛的潜在应用。
用于影像组学系统综述的质量和偏倚风险评估工具各不相同。RQS和QUADAS-2工具分别是研究质量和偏倚风险评估中最常用的工具。RQS在纳入的系统综述中最常用于质量评估,长期以来作为评估影像组学研究的事实参考工具发挥了必要作用[17]。然而,RQS远非完美。随着深度学习在影像组学中应用的趋势日益增加,RQS无法像CLAIM[72]那样很好地识别应用影像组学研究中的优势和不足。TRIPOD清单可能进一步识别影像组学研究的改进空间,但部分条目不适合影像组学研究[76]。IBSI清单与其他清单高度重叠,且在某种程度上过于复杂而难以使用[73]。近期,影像组学研究评价清单(CLEAR)已被开发为影像组学研究的单一文献标准,可指导作者和审稿人[77]。然而,该工具的可重复性和有效性尚未得到充分研究。QUADAS-2工具被反复采用,因为大多数影像组学研究是诊断准确性研究。PROBAST工具可能也适合大多数影像组学研究,因为它是为诊断和预后目的的预测模型而开发的。其他指南和清单已开发或正在开发中,用于影像组学和人工智能研究,包括TRIPOD、QUADAS-2和PROBAST的人工智能扩展版[79]。其在提高影像组学研究质量方面的可行性和效率需要进一步验证。
证据评级突出了三条令人信服的证据,表明影像组学方法能够回答临床问题。然而,有七条高度提示性证据因高异质性而受到阻碍。由于工作量原因,我们未探究异质性的潜在来源,但应在各系统评价中加以探索,以便对结果进行中断。遗憾的是,这些系统评价并未进行相关探究。事实上,纳入的系统评价中不到一半进行了此类分析。未能达到令人信服证据水平的另一个原因是显著的小样本效应和发表偏倚。超过五分之四的纳入系统评价对此进行了评估。影像组学在其他临床应用中没有被评定为足够的工具。由于受试者不足,有更多条弱证据。这无法通过系统评价解决,但可能通过更精心设计的前瞻性、多中心、随机对照试验和数据共享来克服[9, 11, 12]。对影像组学系统评价和荟萃分析的另一个担忧是其研究质量相对较低。尽管我们的概述确定了影像组学的三个潜在应用具有高水平支持证据,但它们的质量均欠佳,在应用这些证据时应予以考虑。鼓励建立系统化方法以全面评估影像组学工具,以判断该工具能否用于临床实践。GRADE(推荐分级的评估、制定与评价)系统可用于诊断试验或策略[80],但该方法用于影像组学研究的可行性有待验证。
有几个局限性需要说明。首先,我们仅纳入带有荟萃分析的系统评价,以确定最有可能获得高水平证据支持的候选对象。我们仅纳入荟萃分析中提到的原始研究进行再分析,因为更新文献检索可能导致工作量过大。作为一个快速发展的领域,我们的荟萃分析可能未纳入所有符合条件的影像组学研究。其次,大多数荟萃分析基于训练集或验证集,这可能高估了结果。鼓励未来使用严格设计研究的测试集进行分析。第三,大多数纳入的原始研究为回顾性、单中心、小规模研究,并被评定为质量欠佳。此外,纳入系统评价的总体质量也不足。因此,上述证据级别评定结果应谨慎解读。最后,诊断准确性试验的证据评级标准尚未完善建立。我们仅估计了诊断比值比作为效应量,而未估计每项荟萃分析相应的灵敏度、特异度和曲线下面积值,其在证据评级中的潜在作用有待进一步研究。
结论
总之,我们对系统综述和荟萃分析的概述突出了三个令人信服和七个高度提示性的证据水平,用于回答影像组学的临床问题,而低研究质量和高偏倚风险可能导致对临床转化的信心不足。未来的研究应为低证据水平的研究提供更多的科学基础,并寻求在高证据水平的研究中验证影像组学算法在临床环境中的适用性。对影像组学研究的系统综述和荟萃分析可以持续帮助利益相关者识别知识空白、偏倚和未来研究的优先事项,以促进影像组学从生成论文的学术工具向临床部署的实用辅助手段转化。
补充信息
附加文件1:补充材料、补充综述方案和补充PRISMA检查表。补充说明S1。综述方案。补充说明S2。研究检索策略和研究选择。补充说明S3。数据提取和质量评估过程中达成的共识。补充说明S4。数据合成和分析方法。补充说明S5。纳入全文和排除全文清单及排除理由。补充表S1。数据提取表。补充表S2。PRISMA 2020摘要检查表用于报告质量评估。补充表S3。PRISMA 2020检查表用于报告质量评估。补充表S4。AMSTAR-2工具用于方法学质量评估。补充表S5。ROBIS工具用于偏倚风险评估。补充表S6 基于荟萃分析的五级证据类别。补充表S7。纳入系统综述的文献信息。补充表S8。纳入系统综述的综述主题。补充表S9。纳入系统综述的PRISMA依从率。补充表S10。纳入系统综述的AMSTAR-2评级。补充表S11。纳入系统综述的ROBIS工具评估。
引用
- Zhong J, Lu J, Zhang G, et al. An overview of meta-analyses on radiomics: more evidence is needed to support clinical translation. Insights Imaging. 2023. PMID: 37336830. doi:10.1186/s13244-023-01437-2
- 全文:PMC10279606(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10279606/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。