文献速递骨肌技术与安全CTMR

骨与软组织肉瘤的CT与MRI影像组学:可重复性与验证策略的最新系统评价

CT and MRI radiomics of bone and soft-tissue sarcomas: an updated systematic review of reproducibility and validation strategies.
PubMed 文献 · Insights Imaging · 2024-02-27

该系统评价检索2021年1月至2023年3月EMBASE与PubMed文献,纳入55篇骨与软组织肉瘤CT/MRI影像组学研究,评估特征可重复性与模型验证策略。结果显示59%的研究评估了特征可重复性,69%进行了临床验证,其中内部测试集44%、外部测试集29%,较2020年前版本有明显提升。

要点

  • 59%的研究报告了影像组学特征可重复性分析,较此前版本37%明显提升。
  • 69%的研究进行了模型临床验证,其中外部测试集验证占29%,内部测试集验证占44%。
  • 98%的研究为回顾性设计,公共数据仅1项研究(2%)使用。

核心结论

  • 与截至2020年发表的论文相比,报告可重复性与验证方法学内容的论文几乎翻倍,方法学有明显改善。
  • 作者认为更大规模的多中心研究、包括外部临床验证以及在开放获取数据库中发布数据,可进一步改善方法学并推动影像组学从研究领域进入临床阶段。

研究设计与样本

  • 系统评价,检索EMBASE与PubMed数据库2021年1月1日至2023年3月31日发表的文献。
  • 初筛201篇论文后最终纳入55篇,其中骨肿瘤23篇、软组织肿瘤32篇。
  • 研究设计为前瞻性1篇(2%)、回顾性54篇(98%)。
  • 检查方式为MRI 43篇(78%)、CT 9篇(16%)、两者联合3篇(6%)。
  • 数据库规模中位数为120个病灶(范围25–810)。

诊断标准与关键数值

  • 32篇(占采用手动或半自动分割的54篇研究的59%)包含特征可重复性分析。
  • 30篇(55%)基于不同阅片者和/或同一阅片者不同时间点的重复分割评估可重复性,2篇(4%)基于感兴趣区几何变换评估。
  • 可重复性统计方法均为组内相关系数(ICC),可重复特征的ICC阈值范围为0.7至0.9。
  • 34篇(62%)使用至少一种机器学习验证技术,以K折交叉验证最常用。
  • 38篇(69%)报告模型临床验证:22篇(40%)采用内部测试集,14篇(25%)采用外部测试集,2篇(4%)两者均用。

临床应用与阅片要点

  • 原文未据此给出推荐。

局限性

  • 98%的研究为回顾性设计。
  • 仅1篇(2%)研究使用公共数据。
  • 没有研究基于不同采集或后处理技术评估特征可重复性,该领域有待进一步研究。
  • 作者认为骨与软组织肉瘤相对罕见,阻碍了在大数据集中进行模型验证,凸显多中心研究或登记数据库的必要性。
  • 作者认为仍需更大规模的多中心研究、外部临床验证和开放获取数据库发布以推动影像组学进入临床阶段。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Feb 27;15:54. doi: 10.1186/s13244-024-01614-x

引言

“影像组学”一词指的是从医学图像中提取和分析大量定量参数(也称为影像组学特征)[1]。与其他“组学”技术(如基因组学和蛋白质组学)类似,从标准临床工作流程中获得的图像中提取定量信息,可能有助于对肿瘤进行全面表征,包括其基因型和预后预测[1–3]。尽管影像组学在增强临床决策方面具有巨大潜力,但与临床前软件开发相比,其向临床实践的转化非常有限[4, 5]。这种转化差距至少部分归因于影像组学研究与报告的整体方法学质量较低。这一点最近在一项评估影像组学质量评分(Radiomics Quality Score)应用的系统综述中得到了强调[6],该评分由Lambin等人于2017年提出,目前是评估影像组学流程的全面性和充分性以及其报告质量最广泛的工具[7]。另一项旨在提高标准化和可重复性的重要倡议是图像生物标志物标准化倡议(Image Biomarker Standardization Initiative),该倡议为影像组学流程执行的不同环节提供了逐步共识[8]。

为弥合学术研究与实际应用之间的差距,必须审慎应对影像组学的某些挑战。由于影像组学基于数据提取和分析两步法[9],第一步(即数据提取)的主要挑战是影像组学特征的可重复性,其受图像采集、感兴趣区(ROI)勾画和后期处理等多个参数的影响[10, 11]。第二步(即数据分析)的主要挑战是影像组学模型的验证,这些模型以预测诊断或目标结局为目的而构建[11]。特征可重复性和验证策略问题在影像组学质量评分中作为独立条目得到了充分阐述[7]。此外,这些问题也被纳入最近发布的指导影像组学向临床实践转化的国际指南中,例如影像组学模型开发标准[12]以及由欧洲放射学会和欧洲医学影像信息学会认可的影像组学研究评估清单[13]。

在肌肉骨骼肿瘤学中,影像组学研究已显示出令人鼓舞的结果,可改善骨与软组织肉瘤的诊断和预后预测[14],这些是罕见癌症,定量影像数据无疑可能有助于临床管理。骨与软组织肉瘤影像组学的可重复性和验证策略已在先前的一项系统综述中进行了评估,该综述纳入了截至2020年12月发表的论文[14]。分别有37%和10%的论文报告了可重复性分析和独立临床验证[14]。特别是,骨与软组织肉瘤的相对罕见性确实阻碍了在大型数据集中的模型验证,从而凸显了多中心研究或登记数据库的必要性。因此,作者建议未来努力将该领域从临床前研究阶段推向临床阶段[14]。此后,影像组学研究论文的数量迅速增加。结合目前对影像组学工作流程中可重复性和验证策略的高度关注,这一增长凸显了需要按照关于何时以及如何更新系统综述的指南[15]对先前的综述[14]进行更新。因此,我们当前研究的目的是系统综述自2021年以来发表的涉及骨与软组织肉瘤计算机断层扫描(CT)和磁共振成像(MRI)影像组学的最新研究中影像组学特征可重复性和模型验证策略。最终目标是促进和推动影像组学工作流程中特征可重复性和模型验证的共识。

方法

该研究已在国际前瞻性系统综述注册数据库上注册,注册号为CRD42023395542。当前综述所采用的方法与先前版本[14]所用的方法相同, except for the number of reviewers involved in literature search, study selection, and data extraction, namely three in the current and two in the previous reviews. 此外,在数据提取方面,分割过程和风格在先前综述[14]中归入基线研究特征。相反,这些项目在当前版本中构成了一个单独的类别,该类别还包括关于影像组学特征类型作为广泛类别的信息。

综述人员

文献检索、研究选择和数据提取由三名在影像组学和骨与软组织肉瘤方面具有3至5年经验的肌肉骨骼放射科医师(S.G.、C.M.、D.A.)独立进行。如有分歧,由这三名读者和第四名在人工智能和影像组学方面具有8年经验的放射科医师(R.C.)达成共识。遵循了系统综述和荟萃分析优先报告条目(PRISMA)指南[16]。PRISMA清单作为补充表格提供(补充文件1)。

检索策略

在EMBASE(Elsevier)和PubMed(MEDLINE,美国国家医学图书馆和美国国立卫生研究院)数据库上进行了电子文献检索,检索涉及骨与软组织肉瘤CT和MRI影像组学的研究,发表时间介于2021年1月1日至2023年3月31日之间。采用受控词表,使用PubMed中的医学主题词和EMBASE中的叙词表。检索语法通过组合与两个主要领域相关的检索词构建,即“肌肉骨骼肉瘤”和“影像组学”。确切的检索查询为:(“sarcoma”/exp OR “sarcoma”)AND(“radiomics”/exp OR “radiomics” OR “texture”/exp OR “texture”)。研究首先通过标题和摘要进行筛选。获取符合条件研究的全文和补充材料以供进一步审阅。还检查了符合条件论文的参考文献,以纳入其他出版物。

纳入和排除标准

纳入标准为:(i)在同行评审期刊上发表的原始研究;(ii)关注基于CT或MRI影像组学的骨与软组织肉瘤特征描述,用于诊断或预后相关任务;(iii)声明已获得当地伦理委员会批准,或遵循了机构或国家研究委员会的伦理标准。排除标准为:(i)不涉及肿块特征描述的研究,如专注于计算机辅助诊断和检测系统的研究;(ii)关于腹膜后和内脏肉瘤或肉瘤以外癌症的研究;(iii)动物、尸体或实验室研究;(iv)以英语以外语言发表的论文;(v)已纳入本综述前一版本的研究[14],如2020年在线发表以及2021年卷/期发表的研究。

数据提取

数据被提取至带有所有条目下拉列表的电子表格中,这些条目被分为四个主要类别,即基线研究特征、分割和影像组学特征类型、影像组学特征可重复性策略以及预测模型验证策略。关于基线研究特征的条目包括第一作者姓氏、发表年份、研究目的、肿瘤类型、研究设计、参考标准、成像方式、数据库规模以及公共数据的使用。关于分割和影像组学特征类型的条目为分割过程、分割方式和作为 broad categories 的影像组学特征类型。关于影像组学特征可重复性的条目包括用于可重复性分析的策略、统计方法和阈值。最后,关于模型验证的条目包括机器学习验证技术的使用、在单独内部数据集上进行的临床验证以及在外部数据集上进行的临床验证。

结果

基线研究特征

展示文献检索流程的流程图见图1。在筛选201篇论文并应用合格标准后,最终有55篇论文被纳入本系统综述。表1和表2分别显示了骨肉瘤(n = 23)和软组织肉瘤(n = 32)影像组学研究的特点。

55项研究中有24项(44%)发表于2021年,23项(42%)发表于2022年,8项(14%)发表于2023年1月至3月。研究设计为前瞻性的有1项(2%),其余54项(98%)为回顾性。所研究的成像模态为MRI(一个或多个序列)的有43项(78%),CT有9项(16%),两者联合有3项(6%)。数据库大小的中位数为120个病灶(范围25–810)。在3项研究中,考虑了同一患者的多发病灶,分别包括来自36、125和160名患者的142个[17]、128个[18]和161个[19]病灶。仅1项(2%)研究使用了公共数据。

纳入的研究旨在预测诊断或预后。在诊断性研究中,分类任务包括良性与恶性(包括非典型脂肪瘤性肿瘤等中间性恶性肿瘤)肿瘤鉴别(n = 20)、分级(n = 8)、肿瘤组织学亚型鉴别(n = 2)、增殖指数Ki-67表达(n = 1)以及边缘浸润评估(n = 1)。预后性研究旨在预测生存(n = 10)、局部和/或转移性复发(n = 9)、对化疗或放疗的反应(n = 11)、治疗并发症(n = 1)以及开始任何治疗前的自然演变过程(n = 1)。应注意,在部分研究中目标为双重或三重,详见表1和表2。在聚焦于诊断相关任务的研究中,除4篇论文[17, 20–22]中基于随时间稳定的影像学表现诊断良性病变外,所有病例均以组织学为参考标准。在涉及生存预测的研究中,生存基于临床随访进行评估。在聚焦于肿瘤复发预测的研究中,参考标准基于组织学或临床和影像学随访。在一项研究中,确定复发的标准未作说明[23]。在旨在预测治疗反应的研究中,除一项研究基于临床和影像学评估评定反应外[24],其余所有研究的参考标准均为组织学。治疗并发症基于临床和手术数据进行评估。在涉及自然演变监测的研究中,影像组学与使用RNA测序评估的基因表达相关联[25]。

图1 系统评价和荟萃分析首选报告条目(PRISMA)流程图,展示从检索到的研究中进行系统识别、筛选、合格性评估和纳入的信息 查看原图 ↗
表1 纳入的骨肉瘤研究特征 查看原表 ↗
表2 纳入的软组织肉瘤研究特征 查看原表 ↗

分割和特征类型

分割过程仅在48项(87%)研究中为手动进行,在5项(9%)研究中为半自动进行,在1项研究(2%)中同时采用手动和自动(分别用于手工特征和深度特征),仅在1项(2%)研究中为全自动进行。值得注意的是,在一项研究中,手动分割用于提取手工特征,同时从无分割的整个图像中提取深度特征[26]。在3项研究中,在一幅感兴趣图像上手动勾画肿瘤边界,然后将ROI与不同的MRI序列或成像模态进行配准[18, 24, 27]。在另一项研究中,进行手动分割以包括肿瘤区域,并在非肿瘤区域放置一个额外的立方体ROI以评估非肿瘤影像组学[28]。

识别出以下分割方式:45项(82%)研究采用三维分割,7项(13%)研究采用无多次采样的二维分割,1项(2%)研究采用有多次采样的二维分割,1项(2%)研究采用多种分割方式,如三维分割和无多次采样的二维分割。在剩余1项研究中,分割方式未作说明[29]。值得注意的是,在所有采用无多次采样二维分割的研究中,均选择显示肿瘤最大范围的单层切片,但有一项研究例外,其切片选择基于肿瘤特征[30],另一项研究未说明切片选择标准[31]。

关于放射组学特征类型,48项(87%)研究仅纳入手工特征,6项(11%)研究同时纳入手工特征和深度特征,其余1项(2%)研究仅纳入深度特征。

特征可重复性

在54项采用手动或半自动分割流程的研究中,32项(59%)在其工作流程中纳入了可重复性分析。在30项(55%)研究中[19–21, 23, 26, 32–56],放射组学特征的可重复性基于不同读者和/或同一读者在不同时间点进行的重复分割进行评估。在2项(4%)研究中[57, 58],特征可重复性通过感兴趣区(ROI)的小幅几何变换模拟多次手动勾画进行评估。具体而言,对ROI在不同方向上施加小幅平移,这些平移的幅度为包含肿瘤的边界框长度的10%[57, 58]。尚无研究基于不同采集或后处理技术评估特征可重复性。纳入研究中采用的特征可重复性策略分布见图2中的条形图。值得注意的是,在3项研究中[59–61],进行了重复分割以评估相似性(使用Dice相似系数),但未评估特征可重复性。此外,在7项研究中[17, 25, 28–30, 62, 63],分割由第二位经验丰富的读者进行验证,但未涉及特征可重复性问题。

组内相关系数(ICC)是所有报告可重复性分析的论文中使用的统计方法。对于可重复特征,ICC阈值范围为0.7[54]至0.9[20, 46]。此外,以下统计方法使用较少:Bland–Altman法[54]、Pearson相关系数[52]和Spearman秩相关系数[52]。

图2 条形图显示纳入研究中采用的特征可重复性策略分布 查看原图 ↗

验证技术

在55篇论文中,34篇(62%)使用了至少一种机器学习验证技术。大多数研究使用了K折交叉验证[18, 20, 22, 24, 27, 31, 37–39, 44, 47, 49, 52, 54, 57, 58, 60–68]。以下机器学习验证技术使用较少:自助法[34, 46]、留一法交叉验证[17, 28]和嵌套交叉验证[43, 55, 56, 69]。在一项研究中,同时使用了K折交叉验证和嵌套交叉验证技术[50]。图3概述了这些机器学习验证技术。

图3 机器学习验证技术概述。在k折交叉验证(a)中,数据被分成k个大小相等的分区,每个分区依次用于验证在其余分区上训练的模型。留一交叉验证(b)的过程相同,但k等于总样本量。在嵌套交叉验证(c)中,执行k折交叉验证的外循环和内循环。通常,内循环用于模型调优,外循环用于评估其准确性。自助法(d)基于不同的原理:从原始数据集中进行有放回的随机抽样。因此,产生的样本可能包括每个原始病例的多个(甚至没有)实例 查看原图 ↗

临床验证

在55项研究中,有38项(69%)报告了基于影像组学的预测模型的临床验证。在22项(40%)研究中,临床验证是在来自主要机构的单独数据集上进行的,即内部测试数据集,该数据集是随机选择的[19, 20, 24, 28, 29, 31, 32, 37, 41, 42, 45, 47, 52, 53, 59, 65, 66, 68],基于时间标准[61, 69, 70]或不同的采集扫描仪[62]。值得注意的是,在一项多中心研究中,患者被随机分为训练队列和测试队列,而非遵循地理标准[68]。因此,这被视为内部测试数据集。在14项(25%)研究[26, 36, 38, 39, 43, 44, 48–51, 56, 63, 64, 67]中,临床验证是在来自外部机构的独立数据集上进行的,即外部测试数据集。在2项(4%)研究[22, 33]中,内部和外部测试数据集均用于临床验证。纳入研究中采用的临床验证策略的分布如图4中的条形图所示。纳入研究的影像组学特征可重复性和模型验证策略总结于表3中,同时附有从本综述前一版本[14]中提取的相同信息以供比较。

图4 条形图显示纳入研究中采用的临床验证策略的分布 查看原图 ↗
表3 前一版本[14]和当前综述版本中所纳入研究的影像组学特征可重复性和模型验证策略 查看原表 ↗

讨论

本系统综述探讨了骨与软组织肉瘤CT和MRI影像组学中特征可重复性和验证策略的问题,因为这是阻碍影像组学模型泛化性并妨碍其临床实施的两个主要挑战。在2021年1月至2023年3月发表的论文中,超过一半报告了影像组学特征的可重复性分析(59%)以及预测模型针对内部测试数据集、外部测试数据集或两者的临床验证(总体69%,其中29%同时或仅进行了外部验证)。与纳入截至2020年12月发表论文的本综述前一版本相比,这些评估几乎翻了一番,前者分别为37%和39%[14]。因此,尽管未进行任何可重复性和/或验证评估的研究百分比仍然相当可观,但已作出重大努力将其纳入影像组学研究以促进泛化性乃至临床可转化性。特别是,外部临床验证对于确保影像生物标志物的临床转化至关重要,应予以鼓励。

骨与软组织肉瘤的CT和MRI影像组学在肌肉骨骼肿瘤学中逐渐受到关注,用于解决若干诊断或结局相关任务。在本综述的上一版本中[14],观察到研究论文数量快速增长,其中近一半(n = 23)于2020年发表。此后,新发表论文数量每年几乎保持不变,2021年为24篇,2022年为23篇,2023年前三个月为8篇。与上一版综述[14]类似,大多数纳入研究(98%)为回顾性研究。尽管前瞻性研究可提供最高水平的证据来支持影像组学生物标志物的临床有效性和实用性[7],但骨与软组织肉瘤患病率低[71, 72],而回顾性设计允许纳入放射科已有的相对大量数据。数据库的中位大小为120个病灶,与上一版综述[14]相比翻了一番。值得注意的是,仅有一项涉及软组织肉瘤的研究(2%)描述了公共数据的使用[46],甚至少于上一版综述中报告的三项病例[14]。具体而言,使用了癌症影像档案库(The Cancer Imaging Archive)上可获取的一个公共数据集(https://www.cancerimagingarchive.net)[73]。公共数据集对于让世界各地的研究组使用共同数据测试和比较不同的影像组学模型至关重要。因此,未来应通过建立新的公开可用影像数据库来促进公共数据的使用。

大多数研究(84%)的分割包括整个肿瘤体积(3D),较少见的是单层切片(2D)伴或不伴多次采样。大多数研究(89%)采用人工分割,半自动分割较少见,这与上一版综述[14]的观察一致。此外,两项研究(4%,其中一项同时采用自动和人工分割)使用了全自动分割。再者,虽然大多数研究仅纳入手工特征,但13%的研究使用了深度特征(单独使用或与手工特征联合使用)。与基于预定义数学公式的手工特征不同,深度特征是在卷积神经网络层内获得的[74]。未来针对深度特征和卷积神经网络并使用超大型数据集的研究将更好地凸显深度学习方法在影像组学工作流程中的潜在价值。

超过一半的研究(59%)采用手动或半自动分割对放射组学特征的可重复性进行了评估,与本综述前一版本相比增加了约四分之三[14]。该方法学评估有助于识别稳健特征并避免与非可靠、噪声特征相关的偏倚[75]。大多数研究的可重复性分析重点关注由不同阅片者或同一阅片者在不同时间点进行多次ROI勾画相关的观察者间和观察者内变异性。较少使用通过几何变换获得的ROI扰动来模拟多次勾画并评估特征可重复性。没有研究评估图像采集参数或后处理技术对特征可重复性的影响。因此,后一领域值得进一步研究,未来研究中的前瞻性设计可为此提供便利。最后,在所有包含可重复性分析的研究中,ICC均为首选的统计方法,阈值范围为0.7至0.9,这与近期关于实施和评估ICC的指南一致[76]。

超过一半的论文(62%)使用了至少一种机器学习验证技术,且K折交叉验证最为常用,与本综述前一版本相似[14]。这些重采样策略在数据样本相对有限时极为有用,可减少过拟合并更好地估计放射组学模型在新数据上的性能[77, 78]。此外,应通过针对未见数据的真实测试对放射组学模型进行临床验证[79]。我们发现69%的研究报告了临床验证。具体而言,分别有44%和29%的研究针对来自原发机构的未见独立数据(内部测试数据集)和来自不同机构的未见独立数据(外部测试数据集)进行了临床验证。值得注意的是,两项研究(4%)同时纳入内部和外部测试数据集进行临床验证。报告临床验证的放射组学论文数量较前一综述增加[14],尤其是纳入外部测试数据集的研究数量增加了两倍。尽管未进行任何临床验证的研究比例不可忽视且未来仍需努力,但这可能表明我们正走在弥合骨与软组织肉瘤放射组学研究概念与临床应用之间差距的正确道路上。

本研究的一些局限性需要考虑。首先,本综述聚焦于骨与软组织肉瘤研究中采用的特征可重复性和模型验证策略,以促进放射组学工作流程中这些方面达成共识。然而,这一共识仍有待达成。其次,本研究仅限于系统综述,未进行荟萃分析,因为涉及骨与软组织肉瘤的放射组学论文在研究目标和肉瘤亚组方面具有异质性,且每个目标和亚组的样本量相对较小。此外,大多数研究将可重复性作为放射组学流程中基于ICC阈值的特征降维方法进行评估,而未报告所有特征的ICC值。最后,在报告临床验证的研究中,使用了不同的指标来估计模型性能。所有这些原因使我们无法将可重复性和验证方法纳入荟萃分析。

尽管存在局限性,本研究对2021年1月至2023年3月发表的涉及骨与软组织肉瘤的放射组学研究中的特征可重复性和验证策略进行了系统综述。与既往针对截至2020年12月发表研究中相同问题的综述[14]相比,注意到明显改善,报告可重复性和验证相关方法学方面的发表数量几乎翻倍。应推动涉及多机构的大型研究以及在免费开放获取数据库中发布新数据集,以进一步改善放射组学研究的方法学,并将其从临床前研究领域推向临床阶段。

补充信息

附加文件1. PRISMA 2020清单。

引用

  1. Gitto S, Cuocolo R, Huisman M, et al. CT and MRI radiomics of bone and soft-tissue sarcomas: an updated systematic review of reproducibility and validation strategies. Insights Imaging. 2024. PMID: 38411750. doi:10.1186/s13244-024-01614-x
  2. 全文:PMC10899555(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10899555/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。