文献速递骨肌CTMR

骨与软组织肉瘤CT和MRI影像组学:可重复性与验证策略的系统综述

CT and MRI radiomics of bone and soft-tissue sarcomas: a systematic review of reproducibility and validation strategies.
PubMed 文献 · Insights Imaging · 2021-06-02

该系统综述纳入2008至2020年发表的49篇骨与软组织肉瘤CT/MRI影像组学研究,其中仅18篇(37%)报告了特征可重复性分析,25篇(51%)使用了机器学习验证技术,19篇(39%)进行了临床验证,仅5篇(10%)采用独立数据集验证,作者认为可重复性与模型验证问题差异很大,需在今后研究中解决以推动临床转化。

要点

  • 仅18/49(37%)研究包含影像组学特征可重复性分析,其中16篇聚焦分割者间/内变异。
  • 仅5/49(10%)研究使用独立数据集(不同扫描仪或外院)进行临床验证,14篇(29%)为内部验证。
  • 25/49(51%)研究使用至少一种机器学习验证技术,K折交叉验证最常用。

核心结论

  • 骨与软组织肉瘤CT和MRI影像组学研究的特征可重复性与模型验证策略差异很大,需在今后研究中加以解决以推动该领域从临床前研究走向临床阶段。

研究设计与样本

  • 系统综述,遵循PRISMA指南,检索EMBASE和PubMed截至2020年12月31日的文献,最终纳入49篇论文。
  • 纳入论文涉及骨肿瘤12篇、软组织肿瘤37篇,均为2008至2020年发表。
  • 研究设计为前瞻性6篇(12%)、回顾性43篇(88%);影像方法为MRI 42篇(86%)、CT 7篇(14%)。
  • 数据库规模中位数60例患者(范围19–226例),仅3篇(6%)使用公共数据。
  • 分割方式为手动45篇(92%)、半自动4篇(8%),无全自动分割。

诊断标准与关键数值

  • 可重复性分析中组内相关系数(ICC)最常用,可重复特征的ICC阈值范围0.6至0.9。
  • 18篇(37%)研究包含特征可重复性分析,其中16篇(33%)基于重复分割评估,2篇(4%)分别基于不同采集或后处理技术评估。
  • 25篇(51%)研究使用至少一种机器学习验证技术,K折交叉验证最常用。
  • 临床验证在19篇(39%)研究中报告,其中14篇(29%)使用来自原机构的独立内部测试集,5篇(10%)使用独立外部测试集。

临床应用与阅片要点

  • 作者认为,在开展影像组学研究前宜进行方法学分析以评估特征稳健性并避免不可重复、噪声特征导致的偏倚。
  • 作者认为,未来研究应在多个机构开展并纳入大规模独立数据集进行外部测试。

局限性

  • 本研究仅为系统综述,因研究间在目标和肉瘤亚组方面缺乏同质性且每个目标和亚组论文数有限,未进行Meta分析。
  • 各研究使用的评价指标不同,无法针对每个目标提供模型性能估计。
  • 对每篇纳入研究进行正式质量评估超出本综述范围,本综述重点在于报告本身可作为质量指标的方法学数据。
全文中译15 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2021 Jun 2;12:68. doi: 10.1186/s13244-021-01008-3

要点

本综述回顾了针对肌肉骨骼肉瘤的CT和MRI影像组学研究。

特征可重复性分析和模型验证策略在这些研究之间差异很大。

不到一半的研究评估了影像组学特征的可重复性。

仅10%的研究对模型进行了独立的临床验证。

背景

骨与软组织原发恶性肿瘤或肉瘤是罕见疾病,具有多种组织学亚型,每种亚型的发病率均<1/100,000/年[1, 2]。其中,骨肉瘤是最常见的骨肉瘤。它与尤文肉瘤一起,在生命第二个十年中发病率较高,而软骨肉瘤是成年期最常见的骨肉瘤[1]。最常见的软组织肉瘤是脂肪肉瘤和平滑肌肉瘤[2]。由于这些疾病的罕见性,骨与软组织肉瘤根据现行指南在三级肉瘤中心进行管理[1, 2]。在任何治疗开始之前,活检和影像学均需整合临床数据,其中活检代表术前诊断的参考标准[1, 2]。然而,对于体积大、异质性强的肿瘤,活检可能因采样误差而不准确,进而导致诊断不准确,可能引起治疗不充分并随后需要进一步干预,从而增加发病率。此外,活检通道污染的风险仍然是一个担忧。影像学在骨与软组织肉瘤的评估中已经发挥着关键作用。磁共振成像(MRI)和计算机断层扫描(CT)分别用于局部和全身分期[1, 2]。这些模态当然可能受益于新的基于影像的工具,例如基于影像组学的工具,后者可能以无创方式潜在提供关于诊断和预后的额外信息[3]。

“影像组学(radiomics)”一词源自“radio”(指医学图像)和“omics”(表示对代表某一完整集合的大量数据进行分析,如基因组(genomics)和蛋白质组(proteomics))的组合[3]。因此,“影像组学”包括从医学图像中提取和分析大量定量参数,称为影像组学特征[4]。该技术在肿瘤影像学中近期获得了大量关注,因为它可以潜在地量化肿瘤异质性,而后者通过定性影像评估或采样活检可能难以捕捉。特别是,迄今为止的影像组学研究集中于治疗前区分肿瘤分级和类型、监测治疗反应和预测结局[5]。

尽管放射组学作为一种无创性肿瘤生物标志物具有巨大潜力,但其临床转化仍面临诸多挑战。已有两项主要举措针对放射组学研究的方法学问题,以弥合学术研究与实际应用之间的差距。2017年,Lambin等人提出了放射组学质量评分(Radiomics Quality Score),该评分详细规定了放射组学流程中应遵循的各个步骤,并提供了一种评估其实施过程中方法学严谨性的工具[6]。2020年,影像生物标志物标准化倡议(Image Biomarkers Standardization Initiative)制定并验证了放射组学特征的参考值,从而能够对不同的放射组学特征提取软件进行验证和校准[7]。然而,为确保放射组学的临床可迁移性,仍有大量挑战亟待解决。由于放射组学本质上是一种由数据提取和分析组成的两步方法,在第一步(即数据提取)中,主要挑战是放射组学特征的可重复性,其可受到图像采集参数、感兴趣区分割技术和图像后处理技术的影响[8, 9]。在第二步(即数据分析)中,模型可基于传统统计方法或机器学习算法构建,目的是预测诊断或感兴趣的结局。无论采用哪种方式,主要挑战均为模型验证[9]。

放射组学中可重复性和验证策略的挑战最近已在一篇聚焦于肾脏肿块的综述中得到探讨[10]。本研究旨在系统综述骨与软组织肉瘤CT和MRI放射组学研究中的放射组学特征可重复性和预测模型验证策略。最终目标是在放射组学工作流程中促进和推动就这些方面达成共识。

方法

综述者

本系统综述无需当地伦理委员会批准。文献检索、研究选择和数据提取由两名近期获得 board 认证的放射科医师独立完成,二人均具有肌肉骨骼肿瘤和放射组学经验(S.G.和F.M.)。如出现分歧,由这两名读者与第三名具有放射学专业资质及人工智能与放射组学博士学位的综述者(R.C.)协商达成一致。本研究遵循系统综述和荟萃分析优先报告条目(PRISMA)指南[11]。

文献检索

在EMBASE(Elsevier)和PubMed(MEDLINE,美国国家医学图书馆和美国国立卫生研究院)数据库上进行电子文献检索,检索截至2020年12月31日发表的、涉及骨与软组织肉瘤CT和MRI放射组学的文章。采用受控词表,使用PubMed中的医学主题词和EMBASE中的叙词表。检索语法通过组合与两个主要领域相关的检索词构建,即“肌肉骨骼肉瘤”和“放射组学”。确切检索式为:(“sarcoma”/exp OR “sarcoma”) AND (“radiomics”/exp OR “radiomics” OR “texture”/exp OR “texture”)。研究首先通过标题和摘要进行筛选,然后获取符合条件研究的全文以供进一步审阅。对所选出版物的参考文献进行了核查,以纳入更多出版物。

纳入和排除标准

纳入标准为:(1)发表在同行评审期刊上的原创研究论文;(2)聚焦于骨和软组织肉瘤的CT或MRI影像组学特征描述,用于诊断或预后相关任务;(3)声明已获得当地伦理委员会批准,或遵循了机构或国家研究委员会的伦理标准。

排除标准为:(1)不涉及肿块特征描述的论文,例如聚焦于计算机辅助诊断和检测系统的论文;(2)涉及头颈部、腹膜后或内脏肉瘤的论文;(3)动物、尸体或实验室研究;(4)非英文撰写的论文。

数据提取

数据被提取至电子表格中,每个条目设有下拉列表,条目由第一作者定义,分为三大类,即基线研究特征、影像组学特征可重复性策略和预测模型验证策略。关于基线研究特征的条目包括第一作者姓氏、发表年份、研究目的、肿瘤类型、研究设计、参考标准、成像方式、数据库大小、公共数据的使用、分割过程和分割方式。关于影像组学特征可重复性策略的条目包括基于重复分割的可重复性评估、与采集或后处理技术相关的可重复性评估、用于可重复性分析的统计方法以及用于可重复性分析的截断值或阈值。最后,关于预测模型验证策略的数据包括机器学习验证技术的使用、在独立内部数据集上进行的临床验证以及在外部或独立数据集上进行的临床验证。

结果

基线研究特征

图1展示了文献检索过程的流程图。在筛选了278篇论文并应用我们的纳入标准后,49篇论文被纳入本系统综述。表1和表2分别详述了涉及骨肿瘤(n = 12)和软组织肿瘤(n = 37)影像组学论文的特征。

所有研究均发表于2008年至2020年间。49项研究中,23项(47%)发表于2020年,14项(29%)发表于2019年,4项(8%)发表于2018年,8项(16%)发表于2008年至2017年间。6项研究(12%)为前瞻性设计,其余43项(88%)为回顾性设计。首选的成像方式为MRI,共42项(86%),包括一种或多种MRI序列;CT共7项(14%)。数据库中位大小为60例患者(范围19–226)。仅3项(6%)研究使用了公共数据。

该研究旨在预测诊断或预后,具体如下:良性与恶性肿瘤鉴别(n = 14);分级(n = 10);肿瘤组织学类型鉴别(n = 4);增殖指数Ki67表达(n = 1);生存(n = 12);对治疗的反应,包括化疗或放疗(n = 8);局部和/或转移性复发(n = 9)。需要注意的是,部分研究具有双重目的,详见表1和表2。在专注于诊断相关任务的研究中,包括良性与恶性肿瘤鉴别、分级、肿瘤组织学类型鉴别和增殖指数表达,除两篇论文[12, 13]中基于影像学表现长期稳定而诊断的良性病变外,所有病例均以组织学作为参考标准。在专注于预测化疗或放疗反应的研究中,若病变经手术治疗,参考标准为组织学,基于相对于手术组织标本的存活肿瘤百分比和坏死百分比;若病变未手术,则以一致的影像学表现作为参考标准。在专注于预测肿瘤复发的研究中,诊断基于组织学或一致的影像学表现作为参考标准。在涉及生存预测的研究中,生存基于随访进行评估。

关于分割,45项(92%)研究采用手动分割,4项(8%)研究采用半自动分割。没有任何研究采用全自动分割过程。识别出以下分割方式:11项(23%)研究采用无多次采样的2D分割;3项(6%)采用有多次采样的2D分割;35项(71%)采用3D分割。值得注意的是,在所有采用无多次采样2D分割的研究中,均选择显示肿瘤最大范围的单个层面,但有一例[14]例外,该例基于信号强度均匀性进行选择。

图1 PRISMA(系统评价和荟萃分析首选报告项目)流程图,展示检索研究的系统识别、筛选、合格性评估和纳入信息 查看原图 ↗
表1 系统评价中纳入的骨肉瘤相关论文特征 查看原表 ↗
表2 系统评价中纳入的软组织肉瘤相关论文特征 查看原表 ↗

可重复性策略

49项研究中有18项(37%)在其工作流程中包含了影像组学特征的可重复性分析。在16项(33%)研究中[13, 15–29],影像组学特征的可重复性基于不同阅片者和/或同一阅片者在不同时间点进行的重复分割进行评估。两项(4%)研究提出了基于不同采集[30]或后处理[31]技术评估可重复性的分析。值得注意的是,15项研究[12, 32–45]由第二位经验丰富的阅片者对分割进行了验证,但未涉及影像组学特征可重复性问题。

组内相关系数(ICC)是大多数报告可重复性分析的论文中使用的统计方法[13, 15–18, 20, 22–25, 27–29, 31]。可重复特征的ICC阈值范围在0.6[13]至0.9[22]之间。以下统计方法使用较少:方差分析[30, 31];Cronbach alpha统计量[26];Pearson相关系数[19];Spearman相关系数[21]。

验证策略

在49篇论文中,有25篇(51%)至少使用了一种机器学习验证技术。大多数研究使用了K折交叉验证[13, 25, 28, 31–33, 37, 38, 40, 43, 44, 46–50]。以下机器学习验证技术使用较少:自助法(bootstrapping)[42, 51];留一法交叉验证[34, 35, 41];留P法交叉验证[52];蒙特卡洛交叉验证[23];嵌套交叉验证[25, 27];随机拆分交叉验证[20]。图2提供了机器学习验证技术的概述。图3展示了基于影像组学的机器学习流程示例。

图2 机器学习验证技术概述。a 自助法基于有放回重采样,允许从原始样本中创建n个数据集。这些数据集可能包含原始案例中特定实例的任意数量副本,甚至可以不包含。b K折交叉验证基于将数据集分为k个部分,依次将每个部分用作验证集,其余部分用作训练数据。c 在留一法交叉验证中,数据集中的每个实例均用于模型验证,其余实例用于模型训练。d 在嵌套交叉验证中,进行两轮验证循环。每个外循环的训练数据 undergoes 额外的K折交叉验证。该图描绘了四折外循环与三折内循环的配对。在(e)蒙特卡洛和(f)随机拆分交叉验证中,折并非由连续数据组成,而是来自整个数据集的随机采样。在前者中,一个样本可能出现在多个折中,这在随机拆分交叉验证中是不可能的。g 在留P法交叉验证中,迭代K折交叉验证过程以获得数据的所有可能折分方案 查看原图 ↗
图3 基于影像组学的机器学习流程示例,按理想执行顺序列出了最常用的步骤 查看原图 ↗

临床验证

在49篇论文中,有19篇(39%)报告了基于影像组学的预测模型的临床验证。其中14项(29%)研究在来自原机构的独立数据集(即内部测试集)上进行了验证[15, 16, 22, 24, 28, 31, 32, 35, 37, 38, 41, 46, 47, 52]。5项(10%)研究在来自原机构(与不同扫描仪相关)或外部机构的独立数据集(即外部测试集)上进行了验证[25, 27, 29, 43, 51]。

讨论

本系统综述聚焦于骨与软组织肉瘤MRI和CT的影像组学文献,特别强调可重复性和验证策略。报告影像组学特征可重复性评估以及使用独立或外部临床验证的论文数量相对较少。这一发现与近期文献综述一致,后者表明肉瘤影像组学研究的质量较低[53, 54],这可能妨碍影像组学模型在独立队列中的性能泛化性,进而影响其实际应用[53]。因此,这些问题需要在未来研究的影像组学工作流程中加以解决,以促进临床可转化性。

基线研究特征

骨与软组织肉瘤的MRI和CT影像组学在肌肉骨骼和肿瘤影像学中逐渐受到关注。近年来论文数量迅速增加,本综述纳入的论文中近一半(47%)发表于2020年。影像组学被用于尝试回答与肌肉骨骼肉瘤诊断和预后相关的临床问题。大多数研究(88%)本质上为回顾性研究,因为该设计允许纳入相对较大数量的已具备影像数据的骨或软组织肉瘤患者,而这类疾病属于罕见病。然而,前瞻性分析虽然在影像组学研究并非严格必需[5],但可能在可重复性评估中控制数据采集以及在独立数据集中匹配特定患者或影像特征方面具有优势。关于骨肉瘤的研究中无一使用公共数据,而关于软组织肉瘤的研究中仅有小部分(6%)使用公共数据。所有这些研究均使用了癌症影像档案库(https://www.cancerimagingarchive.net)上可获取的一个公共数据库[55]。公共数据库为在本机构缺乏足够数据的研究人员提供了机会,并使世界各地的研究组能够使用共同数据来测试和比较新的影像组学方法。因此,若在不久的将来有更多影像数据库公开可用,该领域采用影像组学的研究必将得到促进。

关于分割,大多数研究(92%)采用手动分割,其余采用半自动分割,两者均在一定程度上需要人工干预。尽管观察者间和/或观察者内变异性对影像组学特征可重复性的影响可作为影像组学工作流程的一部分进行评估,但全自动分割算法理想情况下应能实现更高的可靠性,值得未来研究。大多数研究(71%)的标注包括整个病灶体积(3D分割),其余研究(23%)仅标注单个层面(2D)且未进行多次采样。然而,迄今为止尚无研究比较肌肉骨骼肉瘤中2D与3D分割的结果。由于2D标注节省时间,且近期在口咽癌中被证明性能优于3D分割[56],这应成为不久的将来另一个研究方向。值得注意的是,有限数量的研究(6%)使用带多次采样的2D分割方式作为数据增强技术以增加标记层面的数量[26, 48, 57]。这种做法对于肌肉骨骼肉瘤这类不常见疾病可能有用,但应谨慎使用,以避免在最终模型中引入偏倚。将同一病例的样本同时纳入训练集和测试集可能导致过于乐观的结果。

可重复性策略

影像组学特征的巨大变异性已成为各项研究中的一个主要问题,并被归因于不同的分割、图像采集和后处理方法[4]。因此,在进行影像组学研究之前,建议开展方法学分析,以评估特征稳健性并避免因不可重复的噪声特征而产生的偏倚。这一理念与近期文献强调人工智能和放射学中可重复性的重要性相一致[58]。在我们的综述中,我们注意到约三分之一的纳入论文在其工作流程中描述了可重复性分析。在这一亚组论文中,读者间和/或读者内分割变异性是可重复性分析的主要焦点。与分割变异性相关的分析在数量上超过了针对图像采集或后处理差异所致可重复性问题的分析,后者每项各有一篇论文报道[30, 31]。这一发现强调,进一步的研究应探讨影像组学特征对图像采集和后处理的依赖性。虽然这些分析可能已在回顾性序列中开展——即患者在短时间内接受了不止一次检查——但前瞻性研究有助于在该领域内识别可靠的影像组学特征。最后,ICC是大多数评估影像组学特征可重复性的论文中所使用的统计方法。值得注意的是,已有关于实施和评估ICC的指南可供遵循,以就在截断值和阈值上达成共识[59]。

验证策略

影像组学模型的恰当验证对于弥合概念与临床应用之间的差距极为必要[53]。采用机器学习验证技术是为了在模型开发过程中避免任何信息从测试集泄漏到训练集[60]。重采样策略可能极为有用,尤其是在数据样本相对有限、可能无法真正代表目标人群的情况下,其目的是减少过拟合并更好地估计基于影像组学的预测模型在新数据(即测试集)上的性能[61, 62]。在本综述纳入的研究中,K折交叉验证是用于此任务最常用的技术。

理想情况下,在前瞻性和回顾性研究中,模型的临床验证均针对完全独立的数据集进行,即外部或独立测试集[4]。我们发现,在本系统综述纳入的研究中,仅有少数研究(10%)针对来自原机构(使用不同扫描仪)或来自不同机构的独立数据集进行了临床验证。更多研究(29%)使用来自原机构的单独数据集(即内部测试集)对模型进行了验证。因此,未来的研究应在不止一个机构开展,并纳入使用大型独立数据集对模型进行的外部测试。

局限性与结论

本研究仅限于对文献进行系统综述,未进行荟萃分析,原因是各研究在目标和肉瘤亚组方面缺乏同质性,且每个目标和亚组对应的论文数量相当有限。各研究还使用了不同的指标,使我们无法针对每个目标提供模型性能的估计。此外,对每项纳入研究进行正式的质量评估超出了本综述的范围,因为我们的重点在于报告方法学数据,这些数据本身即可作为质量指标。尽管存在上述局限性,我们仍综述了有关骨与软组织肉瘤的影像组学文献,重点关注特征可重复性和预测模型验证的方法学问题。这些问题在纳入的研究之间差异很大,尤其是超过半数的论文未提供可重复性分析。此外,不足半数的研究纳入了临床验证,仅10%的研究为此使用了独立数据集。因此,为了将影像组学领域从临床前研究阶段推进至临床阶段,未来针对肌肉骨骼系统肉瘤的研究应同时解决这两个问题。

引用

  1. Gitto S, Cuocolo R, Albano D, et al. CT and MRI radiomics of bone and soft-tissue sarcomas: a systematic review of reproducibility and validation strategies. Insights Imaging. 2021. PMID: 34076740. doi:10.1186/s13244-021-01008-3
  2. 全文:PMC8172744(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8172744/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。