文献速递骨肌MRCTPET

骨肉瘤影像组学系统综述更新:应用CLAIM适应深度学习趋势

An updated systematic review of radiomics in osteosarcoma: utilizing CLAIM to adapt the increasing trend of deep learning application in radiomics.
PubMed 文献 · Insights Imaging · 2022-08-20

该研究更新了骨肉瘤影像组学系统综述,纳入29篇文章,使用RQS、TRIPOD、CLAIM和QUADAS-2评估质量。结果显示研究质量仍不理想但近两年有所提高,CLAIM能更好识别深度学习相关缺陷。基于测试集的Meta分析显示MRI影像组学预测新辅助化疗反应的诊断比值比为28.83(95%CI 10.27-80.95),证据等级为弱。

要点

  • MRI影像组学预测骨肉瘤新辅助化疗反应的证据等级为弱,暂不宜直接用于临床决策。
  • 骨肉瘤影像组学研究质量近两年有所提升,但外验证、开放科学和样本量计算等仍不足。
  • CLAIM可识别深度学习影像组学研究的特有缺陷,建议用于未来研究设计与报告。

核心结论

  • 骨肉瘤影像组学研究质量虽近年改善但仍不理想,MRI影像组学预测新辅助化疗反应仅有弱证据支持。
  • CLAIM能更好识别影像组学研究的不足,推荐用于指导未来人工智能影像研究的设计与报告。

研究设计与样本

  • 系统综述与Meta分析,检索PubMed、Embase、Web of Science、CNKI和万方截至2022年5月15日,纳入29篇原始研究共33个模型。
  • 采用RQS、TRIPOD、CLAIM和改良QUADAS-2工具评估研究质量,Meta分析基于测试数据集评估MRI影像组学预测新辅助化疗反应的效能。

诊断标准与关键数值

  • MRI影像组学预测骨肉瘤新辅助化疗反应的诊断比值比(DOR)为28.83(95%CI 10.27-80.95),基于4项研究共115例患者的测试数据集。
  • 异质性检验Cochran Q=5.18(p=0.160),I²=42.04%,提示中度异质性;Egger检验p=0.035提示发表偏倚可能性高。
  • 剪补法调整后DOR为20.53(95%CI 7.80-54.06,p<0.001),证据等级评为弱。
  • RQS理想百分比均值29.2%,TRIPOD依从率59.2%,CLAIM依从率63.7%。

临床应用与阅片要点

  • 目前MRI影像组学预测骨肉瘤新辅助化疗反应证据等级为弱,阅片和报告中不应将其作为独立决策依据。
  • 关注模型的外验证状态和测试集性能,避免将仅在同数据内验证的模型结果直接外推。
  • 参考CLAIM清单评估深度学习影像组学研究的报告完整性,注意数据去标识化和失败分析等易遗漏项。

局限性

  • 仅纳入骨肉瘤影像组学文献,结论外推至其他疾病需谨慎。
  • 仅纳入应用影像组学方法的人工智能研究,未纳入纯深度学习分割或建模研究。
  • 未探讨CLAIM各条目权重是否应相等,且因异质性和研究数量有限仅对NAC反应预测进行证据分级。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Aug 20;13:138. doi: 10.1186/s13244-022-01277-6

要点

MRI影像组学在预测新辅助化疗反应方面的证据支持较弱。

近两年来,骨肉瘤影像组学研究的质量有所提高。

CLAIM可适应影像组学中深度学习应用日益增长的趋势。

引言

骨肉瘤是最常见的原发性骨高级别肉瘤,其肿瘤细胞产生肿瘤性骨[1]。影像学是骨肉瘤管理诊疗流程中的关键检查手段,涵盖从诊断、分期、治疗评估到随访的全过程[1–3]。骨肉瘤的诊断通常从X线摄影开始,随后进行CT以进一步评估。增强MRI扫描有助于完善诊断和评估软组织受累情况,通常是局部病变活检前的最后一步。胸部CT扫描对于检测肺转移至关重要。对于病理确诊的骨肉瘤患者,目前推荐进行全身PET检查用于初始分期,而非骨闪烁显像。治疗评估和随访影像通常包括局部CT和MRI扫描以及胸部CT扫描。在大多数情况下,目前的影像学方法结合体格检查、实验室检查和组织病理学检查可以指导临床医生制定合适的治疗方案,但在骨肉瘤亚型的鉴别诊断、治疗反应预测以及包括生存、复发和肺转移在内的预后问题方面仍存在困难[2, 3]。影像组学利用大量策略从医学图像中提取潜在信息,已被用于克服这些挑战[4–7]。影像组学模型被认为是解决骨肉瘤患者相关临床问题的有前景的方法,特别是在预测其对新辅助化疗(NAC)的反应方面[8]。

我们的初步检索提示,自上一综述发表以来[8],骨肉瘤患者的影像组学研究数量已翻倍,这表明有必要对这一快速发展的领域进行更新。目前尚不清楚近年来影像组学研究质量是否有所提高。其次,骨肉瘤影像组学研究的 study quality 和偏倚风险仅通过影像组学质量评分(RQS)[7]和改良的诊断准确性研究质量评估(QUADAS-2)工具[9]进行了评估。推荐使用多变量预测模型个体预后或诊断透明报告(TRIPOD)清单[10]进行额外评价,以识别影像组学研究报告透明度的若干重要条目[11–14]。此外,RQS和TRIPOD可能并不完全适用于当前的影像组学研究,因为近期发展的深度影像组学应用卷积神经网络来分析这些提取的特征[15–18]。医学影像人工智能清单(CLAIM)[19]已被证明是改善深度学习研究设计和报告的有用工具[20, 21]。随着深度学习应用的增加,它可能更适合评估当前的影像组学研究。最后,支持影像组学在骨肉瘤中应用的证据水平尚未被评估[22]。在将影像组学转化为临床实践之前,提供总体证据强度评级具有重要意义[23, 24]。因此,我们假设上一综述的发表可以提高骨肉瘤影像组学研究质量,并且CLAIM是更适合当前影像组学研究的工具。

本研究的目的是提供骨肉瘤影像组学的更新系统综述,包括质量评估和证据水平评级,并查明CLAIM是否能更好地识别当前影像组学研究中的不足。

方法

方案与注册

本系统综述的更新依据三步决策框架[25]决定,并按照系统综述和荟萃分析优先报告条目(PRISMA)声明的风格进行[26]。综述方案(CRD42020175383)和更新信息见附加文件1:注释S1。当前系统综述和荟萃分析的PRISMA清单见附加文件2。

文献检索与筛选

两位在放射学与影像组学研究方面各具有4年经验的评审者通过PubMed、Embase、Web of Science、中国国家知识基础设施和万方数据进行了截至2022年5月15日的最新文献检索。分歧由一个评审小组解决,该小组由具有不同经验水平的放射科医师、骨科医师和病理科医师组成。所有评估影像组学在骨肉瘤治疗中用于诊断、预后或预测目的作用的原始研究均被认为符合本综述的纳入条件。未对发表时间范围施加限制,但仅可获取英文、日文、中文、德文或法文的文章。两位评审者在去除重复文献后筛选标题和摘要,并获取全文及其补充材料。同一批评审者根据纳入和排除标准确定其是否符合条件。其他可能符合条件的文章从相关文章和综述的参考文献列表中识别。对于不确定之处,咨询评审小组。检索和选择策略见附加文件1:注S2。

数据提取和质量评估

我们使用数据收集表收集书目信息、研究特征、影像组学相关考虑和模型指标(附加文件1:表S1)[8]。符合条件的研究采用了RQS [7]、TRIPOD [10]、CLAIM [19]和QUADAS-2工具[9](附加文件1:表S2–S5)。RQS是一个共识清单,由16个条目组成,针对影像组学研究特有的方法学问题,随后归纳为6个关键领域[12–14]。TRIPOD声明提供了一份清单,由22项标准中的37个条目组成,旨在促进预测模型研究的透明度,并被推荐用于识别影像组学研究中的改进空间[12–14]。CLAIM包括7个主题下的42个条目,应被视为指导人工智能研究呈现的最佳实践[19]。CLAIM很少被用于影像组学研究的质量评估[20, 21]。然而,我们假设CLAIM适用于影像组学研究评价,因为影像组学是人工智能在医学影像中应用的一个子集[15–18]。QUADAS-2工具通过修改信号问题针对我们的综述进行了调整[8]。两位评审者独立提取数据并评价研究。分歧通过与评审小组讨论解决。讨论的主题记录在附加文件1:注S3中。

数据合成与分析

统计分析使用R语言4.1.3版本在RStudio 1.4.1106版本中进行[27]。计算了RQS评级、RQS理想百分比以及RQS、TRIPOD和CLIAM的依从率。若每个条目至少获得1分且无扣分,则视为具有基本依从性,如既往报道所述[12–14]。例如,若RQS中验证条目获得2–5分,则视为基本依从;若评为-5分,则视为无基本依从性。对QUADAS-2评估结果进行了总结。采用Pearson相关检验分析RQS理想百分比、TRIPOD依从率与CLAIM依从率之间的相关性。按期刊类型、第一作者、成像模态和发表时期进行亚组分析,比较RQS理想百分比、TRIPOD依从率和CLAIM依从率。除非另有说明,双尾p值<0.05表示差异有统计学意义。事后多重比较采用Bonferroni法校正。详细的数据分析方法见附加文件1:注释S4。

Meta分析使用Stata软件15.1版本进行[28]。在本系统评价中,反复探讨了MRI驱动的影像组学在预测骨肉瘤患者对新辅助化疗(NAC)反应中的作用。为呈现影像组学模型的真实性能,基于测试数据集的结果进行了相应的Meta分析。二乘二表直接从文章中提取或根据可用数据重建。采用随机效应模型计算诊断比值比(DOR)及其95%置信区间(CI)和相应p值。估计了灵敏度、特异度、阳性和阴性似然比。绘制了汇总受试者工作特征(SROC)曲线。采用Cochran's Q检验和Higgins I2检验评估异质性。采用Egger's检验和Begg's检验绘制漏斗图,并采用Deeks'漏斗图不对称检验构建Deeks'漏斗图以评估发表偏倚。双尾p值>0.10表示发表偏倚较低。采用剪补法估计缺失研究的数量。基于Meta分析结果对支持影像组学在骨肉瘤中临床应用的证据等级进行了评定(附加文件1:表S6)[22]。

结果

文献检索

检索共获得251条记录,去除重复后剩余142条。经筛选标题和摘要后,获取并审阅了47篇文章的全文。最终,29篇文章被纳入本系统评价[29–57](图1)。通过手工检索相关综述和纳入文章的参考文献列表,未发现其他符合条件的研究。

图1 研究纳入流程图 查看原图 ↗

研究特征

表1和图2总结了29项纳入研究中描述的33个模型的特征。研究样本量范围为17至191例患者,中位数为81例患者。超过一半的研究发表在非影像学期刊上(55.2%),而大多数第一作者为放射科医生(65.5%)。最常用的影像学 modality 为MRI(48.3%)。近一半的模型旨在预测新辅助化疗(NAC)反应(48.5%),其次为生存预后模型(18.2%)和复发或转移模型(9.1%)。大多数模型在同一数据内进行验证,伴或不伴重采样(48.5%),而有限数量的模型进行了外部验证(12.1%)。研究的详细特征见附加文件1:表S7–S10。

表1 研究特征 查看原表 ↗
图2 骨肉瘤影像学与影像组学研究主题。影像学检查是骨肉瘤诊断和治疗决策中的常规手段。影像组学在这一过程中已显示出在个体化精准医学中的潜力。本文总结了骨肉瘤影像组学研究的研究主题及按影像学 modality 划分的研究数量。注:两项研究分别构建了预测NAC反应的预测模型和生存预后模型;两项研究分别构建了一个预测NAC反应的预测模型和一个生存预后模型。这使得29项纳入研究中包含33个影像组学模型。OS 骨肉瘤,ES 尤文肉瘤,CS 软骨肉瘤 查看原图 ↗

研究质量

图3总结了研究质量评价的结果。表2显示,当前骨肉瘤影像组学研究的RQS中位数(范围)为10(3–18),理想得分百分比为29.2%(305/1044),依从率为44.6%(207/464)。表3和表4显示,TRIPOD和CLAIM的依从率分别为59.2%(481/812)和63.7%(961/1508)。偏倚风险和适用性顾虑主要与指标试验相关。每项研究的个体化评估见附加文件1:表S11–S14。

RQS指出了影像组学特有的体模研究问题(0.0%)以及截断值分析(0.0%)和成本效益分析(0.0%)的不足。TRIPOD强调了标题报告(6.9%)、结局和预测因子评估的盲法(10.3%;13.7%)以及引言中陈述研究目的(24.1%)方面的不足。RQS和CLAIM均表明将模型与基准进行比较的比例较低(27.6%;27.6%),而TRIPOD和CLAIM均指出了样本量或效能计算(10.3%;13.7%)以及缺失数据处理(20.7%;20.7%)方面的缺陷。CLAIM还发现了数据去标识化报告(10.3%)、引言中陈述研究假设(13.8%)和失败分析(17.2%)方面的额外不足。上述三种工具均强调了验证(25/145,17.2%;32/64,50.0%;16/29,55.2%)和开放科学或附加信息(10/116,8.6%;6/58,10.3%;6/87,6.9%)。RQS与TRIPOD之间的相关性(r = 0.7498,p < 0.001)为中等,而TRIPOD与CLAIM之间(r = 0.9004,p < 0.001)以及RQS与CLAIM之间(r = 0.8158,p < 0.001)的相关性较高(附加文件1:图S1)。

图4展示了结合影响因子、样本量和发表年份的研究质量评价结果。我们比较了前次综述前后发表的研究质量,发现RQS理想百分比(22.7% vs 33.8%,p = 0.020)、TRIPOD依从率(53.6% vs 63.4%,p = 0.026)和CLAIM依从率(56.1% vs 69.1%,p = 0.007)均有提高(附加文件1:表S15和附加文件1:图S2)。亚组分析还发现,研究中所使用的成像模态对TRIPOD和CLAIM依从率有影响(p = 0.002,p = 0.004)。期刊类型和第一作者对研究质量无显著影响(均p > 0.05)。

图3 纳入研究的质量评估。a RQS理想百分比;b TRIPOD依从率;c CLAIM依从率;d QUADAS-2评估结果 查看原图 ↗
表2 纳入研究的RQS评级 查看原表 ↗
表3 纳入研究的TRIPOD依从性 查看原表 ↗
表4 纳入研究的CLAIM依从性 查看原表 ↗
图4 结合影响因子、样本量和发表年份的质量评价。散点图展示(a)RQS理想百分比、(b)TRIPOD依从率和(c)CLAIM依从率与影响因子和样本量的关系。气泡直径表示研究的样本量。较浅的颜色表示前次综述发表后的研究;较深的颜色表示其发表前的研究。注意一项发表在没有影响因子期刊上的研究被排除。d 柱状图描绘研究数量,折线图呈现历年来骨肉瘤影像组学研究RQS理想百分比、TRIPOD依从率和CLAIM依从率 查看原图 ↗

荟萃分析

影像组学通过MRI预测NAC反应的荟萃分析显示,在共115例骨肉瘤患者测试数据集上的DOR为28.83(95%CI 10.27–80.95)[35, 39, 55, 57](图5)。相应指标表明性能显著(附加文件1:图S3–S7)。Cochran's Q检验(Q = 5.18,p = 0.160)和Higgins I平方统计量(I2 = 42.04%)表明异质性为中等。结合Egger's检验(p = 0.035)和Begg's检验(p = 0.089)的漏斗图以及结合Deeks'不对称检验(p = 0.069)的Deeks'漏斗图显示发表偏倚可能性较高(附加文件1:图S8–S9)。剪补分析估计有两项研究缺失(附加文件1:图S10)。然而,校正后的DOR为20.53(95%CI 7.80–54.06;p < 0.001)。支持影像组学通过MRI预测NAC反应应用的证据等级评为弱(表5)。所有荟萃分析数据见附加文件1:表S16。

图5 诊断比值比的森林图。基于测试数据集,影像组学在预测骨肉瘤患者NAC反应中的性能。TP 病理学良好反应者被预测为良好反应者,FP 病理学不良反应者被预测为良好反应者,FN 病理学良好反应者被预测为不良反应者,TN 病理学不良反应者被预测为不良反应者 查看原图 ↗
表5 影像组学对骨肉瘤患者NAC反应的预测性能 查看原表 ↗

讨论

我们提供了一项关于骨肉瘤放射组学的更新系统综述。尽管纳入研究的方法学和报告质量总体上仍不理想,但在上一版综述发表后已有所改善。基于对测试数据的荟萃分析,支持MRI驱动的放射组学预测骨肉瘤新辅助化疗(NAC)反应的证据被评定为弱。CLAIM在捕捉深度学习放射组学研究的缺陷方面显示出独特能力。

在上一版综述中,研究最频繁的问题是放射组学能否预测NAC反应[8],而如今这仍是骨肉瘤放射组学中最受关注的主题[29–32, 35, 38–44, 49, 53, 55, 57]。本综述分别鉴定出两项研究涉及骨肉瘤的鉴别诊断[37, 54]、两项涉及诊断时转移[46, 47]、两项涉及早期复发[33, 34],而此前的十二项研究均未涉及这些主题。这些成果涵盖了骨肉瘤的常规诊疗流程,并具有辅助临床医生改善治疗决策的潜力。MRI是目前最常用的影像模态,CT已超过PET成为第二位。在MRI技术方面,T1 mapping和动态对比增强MRI已被引入骨肉瘤放射组学研究[31, 55]。然而,这些先进技术是否能让放射组学更好地回答临床问题尚未得到充分研究。尽管大多数研究手动分割ROI,但分别有两项研究和一项研究采用了基于SUV阈值的区域生长法[40, 42]和深度学习nnU-Net[57]进行自动分割。这些方法可能将放射科医生从耗时的分割工作中解放出来,并有可能使骨肉瘤放射组学成为临床使用的自动化流程。除分割外,深度学习模型已与放射组学模型进行比较,并在预测NAC反应和转移方面表现出更优性能[41, 42],且当纳入深度学习特征时放射组学模型的性能有所提高[50]。上一版综述未检测到深度学习的应用,但目前更多研究使用深度学习进一步挖掘图像中的信息。更多研究使用其他机构的数据集[33–35, 45]或拆分测试数据集[39, 44, 46–48, 50–57]来测试其模型以展示模型的真实性能,而上一版综述中没有任何研究进行过外部验证。验证设置的改进使我们能够基于测试数据集对放射组学预测NAC反应的性能进行荟萃分析。合并DOR低于上一版综述(28.83 vs 43.68),但本综述的结果更为稳健且可解释[23]。我们仅纳入在测试数据集上评估过的MRI驱动放射组学模型[35, 39, 55, 57],而此前的荟萃分析基于任何影像模态或数据集进行。

自上一版综述发表以来,研究质量已有所改善。然而,总体研究质量仍不理想。RQS和TRIPOD在体模研究、截断值分析、成本-效果分析、评估盲法、样本量计算和缺失数据处理等方面发现了不足,这些问题已被反复提及[8, 12–14]。上一版综述仅采用RQS进行质量评估。RQS是為帮助影像组学领域评估影像组学研究质量和价值而提出的专用工具。然而,RQS是针对手工 crafted 特征量身定制的。随着深度学习不断发展,当前版本的RQS可能无法正确捕捉深度学习影像组学研究的优势和不足[58]。TRIPOD是一个类似的例子,旨在促进诊断准确性模型研究的透明报告,并已被推荐用于识别影像组学研究中的改进空间[11]。然而,当前版本的TRIPOD可能无法捕捉机器学习或人工智能应用中的一些独特挑战[59]。相比之下,CLAIM在我们的综述中捕捉到了独特的不足,如数据去标识化和失败分析。CLAIM已被用作深度学习研究中质量评估的有用工具[20, 21],我们的综述证明了CLAIM在影像组学研究中的可行性。我们进一步证实,CLAIM可作为影像组学研究中更好的综述和研究设计指南。CLAIM可能指导TRIPOD和RQS的更新,因为它不仅包括一般报告标准,还允许额外区分深度学习中的独特不足。考虑到这些工具之间的重叠条目和高相关性,CLAIM甚至可能取代RQS和TRIPOD。研究人员在发表其影像组学研究的RQS和TRIPOD方面仍持保留态度[58]。我们的综述中只有一项研究将RQS、TRIPOD和CLAIM作为补充材料[57]。

我们的综述存在若干局限性。第一,我们的综述聚焦于骨肉瘤影像组学研究。当推广至其他疾病时,结论应谨慎解读。然而,它为影像组学研究的设计和报告提供了见解。第二,我们的研究仅纳入应用影像组学方法的人工智能研究,而忽略了仅使用深度学习进行分割[60–62]或建模[63]的研究。然而,我们研究的次要目的是探究CLAIM是否比目前推荐的RQS和TRIPOD更能识别影像组学研究中的不足。由于CLAIM适用于影像组学研究和深度学习影像组学研究,鼓励未来开展不受影像组学限制的综述。第三,我们的综述未探讨如何对CLAIM中每个条目进行加权。既往综述已为某些评价创建了子条目[20]并将其等权重处理[21]。我们将每个子条目视为等权重,但有必要探究这是否合适。第四,我们未采用更具体的评价工具,因为它们不适用或目前正在开发中[59, 64–68]。随着医疗保健中使用人工智能的临床研究报道指南不断增加,本综述可能从中受益,因为这些指南额外关注不符合传统报告指南的附加因素,尤其是与技术算法开发相关的细节[69]。影像生物标志物标准化倡议(IBSI)指南是另一个潜在适用的质量提升清单[70]。然而,与既往综述[14, 24]一样,我们未应用该指南,因为这一影像组学专用清单可能不适用于深度学习研究。最后,由于研究间的异质性和研究数量有限,我们仅对影像组学预测NAC反应的证据等级进行了评级。需要进一步研究以为将影像组学方法转化为临床实用工具奠定更坚实的科学基础[23, 24]。

总之,近年来骨肉瘤影像组学研究的质量有所提高,但仍不理想。根据对测试数据集的荟萃分析,MRI驱动的影像组学预测骨肉瘤NAC反应被评为弱证据,呼吁开展更多高质量研究以促进影像组学在骨肉瘤中的应用。CLAIM能更好地识别影像组学研究中的不足,因此推荐用于未来包括影像组学在内的人工智能研究评价。

补充信息

附加文件1。说明S1:综述方案。说明S2:检索策略与研究选择。说明S3:数据提取和质量评估期间达成的共识。说明S4:数据合成与分析方法。表S1:数据提取表。表S2:根据六个关键领域的RQS要素。表S3:TRIPOD报告完整性清单。表S4:面向作者和审稿人的CLAIM。表S5:用于偏倚风险和应用关注度的QUADAS-2工具。表S6:荟萃分析支持证据五个等级的类别。表S7:纳入研究的研究特征。表S8:纳入研究的PICOT。表S9:纳入研究的影像组学方法学问题。表S10:纳入研究的模型呈现和性能指标。表S11:每项研究的RQS评级。表S12:每项研究的TRIPOD依从性。表S13:每项研究的CLAIM依从性。表S14:每项研究的QUADAS-2评估。表S15:根据研究特征对研究质量的亚组分析。表S16:纳入荟萃分析研究的模型指标。图S1:质量评价工具之间的相关性。图S2:质量评价结果的亚组分析。图S3:合并敏感性的森林图。图S4:合并特异性的森林图。图S5:合并阳性似然比的森林图。图S6:合并阴性似然比的森林图。图S7:模型性能的SROC曲线。图S8:纳入荟萃分析研究的漏斗图。图S9:纳入荟萃分析研究的Deeks漏斗图。图S10:纳入荟萃分析研究的剪补分析。

附加文件2。PRISMA 2020清单。

引用

  1. Zhong, Hu, Zhang, et al. An updated systematic review of radiomics in osteosarcoma: utilizing CLAIM to adapt the increasing trend of deep learning application in radiomics. Insights Imaging. 2022. PMID: 35986808. doi:10.1186/s13244-022-01277-6
  2. 全文:PMC9392674(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9392674/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。