基于机器学习的放射组学预测结直肠癌微卫星不稳定状态的系统综述
该系统综述纳入12项回顾性研究共4320例患者,评估治疗前CT/MRI/PET-CT放射组学模型预测结直肠癌MSI状态的表现。外部验证队列AUC中位数0.83,敏感度中位数0.76,特异度中位数0.87,但方法学质量偏低(RQS中位数38%),尚不足以临床常规使用。
要点
- 放射组学模型预测MSI的外部验证AUC中位数0.83,敏感度0.76、特异度0.87,判别能力较好。
- 所有研究均为回顾性,仅4项有外部验证,RQS中位数仅38%,方法学质量不足,暂不宜临床常规使用。
- MSI发生率中位数19%,高于文献报道的13-15%,部分研究病例对照设计可能高估模型性能。
核心结论
- 基于治疗前CT/MRI/PET-CT的放射组学模型对结直肠癌MSI状态具有较高预测效能,但方法学质量不足,尚不推荐临床常规使用。
研究设计与样本
- 系统综述依PRISMA-DTA进行并在PROSPERO注册(CRD42022295787),检索PubMed、Embase、Web of Science和Cochrane Library至2022年11月10日。
- 纳入12项回顾性研究共4320例患者(样本量90-837,中位238),均为回顾性设计,仅4项有外部验证队列。
- 纳入标准为术前CT/MRI/PET-CT提取全病灶放射组学特征预测MSI,MSI以手术标本免疫组化或PCR为参考标准。
- 采用RQS(满分36分对应100%)和QUADAS-2评估研究质量,因异质性未行Meta分析。
诊断标准与关键数值
- 外部验证队列(test cohort)AUC范围0.78-0.96,中位0.83;训练队列AUC范围0.75-0.99,中位0.84;验证队列AUC范围0.74-0.93,中位0.83。
- 10项可提取数据的研究中,敏感度中位0.76(范围0.32-1.00),特异度中位0.87(范围0.69-1.00)。
- 基于CT或PET/CT的放射组学模型敏感度中位0.79(范围0.32-1.00),特异度中位0.84(范围0.69-1.00)。
- RQS中位13.5分(范围5-18),对应38%(范围14-50%);QUADAS-2中半数研究在患者选择领域为高风险。
临床应用与阅片要点
- 阅片时可关注治疗前CT门静脉期(最常用,7/12研究)病灶全容积特征,但模型尚未成熟,不应据此直接报告MSI状态。
- 报告放射组学研究时需注意外部验证缺失、 cutoff值未报告(仅2项报告)及代码数据不公开(0分)等可重复性问题。
- 模型常联合肿瘤位置、年龄和CEA等临床变量构建复合模型,解读时需结合临床病理信息。
局限性
- 纳入研究数量有限,无前瞻性设计,仅4项有外部验证,可能削弱结论可靠性。
- 研究间影像模态、期相/序列、特征和建模策略异质,未行Meta分析,无合并AUC。
- 未纳入深度学习研究,因其影像特征可解释性差。
全文中译13 节 · 点击展开
引言
结直肠癌(CRC)是全球第三大常见恶性肿瘤,也是癌症相关死亡的第二大原因[1]。微卫星不稳定(MSI)是一种公认的癌症标志,定义为由于复制过程中DNA错配修复系统缺陷导致的短小、无意义、重复DNA序列(即微卫星)的广泛不稳定。约13–15%的CRC患者肿瘤具有MSI[2, 3]。它更常见于老年患者、右侧部位,且病理分期较低,代表一种独特的CRC亚型[4]。
对于CRC患者,治疗前MSI状态的信息有助于临床决策。MSI患者通常预后较好,且淋巴结扩散和转移的可能性较低[2, 5]。此外,CRC MSI患者通常不能从术前基于5-氟尿嘧啶的辅助治疗中获益[6–8]。在此背景下,自2016年起,美国国家综合癌症网络实践指南推荐对所有II期直肠癌患者进行MSI检测[9]。此外,MSI状态还可作为免疫治疗反应的预测指标[10, 11]。既往研究表明,MSI CRC患者对免疫检查点抑制剂敏感,原因是突变新抗原表达水平高[12, 13]。因此,欧洲肿瘤内科学会推荐在免疫治疗前进行MSI评估[14],美国食品药品监督管理局已批准MSI作为癌症免疫治疗的适应证[15]。
目前,MSI状态主要通过免疫组织化学或聚合酶链反应对结肠镜活检或手术切除获得的标本进行评估[2]。然而,术后获得的错配修复蛋白表达水平信息对治疗前计划影响甚微,且通过活检获得的有限样本可能无法全面反映肿瘤内异质性[16]。在某些情况下,可能出现假阴性结果(2.1–5.9%)[17]。此外,活检和手术均为有创操作,使患者面临操作相关并发症的风险,且不适用于重复监测[18]。一种无创、可靠且经济有效的方法来识别MSI状态将具有重要价值。
成像模态,如计算机断层扫描(CT)、磁共振成像(MRI)和正电子发射断层扫描/CT(PET/CT),常用于结直肠癌(CRC)的检测、表征和分期。这些图像所蕴含的细微信息可能反映CRC的遗传/分子改变,如微卫星不稳定性(MSI)[19]。通过使用现代计算技术,可以挖掘成像信息并将其转换为定量高维数据,后者可进一步通过机器学习算法用于构建预测模型——这项技术被称为“影像组学”[19–22]。近年来,涌现了大量使用影像组学方法预测CRC MSI状态的研究[22]。然而,这些影像组学模型所报告的预测准确性和效能参差不齐,整体性能仍不清楚。迄今为止,尚无任何研究总结关于影像组学方法用于CRC患者MSI状态预测的当前证据。此类总结对于循证患者管理具有临床重要性。因此,本系统评价旨在总结当前证据,并提供影像组学模型在CRC中诊断MSI的预测性能概要。此外,还对这些研究的研究和报告质量进行了评价。
材料与方法
本研究按照诊断准确性研究的系统评价和荟萃分析优先报告条目(PRISMA-DTA)指南[23]进行,检查清单见补充文件1。研究方案已在PROSPERO网站(https://www.crd.york.ac.uk/prospero/)注册,注册号为CRD42022295787。
文献检索
在四个公共数据库(PubMed、Embase、Web of Science和Cochrane Library)进行了系统性文献检索,以发现任何可能相关的出版物,关键检索词为“结直肠癌(CRC)/结肠癌/直肠癌/结直肠肝转移(CRLM)”、“微卫星不稳定性(MSI)/错配修复缺陷(dMMR)”和“影像组学/纹理分析/放射基因组学/成像生物标志物”,及其同义词和医学主题词(详细检索式见补充文件2)。文献检索首次于2022年4月15日进行,最后更新于2022年11月10日。
研究选择
符合以下纳入和排除标准的研究被视为合格并纳入本研究。纳入标准:1)回顾性或前瞻性设计;2)经术后组织病理学检查确诊为CRC且影像学检查前无抗肿瘤治疗史(即新辅助化疗或放疗)的患者;3)从CT、MRI或PET/CT检查的病灶整体体积中提取影像组学特征,并将其作为单一预测因子或预测模型中的一个变量;4)MSI状态在手术标本上评估;5)英文出版物。排除标准:1)综述、会议摘要、勘误、书籍章节或研究方案形式的出版物;2)研究结局不涉及MSI;3)深度学习研究;4)样本量少于50例患者。
两名研究者('Q.W'和'J.X',分别具有7年和2年准备与更新系统评价的经验)独立进行研究筛选,首先通过筛选标题和摘要,然后通过阅读可能合格研究的全文。分歧通过讨论或咨询资深研究者('T.B.B')解决。此外,手动识别纳入文章中的综述和引用参考文献,以发现任何符合条件的研究。
数据提取
采用预定义表格提取研究信息,包括:1)研究基本特征(例如第一作者、发表年份、国家和研究设计);2)患者特征;3)影像组学工作流程特征(如肿瘤分割方法、用于影像组学特征提取的软件;典型的影像组学研究工作流程见图1);4)诊断性能指标(真阳性、假阳性、假阴性和真阴性)以构建2×2表。当一项研究涉及训练队列和测试队列时,选择测试队列中的诊断性能用于模型的预测能力。如果一项研究中开发了多个预测模型,则选择性能最佳的模型。如果研究没有测试队列,则提取验证队列中的预测指标。当提供的诊断性能数据不足以创建2×2表时,发送电子邮件向通讯作者索取缺失信息。通过使用Review Manager软件(RevMan,版本5.3。哥本哈根:北欧Cochrane中心,Cochrane协作组织,2014)将指标可视化为森林图,以直观评估影像组学预测模型的预测性能。
本研究统一了“验证”和“测试”这两个术语以避免混淆:“验证队列”定义为训练队列中随机划分用于建模过程中超参数微调的部分,而“测试队列”定义为与训练队列外部独立的留出数据集,不参与建模[24]。测试队列可在时间或地理上独立于训练队列[25]。本研究中“外部队列”和“测试队列”将互换使用。
影像组学质量评分和偏倚风险评估
用于影像组学研究方法学质量评价的工具是影像组学质量评分(RQS)量表,由Lambin及其同事于2017年提出[20]。RQS量表由16个条目组成,评估影像组学模型开发工作流程中的研究和报告质量。根据研究达到的程度为每个条目分配不同分数。该评分系统的总分为36分,对应百分比为100%[20]。
研究质量还使用诊断准确性研究质量评价2(QUADAS-2)标准进行评估[26]。该工具从四个维度评估研究中的偏倚风险:患者选择、索引测试、参考标准和流程与时间,结果标记为低、高和不确定风险,表示各领域的不同风险水平[26]。
数据提取和研究质量评价由相同的两名研究人员('Q.W'和'J.X')进行并交叉验证。若出现分歧,则咨询资深研究员('T.B.B')以达成一致。
结果
初步检索从四个公共数据库获得97条记录。去除48条重复记录、37项不合格研究后,最终纳入12项研究进入本系统评价[27–38]。其中,10项有可用数据的研究能够构建2×2列联表[27–31, 33–35, 37, 38]。图2描述了研究选择的PRISMA流程图。
一般特征及MSI发生率
纳入的研究发表于2019年12月至2022年8月之间,所有研究均为回顾性设计(一项研究声称是前瞻性,但经讨论后被判定为回顾性[32])。共纳入4,320例患者,样本量范围为90至837(中位数238),男女比例为1.5(2,592/1,728)。四项研究为多中心研究,外部队列样本量范围为61至441(中位数82)[30, 35, 37, 38]。五项研究仅关注直肠癌,其余关注结直肠癌(CRC)[29, 32, 36–38]。
基于手术切除标本,十一项研究使用免疫组织化学方法评估MSI状态,一项使用聚合酶链反应方法[31]。MSI发生率范围为8%至34%(中位数:19%)。在九项有可用数据的研究中,大多数研究(8/9)报告影像检查与手术之间的间隔小于2周[27, 29, 30, 33, 34, 36–38]。表1提供了纳入研究基本特征的详细信息。
RQS和QUADAS-2评估
纳入研究的RQS评分中位数为13.5分(范围5–18),相当于RQS满分的38%(范围14–50%)。仅一项研究获得50%的最高分[30]。最低分5分(14%)见于该主题的一项早期研究,其主要失分点在于缺乏验证队列[27]。关于RQS各条目的表现,所有研究均满足三个条目(100%):“特征缩减或调整”、“生物学相关性”和“与金标准比较”。另一方面,四个条目(“体模研究”、“前瞻性研究”、“成本效益分析”和“开放科学与数据”)被赋0分,因为纳入的研究均未涉及这些内容。RQS评分的汇总见图3 A和B,每项研究RQS评分的详细信息见补充文件3。
大多数研究经QUADAS-2评估显示偏倚风险和适用性担忧为低或不明确(图3 C)。高偏倚风险和适用性担忧的主要来源是“患者选择”领域,这是由于研究的回顾性性质,患者选择偏倚似乎不可避免。各领域纳入研究的详细评价见补充文件4。
研究特征
研究特征按照放射组学研究工作流程的五个阶段进行描述(表2):
影像采集与肿瘤分割
在纳入的研究中,7项使用CT成像,4项使用MRI[29, 32, 37, 38],1项使用PET/CT[33]。6项研究应用单一期相/序列的图像[27–29, 34–36];最常使用的期相为CT成像的门静脉期(7/12)[27, 28, 30, 31, 34–36]。11项研究采用手动分割肿瘤,1项采用半自动分割[27]。
影像预处理与特征提取
7项研究在特征提取前说明了影像预处理[30, 31, 33, 35–38],但其中仅5项描述了其预处理技术(重采样或灰度离散化)[30, 35–38]。Pyradiomics是最常用的特征提取软件包(5/12)[29, 30, 33, 35, 38],提取的影像组学特征数量范围为254至6,420(中位数:1037)。
特征选择/降维
所有研究均进行降维以选择最具信息量的特征并避免潜在的模型过拟合。最小绝对收缩和选择算子(LASSO)是研究者最常用的减少冗余特征的机器学习工具(7/12)[27, 29–31, 34, 36, 37],其次是相关性分析(3/12)[28, 36, 38]。特征选择后,影像组学特征数量减少至11个(范围2-51)以纳入影像组学模型。
在6项研究中,观察者间/观察者内相关系数分析不仅用于评估特征的可重复性和稳定性,还用于特征选择[29, 30, 34, 36–38]。
模型开发
由于MSI发生率相对较低,6项研究应用重采样技术以平衡阴性/阳性分类[27, 30, 32, 33, 35, 37],其中合成少数类过采样技术是最常用的算法(4/6)[27, 30, 32, 37]。逻辑回归是最常用的建模分类器(6/12)[30–32, 34, 36, 37]。6项研究(6/12)应用5折或10折交叉验证以避免模型过拟合并确定超参数[27, 29, 30, 34, 37, 38]。6项研究评估了临床病理变量的预测价值[29–31, 34–36],其中肿瘤位置和年龄(均为4/6)是预测MSI状态最常见、最显著的指标,其次是癌胚抗原(3/6)。这6项研究随后将所研究的变量与计算出的影像组学风险评分相结合,构建复合临床影像组学模型以预测MSI状态。
模型性能
四项研究将其模型可视化为列线图[30, 31, 34, 36],两项研究提供了公式[32, 37],一项研究使用了基于影像组学的人工神经网络[35]。预测模型的受试者工作特征曲线下面积(AUC)在训练队列中范围为0.75至0.99(中位数0.84),在验证队列中范围为0.74至0.93(中位数0.83),在测试队列中范围为0.78至0.96(中位数0.83)[30, 35, 37, 38]。在10项具有可用指标数据的研究中,中位敏感度为0.76(范围0.32–1.00),中位特异度为0.87(范围0.69–1.00)(图4)。具体而言,在基于CT或PET/CT的影像组学模型中,中位敏感度为0.79(范围0.32–1.00),中位特异度为0.84(范围0.69–1.00)[27, 28, 30, 31, 33–36]。五项研究通过绘制校准曲线评估了模型预测结果与观察结果之间的一致性[30–32, 34, 36]。五项研究进行了决策曲线分析以评估其模型的临床实用性[30–32, 34, 37]。
讨论
本系统综述显示,在治疗前影像模态上使用机器学习方法的影像组学模型具有较高的预测效能,中位AUC为0.83,中位敏感度为0.76,特异度为0.87。尽管这些结果令人鼓舞,但由于方法学质量不足(反映为较低的RQS评分),影像组学模型仍远未达到临床实用性。
这些预测模型能否转化为临床常规设置,主要取决于研究的有效性。理想情况下,可靠的影像组学特征可从研究人群连续入组的前瞻性大样本队列中开发。尽管纳入的研究均非前瞻性设计,但最大样本量高达837例,且近半数研究(5/12)样本量超过490例。纳入研究中MSI的中位发生率为19%,略高于已报告的发生率(13–15%)[3, 39–42]。两项未说明受试者是否连续入组的研究,其MSI发生率高达33%和34% [32, 38]。这可能归因于其病例对照研究设计(1:2)。在诊断试验研究中,此类研究设计容易高估预测模型的性能,应予以避免,因为它不能反映真实世界情况 [26]。有人可能认为,在执行机器学习算法时,应对队列的阳性和阴性分类进行平衡,以避免潜在的过拟合。事实上,已提出若干技术来处理这种情况,例如合成少数类过采样技术 [43, 44]。半数综述的研究采用了处理分类不平衡的技术 [28, 32, 35, 36, 38]。
在将影像组学模型转化为临床实施之前,还必须在外部队列中验证模型 [25]。鉴于在训练队列中开发的模型容易过拟合,外部队列可用于评估预测模型的泛化能力,并提供模型在真实世界实践中的真实性能 [45]。三分之一的研究(4/12)在外部队列中测试了其模型,得出中位AUC为0.83 [32, 34, 38]。另一方面,在训练队列内使用交叉验证或自举技术进行内部验证,在避免潜在过拟合和优化预测模型方面发挥着同等作用 [45-47]。六项研究在开发模型时采用了五折/十折交叉验证。
研究人员还应使其预测模型具有可重复性,并由其他研究者进行验证。第一步可以是将放射组学代码/数据存放在公共平台(如 https://github.com)上,或提供有关软件使用的更多细节。然而,纳入的研究均未公开其代码或数据,导致RQS量表中“开放科学与数据”条目得分为零。此外,模型还应以适当且易于使用的形式呈现以供临床使用,例如以列线图的形式呈现。六项研究提供了公式和/或列线图,这为其模型被其他中心验证推进了一步。此外,预测模型最佳截断值的确定通常是在灵敏度和特异度之间的权衡。RQS评分中一个特定条目强调了其重要作用。了解模型的具体截断值使其他研究者能够验证该模型。然而,只有两项研究陈述了其模型的截断值[32, 35]。在实施预测模型时,研究人员还应了解目标患者人群或亚人群。纳入研究中的患者具有不同的适应症,其中一些研究仅关注直肠癌或CRC II/III期,而另一些则关注一般CRC人群。
RQS是评估放射组学研究质量的常用工具[20]。由于它评估放射组学研究工作流程中的关键步骤,RQS有潜力不仅成为开展放射组学研究时的指南,也成为向期刊投稿时的有用检查清单。纳入的研究在RQS量表的三个领域中表现良好,占满分的17%(6分)。此外,超过一半的研究(7/12)在“判别统计”条目中同时报告了判别性能和重采样技术,该条目平均得分为1.6分。然而,本综述纳入的研究仅获得13.5分的中位评分(相当于满分36分的38%),最高分为18分(满分的50%)。主要原因是RQS量表中的四个领域未得到任何纳入研究的响应,例如公开其代码/数据。这四个领域占全量表的39%(14分)。然而,RQS量表可能对“前瞻性研究”条目赋予了过高的权重(7分),约等于满分的20%。鉴于RQS工具中大多数其他条目通常最高为1–2分,这是一个相对较高的分值。然而,本系统综述未纳入任何前瞻性研究,这进一步导致纳入研究的RQS评分较低。
另一方面,其他评价工具,如QUADAS-2,其设计用于评估一般诊断试验研究,也应被采用以补充RQS工具在影像组学研究质量评估中的应用。例如,RQS量表不涉及患者选择,但在评估诊断试验研究时该问题具有临床重要性。在QUADAS-2中,患者选择是四个主要构成维度之一。此外,其他常用指南,如“医学影像人工智能清单”(CLAIM)[48]和“个体预后或诊断多变量预测模型的透明报告(TRIPOD)”声明[25],也可能有助于开展严谨且可重复的影像组学研究并提高研究和报告质量。
本研究存在一些局限性。首先,纳入研究的数量相对有限,没有研究是前瞻性设计的,并且只有四项研究在外部队列中验证了其模型。这些局限性可能削弱从本研究中得出的结论。另一方面,如从四个数据库检索到的初始记录所示,研究数量有限也反映该主题(使用影像组学方法预测CRC中的基因表达水平)相对较新,研究仍处于早期阶段。其次,纳入的研究不仅在使用的成像方式和期相/序列方面存在异质性,而且在成像特征和建模策略方面也存在异质性。在此背景下,未进行荟萃分析以综合诊断指标,因此缺乏影像组学模型预测MSI状态的合并AUC。第三,由于深度学习衍生的成像特征可解释性较差,未纳入深度学习研究。这也是一个新兴领域,通常认为深度学习模型比影像组学模型具有更高的准确性[49]。最后,尽管RQS是评估影像组学研究质量的有用工具,但它存在局限性。对RQS的进一步修订可能使其在影像组学研究质量评估中更加全面。
结论
总之,尽管基于治疗前成像方式衍生的影像组学模型在预测CRC患者MSI状态方面具有较高性能,但由于研究的方法学质量不足,影像组学似乎尚未准备好作为影像生物标志物用于临床实践。
补充信息
以下是电子补充材料的链接。补充文件1(DOC 66 KB)
补充文件2(DOCX 20 KB)
补充文件3(DOCX 16 KB)
补充文件4(DOCX 15 KB)
引用
- Wang, Xu, Wang, et al. Systematic review of machine learning-based radiomics approach for predicting microsatellite instability status in colorectal cancer. Radiol Med. 2023. PMID: 36648615. doi:10.1007/s11547-023-01593-x
- 全文:PMC9938810(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9938810/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。