文献速递泌尿生殖腹部CTMRUS

基于影像的人工智能预测肌层浸润性膀胱癌的准确性与质量评估

The accuracy and quality of image-based artificial intelligence for muscle-invasive bladder cancer prediction.
PubMed 文献 · Insights Imaging · 2024-08-01

该系统评价纳入21项研究、4256例患者,用CLAIM、RQS和PROBAST评估基于影像的AI模型预测肌层浸润性膀胱癌的诊断性能与质量。Meta分析显示MRI模型AUC为0.92(95%CI 0.89-0.94),CT为0.85(95%CI 0.81-0.88),但报告质量与方法学质量普遍偏低,所有模型总体偏倚风险高。

要点

  • MRI模型预测MIBC的合并AUC为0.92(95%CI 0.89-0.94),CT模型为0.85(95%CI 0.81-0.88)。
  • 深度学习模型合并AUC为0.91(95%CI 0.88-0.93),影像组学模型为0.89(95%CI 0.86-0.92)。
  • 所有模型总体偏倚风险均评为高,CLAIM依从率中位数64.1%,RQS中位数30.56%。

核心结论

  • 基于影像的AI模型在预测MIBC方面显示出较好的诊断性能,但报告质量与方法学质量普遍偏低且偏倚风险高,目前尚不能用于临床。

研究设计与样本

  • 系统评价与Meta分析,检索Medline、Embase、Web of Science和Cochrane Library至2023年10月30日,纳入21项原始研究共4256例患者、4388个病灶。
  • 21项研究中17项纳入定量统计分析,采用CLAIM、RQS和PROBAST评估报告质量、方法学质量与偏倚风险。
  • 参考标准为至少一种病理评估方法确认的肌层浸润状态,标本来源包括TURBT、根治性膀胱切除术或部分膀胱切除术。
  • 纳入研究发表于2017年9月至2023年5月,20/21项(95.2%)为回顾性设计,仅1项使用前瞻性收集数据。
  • 检查模态以MRI最常见(12项),其次为CT(8项)和超声(1项)。

诊断标准与关键数值

  • CT模型预测MIBC的合并敏感度0.82(95%CI 0.72-0.89)、特异度0.79(95%CI 0.72-0.84)、AUC 0.85(95%CI 0.81-0.88)。
  • MRI模型合并敏感度0.84(95%CI 0.75-0.91)、特异度0.79(95%CI 0.77-0.92)、AUC 0.92(95%CI 0.89-0.94)。
  • 影像组学模型合并敏感度0.84(95%CI 0.76-0.90)、特异度0.82(95%CI 0.74-0.87)、AUC 0.89(95%CI 0.86-0.92)。
  • 深度学习模型合并敏感度0.81(95%CI 0.68-0.89)、特异度0.87(95%CI 0.74-0.94)、AUC 0.91(95%CI 0.88-0.93)。
  • CLAIM研究依从率范围52.5%至75%,中位数64.1%;RQS得分范围2.78%至50%,中位数30.56%。

临床应用与阅片要点

  • 作者指出AI技术可能改善膀胱癌患者的管理,但质量评估是促进临床应用的必需环节。
  • 作者建议未来研究可关注更大样本量,并更透明地报告病理评估、模型解释以及失败分析和敏感性分析。
  • 在内部验证中AI模型通常优于放射科医师,但在外部验证数据中的泛化能力不如经验丰富的放射科医师。

局限性

  • 仅部分符合条件的研究满足Meta分析的选择标准,且研究间存在显著异质性,因此解读Meta分析结果需谨慎。
  • 评估仅使用RQS、PROBAST和CLAIM,未纳入新近提出的CLEAR和METRICS等工具。
  • CLAIM、RQS和PROBAST包含主观判断要素,临界结果可能影响整体解读。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Aug 1;15:185. doi: 10.1186/s13244-024-01780-y

引言

膀胱癌(BCa)构成了重大的全球健康挑战,全球每年估计有550,000例新发病例和200,000例死亡[1]。肌层浸润性膀胱癌(MIBC)是一种特别具有侵袭性的BCa类型,定义为肿瘤侵入或超出膀胱壁浅层固有肌层[2]。与非肌层浸润性膀胱癌(NMIBC)相比,该亚型的特点是死亡率更高、转移更早、预后更差[3, 4]。及时识别MIBC至关重要,因为它需要更积极的治疗,包括根治性膀胱切除术(RC)和辅助治疗,这些对于改善患者预后至关重要[4, 5]。

临床上,膀胱镜检查联合经尿道膀胱肿瘤电切术(TURBT)通常是用于识别疑似BCa患者中MIBC的诊断方法。虽然有效,但这种侵入性操作偶尔会对肌肉组织取样不足,导致约10%至15%的假阴性率[6]。基于多参数磁共振成像(MRI)的膀胱影像报告和数据系统(VI-RADS)已成为一种有价值的非侵入性替代方法,在区分MIBC与NMIBC方面具有高敏感性和特异性[7, 8]。然而,VI-RADS的实用性受到采集时间长、MRI检查成本高以及对解读图像放射科医生主观经验的依赖的限制。

人工智能(AI)的最新进展,特别是在影像组学和深度学习(DL)方面,为MIBC的术前识别提供了有前景的途径。AI技术可以通过提取手工制作的影像组学特征或使用自学习的DL特征,通过复杂的分类算法预测疾病状态来分析医学图像[9–11]。这些技术在提高MIBC诊断的准确性和效率方面显示出潜力[12–32]。尽管前景广阔,但各研究报告的结果存在很大差异[33, 34]。此外,这些研究的整体质量尚未得到彻底评估,特别是关于患者选择、模型开发和性能评估等关键方法学方面[33, 34],这阻碍了AI技术在识别MIBC中的临床应用。

在本研究中,我们旨在(1)系统综述和评估当前AI研究在预测MIBC方面的诊断性能,以及(2)使用医学影像人工智能清单(CLAIM)、影像组学质量评分(RQS)和预测模型偏倚风险评估工具(PROBAST)全面评估这些模型的报告质量和方法学质量[35–37]。

材料与方法

文献检索策略和研究选择

研究方案已在国际前瞻性系统评价注册平台注册(CRD42023446035)。本系统综述按照《系统评价和荟萃分析优先报告条目》(PRISMA)诊断准确性声明中发布的建议进行[38]。PRISMA清单见补充材料1。

通过PubMed检索Medline、通过Ovid检索Embase、Web of Science和The Cochrane Library,检索时间从建库至2023年10月30日,使用以下术语的组合检索符合条件的研究:“膀胱癌”、“肌层侵犯或分期”、“影像组学或深度学习”以及“计算机断层扫描或磁共振成像或超声”。语言限制为英文。详细检索式见补充材料2。此外,我们筛选了初步检索文章的参考文献列表以寻找其他相关研究。

去除重复研究后,两名分别具有2年和7年泌尿生殖系统影像学经验的研究者筛选了所纳入研究的标题和摘要。如果文章类型为以下之一,则排除:综述、社论、摘要和病例报告。其余研究进行全文评估。纳入标准为:(1)人群:原发性膀胱癌(BCa)患者;(2)索引试验:使用计算机断层扫描(CT)、磁共振(MR)或超声图像开发或验证影像组学或深度学习(DL)模型;(3)结局:经至少一种病理学评估方法确认的肌层侵犯状态;(4)原创文章。如果研究缺乏足以重建2×2列联表的充分数据,则排除于荟萃分析之外。

数据提取

使用标准化表格从每篇符合条件的文献中提取相关数据,记录以下信息:研究年份、数据收集策略、中心数量、目标人群、预测级别、样本量、肌层浸润性膀胱癌(MIBC)比例、金标准、内部验证方法、外部验证方法、模态、标注方法、每例阅片者数量、阅片者一致性、特征提取方法、提取特征数量、所选特征数量以及最终分类器算法。DL模型的特征数量为第一个全连接层的神经元数量,因为卷积层被视为特征提取器。还记录了以下诊断准确性指标用于荟萃分析:真阳性、真阴性、假阳性和假阴性。当研究涉及训练队列和测试队列时,选择测试队列中的诊断性能作为模型的预测能力;当研究涉及外部队列和内部队列时,选择外部队列中的诊断性能作为模型的预测能力。如果一项研究中开发了多个预测模型,则选择性能最佳的模型。

CLAIM、RQS和PROBAST评价

两名相同的研究人员独立使用CLAIM、RQS和PROBAST评估了所有符合条件的出版物。当出现分歧时,经与两名资深研究人员讨论后达成一致。共识数据用于以下分析。对于CLAIM,研究报告共通过42个条目进行评估。条目依从率为该条目下依从研究占所有适用研究的百分比,而研究依从率为该研究下依从条目占所有适用条目的百分比。RQS由16项标准组成,是近期被接受用于衡量影像组学工作流程方法学严谨性的工具。RQS总分为检查点1、检查点2和检查点3的分数之和,理想RQS分数为100%(36/36.00)。对于PROBAST,偏倚风险(ROB)在四个领域进行评估:参与者、预测因子、结局和分析。每个领域内的信号问题以五个选项之一回答:“是”、“可能是”、“可能否”、“否”、“无信息”。如果信号问题中出现任何“否/可能否”,则该领域被标记为高ROB。如果所有信号问题均为“是/可能是”,则该领域被标记为低ROB。如果没有“否/可能否”但信号问题中出现任何“无信息”,则该领域被标记为ROB不明确。随后使用相同标准确定四个领域的总体ROB。

统计分析

采用以下方法评估异质性:(1)Cochran Q检验,p值<0.05表示存在显著异质性;(2)Higgins I2检验。I2值为0–25%、25–50%、50–75%和>75%分别代表极低、低、中等和高异质性。每项研究的权重采用逆方差法计算,即每项研究赋予的权重选择为效应估计方差的倒数,以最小化合并效应估计的不确定性。在中等和高异质性情况下,随机效应模型优于固定效应模型。诊断准确性使用分层汇总受试者工作特征(HSROC)曲线及HSROC曲线下面积(AUC)进行评估。还计算了灵敏度、特异度、阳性似然比和阴性似然比。进行Meta回归以探索异质性的潜在来源。

所有计算均采用95%置信区间(95% CI)。当p值小于0.05时认为差异具有统计学意义。我们使用Stata 17中的“metandi”和“midas”模块进行统计分析[39, 40]。

结果

纳入研究的特征

描述研究选择过程的流程图见图1。检索策略在去除重复后识别出171项研究。其中,21项研究符合纳入标准。纳入研究总结于表1和图2。

纳入的21项研究发表于2017年9月至2023年5月之间,其中约三分之二(15/21,71.4%)发表于过去三年内。除一项研究外[24],大多数研究(20/21,95.2%)为回顾性设计。这些研究的人群各不相同。十项研究纳入膀胱癌(BCa)患者[12–14, 17, 18, 22, 24–27],一项研究分析高级别尿路上皮癌患者[16],其他研究分析尿路上皮癌患者[15, 16, 19–21, 23, 28–32]。四项研究进行病灶级预测,其余研究进行患者级预测[12, 13, 30, 32]。研究样本量范围为54至468例患者,21项研究共分析4256例患者和4388个病灶。肌层浸润性膀胱癌(MIBC)的患病率范围为23.1%至71.2%,中位数为37.2%。MIBC诊断的参考标准也各不相同。十项研究通过经尿道膀胱肿瘤电切术(TURBT)、根治性膀胱切除术(RC)或部分膀胱切除术(PC)等不同手术技术的标本诊断MIBC[15, 17, 19, 23, 25–27, 30–32]。三项研究仅纳入RC患者[16, 21, 29]。两项研究仅纳入TURBT患者[12, 24]。然而,仍有五项研究未说明标本来源[13, 14, 20, 22, 28]。最常见的内部验证方法为随机拆分验证[16, 18–26, 31, 32],而大多数研究(15/21,71.4%)未进行外部验证,仅六项研究进行了外部验证[17, 19, 24, 27, 30, 32]。

图1 根据PRISMA设计的系统评价流程图 查看原图 ↗
表1 纳入研究的特征 查看原表 ↗
图2 研究特征概览。A 研究纳入患者的总数;B 发表年份;C 数据收集策略;D 数据来源;E 内部验证方法;F 外部验证方法 查看原图 ↗

纳入研究的人工智能技术细节

纳入研究的人工智能技术细节总结于表2。所有研究均分析单一模态。最常见的模态为磁共振成像(MRI)(n = 12),其次为计算机断层扫描(CT)(n = 8)和超声(n = 1)。手动标注(n = 15)是勾画感兴趣区(ROI)的主要方法,其他研究使用半自动(n = 4)或全自动(n = 2)分割算法。十四项研究提取手工放射组学特征,五项研究提取自学习深度学习(DL)特征[13, 19, 21, 24, 29, 32],两项研究同时提取两种类型的特征[23, 30]。纳入研究中提取的特征数量范围为63至23,688,所选特征数量范围为6至2048。

表2 纳入研究的方法学特征 查看原表 ↗

质量评价

每项研究的CLAIM研究依从率、RQS评分以及PROBAST中“是/可能是”的数量见图3。

图3 显示每项研究的报告质量、方法学质量和偏倚风险的示意图。x轴为CLAIM依从率。y轴为PROBAST评价中“是”或“可能是”的数量。每个点的大小为RQS评分 查看原图 ↗

CLAIM

每项研究对CLAIM的研究依从率见图4。对CLAIM的研究依从率范围为52.5%至75%,中位数为64.1%。五项研究的CLAIM研究依从率低于60.0%[12, 13, 25, 28, 29]。详细的CLAIM评价见补充材料3。

CLAIM的条目依从率见表3。CLAIM的条目依从率范围为0.0%至100.0%,中位数为85.7%。共有14个条目的依从率较差(CLAIM条目依从率<60.0%),包括数据预处理(条目9,42.9%)、去标识化(条目12,0.0%)、缺失数据处理(条目13,9.5%)、替代参考标准选择(条目15,6.3%)、病理评估标准(条目16,4.7%)、病理评估方法(条目17,0.0%)、病理评估变异性测量(条目18,0.0%)、样本量估计(条目19,0.0%)、模型参数初始化方法(条目24,14.3%)、敏感性分析(条目30,0.0%)、可解释性或可解释性方法(条目31,23.8%)、外部数据验证(条目32,33.3%)、失败分析(条目37,14.3%)以及完整研究方案(条目41,0.0%)。

图4 按年份和样本量显示报告质量的示意图。x轴为发表年份。y轴为CLAIM依从率。每个点的大小为样本量 查看原图 ↗
表3 使用CLAIM进行的报告质量评估 查看原表 ↗

RQS

每项研究的RQS得分见图5,每个标准的RQS得分中位数见表4。每项研究的RQS得分范围为2.78%至50%分,中位数为30.56%分。详细的RQS评估和检查表见补充材料3。

大多数研究(18/21,85.7%)报告了其图像采集方案,但三项研究[13, 18, 29]除外,而没有研究报告使用公开方案。不到一半的研究(6/21,28.6%)未进行多次分割以控制特征提取的评估者间或评估者内变异性[13, 14, 24, 29, 30, 32],没有研究分析扫描仪间差异和特征的时间变异性。所有使用影像组学特征的研究和一项同时使用影像组学和DL特征的研究均对特征进行了降维,而大多数仅使用DL的研究(4/21,19.0%)未对DL特征进行特征选择。七项研究(33.3%)将临床信息与影像组学模型相结合[15–18, 20, 25, 31],九项研究(42.9%)将影像组学模型与放射科医师诊断或VI-RADS分类进行比较[15–17, 19, 20, 23, 28, 31, 32]。这些模型在内部验证中表现优于放射科医师,但其对外部验证数据的泛化性不如经验丰富的放射科医师。仅一项研究讨论了影像组学特征与临床/组织学表型之间的相关性[22]。大多数研究(20/21,95.2%)报告了判别统计量,但一项研究[29]除外,但只有不到一半的研究(8/21,38.1%)报告了校准统计量[15, 17–20, 25, 27, 30]以及(9/21,42.9%)截断值分析[15, 17, 19, 20, 25–27, 31, 32]。仅一项研究(4.8%)使用了前瞻性收集的数据[24]。仅一项研究(1/21,4.8%)未对影像组学特征进行验证[12],七项研究(33.3%)在其他机构的数据上对其模型进行了外部验证[15, 17, 19, 24, 27, 30, 32]。仅八项研究(38.1%)使用决策曲线分析来确定模型的临床实用性[15, 17–20, 25, 26, 30]。最后,没有研究进行成本效益分析或共享用于模型开发和推断的代码或代表性数据。

图5 按年份和样本量展示方法学质量的示意图。x轴为发表年份。y轴为RQS评分。每个点的大小代表样本量 查看原图 ↗
表4 使用RQS进行的方法学质量评估 查看原表 ↗

PROBAST

PROBAST评估结果见图6和表5。总体而言,所有研究均被评定为具有高总体偏倚风险。两项研究中的模型因纳入标准记录不充分,在受试者领域被评定为偏倚风险不明确[13, 29]。在预测因子领域,四项研究中的模型被评定为高偏倚风险[24, 26, 28, 29],十项研究中的模型被评定为偏倚风险不明确[14–16, 18, 20, 21, 23, 30–32]。标注由一名以上评估者完成,但未分析评估者间变异性,导致所有受试者的预测因子定义可能不同。盲法标注是高偏倚风险或不明确偏倚风险的主要来源。两项研究中的评估者在标注图像时知晓病理评估结果[24, 26],十二项研究未说明标注是否采用盲法[14–16, 18, 20, 21, 23, 28–32]。在结局领域,仅一项研究被评定为低偏倚风险[16],其余均被评定为偏倚风险不明确。大多数研究(20/21)未报告病理评估中如何确定MIBC、纳入了多少名病理学家以及标注是否采用盲法。在分析领域,所有模型均被评定为具有高总体偏倚风险。样本量不足和模型性能检验不充分均导致这些AI模型在该领域存在潜在高偏倚风险。详细的PROBAST评估见补充材料3。

图6 按年份和样本量展示偏倚风险的示意图。x轴为发表年份。y轴为PROBAST评估中“是”或“可能是”的数量。每个点的大小代表样本量 查看原图 ↗
表5 使用PROBAST进行的偏倚风险评估 查看原表 ↗

AI在预测MIBC中的临床价值

四项研究因未提供敏感性和特异性的详细信息而被排除在荟萃分析之外[12, 13, 15, 28]。共有十七项研究纳入荟萃分析。七项研究使用CT评估诊断性能[18, 19, 21, 23, 26, 27, 29],九项使用MRI[14, 16, 17, 20, 24, 25, 30–32],一项使用超声[22]。CT的合并敏感性、特异性和AUC分别为0.82(95% CI 0.72–0.89)、0.79(95% CI 0.72–0.84)和0.85(95% CI 0.81–0.88)。MRI的合并敏感性、特异性和AUC分别为0.84(95% CI 0.75–0.91)、0.79(95% CI 0.77–0.92)和0.92(95% CI 0.89–0.94)。十项研究使用影像组学评估MIBC预测[14, 16–18, 22, 25–27, 31],六项使用深度学习[19, 21, 24, 29, 30, 32],一项同时使用两者[23]。影像组学的合并敏感性、特异性和AUC分别为0.84(95% CI 0.76–0.90)、0.82(95% CI 0.74–0.87)和0.89(95% CI 0.86–0.92)。就深度学习而言,合并敏感性、特异性和AUC分别为0.81(95% CI 0.68–0.89)、0.87(95% CI 0.74–0.94)和0.91(95% CI 0.88–0.93)。森林图和AUC曲线见补充材料2。

讨论

人工智能技术在肌层浸润性膀胱癌(MIBC)识别中已被广泛研究。我们的系统综述全面评估了当前用于MIBC预测的人工智能研究的报告质量、方法学质量和偏倚风险(ROB)。结果显示,这些研究的总体质量较差,CLAIM研究依从率中位数为64.1%,RQS评分百分比中位数为30.6%,且所有研究均存在高偏倚风险。荟萃分析显示,当前MIBC预测人工智能模型表现良好,CT的AUC为0.85(95% CI 0.81–0.88),MRI的AUC为0.92(95% CI 0.89–0.94),影像组学的AUC为0.89(95% CI 0.86–0.92),深度学习的AUC为0.91(95% CI 0.88–0.93)。当前结果表明,人工智能模型在预测MIBC方面具有很高的潜力,但远未成为临床实践中有用的工具。

此前已有两项系统综述使用RQS评估了用于MIBC预测的影像组学研究[33, 34]。我们研究中大多数RQS结果与他们的结果相似。然而,在“与金标准比较”部分观察到了差异。在此前的综述中,大多数研究因将模型与当前金标准进行比较而被赋予2分。在我们的综述中,不到一半的研究被赋予2分。为展示影像组学的附加价值,我们认为“金标准”是指当前临床实践中常用于检测MIBC的无创方法(即手动图像判读,伴或不伴VI-RADS分类)[4],因此我们仅对9项将模型与手动判读进行比较的研究赋予2分。这9项研究的结果显示,人工智能模型在内部验证中通常表现优于放射科医师,但其对外部验证数据的泛化能力不如经验丰富的放射科医师[15–17, 19, 20, 26, 28, 31, 32]。

使用CLAIM和PROBAST,我们的系统综述在MIBC预测性AI研究中识别出了一些独特的降低质量的条目。首先,关于病理学金标准,仅有一项研究报告了如何通过组织病理学检查确认MIBC [16]。大多数研究仅报告了标本来源,没有一项研究报告组织病理学检查的细节,包括病理学家数量、阅片者间一致性以及评估的盲法。荟萃分析结果显示,不同的病理学金标准显著 contributed to 敏感度和特异度的异质性。约半数研究使用了多种手术技术获取标本,然而,没有一项研究报告为个别患者选择参考标准的准则,也没有比较接受TURBT的患者与接受RC或PC的患者的模型性能。其次,当前研究对统计学问题的考虑不足。没有研究计算最小样本量。在进行模型内部验证时,仅有少数研究通过使用交叉验证或自举法避免了对模型性能的过度悲观或过度乐观评估。许多研究使用交叉验证在训练集中选择最佳超参数或最佳模型。然而,在选择最优超参数的同时评估模型性能需要使用嵌套交叉验证 [41]。此外,仅有少数研究评估了AI模型的校准度。第三,当前研究缺乏性能评估之外的分析。可解释性讨论不足,尤其是在影像组学研究中,且很少有研究进行失败分析或敏感性分析。最后,没有一项报告了临床、病理和图像数据的去标识化方法。病理和影像学评估中的盲法评估也报告不足。

本研究存在一些局限性。第一,仅有部分符合条件的研究满足了荟萃分析的选择标准,且研究间存在显著异质性,因此谨慎解读荟萃分析结果很重要。第二,我们在评价中仅使用了RQS、PROBAST和CLAIM。影像组学的质量一直是一个热点话题,它影响影像组学的可重复性和再现性,并限制其广泛的临床应用。因此,已提出了多种检查表和工具用于质量评价。近期,影像组学研究评价检查表(CLEAR)和方法学影像组学评分(METRICS)被提出,并被认为是影像组学研究中对CLAIM和RQS更好的替代工具 [42, 43]。然而,我们的研究未纳入这些新开发的工具。第三,CLAIM、RQS和PROBAST包含一些主观判断要素,临界结果可能影响整体解读。

总之,尽管AI技术在预测MIBC方面显示出高诊断性能,但研究质量不足表明这些AI模型目前尚不能用于临床。未来的研究可以侧重于更透明地报告病理学评估、更大的样本量以及额外的分析,如预测解释、失败分析和敏感性分析。

补充信息

电子补充材料

引用

  1. He C, Xu H, Yuan E, et al. The accuracy and quality of image-based artificial intelligence for muscle-invasive bladder cancer prediction. Insights Imaging. 2024. PMID: 39090234. doi:10.1186/s13244-024-01780-y
  2. 全文:PMC11294512(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11294512/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。