文献速递泌尿生殖腹部MR

全自动与半自动人工智能方法在MRI上检测临床显著前列腺癌的比较性能:一项系统综述

Comparative performance of fully-automated and semi-automated artificial intelligence methods for the detection of clinically significant prostate cancer on MRI: a systematic review.
PubMed 文献 · Insights Imaging · 2022-03-28

该系统综述检索2016年1月1日至2021年7月31日MEDLINE/PubMed、arXiv、medRxiv和bioRxiv文献,评估全自动深度学习(DL)与半自动传统机器学习(TML)的MRI人工智能方法区分临床显著前列腺癌(csPCa)与惰性前列腺癌(iPCa)及良性病变的能力。17/28篇论文(5篇DL、12篇TML)通过质量筛查,因研究异质性大未行定量分析;低偏倚风险DL论文AUC为0.80–0.89,TML论文为0.75–0.88。结论认为两类AI方法性能相当,并指出未来研究需解决的共同方法学局限与偏倚。

要点

  • 低偏倚风险DL论文AUC为0.80–0.89,低偏倚风险TML论文AUC为0.75–0.88,两类方法性能相当。
  • DL与TML论文共享数据集、分割、参考标准及模型评估等方面的共同方法学局限。
  • 需就数据集、分割、参考标准评估和模型评价达成共识,以提升模型泛化性。

核心结论

  • 全自动与半自动MRI人工智能方法区分csPCa与iPCa及良性病变的性能相当,叙述性综合显示全自动方法略高。
  • 未来研究若解决本综述指出的共同方法学局限,AI驱动的专家级前列腺MRI评估有望在多中心和不同经验读者间广泛可及且可重复。

研究设计与样本

  • 系统综述,方案经所有作者同意并在PROSPERO注册(CRD42021270309),报告遵循PRISMA。
  • 检索MEDLINE/PubMed、arXiv、medRxiv和bioRxiv 2016年1月1日至2021年7月31日发表的文献,初检得314篇,去重后310篇,标题/摘要筛选后60篇相关,全文筛选后28篇进入质量评价。
  • 28篇中12篇采用基于DL的全自动方法并以CLAIM评价,16篇采用TML的半自动方法并以RQS评价;最终5/12(42%)DL论文和12/16(43%)TML论文通过质量筛查并接受完整QUADAS-2评估、数据提取和叙述性综合。
  • 参考标准为MRI靶病灶的组织病理学评估,csPCa定义为ISUP分级组≥2,iPCa定义为ISUP分级组1。
  • 因患者特征、AI算法、参考标准评估方法和验证策略存在显著异质性,选择叙述性综合而非汇总数据Meta分析。

诊断标准与关键数值

  • 低偏倚风险DL论文区分csPCa与iPCa及良性病变的AUC为0.80–0.89,排除高偏倚风险研究后为0.85–0.89。
  • 低偏倚风险TML论文区分csPCa与iPCa及良性病变的AUC为0.75–0.88,排除高或不明确偏倚风险研究前为0.75–0.98。
  • Wang等研究中外周带与移行带病灶AUC分别为0.89(95%CI 0.86–0.93)和0.97(95%CI 0.95–0.98),准确率分别为0.91(95%CI 0.86–0.95)和0.89(95%CI 0.87–0.91)。
  • Li等模型准确率为0.90,Hiremath等模型准确率为0.78,两项研究均联合外周带与移行带病灶。
  • 12篇TML论文平均RQS为10.9±2.0分(满分36分),TML论文平均RQS原文另处写为11/36。

临床应用与阅片要点

  • 作者认为,DL全自动方法因性能与TML半自动方法相当且可能节省时间,长期看可能更具临床实用性(原文用may prove)。
  • 本综述纳入的几乎所有DL论文仍需读者进行至少少量手动交互,包括以图像块或边界框识别病灶,仍引入观察者间变异。
  • 作者指出,同一患者队列中DL与TML方法的头对头比较是尚未满足的重要研究需求。
  • 原文未据此给出推荐。

局限性

  • 研究间存在显著异质性,无法进行定量分析或两种方法的直接比较。
  • 12篇TML论文平均RQS为10.9±2.0分(满分36分),原文另处写为11/36。
  • 17篇论文中5篇有高偏倚风险,1篇偏倚风险不明确;3/5(60%)高偏倚风险研究因患者选择不当,其中2篇存在不适当排除、1篇采用病例对照设计。
  • 1篇研究未在测试集评价前预先设定阈值;1篇以MRI前六周的经直肠超声引导活检为参考标准,引入高偏倚风险。
  • 2篇(40%)论文在指数测试(MRI)与参考标准(活检)间的数据流程和时序方面有高偏倚风险。
全文中译18 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Mar 28;13:59. doi: 10.1186/s13244-022-01199-3

要点

全自动和半自动基于MRI的人工智能算法在区分临床显著前列腺癌(csPCa)/惰性前列腺癌(iPCa)方面表现出相当的性能。

深度学习(DL)和传统机器学习(TML)论文具有本综述中讨论的共同方法学局限性。

需要在数据集、分割、参考标准评估和模型评价方面达成共识。

背景

与传统的PSA-经直肠超声(TRUS)路径相比,活检前多参数磁共振成像(mpMRI)的引入通过减少不必要的活检数量和增加临床显著疾病的检出率,显著提高了前列腺癌(PCa)诊断的质量[1–3]。然而,mpMRI的诊断性能高度依赖于阅片者经验[4, 5]和图像质量[6],加之需要在耗时的手动勾画活检靶区与放射科日益增加的工作压力之间取得平衡[7],限制了基于人群的高质量mpMRI驱动PCa诊断的推广实施。

欧洲泌尿生殖放射学会(ESUR)与欧洲泌尿外科学会(EAU)泌尿影像学分会(ESUI)近期发表的联合立场文件强调了开发稳健且临床适用的人工智能(AI)方法的重要性,以克服上述局限性并促进mpMRI驱动的PCa诊断路径在社区中的成功部署[8]。重要的是,作者建议将AI用作分诊工具来检测和勾画疑似临床显著前列腺癌(csPCa)区域,其与惰性前列腺癌(iPCa)和良性病变的准确区分决定了后续活检的必要性,并定义了mpMRI的诊断准确性。尽管近期已有若干系统综述[9–12]和叙述性综述[13]描述了AI方法在MRI上检测csPCa的性能,但对于全自动与半自动方法应用于这一特定临床任务时的比较性能知之甚少。进行比较的理由基于两种方法之间的若干固有差异。具体而言,全自动方法依赖于学习到的深度影像组学特征,在初始训练和验证后不需要人工输入,这奠定了其在显著减少放射科医生临床工作量方面的颠覆性潜力。相反,半自动方法最常基于手工设计的影像组学特征,需要手动勾画和图像预处理,这可能增加放射科医生的时间,却未带来显著的诊断获益。

因此,本系统综述的主要目的是分析当前关于全自动和半自动AI方法在MRI上区分csPCa与iPCa及良性疾病的文献。此外,我们旨在识别现有研究的常见方法学局限性和偏倚,并提供前瞻性解决方案。未来解决这些问题将有助于开发稳健、可泛化且临床适用的MRI衍生AI模型用于PCa诊断。

材料与方法

为避免偏倚,综述方案经所有作者同意,并在综述流程开始前在PROSPERO注册(CRD42021270309)。

检索策略

数据收集和报告遵循系统评价和荟萃分析优先报告条目(PRISMA)[14]进行,完整的PRISMA 2020清单见附加文件2:表S1。我们对2016年1月1日至2021年7月31日期间在MEDLINE/PubMed、arXiv、medRxiv和bioRxiv中索引的已发表和未发表研究进行了计算机化文献检索。完整检索策略总结于附加文件1。

纳入标准

目标人群包括未经治疗的患者,这些患者接受了前列腺MRI检查,随后使用全自动或半自动人工智能(AI)方法进行处理,以检测病灶并随后进行二分类为(a)临床显著性前列腺癌(csPCa)或(b)惰性前列腺癌(iPCa)或良性疾病。AI方法(指标试验)的性能以MRI目标病灶的组织病理学评估为参照,其中csPCa定义为国际泌尿病理学会(ISUP)分级分组≥2的疾病,iPCa定义为ISUP分级分组1的疾病。结局指标包括AI方法区分csPCa与iPCa和良性疾病的诊断性能,以受试者工作特征曲线下面积(AUC)、灵敏度、特异度、准确度、阳性预测值(PPV)和阴性预测值(NPV)衡量。本综述仅纳入以英文撰写并呈现原始结果的研究。

系统评价流程

我们采用三阶段流程来筛选适合纳入本综述的论文,使用Covidence [15]作为基于网络的支持工具。在第一阶段,由两名评价者(N.S.、L.R.)组成的团队独立进行标题和摘要筛选以确保相关性,分歧由第三名评价者(T.B.)解决。在第二阶段,同样的两名评价者筛选每篇论文的全文以确定合格性,分歧由同一名第三评价者解决。在第三阶段,四名评价者(第1组:N.S.、NMDS;第2组:L.R.、M.Y.)评估论文中方法学记录的质量,以评估其结果的可重复性。使用基于深度学习(DL)方法的全自动AI方法的论文使用医学影像人工智能清单(CLAIM)[16]进行评估,而使用依赖传统机器学习(TML)方法的半自动AI方法的研究则使用影像组学质量评分(RQS)[17]进行评估,详见附加文件1。

偏倚风险评估

我们使用诊断准确性研究质量评估(QUADAS-2)工具[18]来评估本系统评价中纳入研究的偏倚风险和适用性。根据QUADAS-2指南,我们制定了针对本综述的特定方案,说明如何评估每个信号问题,总结于附加文件1。QUADAS-2评估由同样的两个两人评价者团队进行,每篇论文在由全部四名评价者协商解决分歧之前由评价者独立审阅。

数据提取

数据提取标准在综述开始前已达成一致,随后由同样的评价者团队独立提取。提取参数的完整列表见附加文件3,关键诊断性能特征为内部留出集或外部测试集(如可得)的AUC、灵敏度、特异度、准确度、NPV和PPV。

数据分析

鉴于本综述纳入的诊断准确性研究中患者特征、AI算法、参考标准评估方法和验证策略存在显著异质性,我们选择叙述性综合而非汇总数据的荟萃分析,以避免产生偏倚结果[19]。

结果

研究选择

研究选择流程见图1。初步检索共识别314篇论文,其中Covidence标记4篇为重复文献,经人工核实后予以剔除。310篇中有60篇的标题或摘要被认为与综述问题相关;其中,28篇在全文筛选后保留进入质量评价。28篇中有12篇采用基于深度学习(DL)方法的全自动AI方法,因此使用CLAIM进行筛选;16篇使用传统机器学习(TML)方法开发半自动AI方法,使用RQS进行评估。其中,5/12(42%)篇DL论文[20–24]和12/16(43%)篇TML论文[25–36]通过质量筛选,接受完整的QUADAS-2评估、数据提取和叙述性综合。

图1 系统评价和荟萃分析优先报告条目(PRISMA)2020文献检索流程图。csPCa,临床 significant 前列腺癌;iPCa,惰性前列腺癌 查看原图 ↗

质量评价

在接受CLAIM质量筛选的12项DL研究中,3项(25%)[37–39]至少未通过三项预先确定的强制性标准,2/12[40, 41]未通过两项,2/12[42, 43]仅未通过一项标准。7篇被拒论文中有4篇(57%)[37–39, 43]未充分详细描述数据处理步骤(Q9),4/7[38–40, 42]未解释选择最终模型的确切方法(Q26),3/7[38, 40, 41]未提供足够的训练方法细节(Q25)。随后对剩余5篇论文进行完整CLAIM评估,我们发现 none of them 报告了以下条目:数据子集选择(Q10)、稳健性或敏感性分析(Q30)、外部数据验证或测试(Q32)以及错误分类病例的失败分析(Q37)。CLAIM质量筛选和完整评估结果见附加文件1。

16项TML研究中有1项(6%)[44]使用RQS进行质量筛查得分为2/8,1/16 [45]得分为6/8,2/16 [46, 47]得分为7/8,这些研究因此被排除在后续完整的RQS评估之外。所有被排除的论文均未充分记录成像方案(Q1),且均未由不同放射科医师进行多次分割,也未对图像分割对感兴趣区(ROI)形态学扰动的稳健性进行分析(Q2)。剩余12篇接受完整评估的论文的平均RQS为10.9 ± 2.0(标准差),满分为36分。所有论文均未进行体模研究以检测扫描仪依赖性特征(Q3)、未报告校准统计量(Q10)、未注册前瞻性研究(Q11),也未报告所提出模型临床应用的成本效益(Q14)。仅有一篇(8%)论文[32]讨论了最终模型中部分影像组学特征的潜在生物学相关性(Q7),仅有两篇论文[28, 36]对其模型进行了外部测试(Q12)。此外,12篇论文中仅有6篇(50%)[25, 26, 29–32]由多名放射科医师进行图像分割,或评估了影像组学特征对ROI形态学扰动的稳健性(Q2)。12篇论文中有8篇(67%)[25–27, 30–32, 34, 35]未公开任何用于训练模型的图像、代码或特征值(Q16),仅4/12篇(33%)论文[30, 31, 34, 36]将非影像组学特征纳入多变量分析(Q6)。RQS筛查和完整评估的结果见附加文件3。

偏倚风险评估

QUADAS-2评估的完整结果见附加文件1,其图形化汇总见表1和图2。总体而言,分别有11/17(65%)[12, 20–23, 25, 26, 29, 31, 34, 36]、1/17 [35]和5/17 [24, 27, 30, 32, 33]篇论文具有低、不明确和高偏倚风险。所有论文的适用性关注度均为低。不恰当的患者选择导致3/5(60%)项研究[27, 30, 33]存在高偏倚风险,其中两篇论文包含不恰当的排除标准,一项研究使用了病例对照设计。一项研究[30]在评估索引试验在测试集上的性能之前未预先指定阈值。一项研究[32]使用MRI前六周进行的经直肠超声引导(TRUS)活检作为参考标准,引入了高偏倚风险。两篇(40%)论文[24, 32]在索引试验(MRI)与参考标准(活检)之间的数据流和时间间隔方面存在高偏倚风险,其中一篇论文同时使用手术病理和活检结果作为参考标准,另一篇论文报告活检与MRI之间的间隔为六周,低于推荐的至少六个月阈值[48]。唯一一篇偏倚风险不明确的论文未报告任何关于MRI与活检之间时间间隔的信息,也未报告活检的具体类型及其在研究中的所有患者中是否一致。

表1 QUADAS-2偏倚风险和适用性关注度 查看原表 ↗
图2 QUADAS-2偏倚风险和适用性关注度评估汇总 查看原图 ↗

研究特征

通过质量筛查的研究所纳入患者的总结人口学特征见表2。5篇深度学习(DL)论文中有2篇(40%)[20, 21]使用了作为开源PROSTATEx挑战数据集一部分可获得的患者数据[49],而其余3项(60%)研究[22–24]使用了来自单一机构的数据。重要的是,一篇论文[24]在其一个患者队列中交替使用了根治性前列腺切除术和靶向活检。所有DL研究均未报告MRI与活检之间的时间,而所有研究均使用单一厂商的MRI。标注MR图像的阅片者数量在1至4之间,阅片者经验在0.5至20年之间。

12篇TML论文中有10篇(83%)[12, 25, 26, 30–36]使用了非公开可用的机构数据集,其余2/12(17%)项研究[27, 29]使用了PROSTATEx挑战数据集[49]。在8篇(67%)论文[25–27, 29–32, 34]中,组织病理学金标准通过靶向活检获得,而2项研究[28, 33]依赖根治性前列腺切除术数据,1篇[36]为多机构研究,在不同队列中依赖活检(靶向或系统)或前列腺切除术数据,另有1篇[35]未明确报告金标准来源。仅2篇(17%)论文[31, 32]报告了活检与MRI之间的时间;在这些研究中,活检分别在MRI前3个月[31]或6周[32]进行。9项(75%)研究[25–27, 29, 30, 32–35]各来自1个中心并使用1个厂商,而其余3项研究[28, 31, 36]为多厂商。阅片者数量在1至5之间,阅片者经验在0.5年至超过25年之间。

表2 纳入叙述性综合的研究所包含患者的总结人口学特征 查看原表 ↗

预测建模特征

DL论文的总结预测建模特征见表3。所有研究均使用了不同的卷积神经网络(CNN)架构,其中3/5(60%)项研究[20, 23, 24]提出了自己的网络,2篇论文使用了现成网络,包括VGG16[21]和U-Net[22]。没有任何论文将非影像特征纳入预测建模目的,也未对所开发的预测模型进行外部测试。所有DL论文均设计为分类任务,以区分csPCa与iPCa及良性病变。4项(80%)研究[21–24]在整个前列腺水平进行分析,1项研究[20]分别分析外周带和移行带病变。重要的是,没有任何DL研究使用外部数据集验证其结果。

表4总结了TML论文相似的预测建模特征。最常用的三种ML模型包括随机森林(50%的论文)、逻辑回归(42%的论文)和支持向量机(25%的论文),其中7/12项研究测试了几种不同的模型。分别有12/12(100%)[25–36]、9/12 [25–31, 33, 36]和7/12 [25–29, 32, 35]篇论文从表观扩散系数图、T2加权图像和不同b值的扩散加权图像中提取影像特征。与DL论文相比,仅7/12(58%)项TML研究[25, 27, 29–31, 35, 36]区分了csPCa与iPCa及良性病变,而其余五项研究(42%)[26, 28, 32–34]未纳入良性疾病,因此仅侧重于区分csPCa与iPCa。八篇(67%)论文[26, 28, 30–33, 35, 36]在整个前列腺水平进行分析,两篇[27, 34]分别报告了外周带和移行带病变的结果,一篇[25]开发了适用于整个前列腺以及外周带和移行带病变的模型,一篇[29]仅纳入外周带肿瘤。七项(58%)研究[25–27, 29–32]使用内部留出法验证其结果,三篇论文[33–35]使用交叉验证,其余两项研究[28, 36]使用混合留出队列或完全外部留出数据集。

表3 使用基于深度学习全自动AI方法的研究的预测建模特征 查看原表 ↗
表4 使用基于传统机器学习半自动AI方法的研究的预测建模特征 查看原表 ↗

全自动与半自动AI方法的性能比较

5项DL研究中有3项(60%)[21–23]明确规定了计算所开发模型性能特征的阈值;这些内容呈现在表5中。对于将外周带和移行带病变合并进行分类的研究[21, 23, 24],测试集中报告的性能最佳模型在区分csPCa与iPCa及良性疾病方面的AUC范围为0.80至0.89。重要的是,当Seetharaman等[24]的研究因QUADAS-2评估报告的高偏倚风险(表1)而被排除在计算之外时,AUC范围变为0.85–0.89。在Wang等[20]的研究中,外周带和移行带病变的AUC分别为0.89 [0.86–0.93]和0.97 [0.95–0.98],而Schelb等[22]的研究未报告AUC值。四项(80%)研究[21–24]未报告所开发模型的准确率,而Wang等[20]报告外周带和移行带病变的准确率分别为0.91 [0.86–0.95]和0.89 [0.87–0.91]。所有研究均报告了所提出模型的敏感性和特异性,而仅2/5(40%)项研究[22, 23]给出了NPV和PPV,且两种情况下的NPV均较高(表5)。

12项经直肠黏膜超声(TML)研究中有6项(50%)[25, 30–32, 34, 36]为诊断性能设定了具体阈值,由此得出的特征汇总于表5。对于合并外周带和移行带病变的研究,表现最佳模型的AUC范围在0.75至0.98之间。当从计算中剔除5篇在QUADAS-2(表1)上存在高偏倚风险或不明确偏倚风险的论文[27, 30, 32, 33, 35]后,AUC范围变为0.75–0.88。Li等[30]的研究(高偏倚风险,见表1)是两篇报告所提出模型准确度(0.90)的论文之一,另一篇为Hiremath等[36]的研究,其准确度达到0.78;两项研究均将其模型应用于合并的外周带和移行带病变。3/12(25%)篇论文[27, 33, 35]未报告其模型的敏感度和特异度,仅Li等[30]的一项研究呈现了其模型的阴性预测值(NPV)和阳性预测值(PPV)。

表5 全自动和半自动人工智能方法鉴别临床显著性前列腺癌(csPCa)与惰性前列腺癌(iPCa)或良性疾病的诊断性能 查看原表 ↗

讨论

本系统综述凸显了在开发全自动和半自动基于磁共振成像(MRI)的人工智能方法以鉴别csPCa与iPCa及良性疾病方面的研究力度。虽然由于本综述纳入的研究存在显著异质性,无法进行正式荟萃分析和两种方法的直接比较,但叙述性综合揭示了二者性能相当,其中全自动方法略高。如果本综述所概述的常见方法学局限性得到解决,未来研究将有可能使人工智能驱动的专家级前列腺MRI评估在多个中心和不同经验的阅片者之间广泛可及且可重复。

与这份报告一致,先前关于基于DL和TML的AI方法在前列腺癌(PCa)诊断中诊断性能的系统综述和叙述性综述[9, 11–13]也强调了所开发预测模型存在显著异质性和可重复性差的问题。虽然Cuocolo等人[10]的荟萃分析显示,基于TML的模型相比基于DL的模型具有更高的AUC,但作者从定性合成中纳入的所有研究中提取数据。其中一些研究存在高偏倚风险,并在患者人群、参考标准评估方法、预测模型的区域分布及其他潜在混杂因素方面表现出重要差异。在本综述中,在QUADAS-2评估基础上增加完整的CLAIM和RQS质量评价,凸显了基于DL和基于TML的研究均存在高度方法学异质性,这限制了其定量合成的可靠性。然而,定性合成的结果表明,基于DL的全自动AI方法由于与基于TML的半自动方法性能相当,从长远来看可能更具临床实用性。全自动方法的一个关键实际优势是其潜在的节省时间效应,这在放射科工作量不断增加背景下具有重要意义。话虽如此,本综述纳入的几乎所有DL论文仍需要阅片者至少进行极少量的手动交互,包括将病灶识别为图像块[20]或边界框[22–24],从而仍引入了已知的观察者间变异因素。然而,在同一患者队列中对基于DL和基于TML的AI方法进行头对头比较,是一个亟待满足的高度重要研究需求领域。若得到解决,这将有能力直接回答本综述背后的临床问题。

在本综述中,结合完整的CLAIM、RQS和QUADAS-2评估揭示了若干常见的方法学局限性,其中一些适用于DL和TML研究。这些常见局限性分为四个不同领域:(1)用于模型开发的数据集,(2)用于确保图像分割质量和可重复性的方法,(3)参考标准评估方法,(4)用于模型评估的策略。以下段落总结了四个领域中每个领域的关键局限性,并在附加文件1中提供了对其前瞻性缓解的详细建议。

首先,本综述纳入的绝大多数论文要么使用非公开可用的单中心数据集,要么使用同一开源单中心PROSTATEx挑战数据集[49]。使用单中心数据集(无论公开还是私有)而不进行外部测试,对所开发模型的临床适用性构成关键限制。反之,使用单一公共数据集而不补充额外数据,会助长社区范围内的过拟合,从而限制该数据集本身的效用。

其次,近一半的研究未对多位放射科医师分割的图像进行处理,因此由于即使在专家之间也存在已知的观察者间变异性[50–52],所开发预测模型的泛化能力受到限制。这同样适用于原始PROSTATEx数据集[49],该数据集包含基于单一阅片者所提供轮廓的病灶坐标。虽然我们综述中纳入的一项深度学习研究[20]使用了原始的单阅片者分割,但另一项研究[21]通过利用Cuocolo等人[53]的专项研究中经多位阅片者验证的分割克服了这一局限。即使在同一数据集上训练并使用相同的人工智能方法,使用不同分割开发的模型其性能也必然存在差异,这给该领域带来了额外的异质性层面。

第三,仅80%的深度学习论文和67%的传统机器学习论文使用MRI靶向活检标本作为参考标准来源。其余研究要么依赖根治性前列腺切除术数据,要么纳入混合患者队列,其中参考标准通过不同方法获得。虽然根治性前列腺切除术标本可提供对病灶形态的确定性评估,但由于中危疾病患者的过度代表,所得预测模型的临床适用性将非常有限。如果预测模型的训练目的是区分惰性前列腺癌(iPCa)和临床显著前列腺癌(csPCa),从而帮助临床医师决定是否需要后续活检,那么采用认知融合、超声/MRI融合或MRI引导下经会阴穿刺的MRI靶向活检是参考标准评估的适当标准。

第四,所有深度学习论文和仅两篇传统机器学习论文使用了外部测试来评估所开发预测模型的泛化能力[54]。鉴于MRI衍生影像组学特征固有的低重现性和可重复性[55, 56],缺乏稳健的外部测试以及对特征对扫描参数稳健性的预先评估,是任何基于MRI的人工智能算法临床使用的主要障碍。然而,即使外部测试成为常规,避免在报告有助于评估模型性能的常用判别指标时犯常见错误也很重要。这些错误通常包括未明确识别计算这些指标时所采用的操作点,以及未提供反映估计不确定性的置信区间。理想情况下,操作点应反映专家放射科医师的预期性能,合并阴性预测值97.1%(95% CI 94.9–98.7%)[2]是关键临床基准,该基准已确立多参数MRI(mpMRI)作为一种能够有效排除csPCa的诊断检查。重要的是,对错误分类病例进行全面的失败分析是理解和传达所开发模型诊断陷阱的关键,这对于其安全和循证临床使用至关重要。最后,尽管指出了上述缺陷,我们认可将人工智能方法应用于mpMRI驱动的前列腺癌诊断领域的出版物总体质量较高。为提高其方法学质量,下一步需要国际和多机构的联合努力,其成功将主要取决于用于训练和验证人工智能算法的数据质量。

本综述存在若干局限性。引入严格的CLAIM和RQS方法学筛选导致排除了若干发表在高影响力期刊上的高质量论文,如《Journal of Magnetic Resonance Imaging》、《European Radiology》和《Cancers》。这种方法我们此前已在另一篇综述中采用[57],使我们仅纳入具有可重复性的研究。然而,必须承认CLAIM要求相比RQS要求更难满足。我们也承认一些相关研究可能未被纳入,特别是在我们检索与本文发表之间发表的文献。由于研究间存在相当大的异质性,我们未对全自动和半自动AI方法的诊断准确性进行正式比较的数据合并。然而,这通过广泛的叙述性综合得到了弥补,该综合识别了纳入研究的常见缺陷和不一致之处,这些构成了其异质性的基础。

结论

总之,我们观察到全自动和半自动MRI衍生AI方法在区分csPCa与iPCa及良性疾病方面具有相当的性能。对本综述纳入研究的深入CLAIM和RQS方法学质量评估揭示了若干重要缺陷,这些缺陷限制了绝大多数所提出预测模型的临床适用性和普适性。这些缺陷包括但不限于:使用无外部测试队列的单中心数据集、缺乏多读者图像分割、使用不恰当的参考标准评估方法,以及模型评估指标报告不充分,无法为其可解释性和临床适用性提供信息。未来针对这些局限性的研究将有助于释放AI的颠覆性潜力,并使专家级mpMRI驱动的PCa诊断的益处惠及更广泛的人群。

补充信息

附加文件1. 总结综述指导及CLAIM、RQS和QUADAS-2评估结果的主文档。

附加文件2. PRISMA-2020清单。

附加文件3. 补充方法。

引用

  1. Sushentsev N, Moreira Da Silva N, Yeung M, et al. Comparative performance of fully-automated and semi-automated artificial intelligence methods for the detection of clinically significant prostate cancer on MRI: a systematic review. Insights Imaging. 2022. PMID: 35347462. doi:10.1186/s13244-022-01199-3
  2. 全文:PMC8960511(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8960511/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。