指南与共识泌尿生殖腹部MR

人工智能与放射科医师在前列腺癌磁共振成像初步诊断中的比较:一项系统综述及未来研究建议

Artificial Intelligence Compared to Radiologists for the Initial Diagnosis of Prostate Cancer on Magnetic Resonance Imaging: A Systematic Review and Recommendations for Future Studies.
指南 / 共识 · Cancers (Basel) · 2021-07-01

该系统综述纳入27项回顾性研究,比较人工智能计算机辅助诊断(CAD)与放射科医师在前列腺癌mpMRI检测或分类中的表现,以组织病理为参考标准。多数研究在小型内部数据集上报告CAD优于放射科医师,但在少数使用外部数据评估的研究中未观察到这一优势。作者认为目前证据不足以支持AI算法的临床部署,需进一步制定方法学标准、获取大型多样化数据集并开展前瞻性评估。

要点

  • 多数研究在小型内部数据集上报告CAD诊断准确性优于放射科医师,但外部数据评估的研究未观察到该优势。
  • 仅3项研究使用多中心数据评估,仅3项使用多厂商MRI数据,仅4项使用外部测试集进行最终统计报告。
  • 作者认为目前证据不足以支持AI CAD系统在前列腺MRI中的临床部署。

核心结论

  • 本综述发现目前证据不足以建议AI CAD系统在前列腺MRI中临床部署,原因包括质量评估框架发现的方法学缺陷以及使用小型、主要为单中心患者队列进行性能比较所致的偏倚。
  • 若干研究在小型内部患者数据集上报告CAD优于放射科医师判读,但在少数使用外部患者数据进行评估的研究中未观察到这一优势。
  • 作者认为需进一步开展工作以制定和执行方法学标准、促进获取大型多样化数据集并开展前瞻性评估,之后才可考虑临床采用。

研究设计与样本

  • 系统综述,按照PRISMA-DTA指南开展,由临床专家和算法开发者共同完成,检索MEDLINE、EMBASE、arXiv和OpenSIGLE截至2021年3月25日的文献。
  • 最终纳入27项研究,所有27项均为回顾性研究设计,评估患者队列规模中位数98例(范围30至417,n=26项报告了评估队列规模的研究)。
  • 纳入标准为评估MRI上前列腺癌检测或分类的CAD、CAD性能与放射科医师判读及组织病理参考标准比较、评估队列为初治患者、有全文;排除使用T1WI/T2WI/DWI/DCEI以外序列、对照放射科医师无法获取至少轴位T2WI和DWI及ADC图、测试队列少于30例患者的研究。
  • 采用改编版QUADAS-2工具结合QUADAS-C初步信号问题及Bluemke等关于放射学AI研究关键考量的社论进行质量评估。
  • 因CAD系统应用、研究设计、算法、评估队列、评估策略和性能指标存在显著异质性,采用叙述性综合而非统计合并;未评估发表偏倚,因诊断准确性研究尚无推荐方法。

诊断标准与关键数值

  • 放射科医师使用PI-RADS或Likert印象量表判读mpMRI,既往报告在初治疑似前列腺癌男性中检测临床显著前列腺癌的敏感度范围为81–90%、特异度范围为64–81%。
  • 16项ROI-C研究中有11项报告了独立CAD性能(对输出进行阈值化给出敏感度和特异度),其中3项报告CAD诊断准确性显著优于放射科医师(分别基于敏感度、特异度或两者),1项报告CAD敏感度显著低于放射科医师,其余7项在敏感度或特异度上无显著差异。
  • 3项ROI-C研究报告了仅病灶水平AUC而非阈值化输出,其中1项报告AUC显著高于阅片者,2项报告无显著差异。
  • 4项研究探讨了整合放射科医师报告评分的集成CAD系统,其中3项显示较单独放射科医师评分有显著改善。
  • Deniffel等的PAT-C研究在概率阈值≥0.2时CAD系统患者水平敏感度和特异度超过阅片者,但该阈值未预先设定或使用训练数据确定,性能可能不能真实反映前瞻性应用时的表现。

临床应用与阅片要点

  • 作者认为目前证据不足以建议AI CAD系统在前列腺MRI中临床部署。
  • 作者认为需进一步开展工作以制定和执行方法学标准、促进获取大型多样化数据集并开展前瞻性评估,之后才可考虑临床采用。
  • 原文提出CAD系统在临床部署中的潜在角色包括:放射科医师临床判读时的辅助系统、提供独立诊断的第二阅片系统、或根据患者风险创建临床工作流程的患者分诊系统。

局限性

  • 纳入研究在CAD系统应用、研究设计、算法、评估队列、评估策略和性能指标方面存在显著异质性,故采用叙述性综合而非统计合并。
  • 因诊断准确性研究尚无推荐方法,未评估发表偏倚。
  • 多数研究使用小型、主要为单中心患者队列进行性能比较,产生偏倚。
  • 仅3项研究使用多中心数据评估,仅3项使用多厂商MRI数据评估,仅4项使用外部测试集进行最终统计报告。
  • 仅3项研究使用统计学样本量计算论证数据集大小合理性,仅6项ROI-C研究(以及所有LL&C和PAT-C研究)报告了模型截断值以说明AI算法如何决策,仅3项研究系统可公开获取。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Cancers (Basel). 2021 Jul 1;13(13):3318. doi: 10.3390/cancers13133318

1. 引言

国际指南推荐对疑似前列腺癌且未接受过活检的男性行多参数磁共振成像(mpMRI),以便在MR引导下靶向活检前进行病灶定位[1,2]。影像科医师主要使用前列腺影像报告和数据系统(PI-RADS)[3]或Likert印象量表[4]解读和报告mpMRI;既往有报道称,影像科医师在未接受治疗的男性中通过mpMRI检测临床显著前列腺癌的敏感度为81–90%,特异度为64–81%[5]。关键在于,与未经靶向的经直肠超声引导(TRUS)活检相比,mpMRI后行MR引导下靶向活检可提高临床显著前列腺癌的检出率,并减少临床不显著前列腺癌的过度诊断[6]。然而,仍需改进前列腺癌诊断路径,以识别被影像科医师解读mpMRI时漏诊临床显著前列腺癌的少数男性,减少因mpMRI假阳性而接受不必要活检的大量男性,并提高不同经验水平影像科医师之间的一致性[5,7,8,9]。

使用人工智能(AI)的计算机辅助诊断(CAD)系统正被积极研究用于多种医学图像分析任务[10]。CAD系统在基于MRI的前列腺癌诊断中最常执行的角色是病灶分类、病灶检测与分割以及患者分类[11]。若能证明系统具有临床效能,则可设想将其临床部署到前列腺癌诊断路径中,作为(i)影像科医师临床阅片时的辅助系统,(ii)提供独立诊断的第二读者系统,或(iii)根据患者风险创建临床工作流程的患者分诊系统。除预期可提高诊断准确性和读者/中心之间的报告一致性外,CAD系统还可缓解病例发病率上升以及缺乏专科影像科医师解读前列腺mpMRI所带来的压力[12]。

早期关于基于MRI的前列腺癌诊断CAD系统的综述主要关注系统的技术方面和潜在应用[11,13]。相比之下,本系统综述考察是否有足够证据支持将CAD用于前列腺MRI的临床部署。为使系统从研究转化为临床使用,它们必须证明优于当前临床实践并提供更好的临床结局。因此,应通过将CAD系统的性能与影像科医师的性能进行比较来确定其临床就绪度,因为影像科医师是当前临床标准。据此,本系统综述纳入研究的关键选择标准是报告了作为CAD性能对照的影像科医师性能。

我们的综述发现,由于使用质量评估框架所识别的研究存在方法学缺陷,以及使用小型、主要为单中心患者队列进行性能比较所导致的偏倚,目前尚无足够证据建议将人工智能计算机辅助诊断(AI CAD)系统临床部署用于前列腺MRI。虽然有几项研究报告称,在小型内部患者数据集上,CAD的性能优于放射科医师判读,但在少数使用外部患者数据进行评估的研究中并未观察到这一结果。我们的综述得出结论,在考虑临床采用之前,需要进一步开展工作以制定和执行方法学标准、促进获取大型多样化数据集并进行前瞻性评估。

2. 材料与方法

本综述依据诊断准确性研究的系统综述和荟萃分析优先报告条目(PRISMA-DTA)指南[14]开展,并由临床专家和算法开发人员共同完成,以确保对研究中呈现的信息进行准确分析和充分评判。

2.1. 文献检索

由两名评审员独立进行系统文献检索,其中包括一名临床医生和一名对前列腺MRI计算机辅助诊断感兴趣的算法开发人员。检索在MEDLINE、EMBASE和arXiv电子数据库以及OpenSIGLE存储库中进行,以探索可能未发表的灰色文献。检索词和检索策略的制定参考了Cochrane系统综述数据库、美国国家卫生研究院(NIHR)卫生技术评估(HTA)数据库和效果评价摘要数据库(DARE)中既往关于医学影像中人工智能的系统综述。MEDLINE使用的检索词和策略见表A1(附录A);为适应各电子数据库进行了相应修改。一旦确定符合条件的研究,即使用科学引文索引(Science Citation Index)识别引用了原始检索词所发现研究的进一步研究,并手动筛选参考文献以识别任何可能遗漏的进一步研究。所有研究均考虑至检索日期:2021年3月25日。

2.2. 选择标准

纳入标准为:(i)评估CAD在MRI上检测或分类前列腺癌的研究;(ii)将CAD性能与放射科医师判读进行比较,并以组织病理学为参考标准;(iii)评估患者队列为初治患者;(iv)可获得全文文章。排除标准为:(i)使用了T1加权成像、T2加权成像、弥散加权成像或动态对比增强成像以外的MRI序列;(ii)对照放射科医师在报告时无法获取至少轴位T2加权成像和弥散加权成像及表观弥散系数图;(iii)用于测试的患者队列少于30例患者。

2.3. 数据提取

研究首先根据标题和摘要的相关性进行筛选;剩余研究的全文由两名评审员独立阅读。符合选择标准的研究被纳入;两名评审员之间的任何分歧通过达成共识解决,必要时咨询第三位专家评审员。

提取的数据被广泛分类为患者和研究特征、放射科医生和CAD系统特征以及诊断性能。在病灶水平和患者水平上提取了敏感性、特异性和受试者工作特征曲线下面积(AUC),并在可获得的情况下提取了95%置信区间。如果同一项研究中评估了多个CAD系统,则考虑对应于性能最高系统的结果。在未报告所需性能统计数据的研究中,如果可能,从可用数据计算性能统计数据,并且如果文章中数据缺失或不明确,尝试联系作者。

2.4. 偏倚风险评估

鉴于缺乏标准化和经过验证的质量评估工具来评估关于医学影像中人工智能的研究,我们使用了诊断准确性研究质量评估(QUADAS-2)工具的改编版本,并附加了来自初步QUADAS-C工具的信号问题[15,16]以及一篇已发表的社论,该社论概述了评估放射学人工智能研究时的关键考虑因素[17]。QUADAS-2改编工具和附加信号问题见补充材料。

2.5. 数据综合

由于CAD系统应用、研究设计、所采用的算法、用于评估的患者队列、评估策略和性能指标存在显著异质性,决定采用叙述性综合而非统计合并进行分析。对于患者队列和测试设置在不同研究之间显著不同且可能产生偏倚结果的诊断测试准确性研究,不推荐进行荟萃分析[18]。未评估发表偏倚,因为目前没有针对诊断准确性研究的推荐方法[18]。

3. 结果

3.1. 文献检索

系统检索的PRISMA流程图见图1。最终分析共纳入27项研究[19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43]。这27项研究以及延伸至其中呈现或评估的CAD系统,被分类为感兴趣区域分类(ROI-C)、病灶定位与分类(LL&C)或患者分类(PAT-C);这些类别在图2中以示意图形式展示。ROI-C指(n = 16)项研究,其中CAD系统对预定义的感兴趣区域(ROI)进行分类,例如手动勾画的病灶[19,20,21,22,23,24,25,26,27,28,29,30,31,32,44,45];LL&C指(n = 10)项研究,其中CAD系统同时进行病灶定位和分类[33,34,35,36,37,38,39,40,41,42];PAT-C指(n = 1)项研究,其中CAD系统直接对患者进行分类[43]。

3.2. 患者和研究特征

患者和研究特征总结于表1。研究发表于2013年至2021年间,研究团队遍布亚洲、欧洲和美国。所有27项纳入研究均采用回顾性研究设计。在报告了评估患者队列规模的研究中,用于评估的患者队列规模中位数为98(范围30至417,n = 26)[19,20,21,22,23,24,25,26,27,28,29,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45]。大多数研究(n = 18)纳入临床疑似患者队列[20,21,22,23,27,31,34,35,36,37,38,39,40,41,42,43,44,45],而较少研究(n = 9)纳入经活检证实为前列腺癌的患者队列[19,24,25,26,28,29,30,32,33]。研究中使用的组织病理学参考标准为以下之一或其组合:经会阴模板前列腺定位(TTPM)活检、磁共振引导下靶向活检、经直肠超声(TRUS)靶向活检、TRUS饱和活检、TRUS系统活检或根治性前列腺切除术。大多数研究(n = 22)使用3T磁共振扫描仪采集图像[19,20,21,23,24,25,29,30,31,32,33,34,36,37,38,39,40,41,42,43,44,45],而较少研究(n = 4)使用1.5T磁共振扫描仪[22,26,27,35];另一项研究主要使用3T,但包含一次在1.5T下采集的扫描[28]。三项研究使用多中心数据完成评估[19,34,38],仅三项研究使用多厂商MRI数据进行评估[19,23,34]。

3.3. 阅片者与计算机辅助诊断(CAD)系统特征

阅片者和CAD系统特征总结于表2。在大多数研究(n = 26)中,阅片者使用多参数MRI(mpMRI)对可疑病灶进行评分[20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45],而在一项研究中使用了双参数MRI(bpMRI)[19]。在15项研究中,患者病例由单一阅片者报告[19,20,21,22,23,28,32,33,37,38,39,40,42,43,44],而在其余12项研究中,患者病例由多名阅片者报告[24,25,26,27,29,30,31,34,35,36,41,45];在多名阅片者对每位患者进行报告的情况下,所呈现的阅片者性能为阅片者性能的平均值或基于阅片者的共识意见。各研究中阅片者经验差异显著;在按经验水平对阅片者性能进行分层的研究中,提取了最有经验阅片者组的详细信息。在CAD系统所采用的机器学习算法方面观察到相当大的异质性:五项研究提出了卷积神经网络(CNN)[32,33,39,40,43],一项研究评估了市售的Watson ElementaryTM系统[41],而其余21项研究提出或评估了基于传统机器学习算法的CAD系统[19,20,21,22,24,25,35,36,37,38,41,45]。在各研究中,使用了多种方法构建用于训练和评估的数据集。六项研究使用随机拆分[19,30,31,32,39,43],五项研究使用时间拆分[21,22,23,40,45],五项研究使用留一患者交叉验证(LOPO)[24,25,26,29,37],四项研究使用独立内部测试队列[35,36,42,44],四项研究获取外部数据进行测试[28,34,38,41],两项研究使用五折交叉验证[20,33],一项研究未报告如何分离训练和评估数据[27]。

3.4. 偏倚风险评价

图3展示了纳入研究的QUADAS-2评估总结。总体而言,患者选择方面的偏倚风险较低。大多数研究(n = 20)纳入了具有适当纳入和排除标准的连续患者队列[20,21,22,23,24,25,27,28,29,31,32,33,35,37,39,40,41,42,44,45]。然而,在六项研究中,由于病例选择描述不充分,患者选择的偏倚风险不明确[19,26,30,34,36,43];一项研究因采用病例对照设计,患者选择的偏倚风险较高[38]。在八项以活检证实患者队列为特征的研究中,对患者队列适用性的关注度较高,这些研究使用了根治性前列腺切除术作为参考标准[24,25,26,28,29,32,33,38],原因在于接受根治性前列腺切除术的患者存在相关的spectrum bias(谱偏倚)[46]以及缺乏无前列腺癌的病例。此外,另一项仅纳入接受根治性前列腺切除术或mpMRI阴性患者的研究,因缺乏良性假阳性MR表现的代表性,也被认为具有较高的适用性关注[38]。在三项仅对初次TRUS活检阴性后行影像学检查的男性进行成像的研究中,患者适用性不明确,这与现代MRI活检前设置的场景不同[20,41,44];还有一项研究因遗漏了基线人口学特征而不明确[19]。在其余研究中,对患者队列适用性的关注度被认为较低[21,22,23,27,31,34,35,36,37,39,40,42,43,45]。除六项研究外,指标测试的偏倚风险均较低;这六项研究因缺乏用于计算灵敏度和特异度的预设模型截断值[19,30],或由于使用随后应用截断值的同一测试集数据来确定模型截断值而被认为偏倚风险较高,后者可能高估了前瞻性使用中可达到的性能[29,32,41]。在一项研究中,当放射科医生知晓所有病例均含有癌症时,指标测试的偏倚风险不明确[24]。对指标测试适用性的关注度总体较低,然而,在四项考虑活检后MRI检查的研究[24,25,28,29]和一项混合使用PI-RADS v1和v2评分系统的研究[39]中,适用性不明确,这两者在当前临床实践中均不常见。

21项研究中参考标准的偏倚风险较低。然而,一项研究的参考标准偏倚风险较高,该参考标准为12针系统性TRUS活检且未辅以其他活检类型[19],已知该方法会遗漏临床显著疾病[6]。在其余五项研究中,偏倚风险不明确,原因在于使用TRUS活检来确定阴性病例[34,36,38,45],或由于部分MR阴性病例缺乏组织病理学随访[37]。在八项研究中,对由参考标准定义的研究终点的适用性关注度较高[24,26,29,30,34,36,41,45],这些研究终点未包括Gleason评分≥ 3 + 4的情况;未包括该情况的终点因与普遍接受的临床显著癌症定义不一致而被标记为高适用性关注[47]。

所有27项研究在研究流程和时间方面均被认为具有低偏倚风险,纳入患者使用了一致的参考标准,且MRI与获取组织病理学之间的时间间隔适当。

根据Bluemke等[17]提出的放射学人工智能论文作者、审稿人和读者关键考量因素,进一步进行了质量评估;质量评估摘要见表3。绝大多数研究充分定义了图像集,使用了广泛接受的训练参考标准,并描述了图像准备工作。然而,其余关键考量因素仅由纳入研究中的一小部分涉及:仅四项研究使用外部测试集进行最终统计报告[28,34,38,41],仅四项研究使用多厂商图像进行评估[19,23,34,38],仅三项研究通过统计样本量计算来论证数据集大小的合理性[34,36,38],16项ROI-C研究中仅六项(以及所有LL&C和PAT-C研究)通过报告模型截断值来展示AI算法如何做出决策,仅三项研究具有公开可用的系统[39,40,41]。

3.5. ROI分类结果摘要

所有16项ROI-C研究的病灶级性能见表4。三项ROI-C研究进一步报告了患者级性能,见表5。大多数ROI-C研究(n = 15)提出了基于传统非深度学习机器学习算法的CAD系统,输入为影像组学和临床特征[19,20,21,22,23,24,25,26,27,28,29,30,31,45],而一项研究使用卷积神经网络(CNN)对以病灶为中心的图像块进行分类[32]。

在16项ROI-C研究中,11项报告了独立CAD性能,即对输出进行阈值化以给出灵敏度和特异度[19,20,21,22,23,27,28,29,30,32,45]。在这11项研究中,三项报告CAD的诊断准确率优于放射科医师且具有统计学显著性,分别体现在灵敏度[29]、特异度[23]或两者兼有[27]。相反,一项研究显示CAD的灵敏度劣于放射科医师且具有统计学显著性[28];在ROI-C研究中,仅该研究使用外部获取的测试数据进行了评估。其余七项研究显示CAD与放射科医师在灵敏度或特异度方面均无显著差异[19,20,21,22,30,32,45]。11项研究中有七项报告了用于对CAD系统输出进行阈值化的方法[20,21,22,23,28,29,32]。五项研究通过不在测试队列中选择截断值来避免偏倚[20,21,22,23,28],而两项研究使用测试队列的约登统计量[29]或最大准确率点[32]来选择截断值。三项研究仅报告了病灶级AUC而未对CAD系统的输出进行阈值化,其中一项研究报告AUC显著高于读者[25],两项研究报告无显著差异[24,26]。

四项研究[29,31,44,45]探讨了结合放射科医师报告评分的集成计算机辅助诊断(CAD)系统,其中三项显示在放射科医师评分基础上联合CAD后有显著提升。Li等[45]使用逻辑回归分类器将CAD似然评分与PI-RADS v2.1评分及前列腺特异性抗原(PSA)值相结合,报告称与单独放射科医师PI-RADS v2.1评估相比,AUC增加且具有统计学显著性。在Litjens等[44]的研究中,使用逻辑回归分类器将CAD似然评分与PI-RADS v1评分相结合;他们报告称与单独使用PI-RADS v1的放射科医师评估相比,特异性增加且具有统计学显著性。在Wang等[29]的研究中,使用支持向量机分类器将影像组学特征与PI-RADS v2评分相结合;他们发现与单独放射科医师PI-RADS v2评估相比,敏感性增加且具有统计学显著性。另有进一步的两项研究比较了放射科医师在知晓与不知晓CAD评分情况下的判读[24,26],未显示出显著差异。

3.6. 病灶定位与分类结果摘要

十项研究探讨了使用CAD系统同时进行病灶定位和分类。表4和表5分别显示按病灶和按患者的结果。六项研究评估了传统的非深度学习机器学习算法[34,35,36,37,38,42],三项研究评估了卷积神经网络(CNN)[33,39,40],一项研究评估了市售的Watson ElementaryTM系统[41]。

五项研究的主要目的是探讨CAD系统在病灶定位和分类方面的独立性能[33,37,39,40,41]。其中,仅Schelb等[39,40]报告的研究通过选择未使用测试数据确定的截断值来报告敏感性和特异性。在内部测试队列上,这两项研究均未报告CAD与阅片者在按病灶和按患者层面上的敏感性或特异性存在统计学显著差异。

五项研究探讨了CAD系统在辅助阅片者定位和分类可疑病灶中的作用[34,35,36,38,42]。在其中四项研究中,阅片者只能认可或否定CAD系统输出的体素概率图所标记的病灶[34,35,36,38]。Gaur等[34]在一个多中心外部测试队列上评估了该范式,该队列包含来自4个国家5家机构的扫描图像;他们发现,与单独阅片者相比,CAD辅助显著降低了每患者灵敏度并提高了每患者特异度。同样,Mehralivand等[38]使用从5家机构收集的多中心外部测试队列评估了CAD辅助;他们发现CAD辅助未显著提高每患者灵敏度,而未报告特异度。在其他类似研究中,阅片者被限制为仅能接受或否定CAD标记区域[35,36],其中一项研究显示,在独立内部测试队列上,CAD辅助提高了每患者灵敏度,且具有统计学意义[35];另一项研究显示,在独立内部测试队列上,CAD辅助降低了每患者特异度,且具有统计学意义[36]。Zhu等[42]并未将阅片者限制为只能从CAD标记区域中选择,而是比较了阅片者在看到CAD系统输出前后不受约束的表现;他们发现,在独立内部测试队列上,与单独阅片者相比,CAD辅助诊断提高了每患者灵敏度,且具有统计学意义。

3.7. 患者分类结果摘要

Deniffel等[43]的研究是唯一符合选择标准的PAT-C研究。他们提出的CAD系统使用卷积神经网络(CNN)分类器直接将患者分类为有或无临床显著癌症。在概率阈值≥0.2时,CAD系统的每患者灵敏度和特异度超过阅片者。然而,由于该阈值并非预先指定,也不是使用训练数据确定的,因此其性能可能不能真实反映该分类器在前瞻性应用中的表现。

4. 讨论

本系统综述凸显了全球研究团队为通过引入人工智能技术来解决前列腺癌诊断路径中已知问题所做的广泛努力。临床医生和算法开发人员共同参与了本系统综述的各个方面,以确保对研究中提供的信息进行准确分析和充分批判。最终分析共纳入27项研究。研究被归类为ROI-C、LL&C和PAT-C。纳入的关键选择标准是报告了放射科医师的表现,从而可将CAD系统的性能与之比较。

在16项ROI-C研究中,根据QUADAS-2评估,Dinh等人[23]的研究质量特别高。他们提出的基于广义线性混合模型分类器的CAD系统,在129例连续患者队列(以系统联合靶向活检为参考标准)上表现出优于放射科医师Likert评分的性能。CAD系统和放射科医师均采用高灵敏度截断值以尽量减少漏诊临床显著性癌症;放射科医师Likert评分以≥3为阈值,而CAD系统以训练集中对应95%灵敏度的截断值为阈值。放射科医师Likert评分的每患者灵敏度为100%(95% CI:100–100%),特异度为9%(95% CI:2–15%);而CAD系统的每患者灵敏度为100%(95% CI:100–100%),特异度为40%(95% CI:28–51%)。因此,使用CAD系统可减少31%的不必要活检,同时确保不漏诊任何临床显著性前列腺癌患者。然而,他们的性能比较仅考虑了内部测试集。相反,Transin等人[28]的研究是唯一使用外部测试集的ROI-C研究;他们评估了与Dinh等人相同的CAD系统,但发现CAD系统灵敏度为89%(95% CI:82–97%),显著低于放射科医师的97%(95% CI:93–100%),且特异度未见改善。

在LL&C研究中,Zhu等人[42]的研究质量较高,这反映在其QUADAS-2评估中。此外,我们认为其研究中评估的CAD辅助范式最有可能实现临床转化。在他们的研究中,阅片者被允许对所有病灶进行评分,包括未被其基于人工神经网络分类器的CAD系统标记的病灶。在规模为153的独立内部测试队列中,每患者灵敏度从无辅助时基于PI-RADS v2阈值≥3的84%(95% CI:75–91%)提高至CAD辅助下的93%(95% CI:86–98%),特异度从56%(95% CI:43–69%)提高至66%(95% CI:53–77%)。需要注意的是,他们的研究考虑的是对相对经验不足的放射科医师(1–2年)进行CAD辅助,此时CAD辅助的影响可能最大。Gaur等人[34]和Mehralivand等人[38]的研究也必须予以强调;这两项研究均使用来自多个国家五个中心的图像评估CAD。此类研究在为CAD系统的临床转化提供支持性证据方面具有重要作用。这些研究分别在规模为216和236的患者队列中报告了放射科医师在有和无CAD辅助时相似的诊断准确性,表明具有可广泛推广的系统用于临床部署的潜力。

由于研究设计、所用算法、评估数据集、评估策略和性能指标存在显著异质性,无法进行荟萃分析或就某一特定类别的算法是否优于其他算法得出结论。此外,纳入研究的缺陷意味着我们无法断定任何已提出的CAD系统是否已具备临床部署的条件。我们现在为未来研究提供建议。

首先,计算机辅助诊断(CAD)评估研究和底层算法应围绕临床相关的问题或用途进行设计。CAD在诊断路径中的特定用途将决定患者队列和训练集与测试集参考标准的理想特征,并为性能结果的适当阈值设定和基准提供依据。本系统综述纳入的大多数研究并未事先说明其预期用途。对于ROI-C系统,CAD似乎适合用于在放射科医生发现病灶后进一步为活检决策提供信息。在这种情境下,理想的CAD系统应保持高灵敏度以尽量减少漏诊癌症,同时提高放射科医生评分的特异度以减少不必要的活检,特别是对于不确定病灶,其活检中临床显著癌症的发生率仅为13–21% [7]。相比之下,LL&C系统可由放射科医生在报告过程中同步使用,以突出可疑区域,以期提高检测灵敏度。本综述中呈现的LL&C系统与专家放射科医生的灵敏度相当,可提高经验较少的放射科医生的灵敏度,并减少因人为错误、分心或疲劳导致的漏诊癌症。或者,PAT-C可能作为第一读者发挥作用,要么对检查进行优先级排序以供放射科医生报告,要么识别可能完全不需要放射科医生审核的阴性病例。CAD系统的预期用途应反映在评估设置中,尽管了解CAD系统的独立性能可能有助于为放射科医生提供背景信息并增强对其底层性能的信心,但放射科医生与CAD系统之间交互的评估应与CAD系统计划的临床用途相一致。此外,我们注意到在Giannini等人的研究中,读者在使用CAD时其诊断准确性变化不一,可能反映了各个读者对CAD系统的信任与其自身经验之间的差异。因此,多读者研究更受青睐 [35]。

其次,测试集在规模、多样性和相关性方面应适当且精心策划。许多纳入研究无论采用何种评估策略,均使用较小的患者队列进行评估。纳入研究中最大的评估队列为 Cao 等的研究 [33],其中使用 417 例患者、728 个病灶(其中 442 个为 Gleason 评分 ≥3 + 4)进行五折交叉验证。研究应确定使研究具有足够把握度所需的最小样本量,以检测 CAD 的某种临床相关效应量,并允许进行统计学上有效的比较 [48];在本综述纳入的研究中,仅 Gaur 等 [34]、Greer 等 [36] 和 Mehralivand 等 [38] 包含了此类计算。值得注意的是,大多数纳入研究使用来自单一中心和单一 MR 扫描仪的内部评估队列进行交叉验证,这阻碍了对 CAD 系统泛化能力的理解。完全独立于训练集的留出测试集优于交叉验证/内部验证,并且应包含来自多个中心和多家 MR 厂商的多样化数据,如 Gaur 等 [34] 所做。我们注意到,那些使用外部测试队列的研究并未证明 CAD 优于放射科医师 [28,34,38,41],而在一些使用内部数据集的研究中则观察到了这种优势 [23,35,42]。使用外部测试队列评估 CAD 时结果不那么乐观的可能原因是泛化差距,这是由于来自不同制造商、场强和采集参数的扫描仪所获得的 MRI 表现各异所致。研究导致最大泛化差距的具体差异,并在未来工作中呈现各扫描仪的结果,将是有意义的。此外,还应考虑将 CAD 系统校准至外部 MR 数据,以改善在外部测试队列上的性能。

第三,CAD 评估研究应使用广泛接受且准确的组织病理学参考标准。对于活检初治人群,与前列腺切除术相比,结合靶向活检与频繁且系统地取样腺体的活检技术(如经会阴模板前列腺定位(TTPM)活检)的参考标准更受青睐,因为后者存在相关的谱偏倚。然而,很少有研究使用 TTPM 活检作为参考标准,因为它通常保留用于计划性临床试验,这表明需要专门为 CAD 系统评估设计计划性临床试验,而非当前使用回顾性临床数据评估 CAD 系统的做法。此外,在将无组织病理学确认的 MR 阴性病例用于 CAD 系统训练和评估时应谨慎。如果无法获得经组织病理学确认的 MR 阴性病例,避免丢弃此类病例很重要,以避免对影像学异常 MRI 的谱偏倚;在这些情况下,长期随访或专家共识审查可能足以作为参考标准。

第四,CAD 评估研究应考虑非影像数据来源。值得注意的是,仅有两项研究使用了影像和放射科医师评分之外的临床数据 [31,45]。尽管焦点通常在于可用的 MR 数据,但非影像生物标志物如 PSA 密度已被证明是临床显著癌症的有用预测因子;在可用时将这些数据与 MR 数据一起纳入,可能会增强算法 [49,50]。

第五,用于评估计算机辅助诊断(CAD)系统的性能指标选择应预先指定,并具备适当的临床背景以便与放射科医师进行比较。遗憾的是,一些研究仅报告了AUC,另一些研究则通过使用测试队列对其CAD系统的概率输出进行阈值化,或未说明阈值是如何选择的,从而引入了偏倚。CAD系统的输出应在不了解测试集的情况下进行阈值化,以产生无偏的敏感度和特异度衡量指标。操作点的选择将取决于特定人群可接受的风险阈值。然而,应应用合理的临床推理来为特定使用场景实现所需的敏感度或特异度。如果作者希望在一系列风险阈值之间进行比较,替代性统计方法如Deniffel等人使用的决策曲线分析可能是合适的。LL&C算法的阈值最好根据可接受的假阳性率来选择,该假阳性率仍能为临床显著性癌症提供足够高的敏感度。多项研究[34,35,39]中注意到了高假阳性率,量化前列腺mpMRI CAD可接受假阳性率的努力可能是有帮助的,正如在其他CAD应用中所做的那样[51]。

第六,更多CAD系统必须公开可用,以使最有前景的CAD系统能够被社区更广泛地评估。在本系统综述中展示和/或评估的CAD系统中,只有Schelb等人[39,40]的研究中展示和评估的深度学习CAD系统以及Thon等人[41]的研究中评估的Watson ElementaryTM系统已公开可用。或者,策划和共享大型、多样化且标注良好的数据集将允许对算法进行直接比较,并可能加速开发更稳健和更具泛化能力的CAD系统。值得庆幸的是,在中心和商业公司之间共享前列腺影像数据的努力正在进行中,此外,前列腺MR中精心设计的AI挑战赛可能是外部评估和比较多种算法的解决方案[52,53]。

最后,CAD系统的前瞻性评估对于模拟临床部署和避免可能影响回顾性评估的偏倚是必要的。在本系统综述中,我们未能识别出任何符合我们选择标准的前瞻性评估研究。对于有影响力的前瞻性评估,考虑CAD输出如何呈现给临床医生以及在诊断路径中如何使用至关重要。值得注意的是,Schelb等人[40]利用回顾性数据模拟了其CAD系统的临床部署,并强调了在单一中心随时间推移维持和优化性能所需的持续质量保证的考虑因素;他们的研究是迈向真正前瞻性评估的有用且实际的步骤。

本综述存在一些局限性。首先,尽管我们认为我们的检索策略是全面的,但有可能一些相关研究未被纳入,特别是在我们的检索与本综述发表之间可能已发表的研究。其次,研究的异质性决定了我们选择叙述性综合而非荟萃分析,这限制了对研究结局之间的直接比较以及宣称特定算法或一类算法优越性的可能。特别是,各研究对临床显著癌症定义的可变性——这很可能对报告的放射科医师和计算机辅助检测(CAD)性能产生了重大影响——是我们决定不进行荟萃分析或直接比较研究的一个主要因素。最后,本系统综述聚焦于诊断准确性,未讨论CAD的其他重要结局,如报告时间的改善或阅片者间一致性的提高。

5. 结论

总之,我们发现目前缺乏证据支持部署基于人工智能算法的CAD系统用于MRI上前列腺癌的初步诊断。在符合本系统综述选择标准的研究中,没有一项采用前瞻性研究设计,CAD的性能获益仅见于使用内部患者数据集进行回顾性评估的研究中。在少数使用外部获取的患者数据评估CAD的研究中,CAD性能要么劣于放射科医师单独评估,要么与之相当。未来的研究必须在前瞻性、外部多中心环境中展示CAD的性能获益,并且必须避免本系统综述纳入研究中发现的方法学缺陷。此外,未来的研究必须设计为回答临床相关问题,并描述其所呈现的CAD系统的具体临床用途。学界加大力度构建定制的高质量大型公共数据集,以实现对CAD所需的稳健外部和前瞻性评估,将大幅加速进展。

引用

  1. Syer T, Mehta P, Antonelli M, et al. Artificial Intelligence Compared to Radiologists for the Initial Diagnosis of Prostate Cancer on Magnetic Resonance Imaging: A Systematic Review and Recommendations for Future Studies. Cancers (Basel). 2021. PMID: 34282762. doi:10.3390/cancers13133318
  2. 全文:PMC8268820(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8268820/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。