放射学人工智能方法系统评价(RAISE):一项系统评价方案
该方案拟按PRISMA与Cochrane手册,检索MEDLINE与EMBASE(2015年至2019年12月31日),以任务为中心系统评价放射学人工智能研究的方法与质量。将按分割、识别、分类、预测任务及儿科患者进行亚组分析,不进行Meta分析而采用叙述性综合,并评估方法学偏倚与数据管理质量。
要点
- 检索MEDLINE与EMBASE(2015年至2019年12月31日),不设语言限制。
- 以任务为中心而非按设备或亚专科分类,亚组含分割、识别、分类、预测及儿科。
- 不进行Meta分析,采用叙述性综合,并以纳入排除标准、内部或外部验证等替代指标评估偏倚。
核心结论
- 本方案旨在评估放射学人工智能研究所用方法与算法、方法学潜在偏倚、数据管理质量及其趋势。
研究设计与样本
- 系统评价方案,注册号PROSPERO CRD42020154790,遵循PRISMA指南与Cochrane协作手册。
- 检索MEDLINE(Pubmed)与EMBASE,时间自2015年至2019年12月31日,检索以英文进行。
- 分为综合所有文献的primary review与仅限儿科文献的secondary review,纳入临床放射学深度学习论文。
- 数据提取由三名放射科医生平行完成,提取前全体评审完成同一5%子样本且评审者间一致性需>90%。
诊断标准与关键数值
- 纳入标准:基于X线、CT、MR、US或核医学/分子或混合成像技术,使用深度学习计算机视觉完成分割、识别、分类或预测任务的临床放射学论文。
- 排除功能MRI论文、影像组学或纹理分析或影像生物标志物识别论文、连接组学论文、质量评估与决策支持论文、图像处理或配准论文、图像质量论文、仅用于放射治疗的论文及非人类或体模研究。
- 儿科综述纳入所有应用于儿科临床放射学的机器学习与深度学习任务。
- 偏倚评估采用纳入排除标准、内部或外部验证及性能指标等基本替代指标。
临床应用与阅片要点
- 本方案不涉及阅片操作建议;作者希望该综述能识别方法得当但被忽视的较小论文,并凸显方法可能欠佳的论文,为方法学设计框架提供证据基础。
局限性
- 本综述存在潜在局限,包括发表偏倚与报告偏倚。
- 无法纳入未发表数据的研究,并会误分类方法学中未清晰报告适应性设计的研究。
- 纳入研究的异质性不允许对结果进行有意义的Meta分析。
- 预计纳入文章数量高(2015–2019年5年间约1000篇),仅能对某些主题作高层级概述。
全文中译18 节 · 点击展开
要点
本研究提出了一套全面的方法学,用于对放射学人工智能现状进行系统评价。
将收集并分析研究的详细特征,包括任务性质、疾病、模态、亚专业和数据处理。
将进行亚组分析,以突出任务、亚专业模态之间设计特征的差异以及算法使用随时间变化的趋势。
引言
背景
继深度卷积神经网络(CNN)在2012年ImageNet挑战赛上取得成功后[1],计算机视觉领域取得了巨大进展。深度学习是机器学习的一个子集,而机器学习本身是人工智能(AI)的一个子集,人工智能是研究计算机如何模拟人类行为的前沿领域。那篇开创性AlexNet论文的资深作者Geoffrey Hinton在2016年建议我们应停止培训放射科医生,因为很明显在5年内深度学习(DL)将超越他们。尽管深度学习驱动的计算机视觉在放射学应用方面取得了重大飞跃,但性能方面的进展尚未如他所预测的那样实现。相反,特定的“窄”应用已被证明是成功的;而广义的超人性能仍然难以实现。可泛化性、稳定性和实施等在医学领域至关重要的问题,使得AI在医疗保健中的临床应用落后于其他行业[2]。虽然最近已建立指南就伦理、数据管理和未来研究的潜在方向提供建议[3–5],但缺乏对整个领域的系统评价。我们的系统评价旨在从任务特定的角度审视放射学AI文献。临床放射科医生的许多角色可以分解为计算机工程师在相关计算机视觉领域中常面临的任务,如分割、识别、分类和预测[6]。
目的
本系统评价旨在(1)评估用于解决这些任务的不同方法和算法,(2)检查方法学中的潜在偏倚,(3)考虑文献中数据管理的质量,以及(4)概述上述所有方面的趋势。
方法与分析
本系统评价已在PROSPERO注册(注册号:CRD42020154790)。我们将根据系统评价和荟萃分析首选报告项目(PRISMA)指南报告本系统评价,并已完成本方案的PRISMA-P清单(表1)。
研究选择的纳入/排除标准
研究设计类型、参与者
拟进行两项独立的评价,一项为主要评价,全面涵盖所有文献,另一项为仅针对儿科文献的二次评价。
该综合综述将纳入所有旨在利用计算机视觉技术完成分割、识别、分类或预测任务的临床放射学(非实验室或体模)深度学习论文。将纳入基于医院的、利用计算机视觉技术通过放射学诊断或干预辅助患者诊疗的人体研究。儿科综述将纳入所有应用于儿科临床放射学的机器学习和深度学习任务。
纳入标准
使用深度学习计算机视觉技术基于X线摄影、计算机断层扫描(CT)、磁共振(MR)、超声(US)或核医学/分子或混合成像技术完成分割、识别、分类或预测任务的临床放射学论文。若比较组为人类-人工智能联合表现,将予以专门记录。
排除标准
功能磁共振成像(fMRI)论文不予纳入,因为用于fMRI数据计算机分析的技术与本综述所关注的基于计算机视觉的任务有本质区别。为确保聚焦于基于计算机视觉的任务并充分评估这些技术,“放射组学”论文或侧重于纹理分析或影像生物标志物识别的论文将从主要综述中排除。连接组学论文、质量评估和决策支持论文不予纳入。图像处理或配准论文予以排除。图像质量论文从主要综述中排除。仅用于放射治疗的论文亦予以排除。非人体或体模研究予以排除。
干预类型
我们不会对干预类型设置限制,将纳入研究人工智能在放射学中临床应用(如上所述)的试验。
试验识别的检索方法
电子检索
我们将在MEDLINE(Pubmed)、EMBASE上进行电子检索,时间范围为2015年至2019年12月31日。将使用Zotero作为参考文献管理工具,并使用R语言中的Revtools包消除重复记录。检索将以英文进行。所用检索词见表2。人工智能和放射学术语通过AND运算符组合,儿科子部分则在此基础上通过AND运算符添加儿科术语。检索词由分别具有放射学和计算机科学背景的两位共同首席研究者协商一致确定。
试验的选择与分析
我们将审阅研究的标题和摘要,以确定临床放射学人工智能研究的纳入或排除。信息不足以确定是否使用人工智能计算机视觉方法的研究也将纳入全文审阅。随后我们将进行全文审阅,以确认最终纳入系统综述的研究。该过程将以PRISMA流程图进行总结。摘要、标题和全文审阅将由B.K.和S.B.完成。如有分歧,将通过协商一致或必要时由第三位审阅者(R.K.)解决。
在完整数据提取之前,所有评审人员将完成相同的5%子样本并审阅答案,以确保评审者间一致性>90%。数据提取将由三名放射科医生进行,其中两人具有国家认证并对人工智能有研究兴趣(S.C.和G.H.)。第三名是正在培训中的放射科住院医师,具有4年经验,是放射学人工智能方向的博士研究生。
三名评审人员将并行提取以下信息并记录在自定义数据库中:来源国(仅限儿科综述)
放射学亚专科
回顾性/前瞻性
监督/无监督
参与者数量
待解决的问题——即分割、识别、分类、预测。
目标疾病和身体区域
参考标准——组织学、放射报告、手术
标准评估方法
内部验证类型
外部验证
预测因子测量的指标方法、低质量影像的排除 是否提供热图?其他可解释性?
算法——架构 是否应用迁移学习 是否使用集成架构
数据来源——用于训练/调优的图像数量、数据来源、数据范围、开放获取数据
是否使用手动分割?
研究质量评估:偏倚风险
由于研究设计的原因,研究内部将存在高度异质性。迄今为止文献中已对此予以确认[7]。然而,我们将使用偏倚风险的基本替代指标,包括纳入和排除标准、内部或外部验证以及性能指标来估计偏倚。
数据综合
本系统综述将不进行荟萃分析。将对数据进行叙述性综合。
按亚组分析
我们将报告总体结局以及按任务划分的结局,即分割、识别、分类和预测任务。将使用描述性统计来展示数据趋势。
研究状态
本系统综述将于2020年7月开始。我们希望于2020年底获得初步结果。
患者和公众参与
我们的研究小组已与特定患者群体MS Ireland进行接触,讨论他们对人工智能应用于放射学的想法、担忧和期望,这些讨论持续为我们的研究决策提供参考。
伦理与传播
本研究不需要伦理批准。我们将在同行评审期刊上发表本系统综述的结果。
讨论
近年来,医学影像检查的数量大幅增加[8]。然而,受过这些检查专家解读培训的临床医生数量未能跟上需求[9]。人工智能已被提出作为解决这一供需问题的一种可能方案[8]。短时间内已发表了大量研究。此外,同时具备放射学和人工智能专业知识的评审人员数量有限。发表标准直到最近才制定[10]。这可能导致不同质量水平的论文被发表,并可能对患者护理产生负面影响。此外,许多论文集中于小范围的病理和任务,这可能导致不必要的工作重复。
我们预计纳入论文的数量将逐年快速增长。我们还预计论文将集中在狭窄的主题范围内。我们旨在确定哪些算法在特定任务中最受欢迎,并调查与现成模型相比是否存在独特或定制模型。超参数优化(无论是自动化还是手工设定)的问题也将被审查。统计分析也将是本综述的一个特色,重点关注样本量计算和性能指标[11]。
我们希望本综述的系统性能够识别出采用恰当方法但可能被忽视的较小论文,同时突出那些某些方法可能欠佳的论文,并为框架性方法学设计提供证据基础。
本综述将存在潜在局限性,包括发表偏倚和报告偏倚。我们将无法纳入未发表数据的研究,并且我们会将方法学中未清晰报告适应性设计的研究错误分类。此外,纳入研究的异质性将不允许对结果进行有意义的荟萃分析。预期纳入文章数量较多(2015–2019年5年间约1000篇文章),仅能对某些主题进行高层次概述。
最后,我们希望提高放射学界对放射学人工智能文献中所提出问题以及用于回答这些问题的方法的认识,并为那些具有工程学或计算机科学背景、希望为该领域做出贡献的人员提供技术概述。
补充信息
附加文件1. 标准数据提取问题。
引用
- Kelly B, Judge C, Bollard SM, et al. Radiology artificial intelligence, a systematic evaluation of methods (RAISE): a systematic review protocol. Insights Imaging. 2020. PMID: 33296033. doi:10.1186/s13244-020-00929-9
- 全文:PMC7726044(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7726044/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。