文献速递技术与安全CTMRUSPET

放射学人工智能:方法学系统综述与评估(RAISE)

Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE).
PubMed 文献 · Eur Radiol · 2022-04-14

该系统综述遵循PRISMA指南,检索2015至2019年放射学深度学习研究,纳入535篇文献。98%为回顾性队列研究,中位患者数460例,MRI占37%,神经放射学最常见。外部验证中77项可直接比较的研究性能平均下降6%。

要点

  • 绝大多数研究为回顾性队列设计,仅13项为前瞻性研究,外部验证有限。
  • 中位Dice为0.89、AUC为0.903、准确率为89.4%,但外部验证性能平均下降6%。
  • UNet是最常用既定架构(14%),88%使用监督学习,39%任务为分割。

核心结论

  • 该系统综述调查了人工智能在临床放射学中应用的主要进展。
  • 文献以回顾性队列研究为主,外部验证有限,偏倚可能性高。
  • 近期系统报告指南的人工智能扩展、前瞻性试验注册以及对内部验证和解释性的关注,显示出将人工智能从代码转化为临床的潜力。

研究设计与样本

  • 遵循PRISMA指南和Cochrane协作网手册,对2015年至2019年发表的放射学人工智能研究进行系统综述,方案前瞻性注册于PROSPERO(CRD42020154790)。
  • 纳入所有使用深度学习完成任务的临床放射学论文,包括基于X线、CT、MR、超声或核医学/分子或混合成像技术的人体医院研究。
  • 排除使用经典机器学习技术、功能MRI、仅用于放射治疗、非人类或体模研究。
  • 检索MEDLINE(Pubmed)和EMBASE自2015年1月1日至2019年12月31日,检索语言为英语。
  • 共检索到11,083条结果,全文审阅767篇,最终纳入535篇文章进行分析。

诊断标准与关键数值

  • 最常用评价指标的中位性能:Dice为0.89(范围0.49–0.99),AUC为0.903(范围0.61–1.00),准确率为89.4(范围70.2–100)。
  • 在109项进行外部验证的研究中,77项可进行内部与外部性能直接比较,外部验证时性能平均下降6%(范围从提升4%至下降44%)。
  • 77项研究中有60项(78%)报告性能下降10%或以下。
  • 最常用既定架构UNet与自定义架构的Dice比较(n=106,57项UNet和49项自定义)显示性能非常相似(0.877和0.895)。

临床应用与阅片要点

  • 阅读放射学人工智能研究时,应关注其是否为回顾性队列设计、是否进行外部验证以及性能比较对象。
  • 仅少部分研究以病理为金标准,多数以放射学报告为金标准,解读结果时需注意参考标准的局限性。
  • 17%的研究未提供性能比较,此类研究结果应谨慎解读;与非专家比较的研究也可能因比较膨胀而产生虚假高期望。

局限性

  • 该系统综述存在发表偏倚和报告偏倚。
  • 未纳入未发表数据或预印本研究。
  • 仅纳入使用深度学习的研究,使用传统机器学习和放射组学的论文被排除。
  • 方法学不清晰的研究可能被错误分类。
  • 纳入研究的异质性不允许进行有意义的Meta分析。
全文中译26 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Apr 14;32(11):7998–8007. doi: 10.1007/s00330-022-08784-6

引言

人工智能(AI)在放射学中的应用正受到越来越多的关注。近年来,深度学习(DL)在计算机视觉(CV)任务上的表现彻底改变了该领域。具体而言,自Hinton及其同事通过AlexNet [1](一种卷积神经网络(CNN))在ImageNet挑战赛中提升性能以来,人们对医学领域的潜在应用产生了兴趣。放射学作为基于数字图像的专业,被推崇为CV医学应用的早期潜在试验场 [2]。这与临床成像需求日益增长以及国际范围内放射科医生短缺 [3] 相结合,推动了这一兴趣。放射学会议和期刊中基于AI的投稿大幅增加 [4],甚至创办了新期刊 [5] 以跟上文献增长的速度。

然而,最初的炒作可能正在开始消退。Dos Santos及其同事警告了影像组学中可能出现可重复性危机和转化差距 [6],其中许多问题在DL中也同样存在。尽管放射学在医学AI设备审批方面确实处于领先地位 [7],但文献中的承诺与这些模型的临床应用之间的差距被Topol和Keane称为“AI鸿沟” [8]。该差距部分是由于模型在“理想”的计算机模拟条件下进行测试,因此在临床中不具备稳健的性能 [9]。此外,模型从原机构推广到其他机构的泛化性已被证明是一个问题 [10]。随着模型变得越来越复杂以应对上述困难,其输出变得越来越难以解释,缺乏可解释性引发了人们对潜在偏倚的担忧。此外,由于该领域的多学科性质,组建兼具临床、放射学、工程和计算机科学专业知识的研究团队可能被证明是一项挑战 [11]。同行评审过程中对新专业知识的需求加剧了这一问题 [4]。因此,尽管文献数量增加了,但质量参差不齐。

有人呼吁提供高级别证据,特别是前瞻性研究和结局数据 [6]。为此,本系统综述旨在调查文献以确定所提出的临床问题及用于回答这些问题的方法,重点关注这些研究的科学方法论基础。我们将报告放射学AI的现状,既评估现有数据的质量,也识别进一步研究的潜在机会。

方法

我们遵循系统综述和荟萃分析首选报告项目指南(PRISMA)和Cochrane协作手册,按照已发表的前瞻性注册综述方案(PROSPERO:CRD42020154790)对2015年至2019年发表的所有放射学AI研究进行了系统综述。

完整详情见已发表的方案 [12]。

纳入标准

本综合综述纳入所有旨在使用DL完成任务的临床放射学论文。纳入使用这些技术辅助患者放射学诊断或干预护理的基于医院的人体研究。纳入基于X线摄影、计算机断层扫描(CT)、磁共振(MR)、超声(US)或核医学/分子或混合成像技术的研究。

排除标准

使用经典机器学习技术的研究被排除。功能性磁共振成像(fMRI)论文未纳入,因为fMRI数据计算机分析所使用的技术与本综述主题——基于计算机视觉的任务——有相当大的区别。仅用于放射治疗的论文也被排除。非人类或体模研究被排除。

电子检索

我们在MEDLINE(Pubmed)和EMBASE上进行了电子检索,时间范围为2015年1月1日至2019年12月31日。Zotero是我们的文献管理软件,使用R语言中的Revtools包消除重复记录。检索以英文进行。所用检索词见补充附录。人工智能相关术语与放射学相关术语以“AND”运算符组合。

试验的选择与分析

对研究的标题和摘要进行审查,以确定临床放射学人工智能研究纳入或排除。信息不足以确定是否使用人工智能计算机视觉方法的研究也纳入全文审查。随后进行全文审查,以确认符合最终系统综述的纳入标准。该过程总结于PRISMA流程图(图1)。

图1 本综述纳入论文的PRISMA流程图 查看原图 ↗

数据分析

数据主要使用Microsoft Excel中的数据透视表和内置探索性分析工具进行分析。由于所采用方法的异质性,进行了叙述性综合。

结果

纳入论文

我们的检索获得11,083条结果。标题和摘要由两名审查者筛选,共审查767篇全文。535篇文章纳入分析。详情见图1。

纳入研究数量逐年增加,2015年至2019年分别为14、31、84、170和237篇(图2和图3)。

图2 按临床领域和年份划分的放射学人工智能文章 查看原图 ↗
图3 按检查方式和年份划分的放射学人工智能文章。按年份划分所研究的检查方式。颜色表示检查方式 查看原图 ↗

临床使用场景

肿瘤成像是最常见的应用场景,见于156项(29%)研究,另有45项(8%)研究专门检查肺结节。其次最常见的是正常解剖结构分割或其他无特定疾病患者的检查(表1)。

创伤、阿尔茨海默病和神经退行性疾病、卒中、冠状动脉疾病、肺炎和出血合计占70项(13%)研究,其余来自多种应用场景(表1)。

最常见的亚专科是神经放射学(127项,24%),其次是胸部放射学(92项,17%)(图2)。横断面成像占主导地位,磁共振(MR)(200项,37%)和计算机断层扫描(CT)(155项,29%)作为检查方式(图3)。

表1 图例 检索词与AND运算符组合 查看原表 ↗

人工智能任务

最常见的首要任务是分割(211项,39%),其次是分类(171项,31%)和识别(74项)(表1)。另有36项是上述应用场景的组合。27项研究主要旨在预测,另有3项研究的研究问题包含预测要素。其余研究检查了变化检测、时间序列和回归问题。

临床研究设计

525项(98%)研究为回顾性研究,仅13项为前瞻性研究。520项(97%)设计为队列研究,9项为病例对照研究,6项旨在测量AI对性能的增强,1项为前瞻性真实世界评估。29项(5%)引用了功效分析。468项(87%)提供了纳入和排除标准。

355项(66%)的参考标准由放射学报告确定,100项(19%)由专家小组或其他专科报告确定。46项(9%)由病理报告确定参考标准。4项使用了放射科医生报告的替代模态。3项参考标准的确定方式不明确。

197项(37%)的性能比较对象为最先进的模型,169项(31%)为放射科医生,28项为其他医学专家,16项为放射科医生与其他医学专家的组合。92项(17%)无比较。其余为与非专家(包括住院医师、放射技师、超声技师和无医学背景人员)的比较。

人工智能方法学

156项(29%)研究使用了自定义深度学习架构。UNet是最常用的成熟架构,用于76项(14%),其次是ResNet。19项(4%)描述了集成方法。在模型已有先前描述的情况下(313项),275项(88%)对其进行了修改,其余直接“现成”使用。

473项(88%)研究采用监督学习,13项采用无监督学习,8项采用两者结合,6项采用半监督学习。38项(7%)方法不明确。284项(53%)未使用迁移学习,247项(46%)使用了迁移学习,其余不明确。

主要评价指标为:187项(35%)使用Dice系数(分割),154项(29%)使用曲线下面积(AUC),82项(15%)使用准确率,40项使用灵敏度和特异度(诊断准确性),18项使用相关性,10项使用平均绝对误差(回归),8项使用精确率/召回率(诊断准确性)。

124项(23%)研究未进行数据增强。大多数研究使用简单操作,如对称操作、缩放和翻转(n = 325),更复杂的数据增强(如使用生成对抗网络)使用较少(n = 31)。

在400篇(75%)论文中,作者明确进行了超参数优化。65项(12%)未进行超参数优化,其余不明确。

数据

纳入患者数中位数为460例(范围3–313,318)。图像数(有报告者)中位数为1993幅(范围43–1,351,090)。平均每例患者略多于4幅图像。病例数(时间点)中位数为488,平均每例患者略多于1个病例。234项(44%)数据来源于一家医院,170项(32%)来源于公共数据集,67项(12%)来源于多家医院,49项(22%)来源于公共数据与本地数据联合。其余病例来源不明确。352项研究对结果进行了验证。169项(31%)使用了外部验证,其中60项使用公共数据进行外部验证。在109项于外部机构验证的研究中,84项发表于2018年和2019年(78%)。

性能

最常见评价指标的性能中位数为:Dice系数0.89(范围0.49–0.99),AUC 0.903(范围1.00–0.61),准确率89.4(范围70.2–100)。

按Dice指标比较最常用的既往描述的模型(U-Net)与定制架构(n = 106.57 U-Net和49定制),显示性能非常相似(0.877和0.895)。

在109项对其结果进行外部验证的研究中,77项能够对内部和外部性能进行直接比较。外部验证时性能平均下降6%(范围从提高4%到降低44%)。77项研究中有60项(78%)报告性能下降10%或更少。

开放获取数据和代码

76项(14%)研究中源代码或模型可免费获取。207项(38%)研究中使用的数据可免费获取,25项(5%)研究中有一部分数据可获取。

可解释性

最常见的可解释性方法是提供病例/示例,见于263项(49%)研究。152项(28%)研究未提供可解释性。97项(18%)研究提供了可视化和显著性图作为解释,26项(5%)研究进行了分析性/教学性讨论。任何研究均未采用反事实示例。

讨论

概述

本系统综述旨在调查放射学人工智能领域的文献。在此过程中,我们希望识别所提出的临床问题以及用于回答这些问题的方法。我们选择重点关注纳入研究的科学方法学基础。我们识别了500多项相关研究,其数量逐年呈指数增长。我们发现大多数研究集中在狭窄的研究问题上,主要是正常解剖结构的分割以及肿瘤和结节分类,重点关注神经放射学和MR成像。大多数研究对回顾性数据应用了监督学习。

使用人工智能来应对医学影像利用不断增加和国际放射科专家短缺所造成的供需问题的潜力已被充分确立。然而,我们通过综述表明,大多数文献使用狭窄的技术范围,仅关注少数临床问题。因此,如果要弥合“人工智能鸿沟”,就需要克服人工智能临床实施中的不足。这也指出了未来在更多样化方法学和应用于新用例方面的研究机会。

关注范围狭窄

所识别的最常见用例是肿瘤和结节的分割与分类。对肿瘤成像的关注非常明显,近10%的论文专门研究肺结节。虽然论文可能关注不同类型的肿瘤,但图像中病变的识别、分割和分类的基本方法学主导了文献。极少数研究考虑了研究间的变化或试图预测患者的临床病程。没有研究包含结局数据。

由于文献也以分割为主,“U-Net”[13]架构是最常用的模型。有趣的是,使用U-Net与使用自定义架构相比,仅观察到适度改善。对分割、识别和分类的侧重意味着替代性深度学习技术(例如预测和时间序列方法)发展不足。此外,由于大多数研究使用监督学习,强化半监督学习等新兴技术仍然缺乏。监督学习方法更可能需要费力的数据标注和清理,这可能影响数据质量、数量和样本量。

研究设计与偏倚可能性

绝大多数纳入论文为回顾性队列研究。仅识别出13项前瞻性研究。研究设计存在一定多样性,有少量人工智能增强研究考察的是人工智能增强而非自动化的潜力。唯一一项使用前瞻性真实世界评估的论文因其独特的前瞻性评估方法而显得突出[14]。

仅5%的研究明确提及功效分析。虽然机器学习研究在样本量上采取“越多越好”的方法并不罕见,但这在临床放射学文献中通常并非如此,为了使这些方法获得临床实施所需的信任,将需要更稳健的样本量计算方法。希望本综述可作为试点数据的参考,以用于未来估计样本量。

真实基准是所有放射学研究都需要考虑的问题[15]。由于该专业本身的不确定性以及观察者表现的误差,这是一个挑战。仅少数研究使用病理学作为真实基准,而病理学在大多数临床影像研究中通常被视为金标准。在大多数情况下,放射学报告被用作真实基准,根据研究问题,这通常是合理的替代指标。在许多情况下使用了放射学和病理学之外的专科报告。这有可能导致错误,因为放射科医师的参与会提高图像解读的质量[16]。

机器学习文献中的性能比较通常涉及将新模型与先前的最高水平进行比较[17]。在临床放射学中,标准是将其与研究设计所确定的特定条件下的放射科医师表现进行比较[18]。本综述中看到的将这两种方法混合使用,即同时与人类和机器性能进行比较,并不令人意外。然而,值得注意的是,在17%的病例中未提供性能比较。这种设计可能导致不正确或夸大的主张;此类研究的结果应谨慎解读。那些与非专家表现进行比较的研究也应谨慎解读,因为夸大的比较可能带来错误的高预期。

还存在发表偏倚的风险。这体现在平均性能指标大约达到最高性能的90%或更高。事实上,78%经过外部验证的研究性能下降为10%或更少。在内部和外部验证中,高性能研究的比例都如此之高,这增加了存在发表偏倚的可能性[19]。前瞻性试验注册和已发表的方案是未来解决这一问题的潜在途径。

数据数量和质量

所观察到的数据数量范围很大,论文中纳入的患者数量从个位数到数十万不等。这证明了该领域存在广泛的异质性,以及每项研究都应依据其自身价值来解读。每位患者图像数量的中位数为4幅,每位患者病例数(时间点实例)的中位数为1例。这与正常临床实践形成对比,在正常临床实践中,放射科医生通常会在多个时间点审阅每位患者超过一千幅图像。在大多数情况下(75%),数据来自单个现有数据集或单家医院。虽然多机构数据的使用逐年增加,但对单中心或单数据库研究的依赖限制了所报告结果的普适性。

数据增强在机器学习研究中被普遍采用;然而,最近已出现从简单的对称操作转向使用深度学习在计算机视觉中进行数据增强的趋势[20]。虽然这是一个有趣的途径,但尚未有研究证明这些方法的可靠性。数据中的潜在偏倚或错误有可能通过这些技术被进一步传播。此外,未使用 appropriate 专家对数据进行标注的研究有可能引入错误[16]并降低数据质量[21]。

可解释性和开放获取

根据欧盟法律,GDPR赋予欧洲患者对算法所作所有决定获得解释的权利[22]。因此,超过四分之一的研究对其输出未提供任何层面的解释,这是一个值得关注的问题。我们审查了纳入论文中多种已确立的解释方法[23],包括示例、可视化、自然语言和反事实。虽然大多数研究提供了病例/示例作为解释,但更高级的解释方法,如显著性分析和热图,仅见于少数情况。这意味着,只有少数提供的模型才有可能对某一病例为何被标记为假阳性/假阴性等进行详细分析。现代理论指出反事实示例可用于解释[24],但没有任何纳入研究使用这些方法。

开放数据和模型是确保对AI模型信任的一种方式,因为它们有助于可重复性[25]。令人欣慰的是,近一半纳入研究至少部分数据为开放获取。前述GDPR对欧盟的开放获取数据构成挑战,在许多情况下需要前瞻性知情同意才能发布数据。源代码仅发表在14%的研究中,这仍有很大不足。虽然一些作者可能愿意临时共享其代码,但将其与已发表论文一同包含将提高可及性并鼓励对结果进行更多验证。

从代码到临床

尽管可以肯定的是,人工智能模型在临床实践中的实施存在延迟,但同样可以肯定的是,放射学正在引领这一进程。事实上,在美国进入市场的医疗人工智能设备中,放射学占58%,在欧洲占53%[7]。其原因包括上文所述的供需问题。由于新方法的发现与设备监管之间存在时间差,本综述中实施的技术可能在不久的将来进入市场。事实上,自2015年以来,批准率有所增加,并预计将继续增加[7]。还有人担心一些设备可能在未获得CE认证或FDA批准的情况下“内部”使用[7]。基于这些原因,普通放射科医生了解此类设备的优势和局限性以及其声明所依据的科学价值非常重要。了解支撑这些技术创新的文献是这一过程中的关键一步。此外,需要更多具有明确结局数据的高水平研究来证明文献中的声明确实转化为患者的获益。正如最近一篇放射组学文献综述所述:未来需要精心设计的前瞻性、多中心、随机对照试验和数据共享,以证明放射组学的临床实用性,并在尽可能接近临床常规的环境中最终改善患者结局[6]

本综述表明,深度学习领域同样需要此类更高水平的证据。

机遇

自2015年以来,围绕人工智能在放射学中应用的文献呈爆炸式增长。然而,由于关注范围有限且质量参差不齐,显然仍存在机遇。目前关注点在于分割和肿瘤分类。虽然这些是 important 任务,对放射科医生的工作流程有显著贡献,但对其他领域的兴趣相对滞后。对MRI和神经放射学、尤其是癌症影像学的侧重,意味着其他领域存在机遇。此外,我们已经看到,“现成”模型在有限或无微调的情况下,可以在受控环境中在这些任务上达到合理性能。因此,应考虑对其他任务的研究或将这些模型在更广泛环境中实施。

研究设计也有改进的机遇。对试验和研究进行前瞻性注册,列举研究的各个方面,包括样本量、参考标准、数据准备和可解释性,将提高整体质量。总体而言,数据准备和模型优化的细节报告较差,同样这些方法的计划应前瞻性地概述(20)。研究设计和报告的质量参差不齐,应遵循CONSORT[26]和RSNA[27]等发布的指南,以提高研究的整体质量。此外,为确保更好的泛化性,应鼓励使用外部验证。

在欧盟内部,通用数据保护条例(GDPR)继续对希望最大化数据量的研究人员构成挑战。可以进一步探索两条明确的潜在途径来缓解这一问题:使用深度学习创建合成数据进行增强[28],以及从患者获取使用其医学影像数据的前瞻性知情同意[29]。

局限性

本系统综述存在局限性,包括发表偏倚和报告偏倚。我们未纳入使用未发表数据的研究或预印本研究。我们仅纳入了使用深度学习(DL)的论文,因此使用传统机器学习和影像组学的论文被排除在外。方法学不明确的研究可能被错误分类。此外,纳入研究之间的异质性不允许对结果进行有意义的荟萃分析。纳入文章数量众多仅允许对主要主题进行高层次概述。

结论

本综述展示了人工智能应用于临床放射学的一些主要进展。不可否认,颠覆性技术有望解决当前放射学领域的供需危机。性能的一致性和持续的关注意味着该领域仍充满希望。然而,许多已发表的论文方法学质量参差不齐且关注面狭窄。此外,即使是最有前景的论文,其可推广性和临床实施潜力往往也有限。许多论文存在高偏倚风险,特别是由于缺乏外部验证,因此需要系统性的研究设计指南。大多数论文也缺乏清晰的解释。在此,我们还确定了许多未来研究的潜在方向,这些方向有可能开始弥合人工智能从代码到临床的鸿沟。

补充信息

ESM 1(CSV 304 kb)

引用

  1. Kelly BS, Judge C, Bollard SM, et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol. 2022. PMID: 35420305. doi:10.1007/s00330-022-08784-6
  2. 全文:PMC9668941(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9668941/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。