文献速递儿科影像骨肌技术与安全DR

如何应用EBRAI与DATO方法评估放射学AI文献

How to apply evidence-based practice to the use of artificial intelligence in radiology (EBRAI) using the data algorithm training output (DATO) method.
PubMed 文献 · Br J Radiol · 2023-04-22

本文介绍在循证放射学中补充PICO的DATO方法,从数据、算法、训练和输出四方面系统评估放射学AI研究。以骨龄评估为例,检索1933篇文献,纳入17篇骨龄论文(5篇外部验证),其中Pan等整合模型误差与人类相当。DATO可帮助放射科医生系统评阅AI文献和产品。

要点

  • DATO从数据、算法、训练、输出四维度系统评估AI研究,补充PICO。
  • 骨龄AI中整合不相关高性能简单模型可达到与人类相当的误差。
  • 优先选择有外部验证、多中心数据和客观训练评估的AI研究。

核心结论

  • 将DATO用于循证放射学是系统评估放射学AI文献和产品的简单方法。
  • 骨龄评估中整合不相关高性能简单模型的整合模型误差率与人类表现相当。

研究设计与样本

  • 方法学文章,提出DATO框架补充PICO用于循证放射学AI评估。
  • 以骨龄评估为例检索1933篇文献(1850篇唯一),纳入151篇儿科AI论文,其中17篇骨龄论文,5篇有外部验证。
  • 采用CEBM证据等级评估,4篇为Level 2b,1篇为Level 2a。
  • 参考标准为出生证明,评估指标为平均绝对偏差(MAD)。

诊断标准与关键数值

  • DATO包括数据(伦理、质量、标注、真实标准)、算法(分割、分类等任务匹配)、训练(内部/外部验证)、输出(诊断、预后、测量)。
  • 骨龄AI个体模型MAD范围4.27至34.16个月,中位数5.99个月。
  • 人类审阅者平均MAD为5.8个月,整合模型MAD降至3.79个月。
  • 排名前10的整合模型与人类表现无显著差异。
  • 推荐整合深度卷积神经网络与不相关高性能简单模型(如PCA后线性模型),训练于10000张良好标注图像。

临床应用与阅片要点

  • 阅片或采购AI产品时,按DATO四步核查数据来源、算法匹配、训练验证方式和输出临床适用性。
  • 优先采信有外部验证、多中心数据和客观训练评估的AI研究。
  • 注意整合模型中低个体误差模型组合不一定最优,应关注模型间相关性。

局限性

  • 单中心方法学示例,骨龄整合模型结论需进一步数据验证是否可推广。
  • 仅纳入有外部验证的论文,可能遗漏其他AI研究。
  • AI领域高级别证据较少,存在AI鸿沟。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2023 Mar 22;96(1150):20220215. doi: 10.1259/bjr.20220215

引言

医学影像相关的工作量在数量和复杂性上均大幅增加。然而,受过专业解读这些海量数据训练临床医生未能跟上需求的步伐。1 人工智能(AI)应用已被提出作为这一供需问题的可能解决方案。2 尽管近年来放射学AI文献呈爆炸式增长,3 但将AI应用于临床放射学的高级别证据仍然匮乏。这被称为“AI鸿沟”。4 循证实践(EBP)范式已相当成熟,5 采用提问、检索、评价、应用和评估的方法。将EBP应用于放射学(EBR)有自下而上和自上而下两种方法。6 自上而下法基于指南从学术中心“推送”而下,而第二种方法则试图将国际最佳实践与本地专业知识和可用资源相结合。决定开展AI研究项目或参与购买使用AI的产品,都是使用自下而上EBR技术的机会示例。

患者-干预-比较-结局(PICO)是EBP范式中一个成熟的工具。对于循证放射学人工智能(EBRAI),我们 additionally 建议考虑 DATO(数据-算法-训练-输出)来评估AI用于回答特定研究问题的使用情况。

DATO代表

数据:在此,我们考虑数据是如何策划的以及质量和数量问题,包括:伦理、数据获取、数据查询、去标识化、传输、质量控制、结构、金标准、标注。7

算法:算法是为实现目标而遵循的过程或一组规则。因此,所选择的算法是任务的直接结果。放射学AI中的主要常见任务包括分割、识别、分类、回归和预测。不同的算法适合不同的任务,在本节中两者都必须加以考虑。

训练:这包括模型开发和模型评估。模型可以在内部数据上进行训练和测试,也可能包括一定程度的外部验证。使用外部验证具有更高水平的科学严谨性,因为它可以暴露过拟合并增加泛化潜力。

输出:最终,模型会产生某种形式的输出。这可能是诊断、预后或临床测量等。输出必须适用于用户的本地需求才能在临床上有用。

图1和图2展示了PICO与DATO的比较,说明如何将这些信息纳入每个子标题。表1提供了上述术语的解释。

我们将使用一个示例:某本地研究团队有兴趣开展一个研究项目,涉及在儿童手/腕部X线片上自动评估骨龄,以应用DATO方法。然而,在科室考虑购买使用AI进行相同目的的产品这一场景中,流程将是类似的。

放射学骨龄评估是多种儿科内分泌、代谢和生长障碍诊断评估的重要组成部分。8,9 骨龄估计中采用了许多不同的方法,然而最常用的是Greulich和Pyle(GP)的《手和腕骨骼发育放射学图谱》。Tanner-Whitehouse骨龄评估方法是GP更可靠的替代方法;然而,它相对劳动密集且耗时。8,9 由于这些方法既耗时又劳动密集,且单调重复,它们已成为人工智能(AI)早期应用的热门场景。10 现有的自动化商业方法具有良好准确性,但存在相关成本且基于历史数据训练,这可能限制其泛化能力。

图1. 使用PICO提出可回答的问题。AI,人工智能;PICO,患者-干预-比较-结局。 查看原图 ↗
图2. 使用DATO在AI应用中回答问题。AI,人工智能;DATO,数据-算法-训练-输出。 查看原图 ↗
表1. 术语表 查看原表 ↗

方法

提问

PICO是提出可回答问题的一种成熟工具。我们的示例问题是:

“哪种类型的AI最擅长评估骨龄?”

图1展示了我们如何使用PICO工具将其转化为可回答的问题:“在需要用手/腕X线片进行骨龄评估的儿科患者中,以出生证明作为金标准,AI模型与人类表现相比如何?”

然而,要使用AI回答这个问题,我们还可以考虑需要什么数据、什么算法合适、需要什么训练以及什么模型输出会有用(图2)。

检索

文献检索过程通常涉及使用一个或多个已建立的电子数据库检索原始文献。11 AI文献还有一个额外的复杂因素,即arXiv等预印本存储库被广泛使用。通过“AND”运算符纳入与AI文献相关的检索词也很重要。表2提供了一组建议的检索词。对于我们的示例,我们基于一项正在进行的儿科AI放射学文献系统评价。我们完整检索策略的详细信息可在已发表的方案中获取。3,12

表2. 检索词列表 查看原表 ↗

评价

评价的两个关键组成部分是有效性和强度。6 在我们的示例中,我们选择仅纳入结果经过外部验证的论文。一旦确定了有效性,下一步通常是应用循证医学中心定义的证据等级。13 如果有更高证据等级的二次证据可用于回答特定问题,则并不总是需要审查原始文献。然而,在放射学AI等较新领域,可用的二次证据可能较少。已发布了许多AI-specific扩展文件,如CLAIM、SPIRIT-AI和CONSORT-AI14,可辅助评价过程。此外,我们还可以系统评价上述DATO过程的结果(图2)。

应用

传统上,该过程的“应用”阶段包括使用似然比、检验前概率或条件概率图等方法来审查结果。15 然而,进一步考虑这些结果是否适用于本地情况对人工智能研究尤为重要。因此,我们仅纳入那些对其结果进行了外部验证的研究。一旦确定了这一点,考虑临床影响和对患者结局的影响就很重要。

评价

此步骤的目的是反思从步骤1到4中收集的过程和结果,以及对本地实践的潜在应用。DATO在该过程中的使用如图3所示。

图3. DATO在循证实践中的应用。DATO,数据算法训练输出。 查看原图 ↗

结果

检索

共找到1933篇论文(1850篇唯一),其中151篇被纳入为使用人工智能的儿科放射学论文。17篇论文涉及骨龄估计,其中5篇对其结果进行了外部验证。图4显示了相关的系统评价和荟萃分析首选报告项目流程图。

图4. PRISMA流程图,显示纳入论文的识别过程。PRISMA,系统评价和荟萃分析首选报告项目。 查看原图 ↗

评价

表3列出了所确定的五篇候选论文。在应用循证医学中心(CEBM级别)证据标准后,其中四篇被确定为2b级论文13(即探索性队列研究)。一篇论文是2a级研究,综合了2b级研究。16 我们还使用DATO评价了所有五项研究。Pan等16的结果如下。

表3. 候选论文、选定结果和证据级别 查看原表 ↗

数据

质量——Pan等的数据质量最高,因为它是高度异质性的多中心数据。

数量——Pan等也有相对大量的训练数据(超过12,000张X线片)。

真实标签和标注——Pan等基于六位专家数据的加权平均值,并由RSNA验证。

算法

作为从24个表现最佳模型中选取的集成模型,Pan等是唯一具有循证模型选择的研究。

训练

对于Pan等的模型开发和模型评估,我们在机器学习竞赛的范围内进行,因此比其他论文更客观。使用了自助法技术进行了全面的验证过程。

输出

虽然所有被评价的论文在年龄估计方面都给出了有用的输出,但Pan的论文取得了最佳性能。

作为证据级别最高的论文,同时也是DATO指标表现最强的论文,Pan等被选为目标论文。

应用

Pan等16基于2017年RSNA机器学习竞赛,该竞赛为参与者提供了一组手部X线片用于确定骨龄,以及用作训练数据的骨龄。该竞赛提供了一个独特的机会来测试集成48个提交的计算机视觉模型的威力。

考虑成对的模型以识别最佳的潜在集成模型。表现最好的模型被标记为“模型1”,依此类推。虽然大多数模型使用深度学习,但少数使用更传统机器学习方法的模型(Pan等人所述的模型4和16)与其他模型的相关性较低。研究发现,由个体平均绝对偏差(MAD)较低的模型组成的配对并不一定优于其他模型配对。相反,高性能模型与低模型间相关性(即以不同方式出错的模型)的组合往往能取得更好的表现。

个体模型的表现范围为MAD 4.27至34.16个月,中位数为5.99个月。人类审阅者的平均MAD为5.8个月。集成模型能够将MAD降低3.79个月。排名最高的10个集成模型的表现与人类表现之间未发现显著差异。

因此,回答我们的问题:

“在需要使用手/腕部X线片进行骨龄评估的儿科患者中,以出生证明作为金标准,人工智能模型与人类表现相比如何?”

根据Pan等人的结果,一个由深度卷积神经网络与一个不相关但表现良好的简单模型(例如应用主成分分析后的线性模型)组成的集成模型,在10,000张标注良好的图像上训练后,应能达到与人类表现相当的误差率。

评价

这一过程可被认为是成功的,因为它揭示了与我们的问题相关的有用的潜在信息。将深度学习方法与更简单、计算成本更低的机器学习技术相结合,可能比简单地组合那些误差最低的模型产生更好的表现。这是因为不同的模型以不同的方式出错。需要进一步的数据来确认这一发现是否能推广至本文所提出的研究问题之外。

讨论

我们已经证明了DATO如何能够补充EBR框架。我们提出了一个可回答的问题,并使用DATO评估了全部五项研究。Pan等人16拥有最强的数据,总样本量最大,数据质量测量最为稳健。他们使用了集成模型,因此拥有唯一基于证据的算法。所有模型的训练过程均有清晰的说明,且其表现与专家人类阅片者相当。

DATO模型旨在成为一种工具,使放射科医生及相关专业人员能够系统地评估人工智能研究和产品。由于该领域文献的快速扩展,DATO处于一个繁忙的领域中,现有的临床人工智能文献综述方法包括PICO-AI、ML-PICO以及CONSORT、SPIRIT AI扩展版、ECLAIR和RSNAs CLAIM清单。3,14 DATO的一个关键优势在于它补充而非试图取代PICO或EBP系统。一旦提出了PICO问题,下一个问题可能是“人工智能是否适合这个问题?”。DATO是回答这一问题的合适方式。它将数据置于起点,这也是大多数数据科学项目的开始方式,并按顺序推进数据科学过程的基本步骤。它为临床医生提供了一个易于使用的起点,使其能够与人工智能研究人员和供应商进行有意义的讨论。

结论

使用DATO方法补充EBR,可为放射科医师及相关专业人员提供一种系统化方法,用于审查放射学AI文献,从而实现自下而上的方法以作出循证决策。

引用

  1. Kelly, Judge, Hoare, et al. How to apply evidence-based practice to the use of artificial intelligence in radiology (EBRAI) using the data algorithm training output (DATO) method. Br J Radiol. 2023. PMID: 37086062. doi:10.1259/bjr.20220215
  2. 全文:PMC10546467(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10546467/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。