公众号 / 文章技术与安全

算法审计:与供应商合作验证放射学人工智能算法——我们的实践方法

The Algorithmic Audit: Working with Vendors to Validate Radiology-AI Algorithms-How We Do It.
PubMed 文献 · Acad Radiol · 2020-01-01

本文提出名为「算法审计」的框架,用于与算法开发者合作测试和改进放射学人工智能工具的性能。框架包括在算法未见过数据上的真正独立验证、为此类测试整理数据集、深入检查假阳性和假阴性(以评估此类错误的影响)以及算法的真实世界部署与测试。

要点

  • 放射科医生应与算法开发者合作,确定算法的真实临床效用与相关风险。
  • 算法审计框架强调在算法未见过的新数据上进行真正独立验证。
  • 需为测试整理数据集,并深入检查假阳性和假阴性以评估错误影响。

核心结论

  • 放射科医生与算法开发者合作进行算法审计,有助于确定算法的真实临床效用与风险,并通过独立验证、错误分析和真实世界测试改进算法性能。

研究设计与样本

  • 本文为方法学框架文章,提出「算法审计」框架,未报告样本量、中心数或具体设备序列。

诊断标准与关键数值

  • 框架包括在算法未见过数据上进行真正独立验证、为此类测试整理数据集、深入检查假阳性和假阴性以评估错误影响,以及算法的真实世界部署与测试。

临床应用与阅片要点

  • 放射科医生可与算法开发者合作,按算法审计框架在独立数据上验证算法,并分析假阳性和假阴性以评估错误影响,同时进行真实世界部署与测试。

局限性

  • 原文未报告局限性。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

英文原文(摘要)· 点击展开

There is a plethora of Artificial Intelligence (AI) tools that are being developed around the world aiming at either speeding up or improving the accuracy of radiologists. It is essential for radiologists to work with the developers of such algorithms to determine true clinical utility and risks associated with these algorithms. We present a framework, called an Algorithmic Audit, for working with the developers of such algorithms to test and improve the performance of the algorithms. The framework includes concepts of true independent validation on data that the algorithm has not seen before, curating datasets for such testing, deep examination of false positives and false negatives (to examine implications of such errors) and real-world deployment and testing of algorithms.

来源:Acad Radiol,查看原文。版权归原作者所有。

引用

  1. Mahajan V, Venugopal VK, Murugavel M, et al. The Algorithmic Audit: Working with Vendors to Validate Radiology-AI Algorithms-How We Do It. Acad Radiol. 2020. PMID: 31818381. doi:10.1016/j.acra.2019.09.009

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。