文献速递技术与安全神经胸部CTMRDR乳腺X线

放射学人工智能:100款市售产品及其科学证据

Artificial intelligence in radiology: 100 commercially available products and their scientific evidence.
PubMed 文献 · Eur Radiol · 2021-04-15

该研究基于CE认证的100款放射学AI产品,检索其同行评审证据并按效能层级分类;结果显示64/100产品无同行评审证据,仅18/100产品有证据表明潜在临床影响,提示该领域仍处早期。

要点

  • 仅36/100款CE认证AI产品有同行评审证据,其中65%仅验证诊断准确性。
  • 仅18/100款产品有证据评估对诊断思维、患者结局或成本的影响。
  • 选用AI产品时应核查其证据层级与验证数据是否来自多中心、多厂商。

核心结论

  • 尽管已有100款CE认证AI产品,放射学AI领域仍处早期,多数产品缺乏同行评审效能证据。
  • 仅18/100款产品有证据表明对诊断思维、患者结局或成本的潜在影响。

研究设计与样本

  • 研究基于厂商产品规格建立CE认证AI产品在线概览,并系统检索PubMed(2015-01-01至2020-05-18)及手动检索厂商网站获取同行评审证据。
  • 共纳入100款CE认证产品(来自54家厂商),证据文章按效能层级模型分类,由两名作者独立筛选并共识解决分歧。

诊断标准与关键数值

  • 64/100款产品无同行评审效能证据;36/100款产品共237篇论文,其中65%(153/237)评估诊断准确性(效能层级2)。
  • 27%(64/237)研究涉及18款产品,评估效能层级3或更高(潜在临床影响)。
  • 仅30%(71/237)研究使用多中心数据,15%(35/237)使用多国数据,25%(59/237)使用多厂商设备数据;192/237为回顾性设计。

临床应用与阅片要点

  • 日常选用或评估AI软件时,应核查其同行评审证据的效能层级及验证数据来源(中心数、国家数、厂商数)。
  • 注意CE认证类别差异:32%为I类(自我认证),53%为IIa类(需公告机构审核),同类产品可能认证类别不同。

局限性

  • 产品纳入标准(AI定义及临床放射学范围)存在一定争议,如心脏超声分析产品被排除。
  • 部分厂商未回应或保留信息,导致部分产品的CE类别、部署模式和定价策略信息不完整。
  • 研究为2020年9月CE/FDA状态及截至2020年5月的文献快照,市场动态变化可能影响时效性。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Apr 15;31(6):3797–804. doi: 10.1007/s00330-021-07892-z

引言

过去几年,用于放射学的人工智能(AI)产品数量迅速增长。2017年至2019年间,北美放射学会(RSNA)和欧洲放射学大会(ECR)年会上AI参展商的数量几乎增长了两倍[1, 2]。尽管放射学AI软件的供应量巨大,且许多放射科医生似乎愿意采用和适应AI工具,但临床实施仍然有限[3–5]。

研究表明,研究算法经过验证的程度差异很大[6–8]。近期关于医学深度学习算法的论文中,仅有6%包含了在独立外部数据上的验证[6]。关于市售AI软件的现有证据尚未得到研究。我们特别关注商业产品,因为这些是目前可用于临床的产品。

通过本研究,我们旨在提高市场透明度,促进AI软件在放射科的安全和审慎实施。我们呈现了市售(CE认证)放射学AI产品的概览。对于每个产品,我们收集并审查了证明该AI软件有效性的科学证据。

材料与方法

产品概览

人工智能被ISO/IEC TR 24028:2020定义为“工程系统获取、处理和应用知识与技能的能力”[9]。在此范围内,我们聚焦于使用机器学习和深度学习等技术的图像分析产品。为建立AI软件产品的概览,我们审查了RSNA和ECR的参展商名录以及市场平台的产品信息。此外,我们还监测新闻来源以发现新的供应商、产品或认证的出现。在欧洲,CE标志是医疗器械获准上市的先决条件;因此,产品在2020年4月前获得CE标志是纳入本研究的要求。此外,产品必须是供应商中立的,并能在临床实践中辅助放射科医生进行图像判读。我们排除了用于口述或源端图像重建的软件。一些供应商提供包含执行不同任务的不同软件组件的“套件”,而其他供应商则将这些组件作为独立产品进行营销。为进行平衡的评估,我们将套件组件视为独立产品。由于市场变化迅速,我们在www.aiforradiology.com上维护产品概览。本文纳入的产品与该网络资源之间可能存在差异,原因包括网站更新、公司拒绝出现在网站上以及本综述更严格的纳入标准。

我们联系了所有供应商以核实收集的信息并补充产品规格。我们检索了关于产品基于器官的亚专业、成像模态和主要任务的信息。此外,还收集了上市日期、部署方式和定价模式。CE状态通过收集供应商的CE证书或符合性声明进行核实;目前尚不存在公共数据库(EUDAMED计划于2021年推出)[10]。同时,我们还收集了美国FDA(食品药品监督管理局)的批准状态,并通过FDA公共数据库进行了确认[11]。本研究报告的CE和FDA状态反映的是2020年9月的状态。如需最新信息,请访问www.aiforradiology.com。

证据

AI产品疗效的科学证据通过两种方式收集。首先,按供应商和产品名称系统检索PubMed,获取2015年1月1日至2020年5月18日发表的同行评审文章。检索式见补充材料表S1。其次,通过查阅供应商网站上列出的论文并要求供应商提供同行评审论文进行手工检索。手工检索不设日期限制。

纳入文章为原创、同行评审、英文发表,旨在证明AI软件的疗效。当提及产品名称(包括已知的曾用名)和/或公司名称、工具应用于在体人类数据、且在独立数据集(算法未在其上训练的数据)上报告了产品疗效时,论文被纳入[12]。信件、评论、综述、研究方案、白皮书和病例报告被排除。

论文由两位作者独立评估,独立筛选标题、摘要和全文是否符合纳入标准。分歧案例由审稿人在共识会议上解决。

疗效分层模型

我们提出一个改编的疗效分层模型,根据所涉及的验证类型对论文进行分类。该模型最初由Fryback和Thornbury于1991年开发,作为评估诊断成像对患者管理贡献的结构[13]。它包含六个层次,从技术疗效——第1层(它是否做了它应该做的事)——到社会疗效——第6层(成本和效益如何比较)——评估一项创新。我们改编了定义,并将第1层分为两个亚型,以更好地适应关于AI软件对诊断成像过程贡献的科学证据评估。各层次的改编定义见表1。

表1 评估AI软件对诊断成像过程贡献的疗效分层模型,改编自Fryback和Thornbury(1991)[13] 查看原表 ↗

分析

产品根据目标亚专业、模态、主要任务、CE标记、FDA许可、部署方法和定价模型进行分类。我们计算了公司成立与将其首个AI产品推向市场之间的平均时间,不包括2005年之前成立的公司。

我们报告可用的科学证据以及论文所涉及的疗效层次。单篇论文可评估多个层次。对于每篇文章,我们审查了作者列表、资金来源和披露信息,以将出版物分类为是否独立于供应商。纳入论文中使用的数据按来源中心数、国家和采集设备制造商进行分类。我们按产品汇总这些信息,以洞察该产品全部证据中涉及的中心、国家和制造商总数。

结果

产品概览

产品检索结果得到100个在欧洲具有CE标记并可商业获得的AI解决方案。其中74个产品的产品信息由供应商提供。其余产品仅使用公开信息进行分析。

图1的结果显示,现有的AI软件主要涉及神经放射学(38个)和胸部放射学(31个),其次是乳腺放射学(12个)和肌肉骨骼放射学(11个)。在成像模态方面,产品分布于CT(37个)、MR(25个)和X射线(22个)。软件执行的主要任务是定量任务(33个),例如区域分割或执行自动测量。在53家供应商中,18家提供多种产品,其中7家涉及多个基于器官的亚专科。

在100个获得CE认证的产品中,51个同时获得了FDA许可,如图2所示。QView Medical的QVCAD和Riverain Technologies的ClearRead Xray - Detect获得了最严格的上市前批准(PMA),即III类。所有其他产品均通过510(k)途径获得II类许可,但Viz.ai除外,其通过De Novo上市前审查途径获得II类许可。

关于CE标志,我们观察到风险等级I类(32%)和IIa类(53%)的分布。对于其余15个产品,我们未从供应商处获得相关信息,也无法找到足够的公开信息来确定其等级。

大多数供应商以多种部署策略和定价模式选项提供其产品,如图2所示。本地部署(n = 67)和基于云的(n = 70)产品分布相近,其中54个产品同时支持两种方式。订阅/许可模式(n = 56)比按使用付费定价模式(n = 28)更为普遍,但大量产品(n = 22)同时提供两种模式。

在我们检索到上市日期的94个产品中,64个于2018年至2020年5月期间推出。从公司成立到首个AI产品上市的平均时间为3年11个月。每家公司的成立日期以及每个产品的上市发布日期和发表文献见图3。

关于各个产品的完整规格,请参阅我们在www.aiforradiology.com上定期更新的公开在线数据库。

图1 基于器官亚专科、成像模态和主要功能的100个CE认证AI产品的特征。MSK,肌肉骨骼 查看原图 ↗
图2 100个CE认证AI产品的CE等级、FDA等级、定价模式和部署策略分布。CE,欧洲合格认证标志;FDA,美国食品药品监督管理局 查看原图 ↗
图3 100个CE认证AI产品的时间线可视化。黄色圆圈表示公司成立年份,红色圆圈表示产品上市年份,蓝色圆圈表示同行评审论文的发表日期。圆圈越大,该年发表的论文越多。当产品以灰色文字列出时,产品规格未经供应商核实 查看原图 ↗

证据

在PubMed上的检索策略共获得791篇论文,其中175篇符合纳入标准。手动检索额外增加了62篇论文,最终共纳入237篇同行评审文章。纳入流程图见补充材料中的图S1。一篇文章涉及多个AI产品时(n = 21),可在概览中出现多次。检索查询及相应结果见补充材料中的表S1。

如图4所示,在100个纳入的市售AI产品中,有64个无法通过PubMed或手动检索获取同行评审的科学论文。图5展示了其余36个产品有效性的证据。在所有论文中,65%(153/237)评估了诊断准确性有效性(2级),展示了产品的独立性能;27%(63/237)包括展示产品临床或技术可行性的研究(1t级和1c级)。涉及3级或更高有效性水平的研究验证了AI软件(潜在)临床影响的各个方面。在所有研究中,27%(64/237)涉及18个产品,评估了3级或更高水平的有效性。

近一半的研究(116/237)由独立于供应商的机构开展。绝大多数研究(192/237)为回顾性设计。仅30%(71/237)的研究使用了多中心数据。15%(35/237)的论文数据纳入覆盖多个国家,25%(59/237)的纳入研究数据由多个制造商的扫描仪获取。按产品汇总所有研究时,大多数具有有效性证据的产品均使用来自多个扫描仪制造商、多个中心和多个国家的数据进行了验证,如图4所示。

各产品文章特征的总结见补充材料表S2。

图4 在100个市售AI产品中,有36个存在同行评审文章。对于这36个产品,右侧的三个饼图展示了按产品汇总所有纳入论文后验证数据的特征(即扫描仪制造商、中心和国家的数量)。 查看原图 ↗
图5 纳入论文的有效性水平。检索策略获得239篇同行评审出版物,涉及100个市售AI产品中36个的有效性。单篇论文可能涉及多个水平。 查看原图 ↗

讨论

本研究旨在提高放射学领域商业AI软件及其科学证据的透明度。我们的结果表明,尽管产品数量众多,该市场仍处于起步阶段。在100个评估的CE标记产品中,仅36个具有关于AI软件有效性的同行评审证据。如有证据,重点主要在于技术和临床可行性(27%)及独立性能(65%),很少有研究(同时)涉及软件的临床影响(27%)。部署和定价策略尚未趋同于首选标准,大多数供应商提供多种选择。三分之二的产品在过去2年内(2018年1月至2020年4月)上市,这可能是一个解释。尽管本研究中评估的100个产品均具有CE标记并在欧洲市售,但对于大多数产品,我们仍需发现它们在临床实践中的影响。

供应

本文评估的大多数解决方案提供用于执行特定任务的AI产品。在卒中和肿瘤学领域,我们观察到更多旨在覆盖整个诊断路径的“套件”。只有7家供应商的产品涉及多个基于器官的亚专科。对于放射科医生及其科室而言,这意味着他们必须与多个供应商打交道,以满足不同任务和专科的AI需求。这带来了销售、合同、技术集成流程、培训和评估方面的额外开销。当放射学中的AI得到更广泛应用时,由扫描仪制造商、PACS公司以及旨在充当中间人的新各方提供的市场平台的兴起可能会缓解这一问题。

监管批准

此前已发表过一些AI产品概述[14, 15]。然而,我们是首个专门将AI软件视为目前在欧洲市场上作为医疗器械(CE标记)的研究。我们认为这是最相关的一组待研究产品,原因有二。第一,这些是可供临床使用的产品,应已通过初始研发阶段。第二,欧洲的医疗器械监管批准体系不透明。没有公开数据库可用于核实认证或认证所依据的临床验证,而美国对应机构FDA则提供此类信息[10, 11]。此外,供应商往往不会在其网站上明确说明其产品是否具有CE标志,如果有,属于哪一类别。通过请求这些信息,我们旨在提高市场透明度。

我们的结果显示,几乎所有产品均根据《医疗器械指令》被认证为I类或IIa类。类别与产品风险相关:I类为低风险,III类为极高风险医疗器械。值得注意的是,类似产品可能在不同类别下获得认证。例如,我们在大血管闭塞检测、胸部X线异常检测或脑区定量分析的产品中观察到这一点。I类CE标志通过自我认证获得,而II类需要公告机构进行外部审核,这是一个更为复杂的流程,其中包括对验证结果等的评估。将于2021年5月起取代现行《医疗器械指令》的《医疗器械法规》可能会改变类别和必要验证方面的这种差异,因为预计医学影像中的大多数AI软件产品将变为IIa类甚至IIb类。这是否也会影响AI软件同行评审证据的数量仍有待观察。

证据

在本研究中,我们报告了按有效性水平分类的现有同行评审证据(表1)。我们提出了一个有效性分层模型,这可能引发一个问题:证明产品有效性需要哪一水平。我们认为这个问题没有普遍答案:它取决于产品及其预期用途。例如,在寻求健康保险报销时,可能需要证明更高水平的有效性。然而,如果算法执行的是放射科医生原本会进行的测量任务,证明准确性(第2级)可能就足够了,更高水平的验证可能只会导致临床研究的高成本,从而推高软件价格。

局限性

我们意识到,人工智能(AI)的定义或哪些属于临床放射学实践并非小事,因此我们的产品纳入标准有些值得商榷。例如,用于心脏超声分析的产品被排除在本研究之外,因为这通常(但并非总是)属于心内科的一部分。我们相信本研究对当前放射学中AI的现状所涉及的内容提供了总体概览。

遗憾的是,一些供应商未回应我们提供信息的请求,或决定隐瞒部分信息。因此,部分关于CE类别、分销模式和定价策略的产品信息不完整。我们在可能的情况下用公开数据补充了缺失信息。

未来展望

EUDAMED的发展可能是迈向医疗器械行业更高透明度的重要一步。我们证明了关于AI产品有效性的公开同行评审证据往往缺乏。理想情况下,AI产品获得CE标志所依据的数据和验证应被纳入公共数据库。

大多数产品在过去2年内上市,这一发现表明这是一个充满活力且不断演变的市场。本研究提供了临床放射学中AI格局的快照。为了提供放射学AI产品的持续最新概览,我们创建并维护了网站www.aiforradiology.com。未来几年将清楚看出放射学AI市场如何演变、增长和成熟。因此,未来研究可能需要进行更新分析,以发现格局发生了何种变化以及如何变化。

补充信息

ESM 1(RAR 237 kb)

(PDF 235 kb)

(XLSX 66 kb)

引用

  1. van Leeuwen KG, Schalekamp S, Rutten MJCM, et al. Artificial intelligence in radiology: 100 commercially available products and their scientific evidence. Eur Radiol. 2021. PMID: 33856519. doi:10.1007/s00330-021-07892-z
  2. 全文:PMC8128724(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8128724/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。