文献速递技术与安全CTMR

人工智能影像工作流解决方案的价值主张与合法性策略:2021年技术志研究

How do providers of artificial intelligence (AI) solutions propose and legitimize the values of their solutions for supporting diagnostic radiology workflow? A technography study in 2021.
PubMed 文献 · Eur Radiol · 2022-08-18

该研究系统分析了393个用于支持放射科工作流程的AI应用,发现AI应用和提供公司数量持续增长,公司宣称效率与质量价值主张,但常缺乏系统临床证据。多数公司通过法律批准、合作、团队专长和实践案例来证明其价值,但算法类型和训练数据披露有限。

要点

  • AI应用数量增长43%,公司增长34%,但系统临床有效性证据有限。
  • 公司常宣称效率(18%)和质量(31%)价值,28%同时宣称两者。
  • 仅少数披露算法类型(6%深度学习具体类型)和训练数据(8%数据源,10%数据量)。

核心结论

  • AI应用市场持续扩大,公司价值主张多样且合法性策略多重,但系统临床证据有限。

研究设计与样本

  • 技术志研究,系统分析393个AI应用(来自133家公司),数据来源于公司网站、法律文件等超1万页,截至2021年8月。

诊断标准与关键数值

  • 50%应用至少有一个法律批准,主要为CE标记(38%)和FDA许可(32%)。
  • 72%公司通过法律批准寻求合法性,75%通过医疗学术合作,56%强调团队专长,53%展示实践案例。

临床应用与阅片要点

  • 阅片时注意AI应用多专注于特定解剖区域(脑21%、胸部11%、肺11%),功能以检测可疑区域(33%)和量化特征(24%)为主。
  • 仅8%应用披露训练数据源,10%披露训练数据量(1000至超100万张图像),使用前应评估其泛化性。
  • 48%应用集成于PACS/RIS,25%基于云,32%混合架构,需关注工作流整合与数据安全。

局限性

  • 未涵盖工业研发团队和学术实验室的AI项目,仅基于公开文档分析,可能遗漏未公开信息。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Aug 18;33(2):915–24. doi: 10.1007/s00330-022-09090-x

引言

过去几年,人工智能(AI)应用在放射学领域的发展速度非常快[1]。许多试点算法已被开发为商业解决方案,并越来越多地引入医疗机构。然而,开发这些算法的公司仍然面临挑战,即需要界定具有医学相关性和经济可行性的价值主张,并说服医疗机构和从业者在临床实践中采用这些解决方案[2]。这一直是采用这些解决方案以及在用户中推广的障碍[2]。

从技术接受理论的角度来看[3],无论是“提出”具有医学相关性和经济可行的价值,还是“使此类价值主张合法化”,对于说服用户采用一项技术都至关重要。这对许多新技术而言是一项挑战,尤其是对于提供给放射学领域的AI解决方案而言。提出具有医学相关性的价值具有挑战性,因为许多AI解决方案在功能和所支持的任务方面较为狭窄,仍处于开发和无缝整合到放射学工作流程的早期阶段,并且需要大量准备工作才能得到验证并根据用户进行调整[1]。与此同时,证明AI解决方案的价值并确保其质量也很困难,因为用户是医学专家,他们具有高质量期望和管辖权方面的顾虑[4],尤其是由于使用AI应用在法律和伦理上的敏感性[5]。

鉴于用户对AI应用的信任是采用这些应用的关键驱动因素之一[2, 5],分析这些公司如何试图向用户保证其应用的可信度十分重要。这些问题促使我们开展系统的技术志研究,以考察放射学领域AI解决方案的提供者如何表述其AI解决方案的价值,以及他们以哪些方式试图使此类价值主张合法化。

若干报告、观点文章和商业评论已尝试梳理这些AI应用[6, 7]。例如,学者们研究了AI开发者为其解决方案提供支持的科学证据的强度[7]。尽管这些研究具有启发性,但它们往往样本量具有选择性,尤其是来自商业上可见的应用[7, 8],因而遗漏了属于即将到来的技术解决方案浪潮中更广泛的AI应用。此外,这些研究在价值主张及其合法化方式方面的关注往往较为狭窄。

为克服这些局限,我们对放射学领域的AI应用进行了系统分析。正如我们在方法学部分所解释的,通过使用来自多种来源的定性和定量数据,我们捕捉了这些应用的特征,并特别围绕四个主题对其进行了梳理:(1)技术特征,(2)开发公司,(3)AI应用的价值主张,以及(4)使AI价值主张合法化的方式。

在下一节中,我们描述我们的发现,并讨论我们的发现对放射学工作中评估、实施和使用AI应用的意义。

方法

我们通过系统综述放射学领域的公司及其人工智能应用来收集数据。我们从2017—2021年RSNA、ECR和SIIM会议上展示的应用列表开始。此外,我们在行业和市场研究来源(例如Blackford Analysis)、社交媒体渠道(LinkedIn和Twitter)以及公司网站(在提及合作伙伴时)中检索,以发现该领域活跃的其他公司。如果一个应用的目标是支持诊断放射学工作流程中任何步骤的活动,并且其功能由机器学习算法支持,则该应用被认为适合分析。被排除的应用示例包括应用的人工智能市场、仅将图像存储系统(PACS)与信息系统(RIS)连接的解决方案,或仅处理非医疗数据的产品。我们还排除了已从市场撤出或合并形成捆绑产品的应用。最终,这一过程得到133家公司提供的393个不同应用(纳入应用和公司列表见附录1和2)。

对于每个应用,我们收集了以下信息:(1)开发公司及其团队1,(2)其技术特征,(3)其临床特征和功能,(4)公司宣传其应用价值的不同方式,以及(5)确保其应用合法性的方式。数据从多种来源收集,如公司网站、新闻文章、白皮书、FDA批准文件、用户说明文档和科学出版物。我们还对数据进行了交叉核对,并审查了来源的可信度。总体而言,收集的信息超过10,000页。数据截至2021年8月为最新。

为分析数据,我们为每家公司及其提供的应用创建了定性案例报告。我们使用系统主题分析[9],根据依据四个维度制定的详细编码手册对这些文档进行分析,以对应用和公司进行编码(见附录3)。

首先,我们提供人工智能应用的全球概览,并深入探讨其技术特征,包括(1)用于开发这些应用的算法类型和数据来源,(2)其所具有的技术架构(例如,本地部署与基于云),以及(3)它们如何整合到放射科医生的工作流程中(例如,嵌入PACS系统)。我们进一步分析这些应用为其用户提供的功能,即这些应用对哪些成像模态有用、专门针对哪些解剖区域、执行哪些具体任务和功能,以及它们支持放射学工作流程的哪些步骤?

其次,我们考察活跃于开发和提供放射学人工智能应用的公司,涉及(1)其人口学特征,如原产国、成立年限和规模,(2)核心业务(例如,医疗或技术),以及(3)创始团队及其专业能力。

第三,我们考察这些公司就其人工智能解决方案所主张的价值主张范围,包括与“效率”相关的价值,如降低放射学工作流程中的成本、时间和工作量,以及与“质量”相关的价值,如提高临床决策质量和提供更高质量的医疗服务。

第四,我们分析了这些公司如何通过寻求外部可信度来使价值主张合法化(例如,获得法律批准以及与医疗和学术机构建立正式合作关系;宣传其拥有的财务、技术和人力资源及专业知识;引用与其人工智能解决方案相关的科学证据;以及展示其系统在实践中的实施情况)。

按照[9]中描述的编码程序,为确保准确性和一致性,编码由五名研究生研究人员执行,他们在数字创新尤其是医疗保健中的人工智能解决方案方面接受过培训。每位研究人员对所有案例中20%的变量进行编码,并交叉核对另一位编码员编码的5%的数据。结果由一位数字医疗保健教授检查和整合,他讨论了潜在的不一致之处并在编码员之间加以解决。所有编码变量在编码员之间平均分配,每位编码员被分配一名同伴。最后,一位高级研究人员检查了编码数据并重新编码了20%的数据,以确保编码的质量和一致性,从而确保评分者间信度 above 80% 并解决分歧。在整个编码过程中,安排了七次同行会议讨论编码工作。

结果

在本节中,我们描述于2021年8月进行的技志学研究(technography study)的结果,并将这些结果与2019年8月的类似情况[1]进行比较,以展示变化和趋势。

1)放射学领域开发的人工智能应用概述

我们识别了由133家公司提供的393个人工智能应用,自2019年8月以来分别增长了43%和34%。在这一数字中,227个(58%)已在市场上商业可用,103个(26%)正在等待获得法律批准,64个(16%)仍在开发中(见图1)。

图1 放射学领域人工智能应用的特征 查看原图 ↗

人工智能应用的技术特征

通常,每个应用与一种特定的图像模态配合工作,算法在该模态上进行训练。最常见的成像模态是CT扫描和MRI。自2019年以来,使用非成像数据(例如,使用临床信息和基因组数据)的人工智能应用数量有所增加(图2)。

尽管所有应用都使用某种形式的机器学习算法,但只有一半明确表示使用“深度学习”算法,而其他应用一般提及“机器学习”(14%)或未指明算法类型(35%)。只有20个应用(6%)具体说明了它们所使用的深度学习算法类型。仅8%的应用披露了用于训练算法的数据来源,只有10%表明了其训练数据集的规模,范围从1000到超过1,000,000张图像(附录4)。

关于其架构,48%被整合到放射学工作环境中(例如,PACS/RIS),20%作为独立应用访问,7%作为供应商中立应用可在各种工作环境中使用,3%嵌入扫描机器中(20%的应用未说明此事项)。至于其技术配置,25%基于云,32%为混合型(同时基于云和本地部署),6%仅为本地部署。趋势表明,人工智能应用优先采用基于云的架构,而非混合型或纯本地部署。

图2 人工智能应用对放射学工作流程的贡献 查看原图 ↗

AI应用的临床特征与功能

AI应用在其所支持的临床特征和功能方面具有专一性。尽管现有应用覆盖了广泛的解剖区域,但每个应用聚焦于一个特定区域,例如“脑”(21%)、“胸部总体区域”(11%)、“肺”(11%)、“乳腺”(10%)和“心血管区域”(9%)。与2019年相比,“脑”作为聚焦区域的主导地位有所下降,而“腹部”、“前列腺”和“甲状腺”等其他区域更为常见。

在考察其功能时,这些应用主要集中于“检测并突出显示可疑区域”(33%)和“量化与提取特征”(24%)。过去2年中,用于“诊断和异常评分”(13%)、“分割”(10%)和“患者画像与概要”(5%)的应用占比有所增加。就放射学工作流程的步骤而言,我们看到64%的应用支持“感知”任务,其次是“推理”(17%)和“图像处理”(11%)。自2019年以来,支持“报告”任务的应用占比有所增加(从2%增至4%)。至于法律审批方面,50%的应用至少拥有一项审批,主要是CE认证(38%)和FDA许可(32%)。与2019年相比,更多应用同时拥有FDA和CE审批。

2)活跃于提供放射学AI应用的公司概览

活跃于提供AI应用的公司总部主要位于北美(41%)、亚洲(25%)和欧洲(22%)。亚洲公司的占比有所增加,从2019年的17%增至2021年的25%。其规模从微型(18%)、小型(44%)、中型(21%)到大型(17%)不等。自2019年以来,“大型”公司的比例从10%增至20%。其成立年限在2至154年之间,平均为15年。超过70%的公司成立不足11年。成长期公司(5–9年)的占比从2019年的36%增至2021年的52%。许多初创公司成功地在市场中存续了超过5年。每家公司平均应用数量为3个,自2019年以来有所增加(2, 7)。各公司提供的应用数量从1到38个不等,70%的公司最多提供6个应用(见图3)。

就其核心业务而言,医疗技术/设备公司在提供AI应用方面处于领先地位(43%),其次是数字技术/服务公司(30%)和医疗机构(20%)。最初,64%的公司为初创企业,20%为大学和研究机构的衍生公司。43%的创始人具有技术背景(如软件开发和工程),25%具有医学背景,12%具有医学与技术领域的混合背景(例如接受过计算机科学培训的医生)。

图3 活跃于开发AI应用的公司的特征 查看原图 ↗

3)放射学领域AI解决方案的多种价值主张

当这些公司推广其人工智能应用时,它们声称具有不同的、且往往是多重“价值主张”,涉及提高放射学工作的“效率”(18%)——例如,通过减少执行任务的时间和成本以及减轻工作压力——以及提升所提供医疗服务的“质量”(31%)——例如,通过提高临床决策质量和改善患者照护质量,或两者兼有(28%)。23%的公司未明确声称上述任何价值主张(见表1和图4)。

创始人为技术背景的公司(35)很少同时声称质量和效率价值(5),且它们很可能不作任何明确声称(11)。创始人为(部分)医学背景的公司(62)倾向于声称更多与质量相关的价值(17)而非与效率相关的价值(11)。同时声称效率和质量价值的公司中,95%的核心团队有放射科医生参与。

表1 提供人工智能应用的公司所声称的价值主张 查看原表 ↗
图4 与人工智能应用相关的公司所声称的价值主张 查看原图 ↗

4)使人工智能应用价值合法化的方式

这些公司使用各种方式来使其人工智能应用的价值主张合法化并获得支持(见表2和图5、图6),即通过:(1)寻求外部合法性——即获得法律批准(72%)以及与医疗和学术机构建立合作关系(75%);(2)宣传其公司的财务和技术资源(48%)以及团队中的人力专业知识(56%);(3)展示与其解决方案相关的科学证据及其对科学研究的参与(52%);(4)展示其解决方案在实践中的实施案例(53%)。公司通常同时使用多种合法化策略。

寻求外部合法性似乎是默认的合法化策略,因为在提出价值主张的公司中,87%提供了某种形式的外部可信度。公司之间更能区分的是它们是否宣传其科学参与或实际实施,或两者兼有。与其他公司相比,医疗机构声称效率和质量价值的频率往往较低,而科学合法化似乎在制药/生物公司中更受青睐。公司成立时间越长,越可能同时使用科学证据和实际实施来使其价值主张合法化。

表2 使人工智能应用及其公司合法化的方式 查看原表 ↗
图5 使人工智能应用合法化的方式及其法律批准 查看原图 ↗
图6 提供人工智能应用的公司所使用的不同合法化策略 查看原图 ↗

讨论

通过整合来自不同来源的定性和定量数据,我们描绘了人工智能应用的多样性、活跃于开发这些应用的公司,以及这些应用被声称如何促进放射学工作以及公司如何试图使其产品合法化。

我们的分析表明,随着大型企业和成熟公司所占比例的增加,提供人工智能应用的公司已变得更加成熟。此外,过去两年中对某些解剖区域(例如大脑)过度集中的倾向有所减弱,公司已扩展其算法范围,使其能够处理不同形式的医疗数据。此外,公司在北美、欧洲和亚洲地区的分布更加均衡。这些均表明,在开发人工智能应用方面已投入了更多实质性的资源和努力,市场已超越其最初的新兴阶段。

尽管如此,人工智能应用在成像模态、解剖区域和医学功能方面仍然高度专业化且范围狭窄。公司应对其应用狭窄性的主要策略似乎是使其应用多样化(提供更多解决方案),并确保其解决方案无缝集成到放射科医师的工作环境中,且能在多种技术基础设施上运行。

公司很少(不到10%)披露有关其所用算法类型和训练数据集的技术信息。这可能是因为许多公司仍处于改进算法和丰富其算法能够良好运行的数据的过程中。在这些方面提高透明度对于建立信任和用户的批判性参与至关重要,用户希望了解这些算法是如何训练的以及如何在其自身数据上使用[10]。

公司声称其应用为支持放射学工作流程提供了各种价值,既能提高临床工作的效率又能提升质量。这表明公司已学会如何定义与医学专业人员和管理者[11]切实相关的价值主张,从而能够从财务和安全角度[12]证明实施这些应用的合理性。

为支持这些价值主张,公司采用了广泛的合法化策略。拥有某种形式的外部合法性(例如法律批准或与医学和学术机构的合作关系)似乎是一个相当先决的条件,尽管通常还辅以提升公司信誉(例如基于其资源和专业知识)以及展示其参与科学研究和在实际中实施其解决方案。然而,公司往往停留在展示其算法在训练和测试数据上的准确性和性能层面,而未提供其解决方案在临床实践中有效性的系统证据。

结论

我们系统概述了放射学中人工智能应用市场如何演变。我们看到,该市场在人工智能应用的数量和多样性方面已经扩展,公司在定义各种形式的价值主张和使其主张合法化方面更加活跃。然而,显示这些解决方案在用户侧的性能和有效性的系统证据有限,例如关于减少时间或成本或提高质量的明确证据。这是确保人工智能应用提供临床相关且实际可行的价值的关键一步[13]。同样重要的是要认识到,工业研发团队和学术实验室都有许多人工智能举措,我们在研究中未涵盖这些。因此,未来的研究需要扩展我们的研究,以包括即将到来的人工智能解决方案和公司,并考察现有解决方案和公司如何演变。

补充信息

ESM 1(XLSX 655 kb)

(XLSX 210 kb)

(DOCX 43 kb)

引用

  1. Mehrizi, Gerritsen, de Klerk, et al. How do providers of artificial intelligence (AI) solutions propose and legitimize the values of their solutions for supporting diagnostic radiology workflow? A technography study in 2021. Eur Radiol. 2022. PMID: 35980427. doi:10.1007/s00330-022-09090-x
  2. 全文:PMC9889424(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9889424/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。