文献速递技术与安全

放射学中实施人工智能的整体性方法

A holistic approach to implementing artificial intelligence in radiology.
PubMed 文献 · Insights Imaging · 2024-01-25

本文通过对荷兰一家大型学术医学中心为期三年的纵向定性案例研究,揭示了放射学中AI实施在技术、工作流程与组织层面的挑战,并提出了整体性实施方法。研究基于43天工作观察、30次会议观察、18次访谈和41份文档分析,发现通过长期举措将社会与技术层面整体对齐,机构可从AI实施中获得更多收益。

要点

  • AI实施挑战涉及技术、工作流程与组织多个层面,需整体性方法应对。
  • 医院级供应商中立AI平台可加速AI应用部署并降低管理开销。
  • 将AI结果无缝整合至临床前端软件并以标准化方式使用,可减少工作流程中断。

核心结论

  • 本研究强调AI实施需采用整体性方法,解决跨越技术、工作流程和组织层面的挑战。
  • 在不同层面之间对齐变革举措对于促进AI在临床实践中的广泛实施已被证明是重要的。

研究设计与样本

  • 纵向定性案例研究,研究对象为荷兰一家大型学术医学中心(化名为Southern),研究时间为2019年11月至2022年9月。
  • 收集数据包括43个非连续工作日的工作观察、30次会议观察、18次访谈和41份相关文档。
  • 采用溯因推理进行系统数据分析,识别出三个应对特定AI实施挑战的变革举措主题。

临床应用与阅片要点

  • 本研究中心建立了医院级供应商中立AI平台,利用元数据自动将符合条件的影像数据路由至相关AI应用。
  • 本研究中心于2018年在放射科内设立图像处理组,由九名放射技师和两名技术医师以标准化方式部署和整合先进技术。
  • 本研究中心的技术医师对算法进行本地验证,测量准确率、精确率等性能指标并持续评估。
  • 本研究中心与AI及PACS供应商合作,通过API实现AI结果的可修改(接受/拒绝模块及测量调整)。

局限性

  • 本研究深入单一案例以得出富含情境的可迁移见解,其见解和变革举措并非旨在直接推广至不同情境。
  • 读者应注意,见解和变革举措是针对所选案例特定组织和历史情境调整的。
  • 作者不认为整体性方法是对所有案例最佳或唯一的方法。
  • 整体性方法适用于工作流程和信息系统复杂的组织,如三级医疗机构。
  • 作者承认,在业务范围较小、工作流程统一或平行的组织中,局部实施AI可能已足够。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Jan 25;15:22. doi: 10.1186/s13244-023-01586-4

目的

近年来,人们对人工智能(AI),尤其是深度学习(DL)在放射学中的应用兴趣激增[1]。2015年至2020年间,超过半数的CE认证医疗AI设备针对放射学用途[2],且在2019年北美放射学会年会(RSNA)上,参展AI公司的数量较前一年几乎翻了一番[3]。然而,AI应用在临床实践中的采用仍然有限[4–8]。

研究表明,AI在医疗保健尤其是放射学中的实施面临技术、工作流程和组织层面的多重挑战。这些挑战包括IT基础设施的复杂性[6]、缺乏自动化数据路由和处理[5]、部署和扩展窄AI应用的基础设施有限[8]以及临床用例定义不明确[4]。此外,包括临床医生和管理者在内的不同利益相关者对如何最优部署AI的知识有限[9, 10]。

尽管人们普遍认识到克服这些挑战是在临床实践中实施AI的关键,但很少有研究关注组织在实践中如何应对这些挑战,尤其是通过整体性方法。本文的目的是讨论从对一个此类先驱组织的深入案例研究中获得的经验教训,并为寻求实施AI的组织提供适用的见解。在本文中,我们的关注点主要在于AI在放射学中的应用;然而,需要注意的是,整体性方法及其相关经验教训在该特定领域之外也具有相关性。我们展示了一个组织如何先发制人地应对AI实施中的具体挑战以及取得了什么结果。最后,我们概述了面向其他组织实现整体性AI实施的经验教训。

方法

我们进行了一项纵向定性案例研究,以调查AI应用在真实环境中放射学的实施和部署[11]。基于详细的实证观察,我们旨在开发可迁移的见解,为可比组织情境中的行动提供参考[12, 13]。我们选择研究地点为Southern(化名),这是荷兰一家大型学术医学中心,因为它提供了一个丰富的案例,其中所关注的现象易于观察[14]。鉴于其AI相关举措的规模和范围(超过15个正在进行的AI实施项目),Southern堪称欧洲背景下医疗保健领域AI实施的先驱案例。

2019年11月至2022年9月期间,第一作者在43个非连续日内进行了工作观察、30次会议观察、18次访谈,并收集了41份文件用于本研究分析(见表1)。为确保数据的有效性,我们对数据收集方法和数据来源均进行了三角验证[15]。

我们按照表2所述,遵循溯因推理[16],分三步对数据进行了系统分析。首先,我们对Southern与AI实施相关的具体变革举措进行了编码。其次,我们对AI实施过程中的独特挑战进行了编码,这些挑战在Southern被观察到,同时也在放射学AI文献中得到认可。然后,我们将两者关联起来,并剔除了未针对特定AI实施挑战作出回应的变革举措。分析最终形成了三个主题,涵盖技术、工作流程和组织层面,并对变革举措进行了结构化梳理,呈现在表3中。

我们在表4中概述了Southern放射科实施的AI应用。该表详细列出了每个应用的分解说明,包括对其临床实践影响的评估。它展示了Southern AI应用的广泛性和多样性、其采用阶段以及对临床实践的观察(或潜在)影响。

表1 收集数据概览 查看原表 ↗
表2 数据分析步骤 查看原表 ↗
表3 AI实施挑战、Southern变革举措及基于所开展案例研究的经验总结概览 查看原表 ↗
表4 Southern已整合AI应用概览 查看原表 ↗

结果

在本节中,我们按照表3的结构呈现结果。我们审视了Southern在尝试实施AI过程中所面临的独特挑战,以及Southern如何通过具体变革举措回应这些挑战。

技术层面:可扩展且无缝的AI实施

由于当前AI应用功能单一,只能在特定类型的数据上执行特定功能[7],组织需要协调多个AI应用的组合使用[8]。考虑到这一挑战,Southern实施了院级供应商中立的AI(VNAI)平台,该平台能够实现AI实施和临床使用的规模化扩展与流程简化。对于放射学AI应用,VNAI利用所采集扫描的元数据(例如成像模态、扫描方案、患者年龄截断值),自动将符合条件的数据路由至相关AI应用进行处理,如图1所示。通过这种方式,它能够按期望的顺序协调多个AI算法的同时使用,从而确保以工作流程为中心的AI实施,而放射科医生不会经历工作流程中断:“我知道很多时候,AI生成的数据可能无法在合适的时间出现在工作现场。而这是它们能够增值的前提。”(放射科医生L)。

当前人工智能领域的另一个挑战是,组织需要与多个供应商合作,每个供应商仅提供狭窄的人工智能应用,这导致相当高的间接成本[17]。供应商中立的人工智能平台(VNAI)在这方面也有帮助,它集中管理多个人工智能项目的安全审查、合同问题和技术安装。它作为平台上托管的所有人工智能应用的集中式数据处理器,减少了与各人工智能供应商之间隐私和数据安全文书工作的需求。通过这种方式,为所有人工智能项目建立了一个全面而强化的监管框架,从而实现更快、成本更低的人工智能实施。举例来说,VNAI将人工智能应用的实施加速到几个月,而在VNAI之前,与各人工智能供应商实施独立的人工智能应用需要一年以上,特别是由于起草和签署法律及合同文件的漫长过程。此外,VNAI仅托管经过认证的人工智能应用,使Southern能够快速安装和测试可用于临床实践的可靠人工智能应用。此外,Southern最近从本地部署的VNAI迁移到基于云的VNAI,以促进未来的软件升级并将维护工作转移给VNAI提供商,从而进一步降低间接成本。

最后,缺乏将人工智能结果整合到临床前端软件的标准用户界面,进一步挑战了人工智能在临床实践中的实施和部署。次优的人工智能集成削弱了人工智能的附加价值,并阻碍了终端用户的便捷使用[4, 17, 18]。为应对这一挑战,Southern优先考虑将人工智能应用无缝集成到其临床前端软件(如PACS查看器)中,使临床医生能够以最少的额外点击在其查看器中无缝访问和查看人工智能结果。这减少了工作流程中断,使临床医生无需启动单独的软件并在界面之间切换。虽然表面性的URL集成——即启动单独的Web浏览器显示人工智能结果——会更快地集成任何单个人工智能应用,但Southern的管理者和临床医生坚持认为这既不可扩展也不可持续。因此,他们推动将人工智能无缝集成到临床前端软件中作为临床使用的先决条件。这是通过与人工智能供应商共同创建以获得特定的人工智能输出,以及通过配置现有临床前端软件应用(如PACS和其他高级图像查看器)的API来实现的。

图2总结了Southern放射科人工智能项目的演变。Southern于2018年开始探索各种人工智能应用。若干项目在2019年和2020年停留在开发和验证阶段一段时间。然而,在2020年VNAI投入使用后,多个项目加速推进,并实现了人工智能在临床实践中的首次实施。这种加速虽然很大程度上归因于VNAI,但并非完全如此,应当注意有多种内部和外部因素在起作用,例如人工智能供应商的资源可用性、IT基础设施以及对法律和伦理问题的了解。

图1 医院级供应商中立人工智能(VNAI)平台,朝向可扩展且无缝的人工智能实施 查看原图 ↗
图2 人工智能项目随时间进展概览。空心点代表项目的起点,而实心点代表项目随时间的进展。重要事件呈现在图底部的时间线上。 查看原图 ↗

工作流程层面:以价值为中心的人工智能实施

由于没有关于如何最好地将人工智能实施到临床工作流程中的指南,其在临床实践中的使用显示出显著差异[4, 17, 18]。因此,各组织难以建立关于人工智能应用价值的经验证据。Southern的管理者知道,为应对这一挑战,人工智能应用需要以标准化、一致的方式使用:“尽管花费巨资,图像分析工具并未以一致的方式使用。”(放射科主任)。为此,Southern于2018年在放射科内部成立了图像处理小组(IPG,化名),作为技术部署和集成的中央枢纽。在IPG中,九名放射技师和两名技术医师部署和集成包括但不限于人工智能的先进技术。利用技术,放射技师分析放射学图像并在放射科医师报告病例之前预先填充放射学报告。在此过程中,他们通过使用详细方案以结构化和标准化的方式应用技术。IPG还通过不仅使用技术而且围绕技术重组工作并将任务从放射科医师转移到放射技师来进一步实现技术的价值。最后,IPG还通过作为技术使用的中央枢纽来培养技术专长:“我们对[图像分析软件]有更多了解,能够快速做出更改。我只需几分钟就能完成的事情,放射科医师需要打开程序、找到工具位置、如何使用等。”(IPG放射技师)。

同时,与其他软件不同,人工智能应用是在特定数据集上训练的。因此,当训练数据和其所应用的本地数据不同时(例如患者人群、病变患病率),其性能可能会有所不同[20]。为应对这一挑战,IPG的两名技术医师在本地验证算法方面发挥重要作用,测量其性能指标如准确率、精确率,并持续评估其随时间的性能。此外,他们向人工智能供应商传达临床医生的愿望,并负责人工智能在临床工作流程中的无缝集成。例如,他们与人工智能供应商合作,对来自Southern的超过15,000张胸部X光片进行回顾性分析,以验证一款在不同国家开发的提供胸部X光片正常/异常检测的人工智能应用。在与供应商成功完成算法的回顾性分析后,他们创建了一个仪表板,自动分析放射学报告中的发现并将其与人工智能结果进行比较。该仪表板使管理者能够监控人工智能结果,并使放射科医师能够控制其工作质量。在整个过程中,IPG技术医师在医学和工程方面的多学科背景促进了Southern内外利益相关者的协调与协作。

最后,当前的人工智能应用与放射科医生互动并实时接收其反馈的能力有限[7]。为应对这一挑战,Southern的放射科医生要求人工智能结果可修改,以便他们能对放射学报告有更多控制权。使人工智能结果可修改通常需要多个软件包的接口进行通信,例如PACS查看器和人工智能软件。由于软件接口通常具有不同的通信标准和实现方式,管理此类通信需要与所有软件包的供应商进行密集且长期的协作。举例来说,2021年,Southern实施了一款人工智能应用,用于在CT扫描上检测和量化肺结节。最初,人工智能结果以PDF文件形式呈现在PACS中,其中的发现是固定的。为使人工智能结果可修改,Southern与人工智能和PACS供应商双方合作,利用现有的应用程序编程接口(API),使接受/拒绝模块得以使用,并可在PACS查看器中调整测量值。尽管这使整合延迟了数月,但放射科医生更加确信人工智能应用为其工作带来的价值,因此更愿意使用该人工智能应用。

人员与组织层面:从人工智能实施中持续学习

放射科医生对人工智能能为他们的工作带来的益处和风险持有不同期望[19],部分原因是他们在临床实践中对人工智能的经验有限:“有很多演讲、很多报告都在讲人工智能,但在实践中,你从未接触到人工智能。”(放射科住院医师)。为帮助经验有限的放射科医生和其他临床医生选择和投资正确的人工智能项目,Southern于2020年成立了临床人工智能实施小组(CAI Group,化名)。当对人工智能项目感兴趣者提交提案时,CAI Group中的数据科学家、法律和伦理专家以及临床医生共同评估该提案的可行性、是否有足够的资源以及使用人工智能是否具有具体的附加价值。更根本的是,要评估是否首先需要人工智能来解决临床问题,或者其他技术是否也能回答该问题。CAI Group还为临床医生提供涵盖整个人工智能周期的全面而具体的清单,包括关于隐私考虑和处理伦理问题的指南。

此外,CAI Group促进了放射科医生和其他临床医生之间的学习,防止他们重复造轮子。它通过博客文章、聚会和内部通讯等多种沟通渠道,积极传播从各种人工智能项目中汲取的经验教训。特别是,作为一个伞形组织并联合了来自不同部门的各类成员,它促进了跨部门沟通,更容易在正式部门之间调动广泛的知识和其他资源网络:“为了在临床实践中可信地实施人工智能,我们需要汇集全院范围的知识。CAI Group就是一个完美的例子。这样我们就能实现医院内推广人工智能的目标。”(Southern董事会成员)。

最后,为简化人工智能项目的实施,南方医院建立了一个扩展网络,从放射科各亚专科(如神经放射学)提名人工智能倡导者。人工智能倡导者通过内部讨论收集其亚专科对潜在人工智能应用场景的想法,这些想法集中提交至创新指导委员会进行进一步调研和优先级排序。当项目被选定后,会组建一个由临床医生和信息技术人员组成的项目团队,以实施和评估通过自下而上方式收集的想法。目标不是进行一次性的AI部署,而是建立一个反馈闭环,从而实现同伴互教并为未来的人工智能决策提供依据。这一简化流程使放射科医生提出了更切合实际的应用场景,并对人工智能应用抱有合理的预期。

讨论

在本文中,我们以荷兰大型学术医学中心南方医院为例,呈现了一种人工智能实施的整体性方法,该中心在5年间成功实施了多项人工智能应用。其成功体现在已被采用或正在使用的广泛人工智能应用范围及其持续整合,以及测试、验证、实施和监测人工智能应用的流程加速和投入减少(见图2和表4)。在本节中,我们讨论在南方医院观察到的变革举措如何体现人工智能实施的整体性方法,并提炼出对其他组织有帮助的经验教训。

采用整体性方法实施人工智能时,组织会全面重新审视、重构和调整技术、工作流程、人员和组织结构,以利用人工智能创造并维持价值。在此过程中,他们超越了现状所提供的可能性,而不是简单地将人工智能应用插入遗留系统——后者可能只是暂时改善现状而无法创造持久价值。人工智能实施存在倒退至原有医疗任务执行状态的风险,因此确保长期举措到位以推动变革进程持续向前十分重要。南方医院的案例表明,组织可以通过投资于将临床实践的社会层面和技术层面整体对齐的长期举措来获得更多收益。在南方医院的所有变革举措中,我们观察到以下三种总体模式。首先,集中力量并汇聚利益相关者,以促进人工智能项目的有效选择、人工智能应用的高效使用、跨部门知识共享与协作以及技术使用方面的专业知识。其次,对人工智能实施基础设施进行长期投资,使流程标准化和自动化,以防止反复出现(间接)成本 and 重复造轮子。最后,预期最终用户从一开始就被纳入其中,使人工智能实施在日常临床实践中交付价值。在表3中,我们总结了案例研究的结果,并提供了关于人工智能实施整体性方法的更详细经验教训,可对其他组织有所帮助。

局限性与未来研究

本研究并非没有局限性。首先,我们深入研究了单一案例,以得出富含情境背景、可迁移的洞见,涉及人工智能实施的整体性方法。这些洞见和变革举措并非旨在直接推广到不同情境,而是通过可迁移的概念和 lessons(经验教训)来传递,这些概念和教训涉及人工智能实施的整体性方法[12, 21]。因此,尽管我们相信这些洞见能够促进不同组织的人工智能实施,并有助于从人工智能中实现可持续价值,但读者应注意,这些洞见和变革举措是针对所选案例的特定组织和历史情境而调整的。

与此相关,我们并不主张人工智能实施的整体性方法是最佳方法,也不是所有案例的唯一方法。整体性方法适用于具有复杂工作流程和信息系统的组织,如三级医疗机构,在这些机构中,局部实施人工智能应用可能因组织内不同元素相互作用的不匹配而产生不可预见的问题。我们承认,局部实施人工智能可能已经足够,例如在具有统一或并行工作流程、业务范围较小的组织中,实施有限数量的人工智能应用已经能为组织带来显著价值。未来研究可研究多个案例,以调查在哪些条件下局部实施人工智能可能足够,以及两种方法之间的阈值在实践中位于何处。

最后,所提出的整体性人工智能实施方法的财务可持续性仍是一个有待解决的独立议题。虽然增加局部实施人工智能应用的数量缺乏财务可持续性和可扩展性,但问题仍然在于整体性方法所需的更高(初始)投资(包括人员和技术的投资)是否以及何时能够实现盈亏平衡。我们的案例表明,整体性方法,尤其是当数据、工作流程和算法通过平台(如VNAI)进行整合时,可以降低验证和实施的成本,从而有助于财务可持续性。我们还注意到,这可能成为人工智能公司通过这些平台提供服务的潜在商业模式,从而降低成本,并对用户组织更具财务可负担性。

重要的是要认识到,量化精确的财务影响和收益本身就是一个复杂且多层面的问题,需要专门的研究努力。因此,重要的是要注意,这一具体问题超出了本文的范围。因此,除了本文所涉及的社会技术对齐之外,未来研究还应探讨财务可持续性和可扩展性问题,以实现真正大规模的人工智能实施。

引用

  1. Kim B, Romeijn S, van Buchem M, et al. A holistic approach to implementing artificial intelligence in radiology. Insights Imaging. 2024. PMID: 38270790. doi:10.1186/s13244-023-01586-4
  2. 全文:PMC10811299(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10811299/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。