指南与共识技术与安全

放射学中人工智能工具的开发、采购、实施与监测:实践考量——来自ACR、CAR、ESR、RANZCR与RSNA的多学会声明

Developing, purchasing, implementing and monitoring AI tools in radiology: practical considerations. A multi-society statement from the ACR, CAR, ESR, RANZCR & RSNA.
PubMed 文献 · Insights Imaging · 2024-01-22

该多学会声明由ACR、CAR、ESR、RANZCR和RSNA联合发布,旨在界定将AI纳入放射学实践时开发者、监管者和采购者应考虑的实践问题与伦理议题,并建议监测AI工具在临床使用中的稳定性、安全性及自主运行适用性的方法。声明强调AI工具的开发应针对未满足的临床需求而非现有技术或数据集,监管审批前应要求开发者提供关于公司、临床使用、实施、产品开发、验证、成本和发表文献的信息。

要点

  • AI工具进入临床前应在目标人群上评估准确性,引入后应监测其性能以发现准确性漂移。
  • 开发者应针对未满足的临床需求开发新产品,而非聚焦于现有技术和数据集。
  • 监管审批前应要求开发者提供公司、临床使用、实施、产品开发、验证、成本和发表文献等信息。

核心结论

  • AI有望推动放射学诊疗、量化和管理变革,但需严格评估其效用声明并区分安全产品与可能有害或根本无帮助的产品。
  • AI在放射学中应促进福祉、尽量减少伤害、尊重人权如尊严和隐私,并确保利益和伤害在利益相关者之间公正分配。

研究设计与样本

  • 该多学会声明由ACR、CAR、ESR、RANZCR和RSNA的代表共同撰写,呈现美国、加拿大、欧洲、澳大利亚和新西兰放射学会的观点。
  • 声明综合了AAPM、ACR、CAR、ESR、EuSoMII、RANZCR、RSNA和SIIM等多个利益相关方的工作,并引用2019年多学会AI伦理声明。

诊断标准与关键数值

  • 传统计算机辅助检测或诊断系统基于规则并使用手工特征,现代深度学习AI算法从数据中自动学习相关特征而无需显式定义和编程。
  • 训练深度学习模型可使用监督学习(当前最常用,呈现输入与期望输出对)、无监督学习(系统将数据聚类)或强化学习(系统通过奖励或惩罚学习)。
  • 监管模式应在 advisory、半自动和自动系统之间划出清晰类别和边界,自主程度越高要求的证据基础和真实世界记录越深。
  • 采购者应考虑AI的预期用途、受益人群、相关风险、经济影响、与工作流程的整合、商业声明的验证与监测、用户培训及人机交互心理效应。
  • 采购者应评估FDA或其他机构批准/许可数据是否反映本地数据的准确性,以及该准确性是否足以在该机构使用。

临床应用与阅片要点

  • 放射科医生和其他终端用户应接受AI原理教育,了解使用AI模型时的局限和潜在风险。
  • 在模型透明度和可解释性差的情况下,可能需要更高标准的性能实证证据,包括外部或多中心测试数据以证明模型泛化性,以及在最接近产品可能部署的临床环境中进行前瞻性真实世界评估。
  • 监管者应强烈鼓励公开透明度,如模型卡或系统卡,明确报告局限性、错误和偏见,并将其作为评估提交质量的主要考虑。
  • 监管者应特别关注确保解决方案有明确的市场后质量保证计划,以应对因患者人群变化或AI软件版本升级导致的概念漂移。

局限性

  • 原文未报告局限性。
全文中译30 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Jan 22;15:16. doi: 10.1186/s13244-023-01541-3

第1节:引言

人工智能(AI)很可能成为几十年来对放射学影响最大的单一颠覆性力量,甚至可能是自我们这门专业诞生以来最具颠覆性的影响。以往的新技术通过引入新能力来颠覆实践,这些能力在识别疾病和区分组织方面具有更强的能力。这些技术作为既有工作方式的自然延伸而发挥作用;较旧、效果较差的技术被取代,由更有效的新方法所替代。所有这些变化都发生在人类放射科医生利用可用工具为患者谋益的同一环境中。工具变了,工作模式从根本上仍然相似。

人工智能提供了远超以往颠覆性变化的变革可能性。其拥护者有时提出AI可以完全取代放射科医生[1],尽管一些人后来修正了观点,并开始看到不受控制的AI发展所带来的危险[2]。更现实地说,越来越多的研究将AI作为放射科医生主导的图像判读的潜在辅助手段[3]。研究也指向AI取代放射科医生的传统角色,包括检查和协议选择[4],以及由AI模型直接生成放射学报告[5]。

在围绕放射学中AI的迅速增长的文献、宣传和声称之中,放射科医生、执业管理者或软件采购者如何去芜存菁,批判性地评估关于AI应用效用和获益的声称,区分经过充分评估且安全的产品与那些可能不按宣传方式运行、甚至更糟地造成伤害的产品?在这份多学会论文中,美国放射学会(ACR)、加拿大放射科医师协会(CAR)、欧洲放射学会(ESR)、澳大利亚和新西兰皇家放射科医师学院(RANZCR)以及北美放射学会(RSNA)的代表试图界定AI纳入放射学实践相关的具体潜在问题、由此产生的相关伦理问题、AI工具开发者应牢记的考虑因素、获授权为临床应用许可或认证AI工具的机构应考虑的问题、采购者和使用者在考虑将AI工具引入临床实践时应如何评估这些工具、应如何监测其长期稳定性和安全性,以及我们应如何评估其自主运行的适用性。

第2节:问题是什么?

A. 为什么AI算法不同于放射学以往的信息技术/信息学发展?

放射学中使用了约30年的传统计算机辅助检测(CADe)或诊断(CADx)系统是基于规则的,使用具有手工设计特征的经典机器学习技术。系统意图检测的特征,如病变的形状、大小或纹理,是手动预先定义的,然后用于检测放射学图像中的异常[6]。尽管有用,CAD受限于需要手动特征工程以及无法随时间学习和适应。

现代人工智能算法,尤其是基于深度学习的算法,与传统的计算机辅助诊断(CAD)有着本质区别,因为它们能够从数据中自动学习相关特征,而无需明确定义和编程。深度学习算法可以通过在大型数据集上训练来学习识别放射学图像中的模式,并且原则上,随着接触更多数据,它们可以持续学习并提升性能[7]。深度学习模型的训练可以采用监督学习(目前最常用,提供输入与期望输出的配对)、无监督学习(系统将数据聚类为类别)或强化学习(系统通过奖励或惩罚进行学习)[8]。

另一个关键区别在于人工智能算法能够为放射学带来的自动化水平。传统CAD系统可以辅助检测异常,而人工智能算法有潜力自动化许多常规放射学任务,例如图像分割与测量、图像质量与完整性评估,并能够通过实时分析大量数据来提供决策支持[9, 10]。

人工智能在放射学中的实施带来了新的挑战,例如需要大型标注数据集来训练人工智能算法、确保人工智能决策的透明性和可解释性,以及处理伦理和监管方面的考量[11, 12]。

B. 为什么我们需要在人工智能模型进入常规临床使用之前以新的方式对其进行评估?

放射学中的大多数人工智能模型用于支持病灶检测或量化,或帮助放射科医生进行决策[13]。一些较新的方法还有助于分析患者病史或撰写检查报告和/或印象[14]。为确保人工智能模型在放射学中的安全运行,必须对放射科医生和其他潜在最终用户进行人工智能原理的教育,并教授他们使用人工智能模型时的局限性和潜在风险[15, 16]。

在将人工智能模型引入临床实践之前,评估其在目标人群中的准确性也很重要;引入之后,应监测其性能以检测准确性的漂移。

将人工智能算法整合到放射学工作流程中是确保其安全一致运行的关键。缺乏广泛接受的人工智能整合标准仍然是一个挑战[17]。在此背景下,应注意界面设计。让放射科医生面对越来越多复杂的界面是不可取的,而且可能降低人工智能工具的实用性和接受度[18]。

C. 我们如何在众多产品中进行区分?

人工智能在放射学中的整合有潜力彻底改变医疗实践,为诊断、量化和管理多种医疗状况提供先进解决方案。然而,人工智能模型的评估超越了临床准确性,还涵盖商业和技术方面的考量。这些内容以及潜在用户和购买者在实施前如何评估人工智能工具的其他方面,将在第6节中详细探讨。

第3节:伦理问题有哪些?

医学伦理以四项基本原则为基础:有利原则(行善)

不伤害原则(不做伤害)

自主原则(患者选择的自由)

公正原则(确保公平)[19–22]。

这些原则适用于最广义的医学实践,因此涵盖与放射学中人工智能相关的伦理考量。本节借鉴了多个利益相关方的工作,包括AAPM、ACR、CAR、ESR、EuSoMII、RANZCR、RSNA和SIIM [11, 23–28],并考虑了在人工智能系统的开发、部署、使用和监测过程中出现的伦理问题。

2019年,上述大多数学会合作发表了一份关于放射学中人工智能伦理的多学会声明 [23],传达了以下关键信息:放射学中的人工智能应促进福祉、尽量减少伤害,并确保利益和伤害在利益相关方之间以公正的方式分配。

人工智能应尊重人权和自由,包括尊严和隐私。其设计应实现最大程度的透明性和可靠性。

人工智能的最终责任和问责仍归于其人类设计者和操作者。

放射学界应制定人工智能的伦理和实践准则,促进任何有助于患者和公共利益的用途,并阻止将放射学数据和算法用于不具备上述两个属性的经济利益目的。

需要广泛的研究来了解如何最好地在临床实践中部署人工智能。

人工智能存在潜在陷阱和固有偏见。在放射学中广泛使用基于人工智能的智能和自主系统可能增加系统性错误的风险并造成严重后果,同时凸显复杂的伦理和社会问题。

关键声明

放射学中的人工智能应促进福祉、尽量减少伤害、尊重尊严和隐私等人权,并确保利益和伤害在利益相关方之间以公正的方式分配。

鉴于人工智能对数据的关键依赖性,与数据获取、使用、存储和处置相关的伦理问题对于患者安全和人工智能的适当使用至关重要。重要的伦理问题涉及知情同意、隐私和数据保护、数据所有权、偏见和公平性、透明度以及人工智能融入临床实践 [11, 23]。

隐私、知情同意和数据所有权

放射学中的人工智能系统需要访问大量患者数据用于训练和运行。确保这些数据被合乎伦理地使用涉及维护患者隐私、获取数据使用的知情同意以及确保数据安全。影响患者数据所有权的多个因素包括相关立法、患者隐私和自主权、更广泛的公共利益、医疗服务提供者和人工智能开发者的利益以及版权问题 [23, 24]。不可避免的是,不同国家在这些影响因素方面存在差异,这可能使开发者和其他方对数据的使用更加复杂。原则上,关于所需患者同意程度的决定(“知情”、“选择退出”或“推定”)反映了潜在社会效益或行善原则与患者自主权之间的平衡。患者数据的匿名化也是一个重要但复杂的考量因素,如果未能维持匿名化,则是另一个风险来源。在做出数据相关决策时,必须考虑潜在的伤害,如歧视、保险费用和羞辱。

偏见和公平性

AI系统可能无意中延续甚至放大医疗保健中现有的偏见,导致不公平的结果(表1)。特别是,AI系统依赖于训练数据,缺乏背景信息,如果用于训练AI系统的数据不能代表AI系统将应用的患者人群,则更可能出现偏见。这种偏见源于人群差异,可能反映性别、性取向、种族、社会、环境或经济因素。所使用的数据还可能因其他原因而包含固有偏见,例如源于为训练AI系统标注数据的人员的偏见。不同的扫描设备和协议也可能影响AI开发过程中使用的数据并引入偏见。

AI系统与人类之间的交互也同样重要。人类能够理解背景信息,更有可能判断AI输出在特定临床情境中是否不恰当并采取行动,而非简单地接受错误的AI建议。与之相对,自动化偏见是指人类倾向于优先采纳AI系统的决策而非人类决策,这在AI系统出错时可能导致错误。当放射科医生疲劳或放射科劳动力有限、因而监督AI输出的能力受限时,这种自动化偏见可能更为突出。在实施自主AI系统或AI系统随时间持续学习和适应的情况下,患者安全风险也会更高。在这些情况下,对AI系统性能进行评估和监测的需求相应增大。

表1 偏见类型学 查看原表 ↗

关键陈述

AI系统依赖于训练数据,缺乏背景信息,如果用于训练AI系统的数据不能代表AI系统所应用的患者人群,则更可能出现偏见。

透明性和可解释性

透明性要求提供关于AI系统能力和局限性的明确信息,特别是系统的预期用途、预期在何种条件下按预期运行以及实现特定目标的预期准确度水平。这些信息对系统的部署者尤为重要,但也可能与主管机构和受影响方相关[29]。透明性的概念还应延伸至让患者知晓是否正在使用AI系统。

许多深度学习AI系统以“黑箱”方式运作,在此情况下,放射科医生和其他医疗保健提供者可能很少或无法了解AI算法是如何得出结论的。尽管在某些深度学习系统中难以实现,但提供关于决策如何制定的信息可增强患者和医疗专业人员的理解与信任。定义各有不同,但透明性、可解释性(理解AI系统运作方式的能力)和可解释性(AI系统如何做出决策并详细呈现其输出)是可取的,但也伴随风险。观点不一,但对透明性、可解释性和可解释性的需求应与隐私丧失、专有信息丧失和恶意攻击相关的潜在危害相权衡。

AI在临床实践中的应用

在人工智能系统的开发和部署过程中,获取数据、各种技能和计算能力至关重要。这些资源并非均匀可得,导致人们在获取人工智能带来的益处方面存在潜在的不公平,其原因涉及多个因素,包括地理位置、族裔和资金资源的可得性。例如,资源丰富的国家或医院可能获得比资源匮乏的对应方更先进的人工智能工具,从而加剧健康差距。

将人工智能引入医疗保健可能改变医生与患者之间的动态关系,对患者信任产生潜在影响。历史上,当未达到可接受的医疗标准时,临床医生须承担责任。在使用人工智能系统且未达到医疗标准的情况下,问责和法律责任除临床医生外,还可能延伸至开发者和实施该人工智能系统的医疗实体[11, 23]。

当放射科医生、其他医疗专业人员或医疗系统受雇于或 otherwise 参与营销人工智能系统的商业实体时,也可能产生利益冲突[28]。为实现最佳性能和患者安全,必须考虑将人工智能系统成功整合到工作流程中并与其他技术协同,以及对使用此类系统的人员进行教育。若实施得当,人工智能的部署将惠及患者和公众,放射科医生明智的做法是发挥其专业技能促进安全有效的人工智能部署,以保持自身相关性[11, 23]。

关键声明

解决人工智能中的伦理问题需要技术解决方案、政府活动、监管监督以及与广泛利益相关方(包括临床医生、患者、人工智能开发者和伦理学家)合作制定的伦理指南相结合。

第4节:开发者在创建新的放射学人工智能工具时应考虑什么?

A. 新产品的临床实用性

新产品应在病灶检测、分割、诊断或临床结局预测方面提高现有工作流程的质量或效率。放射学人工智能开发者中一个常见的错误是开发反映现有技术和数据集的解决方案,而非具有支持现有工作流程的临床实用性的解决方案。社会开发的资源,如ACR DSI Define-AI目录,通常可作为确保所开发技术满足真正临床需求的良好起点[30]。在缺乏现有用例参考,或应用并非现有应用的直接衍生演进的情况下,开发者应尽早在设计和开发过程中让临床医生参与,以在投入大量时间和开发者资源之前深入了解提案的可行性和实用性。

关键声明

新产品应针对未满足的临床需求,而非聚焦于现有技术和数据集。

B. 优于现有临床/放射学工具

对于开发者而言,证明其优于现有临床流程可能是一个具有挑战性的命题,尤其是那些在该领域临床经验有限的开发者。对于有先前存在的开放科学竞赛作为支撑的解决方案——这些竞赛定义了明确的性能指标并维护了参赛者排行榜——证明竞争性等效或优越性通常较为容易。这在每年RSNA和MICCAI会议上的一系列AI挑战赛中尤为显著[31, 32]。在不存在此类开放数据的情况下,开发者应确定基线临床性能,并将AI性能与现有或已批准的软件、或放射科医生多读者对照数据进行比较。设计良好的多读者诊断准确性研究是报告AI解决方案优越性的常用方法,尽管有效实施此类研究既困难又昂贵。当人类读者借助AI辅助时,不同的算法使用模式,如首读者、同步读者、第二读者或分诊模式,可能影响相对性能的分析方式[33]。

C. 放射组学、可解释性与透明度

某些类别的AI应用对模型可解释性构成了特殊挑战。放射组学是指使用数据表征算法从医学图像中提取大量特征,以描述像素强度、这些像素之间的关系、形状和纹理。其中许多特征是非直观的,或难以轻易映射到主观或临床图像发现[34]。关于AI模型黑箱性质的评论已有很多,早期工作集中在热图和显著性可视化上;一些研究者呼吁将可视化与生成文本相结合,以提高诊断的可解释性[35–37]。从传统生物医学研究中汲取的经验教训极具相关性,在模型透明度和可解释性较差的情况下,可能需要更高标准的性能经验证据,包括外部或多中心测试数据以证明模型的泛化能力,以及在最接近产品最可能部署的临床环境的临床环境中进行前瞻性真实世界评估。

第5节:在批准AI软件用于临床之前,监管机构应向开发者索取哪些信息?

关键声明

在批准之前,监管机构应向AI软件开发者索取有关公司、临床用途、实施、产品开发、演示、成本和发表文献的信息(表2)。

AI解决方案通常使用回顾性和前瞻性验证试验结果的组合来呈现解决方案性能的估计值,其功能声明即基于这些结果。

监管机构应密切关注,确保所报告的信息符合最高实践标准;理想情况下,研究应遵循多个已建立的科学报告标准所定义的标准[39–43]。质量较低的证据在报告信息中往往存在显著空白,仅部分满足这些标准标准。解决方案性能报告中两个常见错误包括:未能报告预期性能的范围——质量较低的解决方案往往只报告单一的汇总准确性数字——以及未报告具体失败条件和错误,质量较低的解决方案选择性突出其系统做出的最佳诊断。在更广泛的人工智能安全社区中,人们强烈推崇模型卡或系统卡,其中对局限性、错误和偏见的深入分析被明确报告,通常与系统性能的主要报告完全分开[44, 45]。监管机构应大力鼓励这种程度的公开透明度,以培育更强的人工智能安全文化,并应在评估提交材料质量时将其作为首要考虑因素。

尽管临床风险模型因地理管辖区域和历史先例而有所不同,但我们强烈认为,任何监管模型都应在顾问型、半自动化和自动化系统之间划定明确的类别和边界,自主程度越高,所需的证据基础和真实世界跟踪记录就越深入。临床参考文献经常引用为自动驾驶车辆提出的自动化分级作为易于理解的类比,例如SAE J3016驾驶自动化分级[46]。已有多项尝试为放射学工作流程设计类似的逐级升级自动化级别[24, 47]。传统上管理医疗器械的监管框架主要侧重于监测或治疗设备,直到最近,这些设备极少表现出任何具有自主行动潜力的功能。通用人工智能文献中充斥着人工智能在无监督决策下产生负面且往往意想不到的危害的例子[48]。临床医学影像中所需决策对患者的影响,甚至是对稳定性或正常性的声明,往往对患者护理产生重大的直接影响,我们推测这将在相当长一段时间内需要人类共同监督。

监管机构应特别注意确保解决方案具有明确的上市后质量保证计划。其重要性涉及多个方面,但主要与概念漂移引起的问题有关,概念漂移源于患者人群的变化,或偶尔甚至源于人工智能软件相继新版本升级带来的差异[49]。在实践中,这可能涉及对人工智能模型进行前瞻性性能监测,例如监测逐月诊断事件频率的重大偏差,当超出正常范围时发出警报,或采用对照样本方法,即用算法常规评估一组固定的预留测试案例集,以确保在已知困难或边界案例上不出现重大偏差[50]。至少,应建立向供应商报告意外错误的明确报告程序,指定负责联系人,并使其易于被临床最终用户获取。

表2 人工智能软件评估前监管机构的相关信息[改编自[38]] 查看原表 ↗

第6节:人工智能工具购买者在考虑将人工智能工具引入实践时应考虑哪些因素?

在考虑将人工智能应用实施于临床实践时,应考虑各种关键方面,以确保对所有相关利益方产生可持续的益处。如前节所述,美国食品药品监督管理局(FDA)、欧洲药品管理局(EMA)或同等机构的监管批准证明医疗器械(包括人工智能工具)符合相关法规,并已根据器械的风险类别通过了符合性评估。然而,仅凭该认证并不必然保证能成功实施到临床工作流程中[51]。因此,除其他事项外,潜在购买者考虑以下方面至关重要:人工智能的预期用途是什么,谁将从其使用中获益最多,其使用关联哪些风险,以及潜在的经济影响是什么?

人工智能工具将如何整合到机构的工作流程中,商业声明如何得到验证和监测?

用户需要如何接受培训,以及在人与人工智能交互方面需要考虑哪些心理效应?

FDA(或其他机构)的批准/许可数据是否反映了在本地数据上的准确性?该本地数据准确性对于在该机构使用是否充分,用户是否会接受并因此采纳人工智能结果?

使用获益、风险与成本

任何人工智能工具要成功整合到临床实践中,利益相关方应首先明确识别需要改进的领域并定义相关关键绩效指标[52, 53]。然后,人工智能工具的整合可作为为实现机构设定目标而制定的更大策略的一部分。或者,也可能是供应商提出的某一特定人工智能工具在先前未考虑的领域提供了改善机构服务质量的潜力。无论哪种情况,如第4A节所述,确定该工具是否解决机构存在的真实、具体问题至关重要;工具是解决方案,而不存在问题的解决方案没有价值。还需注意,不同机构有不同的问题;对某一群体有价值的工具对另一群体可能没有价值。

为了使人工智能工具的正向影响可衡量,应设定客观且可量化的目标。同时考虑人工智能工具预期影响多少比例的案件或患者,以及预期对每个案件或每位患者的影响程度,可能是有益的。采购方应意识到,人工智能工具潜在改进的受益者并不总是仅局限于放射科医生或放射科。理想情况下,从需要服务的患者到各自机构乃至更广泛的社会,所有相关利益方都能从人工智能成功应用于临床工作流程中获益。一个强有力的用例示例是人工智能作为高容量放射筛查环境(例如乳腺X线摄影)中的支持工具。在这种情况下,对患者的益处可能包括更早、更好地发现乳腺癌,从而带来更好的整体结局,而对放射科医生的益处可能包括提高生产力、提供额外的“安全网”或有可能增加与患者互动的时间[54]。除了生产力提升和服务质量改善对机构产生积极反映外,它们还可能有助于降低成本,而对于更广泛的社会,可以设想对整体医疗成本和人群健康产生积极影响。对于其他常见的建议用例,如大血管闭塞检测或其他时间敏感情况,也可以预期此类效果。然而,对于其他应用,如组织性人工智能支持工具或尚更具研究驱动性的应用(如人工智能驱动的机会性筛查),其益处可能不那么容易界定[55, 56]。根据当地情况和现有医疗体系,此类潜在益处需要与其即时及中远期经济影响仔细权衡。应规划和开展投资回报率(RoI)和成本效益分析,以确保计划中人工智能整合的可行性。根据医疗体系的不同,建立可行的人工智能使用付费机制可能至关重要。主要使按服务付费的医院或门诊影像中心受益的人工智能模型,通过缩短住院时间[57]、改善急诊科吞吐量[58]、增加需要随访和/或治疗的发现数量、缩短执行影像检查所需时间以及改善放射科运营来证明投资回报率。对放射科实践的其他潜在益处包括减少精神疲劳、改善放射科医生的招聘和留任,以及减少医疗事故责任,尽管这些往往是附加性的,因为它们通常不能覆盖人工智能的成本。

最后,与人工智能系统的实施和使用相关的潜在成本(包括资本成本和经常性成本)和风险是任何采购分析和决策的重要组成部分。风险评估在一定程度上可以通过查阅供应商在监管文件中提供的风险矩阵和风险-收益分析来促进。然而,某些风险可能未在此类监管申报文件中涉及,或仅在试用期间才显现。最明显的成本组成部分是向供应商支付的许可费用,但这通常仅占总拥有成本的一小部分。其他成本来源包括合同和法律协议、与现有系统集成的IT工作和专业服务、对用户和管理员的培训、运行人工智能的基础设施,以及持续的维护和监控。

做出知情决策的其他关键因素包括:评估供应商作为可靠合作伙伴的兼容性、供应商在付款方报销有限这一竞争环境中的持久力(在人工智能供应商整合的时代这一点更为重要)、优化的模型定价,以及产品购买之外的协作机会,例如共同开发和产品转售。

风险的一个关键组成部分是了解算法在其将被使用的环境中可能具有的性能特征。使用中的错误率可能与测试中报告的错误率存在实质性差异,尤其是当输入数据的特征或分布(例如扫描仪制造商、扫描方案、患者人口统计学特征、疾病患病率、合并症)与测试数据不同时。理想情况下,每个考虑实施的站点都会对自身本地数据进行统计上严格的性能评估(下文临床评估部分介绍了此种评估方法)。在实践中,这可能不可行。至少应将本地数据的特征与测试数据的特征进行比较(一个典型例子是:模型仅在某一制造商的MRI扫描仪上进行了测试,但将在另一制造商生产的扫描仪上使用)。如果这些特征相似,则可以在一定程度上信赖所报告的性能指标;如果不相似(例如,仅在成人中测试的算法被考虑在儿科医院超说明书使用),则应极为谨慎地推进,甚至不应推进。错误频率,在概念上是性能的倒数,并不是风险的最终定论,因为不同的错误带来不同的风险。应考虑所预期错误的可检测性。也就是说,对于每个错误,工作流程中的人员注意到人工智能产生了错误输出的概率是多少?对于每个被检测到的错误,该错误被纠正的概率是多少?最后,如果错误未被检测到或未被纠正,对患者或其他利益相关者的预期影响是什么?综合考虑错误频率、可检测性、可纠正性和影响,为评估算法错误的直接风险提供了一个框架。对这些风险的持续监测在第7节中讨论。

风险的另一个关键组成部分是人工智能工具对放射科医生表现的影响。依赖自动化工具执行某项任务,可能导致放射科医生在该工具所承担任务上的技能退化。如果期望放射科医生在工具失败时手动执行该任务,但其技能可能已不再足以胜任,这一风险尤其成问题。用户过度依赖和依赖不足也会降低放射科医生与人工智能模型联合输出的准确性,将在第8节进一步讨论。

必须考虑的最后一个风险方面是人工智能造成或加剧医疗保健差异的可能性。人工智能尤其容易出现这一问题,因为它通常基于从临床档案中提取的回顾性数据进行训练,而这些数据代表了当今社会当前和历史上的医疗保健差异和不平等。训练人工智能是一个最小化代价函数的数学过程,该过程不涉及伦理或道德。因此,人工智能可能从训练数据中嵌入的不平等和差异中学习,并在实施中使这些不平等和差异持续存在。全面识别这些偏倚没有简单或直接的流程,但作为医生和数据科学家,我们有责任思考、寻找并减轻这些偏倚;如果这些问题不被提出,它们必将始终得不到解答。

整合、验证与监测

一旦确定了预期收益和目标,完成了成本效益分析并评估了潜在风险,就可以规划所选人工智能工具的整合。根据本地IT基础设施和政策,采购方可以考虑不同的技术整合方式——要么是在现场部署带有专用计算资源的本地安装,要么是基于云的软件即服务(SaaS)模式。在这两种部署类型中,DICOM和HL7的数据编排都发挥着至关重要的作用,确保在优化时间内将相关检查的正确序列中的正确图像层面,针对正确患者在正确场景下发送至适当的人工智能系统。要实现稳健的编排,理解和结构化数据内容至关重要。遗憾的是,由于检查和序列名称的高度可变性和不稳定性,以及DICOM头信息可能不完整,依赖DICOM元数据往往不够充分。更稳健的选择是使用影像人工智能在检查层面和序列层面确定数据内容,并将该输出用于编排。使用计算机视觉人工智能来确定每幅图像上包含哪些身体部位以及是否使用了静脉造影剂,是两种最有用的补充手段。来自人工智能系统的下游数据编排需要一个智能系统,能够根据对人工智能结果的理解来促进不同的工作流程。目前大多数实施仅将人工智能结果发送至图像存档与通信系统(PACS)。这种有限的整合不仅允许转诊医师可视化查看人工智能结果——如果这些医师未接受过关于人工智能模型细节和准确性的教育,这可能并非最佳方式——而且已被证明会增加放射科医师的自动化偏差[59]。此外,PACS目前提供的人工智能结果整合模式有限,在大多数情况下,放射科医师无法在PACS中修改人工智能结果。为优化人工智能结果的管理和整合,PACS应使放射科医师能够与人工智能结果进行交互并修改结果,如果结果被更改,应赋予人工智能立即重新处理新输出的能力。此外,更新后的人工智能结果应提供给人工智能供应商,以便用于未来的模型改进。这种类型的交互在云原生环境中得到促进,在该环境中PACS和人工智能模型可以共享放射学数据和人工智能结果。此外,接受和存储人工智能结果及放射科医师反馈的能力、优化数据安全性以及持续监测人工智能准确性,是在云原生系统中得到促进的关键技术方面。

无论采用何种集成方式,理想情况下,AI工具应良好地整合到常规临床工作流程和信息系统中,以避免因要求用户在不同应用之间切换而增加额外工作负担。最近发表的一项调查显示,对额外工作负担的担忧是受访者不打算为其临床实践购置AI工具的主要原因之一[60]。同一项调查发现,另一个主要担忧是AI系统的表现将不如宣传的那样好。这一担忧很重要,不应被忽视。当然,供应商在监管审批过程中会对各自的AI工具进行测试和质量保证,但购买者应考虑在本地数据集上验证AI的性能,并在临床实践实施前根据需要调整参数。每当对AI软件或与AI联合使用的设备进行相关更改时,都应重复这一过程。以一款市售乳腺筛查AI模型为例,AI工具的更新导致召回率出现显著差异,需要重新校准决策阈值以确保继续使用时具有临床可接受的诊断准确性[61]。这些发现突出表明,不能想当然地认为上市前发表文献中所声称的诊断性能在临床使用期间会转化为相当且稳定的性能,这强调了对所用AI系统进行持续上市后监测的必要性。关于应如何开展这一工作的确切方法,目前各监管机构正在讨论。例如,英国药品和保健产品监管局(MHRA)发布的《致制造商指南:在警戒系统下报告涉及作为医疗器械的软件的不良事件》详细说明了应报告不良事件的各种情形——包括“未能识别与急性卒中相关的临床相关脑部影像学表现”以及“MRI图像中解剖和病理结构外观的劣化”[62]。同样,美国FDA的《针对基于人工智能/机器学习(AI/ML)的作为医疗器械的软件修改的拟议监管框架》期望制造商在对其产品进行更新时“承诺遵循透明度和真实世界性能监测原则”[63]。因此,在临床实践中实施AI工具的利益相关者应熟悉临床评价的相关方法和指标,制定策略在工具引入前核实性能声明,并应在常规使用期间持续监测性能[64]。这一点尤为重要,因为上述调查发现绝大多数受访者并未定期评估AI的诊断准确性[60]。上市后监测将在下文第7节中更详细地讨论。

人类与AI的交互

除了技术性能细节和人工智能工具在放射学中的实际工作流程整合外,难以衡量的人为因素的重要性不应被低估。不可否认,人工智能已取得令人瞩目的进展,在许多应用场景中可达到与人类阅片者相当的诊断性能。这在乳腺癌筛查背景下尤为明显[65–69]。然而,如上所述,许多因素可影响人工智能工具在临床实践中的技术诊断性能。虽然有人提出人类阅片者与人工智能工具的结合可通过人类发现人工智能所犯错误或反之来提高整体诊断准确性,但近期研究对这一前提提出质疑,并强调需要进一步研究在人机交互环境中可能使决策产生偏差的心理现象。众所周知,自动化偏差——即过度依赖自动化系统(如人工智能驱动的决策支持工具)的倾向——可影响人类阅片者并对其行使监督能力产生负面影响[70]。近期一项针对乳腺X线摄影的研究发现,即使是最有经验的阅片者在实验环境中也表现出这种偏差,并且在一个据称的人工智能系统建议错误的BI-RADS分类时其表现显著变差[71]。相反,被描述为算法厌恶的相反效应——即在决策过程中仅因信息由人工智能生成而拒绝该信息——也可被观察到[72]。近期一项研究表明,放射科医师和其他医师在相同胸部X线信息看似来自人工智能系统时对其可靠性的评价低于看似来自人类专家时[73]。人机交互可能受用户界面(UI)设计细节影响这一事实使这些问题进一步复杂化。例如,虽然许多放射科医师偏好使用图像叠加来检测肺结节,但研究发现这种UI配置并未改善阅片者表现,而仅以纯文本UI输出的极简设置却有改善[74]。同样,一项评估内窥镜中眼动的研究发现,使用计算机辅助系统进行息肉检测导致在评估内窥镜视频时眼动显著减少,并增加了对正常黏膜的误判[75]。这些发现凸显了对此类主题开展进一步教育的必要性,以提高使用者和利益相关者的意识,并使人人工智能安全、成功地融入临床常规成为可能[76]。有助于减轻人机偏差的机会在第8节中讨论。需要对该领域开展更聚焦的研究,以提供关于如何最佳设计人机交互的可靠证据。

临床评估

虽然FDA或其他相关机构的批准/许可数据提供了一些见解,但在本地数据上、使用实践中采用的本地系统和工作流程对人工智能模型进行测试,对于确保模型部署时的准确性和相关性至关重要。虽然本地评估需要根据特定人工智能模型和本地资源进行调整,但表3概述了可能有助于实践机构判断给定模型是否与本地实践相关并在本地数据上以适当准确性运行的策略(表3)。

临床准确性评估流程可以高效执行,且不需要将模型实施到你的临床工作流程中。第一步涉及将AI模型在本地数据上的性能与监管机构文档进行比较,具体通过放射科医生对AI工具的接受度和参与度来评估准确性。因此,面向放射科医生的参数,包括针对该疾病患病率的阳性和阴性预测值,比总体准确性、曲线下面积(AUC)或灵敏度/特异度更为相关。其次,计算“增强检出率”,即通过放射科医生加AI真阳性结果的联合检出所能获得的优化检出。第三,应识别令人印象深刻的或“WOW病例”,以展示AI模型对用户和利益相关者的价值。第四,对AI假阳性以及尽可能对假阴性病例进行分类,可以设定放射科医生的预期并提高他们对不完美AI模型(所有AI模型都不完美)的接受度。最后,应审查所有发现以确定该AI模型是否值得临床部署。

最终,决策在于阳性预测值(高度依赖于疾病患病率)与“WOW”病例的价值和数量之间的平衡。如果模型还能识别出令放射科医生印象深刻的病理,或能为患者或其他利益相关者增加价值,放射科医生更愿意接受假阳性。疾病患病率也对下游模型接受度有强烈影响。低疾病患病率的AI模型会产生大量假阳性结果,限制用户接受度。通过适当选择患者影像检查地点,如急诊科、住院或门诊,可以改变呈现给AI模型的患者群体中的疾病患病率。因此,一些AI模型可能仅在检查的一个子集上部署,因为该检查子集中的疾病患病率较基线升高。例如,胸部X线(CXR)上的气胸(PTX)在住院患者中比在一般人群中患病率更高。将PTX AI模型限制为仅用于住院患者CXR将提供更少的假阳性结果,并且从准确性角度更可能被放射科医生接受。

利用上述5步临床评估中的信息进行放射科医生教育,结合变革管理,对于在AI模型实施前设定用户预期至关重要。本地AI倡导者在促进放射科医生中AI采用方面发挥重要作用。最后,在AI使用全生命周期中持续进行用户教育,以及监测放射科医生AI使用情况和放射科医生加AI的联合准确性,对于确保最佳患者照护具有关键作用。

采购考虑因素总结于表4:

表3 评估AI模型临床准确性的5个步骤 查看原表 ↗
表4 放射学中AI模型的采购考虑因素 查看原表 ↗

第7节:为确保AI工具的长期稳定性和安全性,需要牢记什么?

监测人工智能(AI)模型在临床使用中的性能,是推动AI在临床实践中安全有效实施的重要驱动力,也是美国食品药品监督管理局(FDA)对作为医疗器械的软件(SaMD)(包括影像AI)实施全产品生命周期监管方法(图1)的关键特征[63]。终端用户应预期静态(也称为“锁定算法”)AI模型的性能会随时间下降,原因包括本地输入数据的偏移、影像设备或协议的变化、采集软件更新影响源图像参数(如噪声水平),或患者人群和人口统计学特征的自然变化[77]。因此,随着AI的使用日益普遍以及所部署的AI工具日益多样化,使用AI的机构应将持续的性能监督确立为本地AI治理流程的一项职能[78]。监测和确保AI模型随时间推移按预期表现的 management 策略非常重要,因为未被发现的性能退化可能对患者安全和医疗质量产生重大影响[79–81]。在未来可能出现的自适应智能支持本地模型优化的状态下,监测系统必须能够为持续学习的AI算法提供基线和纵向反馈信息[77]。

理想的监测方案能够实时收集模型性能数据,汇总并分析结果,在可行时与本地、区域或国家基准水平的预期性能进行比较。然而,这种方法需要随时可用的金标准和明确定义的性能基准,这在当今某些使用场景和算法中可以实现,但在其他场景中则不行。对于分诊类AI模型(其被调校用于识别放射科医师也会报告的征象),一种常见方法是对放射科医师报告与模型推理输出之间的一致性或不一致性进行分析。这种方法可能不适用于难以在大规模范围内由人工复现的定量输出,也不适用于风险评分——其有效性只能通过纵向临床数据分析来确定。其他监测目标包括输入元数据的变化(例如设备制造商、磁场强度或CT探测器数量)、其他相关检查参数以及关于个体患者的相关人口统计学数据,因为其中任何一项或几项偏离制造商规格都可能导致性能下降。本地AI监督小组有责任逐案确定针对特定算法而言充分的监测应包含哪些内容。在所有情况下,尤其是在使用定量模型时,放射科医师可以通过确认不存在会干扰AI处理的相关影像伪影来判断AI输出的一般有效性。

在临床实践中对人工智能进行真实世界监测的策略,应考虑到所使用的AI模型类型,以及模型性能下降时对患者安全的风险。影像学界必须建立监测方法,能够将模型输出与适当形式的纵向分析(结合未来影像或电子健康记录衍生数据或二者组合)相结合,通过与同一疾病过程的其他临床生物标志物比较,以及与同一算法在多种患者和众多机构中使用所得的基准性能数据比较。应当注意,对于目前几乎所有获得监管批准的人工智能模型,模型推断的作用是增强而非替代放射科医师的判读,因此,诊断或分诊软件中针对特定患者的模型失败通常会在放射学报告最终确定和患者护理开始之前由用户识别。然而,当无监督自主运行的人工智能算法出现时,将需要稳健的监测解决方案以确保患者安全。在未来自主人工智能实施中,对失败模式及相关安全网流程的透彻理解可能变得至关重要。第8节对此进行了进一步探讨。虽然我们预期大多数商用人工智能解决方案的开发者会积极参与开发监测其产品有效性的机制,但目前我们并不知晓制造商在纵向人工智能性能监测方面的具体监管要求,监管机构通常称之为上市后监督。因此,新兴的监测解决方案尚未标准化。根据模型和患者安全风险,可采用多种监测策略,从实时连续监测到定期监测不等。当监测发现模型失败或发生性能漂移时,机构应制定明确规定的升级和解决策略,界定通知和行动计划,以及在评估模型性能和确定模型失败原因期间的操作模式。在所有情况下,监测策略主要取决于明确定义的性能参数或 readily-available 比较基准(如基准或金标准)的可行性。

图1 FDA计划采用的总产品生命周期(TPLC)方法监管AI/ML工具(引自参考文献[63]) 查看原图 ↗

模型性能的定期监测

在指定时间间隔(但至少每年一次)使用更新的本地数据集重新评估AI模型性能,对于难以实时获取模型性能数据(量化、工作流程增强等)的模型,或在患者安全不会立即受到影响的情况下,这可能是一种适当的监测机制[80]。此类系统要求使用与初始验证集相似且数量适当的临床病例和参数创建新的最新评估数据集,以在当前条件下重新评估模型的性能。虽然这种性能监测系统对许多临床使用的AI模型可能有用,但其局限性包括模型持续使用与离散监测活动发生之间存在时间延迟,若发生性能退化,这会延误机构采取纠正措施的能力。另一个可能需要重新评估模型性能的具体情景是制造商发布新模型版本。用户机构不能简单地假定制造商部署最新版本模型所带来的预期获益会自动推广至本地实践。

监测影响模型性能的数据漂移原因

由于设备、方案的变化以及人群人口统计特征的自然变化是已知的输入数据(源图像)漂移原因,并可能降低AI模型性能,机构可选择在模型验收时定义基线输入数据特征,然后针对每个AI模型特定的基线状态监测数据漂移[82]。识别输入参数的相关变化可触发上述用于定期监测的重新评估流程。通过监测数据漂移的各个组成部分,机构可根据变化的时间点和严重程度触发模型性能的重新评估,并启动适当步骤以保障患者诊疗。

模型性能的持续监测

持续监测人工智能模型性能的策略涵盖了在引入人工智能模型之前应评估的许多风险(见上文第6节)。虽然在持续监测期间无法实时确定灵敏度、特异度和阳性预测值等统计参数,但在可能的情况下,将算法性能与阅片放射科医师的最终报告进行比较,可作为模型准确性的替代指标。如上所述,采集检查的元数据应构成此类监测的一部分,并应包括设备制造商、所用方案、辐射剂量和患者人口学特征。在可获得的情况下,同期放射科医师的判读被视为真实基准的替代指标,但这种机会性标注的强度可能与初始验证研究期间提供的标注不同。理想情况下,这种数据收集可在后台进行,将通过合适的自然语言处理方法自动提取的信息与放射科医师的报告进行比较,作为人工智能准确性指标,并在可行时利用DICOM文件头中的数据来监测检查参数与人工智能制造商输入数据规范的符合性。有限的患者人口学信息也可能存在于DICOM文件头中,应纳入数据收集。更稳健的监测和偏倚检测方案可能需要扩展的患者人口学信息。与阶段性重新评估相比,持续人工智能监测具有多项优势。关于人工智能模型性能的相关信息应记录在专门的人工智能数据登记系统中,该系统允许跨多个中心和地区生成报告。此类基准数据可能对 individual 中心以及人工智能供应商都有用[79]。在本地层面,登记报告将使机构能够识别其自身局部环境中的性能下降,并能够近乎实时地系统评估潜在数据漂移的来源。例如,临床工作流程中拥有多台CT扫描仪的机构,可能会发现某个旨在检测颅内出血的人工智能模型相对于其自身历史性能出现了性能下降。假设性地,对机构登记汇总数据的分析可能显示性能不佳仅限于单台机器。进一步分析还可能显示性能下降发生在那台机器软件升级或检查方案变更之后。对未处理病例的系统分析是另一个重要的监测目标。此类病例可能指向数据采集或数据传输中的系统性或偶发性故障,阻碍了预期的人工智能推理,并阻止下游临床行动从中获益。监测未执行情况是临床人工智能本地质量保证体系的重要组成部分,随着未来临床企业对该人工智能依赖性的增加,这将变得越来越重要。

来自多个机构、使用相同AI模型的数据聚合可为开发者提供信息,以识别可在算法未来版本中解决的性能差距,并满足任何未来的上市后监督监管要求。虽然临床使用中的AI模型均未采用持续学习作为模型改进或局部调优的手段,但持续监测解决方案的一个假设优势是能够为未来的自适应AI模型提供额外训练数据以进行持续学习。然而,持续监测方法存在显著局限性。如今此类解决方案可能不适用于许多(如果有的话)AI模型,包括执行定量任务的模型,以及性能无法实时测量的其他AI模型。此外,持续监测需要在给定机构内整合生产系统,包括在没有本地协助和必要基础设施的情况下制造商可能无法访问的信息。这方面的标准、具体监管指南和AI注册系统的IT基础设施尚未广泛存在,而开发内部持续监测解决方案对大多数机构而言可能在成本和资源上令人望而却步。AI注册系统的试点项目正在进行中;更好地理解随时间聚合和分析AI性能信号的重要性可能会增加最终用户对注册系统参与的兴趣,并可能成为支持该事业的一种成本效益高的选择。然而,在缺乏任何监管要求或持续学习AI模型可用性的情况下,需求可能有限。目前,有限市场中有少数AI模型获得监管批准可自主运行[83],评估模型性能的参数和频率尚未确定。这些参数将随所评估的疾病过程、模型失败时对患者的风​​险以及目标人群中疾病的患病率而变化。因此,可以想象性能监测可包括对预先确定数量的病例进行间歇性随机抽样,并与真实结果进行比较,以随时间抽点监测性能。

未来的局部调优和持续学习AI算法

AI模型的局部调优和部署前的持续学习AI算法在理论上有潜力改善AI产品的局部性能。然而,迄今为止,所有获得监管批准的AI工具都是静态的,不能使用自适应学习技术进行局部调优或修改。最近,美国食品药品监督管理局(FDA)发布了“预定变更控制计划”指南草案[84],该草案将允许未来对商业算法进行修改,以用于局部调优和持续学习。任何变更控制计划都必须包括稳健的实时AI模型性能和减轻患者风险的措施。目前,该指南尚未实施,但将适用于正在获得批准的模型,而不是已经批准的模型。

其他考虑:AI治理、管理技术生命周期和本地用户环境

鉴于在临床环境中管理人工智能生命周期各方面的复杂性,使用临床人工智能的医疗机构应正式建立本地人工智能治理监督及相关流程[78]。这是应对人工智能产品生命周期各阶段诸多挑战所必需的,包括采购运行良好的人工智能、随时间监测其性能、根据需要随时对本地环境进行调整(例如扫描仪协议、人工智能编排、设备配置、工作流程整合包括真实标签的机会性采集等),以及有序地用未来更新或替代产品替换当前已部署产品的流程。常常被遗忘但同样重要的是,临床最终用户、放射科医师和技术人员(包括信息学人员)中日益普遍的员工流动所带来的影响。当新用户进入本地执业机构时,他们需要被适当地接纳、引导和培训,以掌握可用的人工智能工具及相关工作流程,从而成为这一技术辅助护理服务模式的有效参与者。确保所有本地利益相关者了解最新情况并能胜任人工智能技术的使用,是供应商与本地机构治理和监督领导者之间的共同责任。

要点

需要在临床实践中监测人工智能模型的性能,以确保及早发现任何性能下降,从而采取适当措施保障患者安全。至少应每年重新评估是否需要评估模型性能,并监测已知与输入数据漂移驱动因素相关的参数。还应基于模型失效时的患者风险以及特定人工智能输出的临床决策相关性,考虑是否需要更频繁地重新评估。虽然并非适用于所有人工智能模型和临床实践,但在数据注册库中采集模型性能、检查参数和患者人口统计学信息的持续人工智能监测,相比定期重新评估人工智能模型具有显著优势,包括实时识别本地性能下降的原因,并为开发者提供用于模型改进的汇总数据。在任何自主运行的人工智能算法部署之前,都需要稳健的持续性能监测,这也是持续学习型人工智能模型的必要条件。

关键声明——人工智能工具的长期稳定性与安全性

自然产生的数据漂移将导致人工智能模型性能随时间下降,最终用户应预见到这一点。

监测策略至少应包括每年重新评估临床实践中使用的所有人工智能模型的性能,以便采取适当措施保障患者安全。

监测已知与输入数据漂移相关参数的变化,可触发更频繁的重新评估。

在数据注册库中采集模型性能、检查参数和患者人口统计学信息并向最终用户和开发者提供报告的持续人工智能监测方案,相比定期重新评估人工智能模型具有显著优势。

原文篇幅较长,只翻译了前面部分,其余请阅读原文。

引用

  1. Brady AP, Allen B, Chong J, et al. Developing, purchasing, implementing and monitoring AI tools in radiology: practical considerations. A multi-society statement from the ACR, CAR, ESR, RANZCR & RSNA. Insights Imaging. 2024. PMID: 38246898. doi:10.1186/s13244-023-01541-3
  2. 全文:PMC10800328(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10800328/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。