不再是黑箱:英国医学影像与放射治疗中人工智能治理框架的范围综述,以指导人工智能的采购与采用
该范围综述检索Google Scholar、PubMed和Cochrane Library(2022年6月至7月,并于2022年10月15日补充检索),从4225条初始记录中纳入35篇文献,梳理英国医学影像与放射治疗领域的人工智能治理文献,提出涵盖验证与评估、法规与伦理、审计与质量保证、研究与创新、人员培训、公众与患者参与、领导与管理等支柱的概念性治理框架。
要点
- 建议(弱推荐)在临床部署前对人工智能模型进行内部验证、外部验证及多中心多数据集验证,并使用多种指标和适当统计方法评估其技术性能与临床有效性。
- 建议(弱推荐)对人工智能模型开展全生命周期持续审计与上市前后监测,定期测试模型更新后的临床安全性,并报告准确性、模型偏倚和临床结局。
- 建议(弱推荐)将所有人工智能模型按预期用途和潜在风险分类,并满足数据保护、知情同意、公平性、透明性和可解释性等伦理与法规要求。
核心结论
- 人工智能治理是多参数的,所有要素须精细协调才能在临床实践中安全有效地部署人工智能模型。
- 文献提出的概念性人工智能治理框架以严格验证与评估、认证规则与标准以及基本伦理原则为指导,公平、透明、可信和可解释应成为所有临床部署人工智能模型的驱动因素。
- 适当的人员教育是确保人工智能安全负责使用的必要条件,多学科团队在有力领导下可促进人工智能采用,患者、公众和从业者参与决策至关重要,同时应鼓励合作研究并注意对人工智能工具进行持续审计以确保安全性和临床有效性。
研究设计与样本
- 研究类型为范围综述,遵循PRISMA-ScR清单,并制定了明确的综述方案。
- 检索数据库为Google Scholar、PubMed和Cochrane Library,检索于2022年5月30日启动、末次检索于2022年6月17日进行,并于2022年10月15日补充检索。
- 从4225条初始识别的来源中最终纳入35篇文献,其中28篇为综述、7篇为灰色文献(政府指南及监管、咨询或专业机构发布的指南)。
- 纳入文献地理分布为英国8篇、美国6篇、欧盟5篇、加拿大1篇、澳大利亚1篇、印度1篇,另有13篇为双边或多国文献。
- 纳入文献发表年份为2021年15篇、2020年8篇、2019年6篇、2018年3篇、2022年3篇。
诊断标准与关键数值
- 文献提出三阶段验证流程:针对数据集测试集的验证(内部验证)、针对未见数据的验证(外部验证)以及针对来自多个中心的多样化数据集的验证。
- 欧盟要求所有医疗器械按其风险分类并符合所需CE法规;英国要求所有医疗器械在MHRA注册,且自2024年7月起须通过英国合格评定(UKCA)。
- 在2024年7月前CE标志器械在英国仍被接受;依据医疗器械指令(2021年前)获得CE标志的器械另有3年时间取得UKCA认证,依据医疗器械法规获得CE标志的器械另有5年时间。
- 所有医疗器械还应符合通用数据保护条例,在英国还应符合NHS数字技术评估标准框架。
- 所有人工智能模型应按其预期用途分类,分类应基于其对系统和服务使用者的潜在风险。
临床应用与阅片要点
- 采购人工智能模型前应明确其用途并清晰定义临床问题,以确保模型符合组织和最终用户的需求。
- 采购前应确保人工智能模型经过充分验证,并在现场进行适当检查以评估模型适用性,同时确保其不歧视弱势群体并已采取适当措施减轻算法偏倚。
- 部署人工智能工具时临床可用性至关重要,用户友好界面和可及、包容的应用是有效采用人工智能的核心。
- 使用人工智能模型的医疗专业人员应能及时识别并上报由数据漂移导致的性能故障。
- 作者认为,所有供应商应制定适当计划评估其模型的性能漂移、自动安装任何必要更新并减轻这些更新带来的风险。
局限性
- 原文未报告局限性
全文中译23 节 · 点击展开
引言
人工智能(AI)正日益应用于医疗保健领域。1 近期技术和神经科学的突破使AI从实验室走向临床。2 医学影像是首批采用AI技术的学科之一,3 AI赋能的应用程序被用于病理检测和分期、图像重建、分割、图像优化、工作流程的自动化和优化、成像协议的自动化、特征提取等,仅举几例。4–8
虽然用于临床实践的AI驱动应用不断增加,与此同时,对严格AI治理框架需求的兴趣和讨论也呈指数级增长。9 AI治理可能涉及与AI工具的伦理使用和部署、AI模型的监管和认证、责任、问责、数据保护流程以及教育等相关的流程。
在医学影像领域,实施稳健的AI治理框架是在临床实践中安全采用AI的必要条件。
尽管AI是一个无处不在的术语,但AI治理的定义仍然模糊且在很大程度上发展不足,对于AI治理可能涉及的内容尚无共识。10 近期研究表明,不同组织和国家在治理方面存在重要差异。缺乏标准化可能阻碍AI的采用、造成市场差距并损害安全性。采购、验证和评估、监测和退役等流程作为AI产品生命周期的一部分,都受到缺乏标准化AI治理框架的影响。因此,迫切需要提出一个稳健、统一的治理框架,以增强AI系统的可信度和透明度,并减轻与AI赋能解决方案实施相关的任何潜在风险。12,13
在医学影像科室,包括放射技师、放射科医师和医学物理师在内的医疗专业人员通常负责采购医学影像设备。多学科团队还通过实施稳健的质量保证计划和按要求逐级报告关切,确保设备的安全运行。鉴于临床影像中AI工具的持续增加,放射技师、放射科医师、医学物理师及其他相关专业人员预计需要掌握与医学影像和放射治疗中AI相关的大量知识,以便能够促进临床采用。14–17 医疗保健和医学影像领域的不同监管和专业机构正在推动AI能力成为医疗从业者培训的核心内容。18–22
范围综述是探索快速发展主题的新兴文献和识别知识 gaps 的理想方法。23 本范围综述是一个更广泛研究项目的一部分,该项目探索医学影像和放射治疗中AI治理的概念,旨在梳理这些领域所有当前可获得的文献(同行评审文献和灰色文献),并提出一个全面的AI治理框架。
指导本范围综述的研究问题是“在英国医学影像和放射治疗中,什么可能与AI治理框架相关?”。该问题按照范围综述的人群、概念、背景框架生成。24
方法
综述方案
本文的结构遵循系统综述和荟萃分析首选报告条目扩展版范围综述(PRISMA-ScR)清单。25
按照明确的综述方案执行纳入和排除标准、数据提取方法和目标。24 已获得伦敦城市大学健康与心理科学学院研究伦理委员会的伦理批准(编号:ETH2122-1015)。
信息来源
检索了以下数据库:a)Google Scholar,b)PubMed,c)The Cochrane Library。检索于2022年5月30日开始,最后一次检索于2022年6月17日进行。2022年10月15日还进行了一次新的检索,以确保纳入所有最新论文。
检索
对所有数据库检索采用一致的方法学,以提高本范围综述的可重复性。26 所有检索均使用与所探讨主题相关的明确、预定义关键词进行。使用布尔运算符“AND”和“OR”构建适当的检索式以缩小结果范围。一个数据库检索策略的完整示例见补充材料。还应用了滚雪球检索技术,从已获取研究的参考文献列表中识别相关证据来源。
点击此处获取补充数据文件。
证据来源的选择
一名研究者(NS)最初在标题和摘要层面筛选文章,以识别相关/不相关结果。在此阶段,根据标题/摘要提供的内容排除不相关文章,仅对相关文章根据纳入和排除标准进行资格评估(全文评估)。所有结果保存在Zotero文献管理软件v. 6.0.13(Corporation for Digital Scholarship,弗吉尼亚州)中,以供进一步评估,重复文献被自动删除。所有相关研究均被通读并根据纳入标准进行评估。随后由一名资深研究者(CM)对最终研究选择提出建议,该列表由研究团队审阅,并基于研究者之间的共识阅读最终确定。
数据图表化过程
为从合格研究中提取所有有意义的数据,使用数据图表化表格以便对纳入研究进行可视化 mapping,并实现观点和主题的关联与汇聚。27 该图表化表格(表2)实现了标准化的数据图表化方法,任何分歧均通过协商解决直至达成共识。
数据条目
团队提取了与作者、发表年份、来源国家、研究人群和样本量相关的基本研究特征。同时,还提取了与范围综述问题相关的任何关键数据。
数据分析与结果综合
所有纳入研究均被编码,然后根据其内容(例如伦理、监管、验证等)进行分组。进行内容分析以识别合格论文中纳入的人工智能治理的概念、类别和主题,28 然后将这些主题汇编起来,以构建一个大致基于英国既往临床治理框架的概念框架。29–31
结果
证据来源的选择
本范围综述共纳入35篇文章。下图(图1)展示了与检索过程、文章筛选及最终选择相关的详细信息。
在本范围综述纳入的35个证据来源中,28篇文章被确定为综述,另有7篇与“灰色文献”相关(政府指导意见及监管、咨询或专业机构发布的指南)。就地理分布而言,所获取的研究来自英国(n = 8)、美国(n = 6)、欧盟(n = 5)、加拿大(n = 1)、澳大利亚(n = 1)、印度(n = 1),另有13篇被确定为双国/多国研究。就发表年份而言,其中许多发表于2021年(n = 15),其次是2020年(n = 8)、2019年(n = 6)、2018年(n = 3)和2022年(n = 3)。图2提供了所获取证据来源类型的信息。
本研究的主要结局是基于已发表的证据构建人工智能治理框架。
建议的人工智能治理框架
主要发现被归类为概念,然后分组为类别,并进一步按照内容分析方法综合为主题。32 本范围综述的结果使研究人员能够基于人工智能治理最广泛讨论的主题和原则提出一个概念性人工智能治理框架。下图(图3)展示了人工智能治理的七大支柱,这些支柱在文献中被识别,并在此综合为主题。
上述人工智能治理框架包含人工智能治理的一些基本原则,如人工智能系统的验证、评估和审计,同时也强调了研究与创新、适当的员工教育以及有效领导力对于确保人工智能在临床实践中安全成功部署的重要性。本范围综述所识别的、能够使建议的人工智能治理框架更加细化的一些最重要类别,总结如下文图(图4)及讨论部分中。
讨论
验证与评估
文献中强调,验证与评估对于在临床部署前评估人工智能模型的技术性能和临床有效性至关重要,33,34 理想情况下应使用多种指标和适当的统计方法35,以确保模型与其预期用途相一致。36–38 证据表明需要使用未见数据进行内部和外部验证。验证也被用于其他情境,例如评估模型的泛化性/互操作性。39,40
为促进这一过程,已开发出标准化、严格的验证方案和精心整理的数据库。41 对人工智能模型临床有效性的评估,既考察其有效生成预期输出的能力,也考察其产生有意义的临床影响的能力。34,42 因此,有人提出了三阶段验证流程,包括针对数据集测试集的验证(内部验证)、针对未见数据的验证(外部验证),以及针对来自多个中心的多样化数据集的验证。35
尽管这听起来在诊断准确性和临床效率方面可能最为理想,但在现实中,涉及人工智能工具训练和测试时的数据隐私与安全问题,往往使开发者无法获取大型、多样化、多中心的数据集。43
人工智能模型的互操作性能够实现不同影像中心、系统或地理区域之间的无缝数据流动。42,44 如果采用大型、具有代表性的训练数据集,就可以实现硬件、软件和数据使用方面的互操作性。45 在临床影像领域,已有研究提出了一种通用的互操作性软件框架。41
与标准实践相比估算的额外成本46及其对可用资源使用的影响39,也是全面评估过程的核心内容。
法规、立法与伦理
这些论文强调了建立严格监管框架以安全使用任何人工智能赋能医疗设备的必要性;然而,严格的标准可能以限制创新为代价。44 法规必须适用于人工智能模型的数据保护、安全性和伦理使用。47 然而,由于技术进步,许多国家的监管框架尚未实现标准化48。49
在欧盟,所有医疗器械必须根据其风险进行分类,并符合所需的CE法规。39 在英国,由于英国退出欧盟,所有医疗器械应向MHRA注册,并自2024年7月起接受英国合格评定(UKCA)。50 在此之前,带有CE标志的器械将在英国被接受。根据《医疗器械指令》加贴CE标志的器械(2021年之前)将额外有3年时间获得UKCA认证,而根据《医疗器械法规》加贴CE标志的器械将额外有5年时间。此外,所有医疗器械还应符合《通用数据保护条例》,在英国还应符合NHS数字技术评估标准框架。20,42 此外,所有人工智能模型应根据其预期用途进行分类,并且该分类应基于其对系统和服务使用者的潜在风险。46
在使用人工智能技术时,数据保护至关重要;所有组织都必须安全地使用、存储和处置数据,同时维护隐私和保密性。42,51–55
知情同意是人工智能治理的另一个关键要素,涉及每位患者/数据所有者有权被告知其数据将在何时被使用以及用于何种目的。56 同意强化了人类自主权。53,57 此外,数据所有者的知情同意必须是一个动态过程,数据所有者应有权访问其数据并决定第三方如何访问这些数据。51
此外,所有组织都必须采取适当措施,确保数据安全,防范潜在的对抗性攻击,因为数据的收集和使用引发了网络安全方面的担忧。51 数据安全还可能因“算法更新问题”或“概念漂移”而受到损害,随着新数据的输入,这可能随时间推移影响算法的性能。58 算法可能被锁定为保持静态,从而限制可用性;应对这一挑战的一种解决方案是定期评估算法是否存在任何变化。44,58 持续的数据安全维护可能具有挑战性且成本高昂,但却是必要的。
人们对于人工智能模型使用不当或验证不足可能对患者造成伤害提出了严重担忧。59 医疗从业者的责任主要与医疗事故和过失相关,而开发者的责任最有可能属于产品设计责任范畴。59 临床从业者可能因在临床实践中实施不适当或未经证实的人工智能工具,或未能为其建议提供证据支持而承担责任。
所有人工智能模型都必须遵循公平原则36,39,51,并通过最大限度减少偏倚来避免伤害。45 为使人工智能模型做到公平,必须确保收益与成本的公平分配,并消除歧视、污名化和不公平偏倚。36 算法偏倚通常源于训练数据集缺乏多样性或仅在特定人群群体上进行测试。44,60 人工智能模型容易产生歧视性偏倚,这已被确认为一个重要伦理问题。53
此外,人工智能模型应具有透明性,以确保公平、包容和易于评估。透明性要求人工智能模型始终可供审查。47,61 同时,透明的人工智能解决方案有助于在患者与医疗服务提供者之间、以及开发者与作为最终用户的临床从业者之间建立信任。52 提高人工智能模型透明性的另一种方法是建立良好的可追溯性。该原则是指对所有开发过程进行标准化记录,包括数据收集、标注、所用设备和注释工具。44
此外,人工智能模型必须具有可解释性,以便患者和受过培训的工作人员能够理解决策过程背后的推理依据。39 这可以增强最终用户与人工智能技术之间的信任。可解释性与透明性密切相关。38,58
相比之下,可解读性常与可解释性混淆,它是指模型在原因与结果之间建立正确关联的能力。当人工智能模型具有可解释性时,可解读性会提高,尽管这些模型可能因更容易受到外部操纵而表现出性能下降。48
人工智能审计与质量保证
所有组织都必须制定持续运行的流程,以在其整个生命周期中测试AI模型的性能。20 有人建议以上市前和上市后监测的形式进行真实世界性能监测,以评估模型性能随时间推移出现的任何偏差。40 这些流程应侧重于负载测试、安全性、偏见测试20以及随时间推移的临床和技术性能。建议进行定期审计以测试这些模型的临床安全性,尤其是在模型更新之后。这些审计的报告应包括准确性、模型偏见和临床结局。48 所有供应商都应制定适当的计划,以评估其模型的性能漂移,自动安装任何必要的更新,并减轻这些更新带来的任何风险。39
AI研究与创新
研究是改善临床实践、患者结局、员工福祉和优化工作流程的基础。56 然而,要确保前瞻性研究得到优先考虑并加强产业界与学术界之间的联系,仍有许多工作要做。62 随着学术界与产业界合作伙伴关系的增多,确保研究人员的公正性至关重要;研究人员和临床医生在AI初创企业中的实习对于支持合乎伦理、以人为中心的研究将起到核心作用。62
前瞻性研究对于评估和记录AI在医疗保健中的真正附加价值至关重要。46 需要在实施后对AI工具进行评估,并且已经有一些清单可用于评估研究质量和偏倚风险。46 已制定《标准方案条目:干预性试验推荐意见-AI》和《试验报告统一标准-AI》指南,以提高AI相关临床试验的实施和报告质量。63 此外,《医学影像中AI清单》指南促进了围绕AI研究的医学影像研究报告,64同时已开发出用于影像组学研究质量评分。最后,已推荐新的报告指南来评估AI干预措施从算法开发阶段向支持大型临床试验的转变。65
员工培训
对医疗保健人员进行AI原则培训被誉为AI应用的核心。HCPC最近建议,AI数字能力对于放射技师安全执业和照护患者至关重要。AI作为核心能力也已纳入最新的教育和职业框架,以及学会和放射技师学院及其他专业和监管机构最近的AI指南。该培训应包括关于AI基本原则、验证与评估、临床应用、治理与伦理、监管与技术实施以及模型局限性的知识。培训应包括以人为中心照护和精准医学的原则。48 对员工进行适当的AI技术培训使他们能够建立信心,有效且安全地使用这些AI工具20,以改善工作流程、获得更好的患者结局和更高的工作满意度。此外,研究发现,为医疗保健专业人员提供适当的培训/教育也将提高可信度。45
公众、患者和执业者参与(PPI)
遗憾的是,许多人工智能开发者是在事后才寻求用户反馈。然而,这种事后考虑的成本对服务使用者和组织机构而言都可能十分巨大,并可能使人工智能的应用变得不切实际。前瞻性的用户、患者和公众参与应贯穿于从设计到产品推出及其整个生命周期的所有阶段。50 在部署人工智能工具时,临床可用性至关重要,因为用户友好的界面以及可及、包容的应用是有效采用人工智能的核心。42,66
人工智能解决方案的关键利益相关者必须积极参与人工智能整合过程的所有阶段。39 员工参与将确保人工智能工具满足其人体工程学、工作流程和性能需求,以及其患者的需求。此外,参与影响人们生活的决策是一项核心人权,要求获取信息和言论自由。55 此外,患者和社区也必须参与人工智能产品设计以及临床问题解决方案的交付。他们是基于亲身经验的专家,对工作流程的挑战和临床工具的可用性拥有独特见解。39 如果公众和患者代表被邀请作为研究共同生产者48而不是在后期阶段作为研究成果的审查者,他们将发挥更有效的作用。关键利益相关者可能包括临床医生、患者、运营和行政领导者、医院管理人员以及监管机构。33 人工智能的采用依赖于一个多元化、高度参与、训练有素的人工智能生态系统。
领导力与员工管理
有效的领导力对于支持医疗保健及其他领域的任何新事业都至关重要,这对于任何成功的人工智能采用计划同样适用。一个信息充分、敏捷的高级领导层应识别并支持人工智能倡导者,以在关键实践领域推动文化变革和知识转移。20 此外,必须使多元化的多学科团队能够推进工作,而不是仅依赖某些专业人员。41
人工智能治理框架的重要性
本综述强调,人工智能治理是多参数的,所有要素都必须精细调校,以在临床实践中安全有效地部署人工智能模型。在医疗保健和其他情境中,如公共行政、67 金融68 和学术界,69 均已提出对严格治理框架的需求。人工智能治理框架还将在降低使用人工智能模型相关风险方面发挥基础性作用,同时最大限度地发挥其效益,70 实现安全实施,71 并在人类与人工智能之间建立信任。72 为实现人工智能的无缝采用,培训至关重要。16 虽然放射科医生一直主导设计和提供人工智能相关教育举措,73,74 放射技师才刚刚开始投资于医学影像中的人工智能教育举措,20,21,75 将其作为采用的核心。14,15,17
上市前和上市后考量
采用人工智能(AI)解决方案的主要挑战可分为上市前和上市后考量。在采购AI模型之前,了解其用途并明确界定临床问题至关重要。76 这将确保该模型符合组织和最终用户的需求。此外,另一个关键的上市前考量是确保AI模型已经过充分验证,并已在现场进行适当检查以评估模型的适用性。77 此外,最终用户应确保AI解决方案不歧视弱势群体,并已采取适当措施减轻算法偏见。78 最后,所有AI模型均应基于监管标准进行评估,并应注意所需监管方面(如CE标志)是否到位。71
对模型临床安全性和有效性的上市后评估至关重要,以确保模型将继续按照初始设计运行,且不会对最终用户造成伤害。由于这些环境的动态性质,对AI工具的持续监测至关重要;因此,应在这些系统的整个生命周期中对其进行全面评估。79 这种监测应当标准化。80 一个重要的上市后考量是算法偏见随时间推移的潜在风险。应指派第三方进行临床审计,因为其在检测AI模型弱点方面已被证明有价值。81 所有使用AI模型的医疗保健专业人员都应能够及时识别并上报由数据漂移导致的性能故障。82 因此,AI治理原则应贯穿AI模型的整个生命周期,从模型开发到退役。83
财务考量
AI解决方案的另一个重要方面是临床部署这些模型的财务影响。COVID-19之后,医疗保健系统举步维艰,因人员配备不足和物质资源获取困难而遭受重创。84 在采购AI模型之前,详细的成本/效益分析85应旨在降低成本并改善服务,以惠及患者和医护人员。86 医疗保健提供中不同的财务模式意味着存在不同的报销模式。因此,其他国家的财务考量会有所不同。
局限性
范围综述的性质意味着,由于范围综述中研究问题的概括性,研究结果可能较为宽泛。87 该框架本质上是有意设计为通用的,因此可以根据个人和地方政策与情况进行调整和情境化。然而,由于围绕AI治理的证据仍在发展中,这是收集必要证据的最合适方法。
虽然卫生经济学与结果研究是AI采用的核心,88 但本综述未将其纳入。部分原因是针对不同组织讨论这一主题的复杂性。开始出现的少量证据(主要来自北美)表明,报销分析将是AI采用的核心。89,90 然而,这在英国背景下有多大相关性仍有待观察。
最后,由于AI是一个快速变化的领域,且与AI相关的出版物数量呈指数级增长,本综述不可避免地会遗漏一些在接近接收和发表时间发表的相关研究成果。
鉴于英国在医学影像和放射治疗领域缺乏统一的人工智能治理框架,我们的结果可作为坚实的基础,用于制定本地全面的人工智能治理方案。同样恰逢其时的是,一项新的英国标准协会规范目前正处于公众咨询阶段,将于2023年春季在英国发布,以帮助阐明人工智能采用中更细致的细节。91
结论
本范围综述确定了英国人工智能治理的关键要素,重点关注医学影像和放射治疗。所提出的概念性治理框架涵盖人工智能工具的严格验证和评估程序、对这些模型安全性和临床有效性的持续监测,以及遵守相应的认证机构和监管标准。还应遵循与人工智能工具安全使用相关的基本伦理原则,所有人工智能模型都应公平、透明、可信和可解释。工作人员应有信心在临床实践中使用人工智能工具。适当的工作人员培训对于建立人工智能与人类之间的信任并确保新技术的可接受性是必要的。有效的领导和员工管理将进一步促进人工智能的安全采用,而研究在推动可持续创新和增长方面也发挥着基础性作用。
引用
- Stogiannos N, Malik R, Kumar A, et al. Black box no more: a scoping review of AI governance frameworks to guide procurement and adoption of AI in medical imaging and radiotherapy in the UK. Br J Radiol. 2023. PMID: 37747285. doi:10.1259/bjr.20221157
- 全文:PMC10646619(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10646619/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。