公众号 / 文章神经技术与安全MRCT

临床神经放射学中的人工智能工具:基本医学法律问题

Artificial intelligence tools in clinical neuroradiology: essential medico-legal aspects.
PubMed 文献 · Neuroradiology · 2023-05-09

本文讨论神经放射学中使用人工智能软件的医学法律问题,聚焦欧盟与美国法律框架,涵盖医疗过失责任、AI医疗器械监管和共享医学影像数据的隐私保护三大主题。文章指出AI当前更多作为确认工具而非改变诊疗标准,强调可解释AI的优先性、上市后监测的必要性以及去标识化与联邦学习的潜在价值。

要点

  • AI临床工具必须按诊疗标准使用,目前AI更多作为确认决策的工具而非改变标准。
  • CE标志或FDA许可仅证明符合监管与技术安全,不必然证明临床有效性,需密切上市后监测。
  • 去面部软件处理后28%至38%的扫描仍保留足够数据用于自动面部匹配,使用需谨慎。

核心结论

  • AI相关医疗过失责任尚未解决且法律框架仍在变化,神经放射科医生目前应按诊疗标准将AI作为确认性工具使用。
  • CE标志或FDA许可/批准是AI医疗器械合法上市和临床使用的先决条件,但不必然证明临床有效性。
  • 共享医学影像数据时隐私保护至关重要,去标识化软件存在重识别和影像数据损坏风险,联邦学习可能避免直接共享数据。

研究设计与样本

  • 本文为聚焦欧盟与美国法律框架的论述性文章,围绕医疗过失责任、AI医疗器械监管和共享影像数据隐私保护三大主题展开,作者声明并非全面综述而是旨在引发思考。

诊断标准与关键数值

  • 欧盟MDR将SaMD分为I、IIa、IIb、III四个风险等级,任何用于诊断或治疗决策信息的SaMD至少归为IIa类。
  • 若可能出现严重健康状态恶化或需外科干预,器械归为IIb类;若可能出现死亡或不可逆健康状态恶化,归为III类。
  • 美国FDA路径包括高风险III类的PMA、无已上市对比器械的I和II类De Novo分类请求,以及与已合法上市对比器械实质等同的510(k)上市前通知/许可。

临床应用与阅片要点

  • 使用AI工具前应了解其确切预期用途,偏离预期用途可能被视为超出诊疗标准并增加医生责任风险。
  • 在可解释AI与黑箱模型性能相当时应优先选用可解释AI工具,黑箱模型性能更优时可能需权衡取舍。
  • 使用去面部软件处理3D脑影像时需考虑SaMD训练所用图像是否去面部及所用去面部方法,因其可能影响脑部影像属性。

局限性

  • 作者声明许多概念非常复杂且部分仍未解决,本文并非全面综述而是旨在引发思考。
  • 目前可用的可解释AI技术可能不足以在个体患者层面充分解释黑箱决策。
  • 去面部软件并非在所有情况下都有效,且可能影响脑部本身的成像属性。
全文中译6 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Neuroradiology. 2023 May 9;65(7):1091–9. doi: 10.1007/s00234-023-03152-7

医疗过失责任

要点:

• 涉及临床实践中使用人工智能的医疗过失责任仍未解决,法律框架尚在变动中。

• 如果可解释的人工智能模型与黑箱模型效果相当,则优先使用可解释模型。

• 任何临床人工智能工具都必须仅按照医疗标准使用。

近年来,神经放射学领域已出现大量基于人工智能的医学软件解决方案[1]。最常见的应用场景包括全脑或区域脑实质或脑病灶的分割与体积测量、图像增强以及临床决策支持(CDS),例如用于检测颅内出血或大血管闭塞。近年来,医学专家、律师和监管机构就临床实践中使用基于人工智能的软件工具所引发的医疗法律影响进行了激烈讨论[2–4]。这对于旨在提供CDS的软件尤为重要。由于最先进的CDS工具(至少在可预见的未来)不会以全自动方式运行,诊断或治疗决策的最终责任很可能仍由医生承担,医生必须对CDS工具的结果进行验证[3, 5, 6]。

然而,问题仍然存在:临床实践中使用的基于人工智能的CDS工具是否以及如何可能改变医疗过失责任。无论人工智能算法多么精密,其输出在某些情况下都会出错,进而可能导致患者伤害和医疗过失索赔。医疗过失责任的法律标准因国家而异,但共享共同原则。一般而言,医生需要遵循医疗标准,该标准通常是指具有相似专科水平和可用资源的合格医生所能提供的诊疗[2, 7]。在此背景下,Price等人基本描述了医生在临床实践中使用人工智能并发生患者伤害时可能产生责任的两种情形:第一,如果人工智能根据医疗标准给出了正确建议但医生拒绝了该建议;第二,如果医生遵循了人工智能不符合医疗标准的错误建议[2]。

从上述评估医疗过失责任的一般原则出发,还有两点进一步考量对基于人工智能的CDS的使用具有意义。第一,为稳妥起见,医生应确保始终遵循医疗标准。换言之,人工智能目前在临床实践中更多是作为确认医疗决策的工具,而非通过挑战医疗标准来改善诊疗的工具[2]。第二,我们必须承认,医疗标准在不断变化,并取决于可用资源。因此,如果基于人工智能的CDS工具在某一时刻其准确性优于“传统”决策,那么在某些适应证下,使用此类工具并采纳其输出甚至可能成为必须[3, 8]。

在评估医疗事故责任风险时,不仅对于基于人工智能的临床决策支持(CDS)工具,而且对于任何软件工具而言,考虑该工具本身是否被正确应用——即按照其预期用途使用——同样具有相关性[1, 9, 10]。偏离预期用途很可能被视为超出医疗标准范围,从而增加医生的责任风险。在基于人工智能的软件工具属于医疗器械的情况下(见下文),预期用途必须在通向上市许可的流程中予以声明,例如美国的FDA许可/批准和欧盟的“欧洲 conformity”(CE)标志[9]。

例如,作为医疗器械的软件(SaMD)的制造商通常需要描述其器械在诊断工作流程中的定位,无论其是否基于人工智能,为此需回答以下问题:该工具的预期用户是谁(例如,医生、护士或非专业人员)?

目标患者群体是哪些(例如,年龄范围、无症状人群 vs. 患者、临床表现)?

需要哪些输入数据(例如,放射影像的技术方面、主动质量控制的可能性)?

SaMD的输出是什么,以及该输出在诊断工作流程中应如何使用(例如,它是全自动诊断、诊断建议,还是工作列表优先级排序)?

后者进一步定义了正确使用该器械所需的人工监督程度。迄今为止,完全自主的人工智能(默认不需要人类专家检查其输出并与之交互)在欧盟或美国的神经放射学领域尚未获得上市许可。然而,近期在胸部X线阅片方面已朝着这一方向取得了有趣的进展[11]。

如上所述,了解人工智能工具的确切预期用途对于在日常临床实践中正确使用它至关重要。然而,理解预期用途并不总是那么容易,而且即使人工智能工具按照其预期用途使用,仍然存在其他问题。

首先是使用黑箱解决方案,即算法仅提供输出,而不进一步说明该输出是如何得出的。因此,评估人工智能输出的准确性(以及在医疗过失责任索赔时为一个医疗决策提供正当理由)可能很困难(甚至不可能)。这一问题的缓解策略包括人工智能工具的可解释性和可说明性,这是两个不同的术语。可解释的人工智能使用更透明或“白箱”算法,人类专家可以理解。一个例子是线性模型或决策树中的加性权重。另一方面,可说明的人工智能在黑箱模型之上使用第二个人工智能算法,对算法输出给出事后解释。然而,目前可用的技术可能不适合在单个患者层面充分解释黑箱决策[12, 13]。因此,在可解释的人工智能工具与黑箱算法表现同样好的情况下,应优先使用前者。然而,在黒箱表现优于可解释模型的情况下,可能需要进行权衡。尽管如此,在医疗保健(包括神经放射学)中使用此类不可解释的工具,至少应先对其安全性和有效性进行密集测试,例如通过临床试验,而此类试验目前在人工智能领域相对少见[14]。大型国家和跨国学会已反复强调对医疗人工智能进行严格外部测试的必要性,例如最近法国国家宪法伦理咨询委员会(CCNE)和法国国家数字伦理委员会(CNPEN)[15]。

其次是缺乏专门培训:当前劳动力中的绝大多数神经放射科医生未接受过使用人工智能工具和标记故障病例的培训。目前没有关于谁应使用这些工具、何时使用以及如何使用的最佳实践指南。此外,针对下一代神经放射科医生的培训项目开发仍处于起步阶段[16, 17]。

总之,尽管人工智能的技术骨干具有创新性,并为神经放射学提供了新的应用,但医疗过失责任的风险存在,责任将根据当前的责任框架进行评估。然而,这些框架未来可能会改变。例如,欧盟委员会最近提出了新的《人工智能责任指令》和《缺陷产品责任指令》[18, 19]。然而,目前神经放射科医生应更多地将人工智能用作确认性工具,并遵循医疗标准(因为人工智能尚未成为医疗标准的一部分)[2, 20]。如果按照医疗标准使用人工智能工具,在患者受伤时,医生很可能可以保护自己免受医疗过失责任。然而,非常需要对当前(和未来)的神经放射科医生队伍进行教育,以进一步增强他们对人工智能的理解,并就此类工具的使用提供最佳实践指导。

人工智能医疗器械的监管

要点:

• 获得CE标志(在欧盟)或FDA许可/批准(在美国)是合法销售人工智能医疗器械并在临床常规中对患者使用的前提条件。

• 医疗器械的上市许可代表符合监管标准和技术安全的 conformity assessment(符合性评估),但不一定证明临床有用性。

• 作为上市后监测的一部分,密切监测临床实践中使用的基于人工智能的工具非常重要。

一些用于临床护理的人工智能工具被归类为医疗器械。为了能够上市并用于患者,任何医疗器械(包括软件)都必须符合当地的医疗器械法规[9]。例如,欧盟的监管框架导致CE标志的颁发,而在美国,则需要获得美国食品药品监督管理局(FDA)的许可或批准。虽然欧盟和美国以外的一些国家接受CE标志或FDA上市许可,但其他国家存在额外的框架,例如日本的药品和医疗器械管理局(PMDA)。英国脱欧后,英国药品和保健品监管局(MHRA)接管了此前由欧盟处理的医疗器械监管职责。因此,针对在英国大不列颠上市的医疗器械创建了英国合格评定(UKCA)标志,过渡期至2023年6月30日[21]。由于监管许可

欧盟的监管框架:CE标志

获得CE标志是在欧盟销售医疗器械(包括SaMD)的前提条件。虽然CE标志在欧盟每个成员国都被接受,但风险等级为IIa或更高(见下文)的SaMD的处理由私人的、分散的机构执行[9]。这些所谓的公告机构已被认可进行合格评定,从而颁发CE标志。这一过程在《医疗器械法规》(MDR)[23]中规定,该法规自2021年5月26日起适用。大量目前上市的医疗器械仍根据前法律法案《医疗器械指令》(MDD)获得了CE标志。当前的过渡期要求医疗器械根据MDR重新认证,最近已延长至2027年底(针对较高风险器械)和2028年底(针对中低风险器械)[24]。

MDR涉及各种类型的医疗器械,无论它们是物理产品还是软件产品。大多数旨在临床使用的人工智能算法将构成“独立”的SaMD(与医疗器械中的软件SiMD相对,后者用于运行例如超声机器)。

MDR认可四个风险等级,从I(最低风险)、IIa、IIb到III(最高风险),这些等级决定了根据MDR将器械投放市场的要求(见图1)。任何“提供用于诊断或治疗目的决策的信息”的SaMD至少需要被归类为风险等级IIa[25]。在此基础上进一步考虑可能的最坏情况(不考虑其概率)很重要。如果能够设想“一个人健康状况的严重恶化或手术干预”,该器械将被归类为IIb;如果“死亡或一个人健康状况的不可逆恶化”是可能的,则被分配为风险等级III[25]。

在MDD框架下,神经放射学中几乎所有基于AI的SaMD都属于风险等级I和IIa;在MDR框架下,预计会有更高风险等级的分配。例如,在MDD下,测量任务(如脑体积测量)通常被归为风险等级I,但由于风险等级IIa的定义非常宽泛(见上文),这在MDR框架下发生的可能性较低。由于所有风险等级IIa的医疗器械都需要经过公告机构审查,更频繁的IIa类分类将给当前的监管基础设施带来压力,这可能导致了近期过渡期的延长。在不深入探讨CE标志所需文件细节的情况下,应当了解,每个寻求SaMD工具CE标志的开发者都需要为其工具撰写支持性临床评估,并遵循特定的质量控制措施。然而,“临床评估”通常并不包括使用该工具进行的严格临床研究,也可以基于回顾性数据或为可比器械获取的数据[18, 23]。对于临床使用者而言,重要的是要理解CE标志证明的是符合欧盟MDR的规定,但并不必然表明该器械已在临床环境中得到成功评估。

图1 欧盟或美国风险等级及获得上市许可相关途径概述 查看原图 ↗

美国的监管框架:FDA许可或批准

欧盟的医疗器械监管通过公告机构的频繁参与以分散方式实施,而FDA是美国唯一的负责机构。与欧盟的流程非常相似,风险等级根据SaMD的预期用途定义进行分配,从I级(最低风险)到III级(最高风险)。这些风险等级也定义了获得FDA上市许可的必要步骤。一般而言,存在三种不同途径(见图1)[9]:

首先,高风险器械(III类)需要获得所谓上市前批准(PMA),并要求有可靠的科学证据证明其安全性和有效性。此外,对于低至中等风险(I类和II类)且无任何合法上市 predicate 器械的器械,设想了所谓的De Novo分类请求,其中仅一般控制(I类)或一般控制和特殊控制(II类)为预期用途的安全性和有效性提供合理保证。最后,对于与一个或多个已合法上市的“predicate”器械实质性等同的新器械,存在所谓的510(k)上市前通知/许可[14, 26]。

用户应当能够假定,带有CE标志和经FDA批准的SaMD(医疗器械软件)在按其预期用途使用时是安全的。然而,几乎没有证据表明SaMD在其开发过程中所用数据之外的输入数据上的表现如何。这可能涉及技术因素(例如,输入CT的层厚)以及患者因素(例如,将针对帕金森症状患者设计的工具用于无症状患者)。这凸显了在SaMD获得CE标志或FDA上市许可后,在其临床应用期间对其进行密切监测的必要性。所谓的上市后监督在美国和欧洲框架下已获得越来越多的关注,并可能成为监测AI在临床实践中安全、负责任使用的基石,需要神经放射科医生的积极参与和指导。

共享医学影像数据中的隐私保护

要点:

• 隐私保护对于共享医学影像数据至关重要,尤其是脑影像数据。

• 个人数据或受保护健康信息的处理方式分别受欧盟《通用数据保护条例》(GDPR)和美国《健康保险携带与责任法案》(HIPAA)的监管。

• 存在多种软件解决方案可用于对医学影像数据进行去标识化处理,包括去除3D影像数据中的面部信息,但由于存在再识别风险和医学影像数据潜在损坏的风险,使用时需谨慎。

• 联邦学习可能是一种避免为训练机器学习算法而共享医学影像数据的方式。

由于当前AI算法在开发过程中需要大量训练数据,许多希望寄托于大型聚合影像数据集。随着磁共振成像(MRI)等影像技术变得更加普及,以及共享大量数据变得可行,已收集了若干大规模数据集并向公众开放[27, 28]。此外,个别研究数据集可通过openneuro.org等存储库进行共享[29]。然而,在神经放射学领域共享影像数据之前,必须考虑几个重要问题。

首先,医学影像数据究竟归谁所有,在数据共享方面是否存在所有权问题?有观点指出,一般而言,美国的医疗机构对其生成的医学影像数据拥有“‘所有权’权利”[30]。然而,这种所有权通常不是唯一需要考虑的因素,因为患者在其医学影像中被赋予 certain 权利,在共享时需要保护其隐私。因此,隐私保护法律主导着医学影像数据的共享方式[31]。此外,版权问题通常不构成问题,因为医学影像通常被认为不具有可版权性,例如美国版权局所表述的那样[32]。由于这取决于各国法律,供全球研究人员使用的医学影像数据大多以所谓的CC-0许可协议分发,以防止版权问题。“CC-0许可协议”声明,即使存在任何版权,也予以放弃[33]。

如上所述,在共享医学影像数据时,关键点不是所有权而是患者隐私。显著决定数据共享如何以及是否影响患者隐私的一个因素是应用于图像的匿名化程度,其处于一个谱系之内。一方面,存在未处理的数据,如医院环境中使用的数据,其中姓名、出生日期或地址等敏感信息仍保留在数据中,可随时用于(重新)识别个人。另一方面,存在完全匿名化的数据,完全无法追溯其来源。在这两个极端之间,“去标识化”或“假名化”数据通常用于研究和其他目的。例如,假名化通过移除所有个人信息来完成。然而,存在一个密钥(即,将个人信息与医学影像数据关联起来的假名列表),允许授权人员快速重新识别数据。

数据共享的规则取决于来源国。例如,在美国和欧盟,存在两个主要框架:美国的《健康保险携带和责任法案》(HIPAA)[34],其隐私规则涵盖可单独识别的健康信息(称为“受保护健康信息”(PHI));以及欧盟的《通用数据保护条例》(GDPR)[35],其规范一般个人数据,包括作为个人数据特殊类别的健康相关数据。

虽然两个框架都寻求保护某些健康信息,但二者之间存在一些差异。在GDPR和HIPAA下,医疗保健提供者通常必须在患者请求时向其提供PHI或个人数据的访问权限[36]。然而,GDPR赋予个人获取和使用其个人数据的权利要广泛得多。个人可以在不同IT环境之间传输、复制或物理移动其个人数据文件。他们应以“结构化、常用和机器可读的格式”接收个人数据,并且他们“有权不受阻碍地将这些数据传输给另一控制者”[35, 36]。

HIPAA与GDPR之间的另一个主要差异在于每部法律要求如何告知个人其PHI或个人数据如何被使用、披露和收集。HIPAA隐私规则要求受涵盖实体(包括大多数医疗保健提供者)通过以通俗语言编写的隐私实践通知告知个人PHI的使用或披露[37]。例如,必须附上对医疗保健提供者可能在未获得书面授权的情况下使用或披露PHI的情形的描述[37]。GDPR赋予个人在收集或使用个人数据时立即被告知的权利,这意味着“在获得个人数据时”[35, 38]。除其他事项外,个人必须被告知数据的接收者是谁;以及是否有意将该数据传输至第三国[35]。相比之下,如果个人数据不是直接从个人处获得的,通常必须在合理的时间段内告知个人相关信息[35, 38]。个人有权以透明、精确、易于获取和理解的形式被告知[35, 38]。GDPR赋予个人控制其个人数据如何被收集、使用和披露的权利,远比HIPAA对PHI的规定更为广泛。

从患者群体中获取的医学影像数据,需要附带有关于患者医疗状况的相关信息(例如症状严重程度、环境因素、遗传易感性等),才能有效地用于作为诊断支持工具的SaMD。当然,这些关于个人健康状况的信息非常敏感,需要采取最高级别的隐私保护措施。神经放射科医生在共享患者数据时,必须熟悉适用的隐私法律,以充分保护患者隐私。

在概述了HIPAA和GDPR之后,我们现在来看看医学影像中实际存储了哪些类型的数据。医学数字成像和通信(DICOM)对象和图像由像素数据和元数据两部分组成。元数据包括患者姓名、出生日期以及有关采集图像的特定扫描仪的信息。例如,根据HIPAA进行去标识化,需要消除18个特定标识符,才能使数据集不含受保护健康信息(PHI)[39]。其中包括患者姓名、日期和时间、病历号、社会安全号、设备标识符、全脸、照片及类似图像,以及任何其他唯一标识号码(例如植入设备如心脏起搏器的序列号)[34]。

在存在所谓的“烧录”PHI的情况下,对数据集进行去标识化可能非常具有挑战性。这可能是图像中的项目名称、姓名、时间或日期戳等信息,常见于超声、透视、放射摄影图像以及二次捕获图像中。这些烧录的像素数据需要通过使用图像编辑器或专用工具替换像素值来进行“涂黑”(遮挡处理)。关于可用于去标识化或假名化的软件工具的概述可见表1。

与三维脑成像相关的一个特定问题是面部重建的可能性,重建后的面部可被广泛可用的人脸识别软件处理(例如用于智能手机解锁)[6]。特别值得注意的是,一家AI人脸识别公司最近因违反GDPR的多项规定而被处以2000万欧元的罚款[40]。有几种不同的非商业方法可以去除面部特征,例如PyDeface(https://github.com/poldracklab/)、mridefacer(https://github.com/mridefacer/)和Freesurfer的mrideface(https://surfer.nmr.mgh.harvard.edu/fswiki/mri_deface)[41]。然而,它们并非在所有情况下都有效,且可能影响脑本身的成像特性。最近一项研究表明,使用常见软件进行去面部处理后,28%至38%的扫描仍保留了足够的数据以成功进行自动化面部匹配[42]。此外,研究表明,体积和质量测量受到去面部方法的不同影响。如果被SaMD使用,这很可能对实验的可重复性或性能产生显著影响[42–44]。因此,在输入新的推理数据时,始终需要考虑SaMD是在去面部图像还是非去面部图像上训练的,以及选择了哪种去面部方法[43]。

如上文所述,在没有例如HIPAA限制的情况下(即以去标识化形式)准备用于共享的医学影像数据可能相当复杂且容易出错,因此最近提出了其他避免共享数据本身的技术。其中一种概念称为“联邦学习”[45]。它是一种机器学习方法,设计用于在大量去中心化的边缘设备或服务器上训练模型,而无需共享训练数据。在联邦学习架构中,去中心化的边缘设备或服务器将首先下载模型,并使用本地训练数据对其进行改进。之后,联邦学习方法将小规模的聚焦更新推送到云端,该更新与来自边缘设备或服务器的更新进行聚合,然后分发回去。在整个过程中,训练数据保留在本地服务器上,本身不被共享。只有算法权重的更新被分发到云环境。总之,联邦学习能够在不共享数据的情况下构建机器学习模型,从而在一定程度上规避数据隐私和安全等关键问题[46]。

表1 用于医学影像数据去标识化或假名化的软件包概述 查看原表 ↗

结论

在本文中,我们概述了在临床实践中使用基于AI的SaMD所涉及的主要医疗法律问题,即医疗过失责任、上市许可和患者影像数据的隐私保护。解决这些问题对于在临床实践中安全、负责任地采用AI是必要的,并且需要神经放射科医生和其他利益相关者(包括法律专家)的积极参与。

引用

  1. Hedderich DM, Weisstanner C, Van Cauter S, et al. Artificial intelligence tools in clinical neuroradiology: essential medico-legal aspects. Neuroradiology. 2023. PMID: 37160454. doi:10.1007/s00234-023-03152-7
  2. 全文:PMC10272241(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10272241/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。