人工智能作为医疗器械在放射学中的应用:欧洲和美国的伦理与监管问题
本文分析欧盟与美国在医疗器械监管和数据保护方面的法律框架,评估人工智能在放射学中应用的伦理与监管挑战。文章讨论问责、数据保护与网络安全问题,指出欧盟与美国采用不同的医疗器械审批与监管路径,强调需要适当且及时的监管以保障人工智能应用的安全与效用。
要点
- 欧盟与美国对医疗器械的定义均采用基于用途的方法,但监管路径不同。
- 欧盟《通用数据保护条例》自2018年5月24日起适用,要求数据处理和使用采用选择加入(opt-in)方式且消费者同意应明确。
- 美国法律要求选择加入的数据处理和使用以及明确的消费者同意。
核心结论
- 欧盟与美国对医疗器械的监管路径不同,需要适当且及时的监管以保障人工智能在放射学等领域应用的安全与效用。
- 人工智能应用是支持检测/诊断、工作流程和成本效益的医疗器械,需要安全、隐私保护及敏感信息伦理使用的法规。
研究设计与样本
- 本文为政策与法律分析文章,分析欧盟与美国医疗器械监管及数据保护的法律框架,未报告样本量或研究设计类型。
诊断标准与关键数值
- 欧盟《通用数据保护条例》自2018年5月24日起适用,要求所有数据处理和使用采用选择加入(opt-in),消费者同意应明确。
- 欧盟《网络安全指令》要求成员国在2018年5月10日前实施,要求确保基本服务运营者采取措施预防和最小化事件影响并保持服务连续性(第14(2)和16(2)条),并确保监管机构及时获知事件(第14(3)和16(3)条)。
- 欧盟《通用数据保护条例》第33条规定个人数据泄露须在72小时内通知监管机构。
- 美国《21世纪治愈法案》于2016年底明确FDA对医疗软件监管管辖范围,医疗器械定义为用于人类或其他动物疾病诊断、治疗、缓解、预防或影响身体结构或功能的仪器或工具。
- 美国FDA将医疗器械按用途和风险分为三类,风险越高控制越严格,III类为风险最高的类别。
临床应用与阅片要点
- 并非所有医疗保健中使用的AI程序都会被认定为医疗器械,用于发展疾病知识而非决定个体治疗方案的科研程序可能不被视为具有医疗目的。
- 深度学习算法需要大量数据训练,缺乏标注良好的大型数据集是AI系统在放射学中广泛引入的关键障碍。
- AI医疗设备应使用深度学习提供患者数据而不要求以个人身份信息作为交换。
局限性
- 原文未报告局限性
全文中译10 节 · 点击展开
引言
人工智能(AI)是计算机科学的一个分支,致力于创建执行通常需要人类智能的任务的系统,涉及不同的技术方法[1]。AI一词用于描述模拟认知功能(如学习和问题解决)的计算机系统[2]。这些系统目前基于人工神经网络,这是一种灵活的数学模型,使用多种算法来识别大型数据集中的复杂非线性关系[3],即现今所称的大数据。可以从电子档案中检索大量信息,而使用传统数据处理方法几乎无法对这些信息进行分析、搜索或解读。大数据包括来自手机应用程序、可穿戴技术、社交媒体、环境和生活方式相关因素、社会人口学、组学数据(如基因组学、代谢组学、蛋白质组学、影像组学)以及来自标准化电子健康记录或精准医学平台的数据[4]。
在健康数据中,通过X射线、计算机断层扫描(CT)、磁共振成像(MRI)和超声检查等获得的医学图像构成了最引人关注的数据类型之一,在研究和临床应用方面具有很高的潜力。其中,这些数据可有助于改进疾病的自动检测(同时减少人为错误)[5]、创建研究方案[6]、提高图像质量并降低辐射剂量[7]、减少MRI扫描仪时间[8]、优化人员配置和扫描仪利用率从而降低成本[9],以及在原本无法负担的国家提供开展昂贵且耗时筛查项目的可能性[10, 11]。
机器学习是Arthur Samuel于1959年[12]提出的术语,用于定义AI的一个领域,即计算机从数据积累中自动学习;它已被广泛应用于大数据分析[13]。在机器学习领域内,深度学习已成为一种用于图像处理的极具前景的方法[14]。与需要特定指令来完成任务的软件不同,深度学习允许系统独立识别模式并做出预测[15]。
大数据的深度学习建模对现代社会产生了重大影响,从网络搜索到金融科技银行,从面部识别到医疗决策支持[16, 17]。AI的应用将改变许多专业人员(包括医生)的工作方法,而在放射学领域,这一变化将比其他医学领域来得更快。
放射科医生作为医学数字时代的先驱,现在可以将AI视为其专业中的新伙伴,同时放射学在医疗保健中有望发挥更重要的作用,正如我们在之前的一篇文章中所展示的[18]。然而,AI在医学尤其是放射学中的应用面临着不依赖于医生、而依赖于监管机构和政府的挑战[19]。在本文中,我们分析了与近期在医疗器械开发背景下监管AI的政策举措、AI在法律下的问责制以及数据保护和网络安全的影响相关的问题。将考虑欧盟(EU)政策与美国(U.S.)政策之间的主要差异。
AI在医学和放射学中的挑战
算法开发的进步,结合当前获取计算资源的便利性,使得人工智能应用可用于医学决策任务,并取得了令人鼓舞的结果[14, 17]。在放射学中利用人工智能技术是研究团队关注的相关课题。深度学习算法目前用于乳腺X线摄影进行乳腺癌检测[20]、CT进行结肠癌诊断[21]、胸部X线片检测肺结节[22]、MRI进行脑肿瘤分割[23]以及诊断神经系统疾病,如阿尔茨海默病[24]。
过去10年文献发表量呈高度积极增长趋势,从每年100至150篇增至700–800篇[18],显示了基于人工智能的放射学软件开发所受到的广泛热情和活力。
然而,一些伦理挑战是显而易见的,需要加以防范。值得注意的是,其中之一是担心算法可能在决策中反映人类偏见。由于医疗服务的提供已因种族而异,某些伦理偏见可能无意中被植入医学算法。引入非医学领域的人工智能应用已被证明会做出有问题的决策,反映用于训练它们的数据中固有的偏见[25]。最近,一个旨在通过预测罪犯累犯风险来辅助法官量刑的程序显示出令人不安的歧视倾向[26]。同样,如果没有针对某些人群的遗传学研究,旨在根据遗传发现预测结果的算法可能存在偏见[25]。
人工智能设计背后的意图也需要考虑,因为某些设备可能被编程为以不道德的方式运行。例如,优步的算法工具“Greyball”旨在预测哪些叫车者可能是卧底执法人员,从而使公司能够识别并规避当地法律[25]。此外,大众汽车的算法允许车辆在测试时减少氮氧化物排放,从而通过排放测试[25]。类似地,为临床使用创建人工智能算法的私营部门设计者可能面临类似诱惑,通过编程人工智能系统引导用户采取将为其购买者带来增加利润的临床行动(例如推荐他们持有股份的药物、检测或医疗器械,或改变转诊模式),但不一定反映更好的诊疗[25]。这些例子表明,迫切需要就人工智能的使用制定严肃的法规和政策举措,尤其是在复杂诊疗实践中,其中疾病的正确诊断和患者的最佳管理可能存在争议。
监管问题与政策举措
AI系统所做的不仅仅是处理信息和协助官员做出重要决定。许多系统——例如控制飞机自动驾驶或完全无人驾驶汽车的软件——对人类环境中的物体施加直接和物理控制[27]。其他系统,包括医疗和放射设备,提供敏感服务,当由医生执行时,需要培训和认证[15, 19, 27–29]。这些应用引发了关于AI系统所遵循的标准以及确保这些标准得到满足的可用程序和技术方面的额外问题[30]。那么当今正在开发的技术呢,例如自主影像判读器,其价值恰恰在于将技能带入无人具备这些技能的环境?我们又如何看待那些声称提供健康建议的系统,这需要遵守与人类判断挂钩的复杂信托义务和其他义务[31]?
由于无歧义性是任何立法的支柱之一[32],政策制定者在规范任何新领域时需要解决的首要方面就是定义。这一方面在AI上成为一个实际问题,这个术语本身就包含歧义:什么是智能?哪些人类能力应被视为AI系统需要达成的里程碑?AI缺乏稳定、一致的定义或实例化,这使得制定适当政策基础设施的努力复杂化。此外,我们可能质疑“政策”一词在描述引导AI服务于公共利益的社会努力方面的效用。还有其他流通中的术语。例如,用“治理”代替“政策”:一项由麻省理工学院媒体实验室和哈佛大学伯克曼·克莱因互联网与社会中心锚定的新倡议自称为“人工智能伦理与治理基金”[33]。无论如何,我们需要一项用于医学(和放射学)中AI治理的政策。
政策制定者的第二个问题是,是否将医疗保健中使用的AI软件视为立法目的上的医疗器械。欧盟和美国都有各自识别医疗保健和医疗器械的标准,尽管两种定义都采用基于目的的方法。
我们将在下文考虑什么是医疗器械以及这两个地缘政治区域的立法有何不同。然而,有趣的是指出,并非所有在医疗保健中使用的AI程序都将被视为医疗器械。例如,正如Tsang等人[34]所指出的,“分析大量数据以开发关于某种疾病或状况的知识,而非决定个体患者治疗方案的程序,可能不一定被视为具有医疗目的,因此不一定被视为医疗器械”。这是增强医学知识的研究程序与促进医疗保健变革的程序之间的基本区别。后一类系统将如何被监管?
根据Thierer等人[35]的观点,政策制定者在监管人工智能系统时可以采用两种主要方法。一种是预防原则方法,由于某些应用存在潜在风险,该方法对这些应用施加一定限制,有时甚至完全禁止。这意味着这些应用因为最坏情况下可能发生的事情而永远得不到测试。另一种方法即所谓的无许可创新方法,允许自由地进行试验,出现的问题在浮现时加以解决。2016年,Scherer[36]则区分了事前监管与事后监管。事前监管是预防性的,试图预见风险,与预防原则类似[35];而事后监管是回顾性的,更侧重于对实际发生的损害提供救济[37],与上述无许可创新方法相似[35]。
一方面,事后监管受到人工智能系统自主性的阻碍,这些系统根据其经验和学习以不可预见的方式不断演变和变化[38]。另一方面,事前监管受到人工智能应用的以下特性阻碍:离散性(其开发所需物理基础设施很少)、分离性(其组件可由不同主体为不同目的设计,且无需实际协调)、弥散性(这些主体可在地理上分散,却仍能协作开展同一项目)以及不透明性(外部观察者可能难以识别和理解人工智能系统的所有特征)[36]。
最后,政策制定者面临的另一个问题是时间。如今,企业已认识到机器/深度学习的潜力,并持续收集新型数据加以分析和利用[39]。在技术和人工智能这样快速且不可预测变化的环境中,法规需要及时才能具有相关性。
这些前提解释了为什么医疗器械的监管如此具有争议性,且易受指南的变幻无常和当局主观解释的影响。我们在下文讨论欧盟和美国将软件作为医疗器械监管的监管雷区及具体情况。
总体而言,在美国,人工智能技术行业在无许可创新政策环境中蓬勃发展,而在欧盟,决策者对这一革命性技术分支采取了不同的政策[35]。当然,人工智能医疗器械更快的审批有助于为制造商创造收入,医生也可能因拥有更多可用工具而受益。但将新器械推向市场的最终目标应当是改善疾病的预防、诊断、治疗和预后,从而对患者结局产生潜在的积极影响。因此,新医疗器械的审批系统必须为重要创新提供上市途径,同时确保患者得到充分保护。为实现这些目标,欧盟和美国采用了不同的方法[40]。
欧盟的方法
在欧盟,医疗器械的定义由93/42/EEC指令第1(2)条提供[41]:医疗器械一词适用于制造商意图用于人类的任何器械或其他工具,包括任何类型的软件,其目的包括疾病的诊断、预防、监测、治疗或缓解。该定义已得到MEDDEV文件的认可,这些文件是由欧盟委员会起草的不具有法律约束力的指南,用于指导利益相关方遵守与医疗器械相关的立法[42]。
目前生效的欧洲监管制度源于三项关于医疗器械的指令[41, 43, 44],其要求制造商确保其生产的器械适合其预期用途。这意味着它们必须符合指令本身规定的一些基本要求。根据器械的风险分类,基本要求是否已满足可由制造商或公告机构进行评估,公告机构是由欧盟成员国主管当局指定的独立认证机构。
该监管框架已由新的《医疗器械条例》(MDR)[45]和新的《体外诊断医疗器械条例》(IVDR)[46](表1)进行改革。两者均于2017年5月25日生效,但MDR将自2020年5月26日起适用,而IVDR将自2022年5月26日起适用。由于它们是条例而非指令,一旦适用即直接生效,无需欧盟成员国政府通过立法来实施其范围[47](表2)。这一改革源于对现有指令(创建于20世纪90年代[41, 43, 44])不适合处理包括人工智能系统在内的新兴 evolving 技术的认识,以及对这一监管体系一些缺陷的识别,例如对公告机构缺乏管控。
这一改革的一些主要特征将是:扩大范围以涵盖更广泛的产品、扩大与缺陷产品相关的责任、加强对临床数据和器械可追溯性的要求、对公告机构进行更严格的监督,以及通过向公众提供与医疗器械相关的信息来提高透明度[48]。
美国的做法
在美国,允许机器完成受过训练的放射科医生的工作的监管批准仍是一个尚未解决的重大障碍。要获得美国食品药品监督管理局(FDA)的许可,允许机器在没有放射科医生的情况下对影像学研究提供初步判读,所需的测试和努力将是巨大的。
2016年底,《21世纪治愈法案》[49]明确了FDA对医疗保健中所用软件的监管管辖范围,规定医疗器械是一种器械或其他工具,“意图用于人类或其他动物的疾病或其他状况的诊断,或疾病的治愈、缓解、治疗或预防,或意图影响人类或其他动物身体的结构或任何功能”[50]。还有一些其他因素缩小了该定义,但就本文而言,这是最重要的。
所有符合这一定义的AI系统都将受到FDA的监管,依据《联邦食品、药品和化妆品法案》[34](表3)的规定。FDA根据医疗设备的用途和风险将其分为三类,并据此进行监管。风险越高,管控越严格。III类为包含风险最高设备的类别。
黑箱性质以及机器学习/深度学习应用的快速增长,将使FDA难以及时批准所有不断开发中的新医疗设备,考虑到所涉及的测试和验证的数量及复杂性。一个例子是1998年引入的乳腺X线摄影计算机辅助检测软件[51],该软件花费了多年时间和大量游说才获得FDA批准用作第二筛查阅片者[52]。与计算机辅助检测系统相比,对于不需要放射科医师监督且无法与用作放射科医师替代品的预定医疗设备相比较的AI系统,获得FDA批准更加困难。因此,如今的开发者将AI系统呈现为放射科医师的辅助工具,而非替代他们的工具[53]。这不仅是法律问题:它还涉及关于伦理责任的相关讨论,我们将在下文看到。
数据保护与网络安全影响
在最近围绕剑桥分析/Facebook个人数据滥用丑闻[54]的发酵之后,关于隐私与更好用户体验(通过使用个人数据实现)之间平衡的辩论正在展开,尤其是在涉及医疗信息等敏感数据时。大量机密信息以大量副本在许多不受监管的公司之间流转的概念越来越荒谬且危险。因此,在过去十年中,个人数据监管不断加强,隐私担忧日益增长[55]。
然而,我们仍然需要数据作为技术发展的组成部分,尤其是对AI而言。如上所述,深度学习算法需要大量数据和强大的计算机,且由于需要考虑众多参数,通常需要很长时间进行训练[19, 28]。缺乏用于训练AI算法的标注良好的大型数据集是在放射学中大规模引入这些系统的关键障碍[3, 13, 56]。需要获取医学图像大数据以向AI设备提供训练材料,使其能够学习识别影像异常[13, 57]。问题之一是,由于缺乏统一明确的法规[59],敏感数据可能被非法获取或从未知来源收集[58]。
在电子病历时代,人工智能使本已复杂的网络安全格局更加复杂[60]:保密性的概念要求医生从病历中隐去信息,以使其真正保密[25]。一旦基于人工智能的临床决策被整合到临床护理中,从电子记录中隐去信息将变得越来越困难,因为数据未被记录的患者无法从人工智能分析中获益[25]。因此,深度学习系统的实施将需要对保密性及其他医学伦理核心原则进行重新构想。在使用政府过度监管之前,我们需要从技术上面对数据保护和网络安全的影响。数据保护不能再依赖当前允许个人数据扩散并要求大规模、不受控制地共享数据的技术[61]。
在放射学以及整个医学领域,人工智能医疗设备应使用深度学习来提供患者数据,而不要求以患者的个人身份信息作为交换。目前,人工智能的使用引发了与设备所收集数据相关的两个问题。一方面,必须保护数据不被收集这些数据的同一机构获取。另一方面,同一数据也面临针对这些机构以及设备本身的网络攻击威胁。
欧盟的数据保护
由于这些威胁,欧洲监管机构决定更新有关数据保护和网络安全的立法(表4)。《通用数据保护条例》(GDPR)自2018年5月24日起适用,取代了第95/46/EC号指令[62]所规定的欧洲数据保护法律框架。根据GDPR,所有数据处理和使用均应选择加入,消费者对数据使用的同意应当明确。总体而言,GDPR完全禁止当前基于第三方未经选择加入的个人数据的数据营销。GDPR是监管人工智能更合适的工具,因为它具有扩展的域外适用范围和更广泛的数据主体权利。例如,强化的通知要求(根据第33条,个人数据泄露必须在72小时内通知监管机构),以及就物质或非物质损害获得赔偿的权利和数据控制者及处理者的附加责任(第88条):1[63]。
同样,由于它是一项条例,GDPR直接适用,机构必须自2018年5月24日起遵守该条例(这就是为什么自2016年5月24日生效以来允许有2年的实施期)。
此外,欧盟通过了《网络安全指令》[64],各成员国须在2018年5月10日前实施该指令。该指令对欧盟成员国提出了一系列要求,旨在防止网络攻击并控制其后果。除其他事项外,成员国须确保基本服务运营者采取适当措施预防和尽量减少事件影响并保持服务连续性(第14(2)条和第16(2)条),并确保在不无故拖延的情况下向监管机构通知事件(第14(3)条和第16(3)条)[64]。
美国的数据保护
虽然美国政府的监管不那么严格,但剑桥分析/脸书等事件应提醒政府应采取行动,并且公司的行为需要改变。
《健康保险可携性和责任法案》(HIPAA)是健康信息关注领域的合规重点[34]。该法案详细规定了相关规则,其中包括要求为能够访问敏感数据的人员制定政策并建立培训体系[34](表5)。此外,HIPAA并不妨碍各州采取行动,各州可进一步保护个人的隐私权。
网络安全由FDA负责处理,FDA仅要求制造商报告其器械所呈现的有限数量的风险以及为尽量减少漏洞所采取的行动[34](表5)。深度学习的黑箱特征以及关于结果如何获得的透明度缺乏具有棘手的法律影响[58]。在某些情况下,甚至设计者也不完全理解AI算法如何处理数据[58],因此透明度的缺乏从根本上说是知识的缺乏。考虑到当前收集的数据量,并且随着AI应用的增加这一数据量只会继续增长,有关网络安全的监管行动将面临持续挑战。
问责与责任:循证医学框架下来自AI的“内部证据”?
除了实际的监管和数据保护之外,AI及其使用在医疗保健或其他领域还存在其他法律影响。其中之一是问责。一旦AI开始对诊断和治疗做出自主决策,超越其仅作为辅助工具的角色,就会出现一个问题:其开发者是否可以对其决策承担责任。第一个问题是:如果基于AI的器械犯了错误,谁将被起诉?
人工智能中的错误主要出现在训练数据集中混杂因素与病理实体相关而非与疾病实际征象相关时。当人工智能设备做出决定时,其决策基于所收集的数据、其所依据的算法以及自创建以来所学到的内容。其决策不可预测的原因有两方面[36]。一方面,人工智能设备即使模仿人脑神经网络,其思维方式也与人类不同。更确切地说,它们思考得更快、更准确[38, 56, 58]。在每种特定情境中都存在大量可能性,人类无法处理所有这些可能性并加以考虑以做出决定。我们只考虑对我们大脑来说更显而易见的内容,而人工智能系统可以考虑每一种潜在情景和每一种考量[2, 3, 15, 29, 39, 56, 65]。因此,在面对需要做出的决定时,我们与人工智能设备不共享共同的基础。所以,我们无法预测它们在特定情况下会做出什么决定。另一方面,人工智能系统被设计为从其真实经验中学习,而这些经验本质上不可预测。由于不可能预见一个系统将会遇到什么经验,也不可能预见该系统将如何发展。基于这些原因,当人工智能应用做出决定后出现“出错”时,值得考虑的是,究竟应认定设备本身还是其设计者/建造者有过错。设计者是否会因未能预见我们所描述为不可预见之事而被视为有过失?或者因留下了人工智能设备发展的可能性而使其做出该决定而被视为有过失?
人工智能在未来数年将在医患关系中发挥越来越重要的作用[15, 19, 35, 53, 66],并且它将需要受核心伦理原则的约束,例如行善和尊重患者,这些原则在医学史中一直指导着临床医生[25]。我们确实应当记住,放射科医生作为医生,远不仅仅是图像的解释者。执业放射科医生的职责还包括检查结果的沟通、质量保证、质量改进、教育、介入放射学操作、政策制定以及许多计算机程序无法执行的更多任务[2]。为复杂发现提供细致入微解释的能力、医学判断以及经验丰富的放射科医生的智慧难以量化,甚至更难用人工智能系统模拟[15]。
鉴于人工智能技术日益演变的复杂性,几乎不可避免的是,其某些内部运作机制对除极少数能够理解其运作方式的人之外的所有人来说,都会显得像一个“黑箱”[58]。但这并不意味着问责无从谈起。
重要的是,在更广泛的理论框架中,我们应区分数据分析(在此情况下即AI设备的输出)与决策制定。在循证医学的背景下[67],最佳外部证据(来自高质量研究和荟萃分析的数据、政府机构和医学学会的指南)必须通过运用我们个人的医学/放射学专业知识,与患者的偏好和价值观相结合。我们可以说,在放射学中引入AI后,我们还有一种来自将AI应用于患者影像检查过程的内部证据。有人可能认为,AI至少在未来能够代替医生完成这项工作。然而,当患者的偏好和价值观发挥不可忽视的作用时(并且希望这一因素在未来不会降低其权重),医生/放射科医生与患者之间的人际互动和共情仍然是 fundamental 的维度。事实上,AI将使放射科医生有更多时间与患者沟通,并在多学科团队中与同事商议,因为他们将减少忙于可由计算机有效执行的常规和单调任务的时间[53]。
对AI输出的问责对于保险目的而言也可能是一件简单的事情。决策的伦理和法律责任仍将掌握在医生自然智能的手中(更确切地说,在其头脑中)。从这个角度来看,在多学科委员会很可能在困难病例中承担责任,将AI提供的信息视为相关但并非总是决定性的。
结论
虽然AI在医学和放射学中的应用面临若干挑战,但我们应接受我们需要它这一事实。我们需要所有这些依赖敏感数据的技术和设备来改善患者护理和治疗。我们相信,诸如新政策举措、数据保护和网络安全监管、关于不同寻常的问责和责任问题的辩论、关于患者与AI医疗系统之间信托关系的问题等挑战,必须尽快加以解决。
基于AI的设备可以构建为反映已在医疗保健中指导其他参与者的伦理标准,并可使这些设备遵守这些标准。一个关键步骤将是确定如何确保它们做到这一点,无论是通过政策制定和编程方法的结合。
AI的良好应用可能是强大、有益且有价值的。相反,对这一前沿技术的不良或不道德使用可能是危险的,患者、医生(放射科医生)和监管机构必须共同努力防止这种情况[57]。本着良好合作的精神,我们必须找到一种平衡,提供安全性、隐私保护和对敏感信息的道德使用,以确保对患者进行人道且受监管(因此是负责任的)管理。
引用
- Pesapane F, Volonté C, Codari M, et al. Artificial intelligence as a medical device in radiology: ethical and regulatory issues in Europe and the United States. Insights Imaging. 2018. PMID: 30112675. doi:10.1007/s13244-018-0645-y
- 全文:PMC6206380(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6206380/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。