放射学中人工智能的伦理:欧洲与北美多学会联合声明摘要
该声明由ACR、欧洲放射学会、RSNA等七家学会联合发布,提出放射学AI的伦理使用应促进福祉、减少伤害并公平分配获益与风险,尊重人权与隐私,保持透明与可靠,最终责任归于人类设计者与操作者,放射学界应即刻制定AI伦理与实践规范。
要点
- 放射学AI的伦理使用应促进福祉、减少伤害,并公平分配获益与风险。
- AI应具备适当透明性与高度可靠性,减少决策偏见,责任与问责归于人类设计者或操作者。
- 放射学界应即刻制定AI伦理与实践规范;放射科医生仍对患者照护负最终责任。
核心结论
- 放射学AI的伦理使用应促进福祉、减少伤害,并确保获益与伤害在可能利益相关者间公平分配。
- AI应尊重人权与自由(含尊严与隐私),具备适当透明性与高度可靠性,减少决策偏见,责任与问责在可预见未来归于人类设计者与操作者。
- 放射学界应即刻制定AI伦理与实践规范,促进有益于患者与公共利益的用途,阻止无此属性的数据与算法牟利用途。
研究设计与样本
- 该声明为ACR、欧洲放射学会、RSNA、医学影像信息学会、欧洲医学影像信息学会、加拿大放射科医师协会与美国医学物理学家协会联合发布的国际多学会声明摘要,全文发布於各学会网页。
- 作者包括学会代表、患者倡导者、一位美国哲学教授及具有美国与欧盟放射学与隐私经验的法律顾问。
诊断标准与关键数值
- 伦理使用AI的核心原则:促进福祉、减少伤害、公平分配获益与伤害、尊重人权与自由(含尊严与隐私)、最大透明性与可靠性、责任与问责归于人类设计者与操作者。
- 数据伦理关键领域包括知情同意、隐私与数据保护、所有权、客观性、透明性、资源差距及有意义且合乎道德的访问权。
- 偏见来源包括基于性别、性取向、族裔、社会、环境或经济因素的群体亚组,以及合并症等临床混杂属性和数据集偏移、协变量偏移等技术因素。
- 自动化偏见导致遗漏错误与实施错误;高决策流率易致遗漏错误,资源匮乏人群风险可能放大。
- 模型透明性应可见且可理解;当前可解释性更好的模型通常表现更差,当前深度学习模型有远超1亿个参数。
临床应用与阅片要点
- AI产品全生命周期相关人员应深入理解产品风险,适当告知患者与利益相关者,并监测AI产品以防伤害。
- 实施AI模型时应能回答数据伦理问题:如何记录与告知患者数据用途、标签如何生成、数据偏见如何评估与缓解、真实标签方法是否适合临床用例。
- 应倡导结果可视化与可解释性,包括一致性与泛化性度量,以及当模型输出变化或确定性低于特定水平时停止并警示人类的机制。
- 应建立AI数据、算法、模型与产品的可持续版本控制,并在临床工作流中监测AI性能是否随时间下降。
- AI工具在投入使用前应由合法选定的监管委员会适当审查,并持续监测非预期后果与质量损失。
局限性
- 目前在不同临床环境中使用AI进行患者照护的经验很少。
- 需要大量研究来了解如何在临床实践中最佳部署AI。
- 放射学界目前对此类对抗攻击没有防御手段,这一弱点必须被承认和解决。
- AI模型与社会的响应正以难以把握、更难以管理的速度与范围演变,我们对伦理关切的理解与适当回应不断变化。
- 数据访问的最佳实践正以超出我们当前知识或能力的速度演变。
全文中译7 节 · 点击展开
要点:
放射学中人工智能的伦理使用应促进福祉、尽量减少伤害,并确保益处和伤害在可能的利益相关者之间以公正的方式分配。
放射学中的人工智能应具有适当的透明度和高度可靠性,减少决策中的偏见,并确保责任和问责仍由人类设计者或操作者承担。
放射学界应从现在开始制定人工智能的伦理和实践规范。
放射科医生将最终对患者照护负责,并需要获得新技能,以在新的AI生态系统中为患者尽最大努力。
引言
本声明是ACR、欧洲放射学会、RSNA、医学影像信息学学会、欧洲医学影像信息学学会、加拿大放射科医师协会和美国医学物理师协会所制定声明的精简版。完整版发布在上述各学会的网页上。作者包括各学会代表、患者倡导者、一位美国哲学教授,以及在美国和欧盟具有放射学和隐私方面经验的律师。
人工智能(AI)被定义为以先前被认为需要人类智能的方式行为的计算机,具有大幅改善放射学、帮助患者和降低成本的潜力[1]。放射科医生是从医学图像中获取信息的专家。AI可以扩展这一专长,提取更多信息以对患者作出更好或全新的预测。展望未来,关于图像的结论将由人类放射科医生与智能自主机器共同作出。尽管机器会犯错,但它们可能比人类更高效、更一致地作出决策,在某些情况下会与人类放射科医生的判断相矛盾并被证明是正确的。AI将影响图像判读、报告生成、结果沟通和计费实践[1, 2]。AI有潜力改变职业关系、患者参与、知识层级和劳动力市场。此外,AI可能加剧资源的集中和不平衡,拥有大量AI资源的实体将拥有更强的“放射学决策”能力。放射科医生和放射科也将成为被AI模型分类和评估的数据。AI将推断个人、职业和机构行为中的模式。在AI时代,放射学数据的价值、所有权、使用和获取已具有新的含义和意义。
人工智能很复杂,并带有潜在的陷阱和固有偏见。在放射学中广泛使用基于人工智能的智能和自主机器可能会增加系统性伤害风险,提高造成高后果错误的可能性,并放大复杂的伦理和社会问题。目前,在所有要求严苛且多样化的环境中使用人工智能进行患者照护的经验很少。仍需进行大量研究,以了解如何在临床实践中使用人工智能以及它们应具备的运行特征。解决这些问题的方式将在很大程度上由社区的伦理观念以及技术因素共同塑造。其他影响将更为间接,例如算法为企业或公共政策做出决策,或在大量人群数据中发现模式,以改善公共卫生以及我们对疾病和治疗的理解。
放射学的目标应该是从人工智能的合乎伦理的使用中获取尽可能多的价值,同时抵制通过不合伦理地使用放射学数据和人工智能来获取额外金钱利益的诱惑。本共识声明旨在为放射学中使用人工智能相关伦理问题提供共同解释,并激励放射学人工智能的开发者和使用者以人道的方式增强放射学的智能,以促进公正和有益的结果,同时避免伤害那些期望放射学界以正当方式对待他们的人。
参与人工智能产品生命周期任何阶段的人员都必须深入理解它。我们有责任理解我们正在使用的产品的风险,酌情提醒患者和利益相关者注意这些陷阱,并监测人工智能产品以防伤害。我们有责任确保不仅产品的使用总体上是有益的,而且利益在可能的利益相关者之间的分配是公正和公平的。我们应当认识到,尽管大多数变化将是积极的,但人工智能将造成不可避免的社会和经济变化,而这类重大社会变化往往对最脆弱社区造成不成比例的负面影响。我们必须尽我们所能确保负面后果不会因不合伦理的分配而加剧。
放射科医生在发明和实施合乎伦理的人工智能的同时,也在学习它。人工智能的技术变化以及社会对这些变化的反应,正以难以把握、更难以管理速度和范围演变。我们对伦理问题的理解以及对其作出的适当回应不断变化。为了最好地服务我们的患者和社区,我们负有道德义务去考虑我们如何使用和理解数据、如何构建和运行决策机器,以及如何作为专业人员行事。
数据伦理
数据伦理是放射学中人工智能的基础,并反映在对数据的获取、管理和评估中的信任。数据伦理的关键领域包括知情同意、隐私和数据保护、所有权、客观性、透明度、有能力或缺乏资源管理大型数据集者之间的差距,以及提供有意义且合乎道德的数据访问权[3]。数据“真实性”包括理解数据有多完整和详细、数据包含哪些信息、数据反映真实物理情况的准确程度,以及方差和偏倚的度量。
作为医生,放射科医生负有道德义务,利用他们收集的数据服务于患者并增进公共利益,提取更多关于患者及其疾病的信息,并改进放射学实践。同时,他们也有义务不以可能伤害或对患者产生不利影响或歧视患者的方式使用数据。
由于当今开发人工智能驱动的机器需要标注良好的放射学数据,这些数据的价值以及提供商业访问这些数据的压力正在飞速增长。除了利用这些数据改善患者健康将带来的重大益处外,还有许多不道德地利用数据的方式,可能伤害患者或公共利益。允许、管理和签约数据访问的最佳实践正在以超出我们当前知识或能力的速度演变。同样的快速演变也适用于不道德和有问题的做法。最大的挑战之一是如何阻止那些试图从不道德的数据使用中获取价值的人。如果不仔细理解商业和技术问题,我们就有可能在使用放射学数据方面犯下重大且代价高昂的错误。
任何数据集在某种程度上都存在偏倚。常见的偏倚来源可能促进或损害基于性别、性取向、民族、社会、环境或经济因素的群体级子集。除了这些传统偏倚来源外,放射学人工智能还可能因临床混杂属性(如合并症)以及技术因素(如由于不同扫描技术产生的原始数据和后处理数据的细微差异而导致的数据集偏移和协变量偏移)而产生偏倚。这些偏倚以多种方式表现出来,每一种都值得研究和认识,以尽量减少对人工智能模型所做决策的影响。
当人工智能模型被实施时,相关负责人应该能够回答这些关于数据伦理的问题以及其他类似问题:我们将如何记录并告知患者其数据的使用方式?
我们应该如何记录用于训练算法的数据,包括对传统上与偏倚和歧视相关的特征的描述?
标签如何生成以及由谁生成?所用过程可能产生什么偏倚?
用于训练和测试算法的数据中可能存在哪些类型的偏倚?
我们做了什么来评估其数据如何存在偏倚,以及它可能如何影响我们的模型?
数据中的偏倚可能带来哪些可能的风险?
我们采取了哪些步骤来减轻这些偏倚,用户应如何考虑剩余的偏倚?
我们的真实标签标注方法是否适合我们试图解决的临床使用场景?其局限性是什么?
算法和训练模型的伦理
决策是在多个备选方案中选择一种信念或行动方案,通常导致行动。人类决策受个人的知识、价值观、偏好和信念的影响。人工智能根据输入数据中的特征选择备选方案。对于监督学习,算法根据先前的训练选择该备选方案,以将标签与那些数据特征匹配。在这些标签中,人类的价值观、偏好和信念可能被转移到模型中。这就是人类偏倚可能显现的地方。
尽管人工智能在分类任务中表现良好,但始终重要的是要注意,人工智能产品不是人,而是由人类构想、构建和监控的计算机程序。公平和平等并非人工智能的概念[4]。对这些见解的责任落在人类身上,人类必须预见快速变化的人工智能模型可能如何错误运行或被滥用,并防范不道德的后果,最好是在它们发生之前[5]。
为了建立患者和提供者对人工智能的信任,尽可能多地保持决策如何做出的透明度很重要。如今当错误发生时,我们会调查原因并设计系统以消除未来类似错误的可能性。调查可能涉及安全性、问责制、责任和技术流程变更。同样,如果算法失败,或导致不良临床事件,人们需要能够理解它为何产生其所产生的结果,以及它如何做出决定。要使模型具有透明度,它应对外部观察者既可见又可理解。模型应该有多透明是有争议的。不适当的透明度水平可能使其更容易受到恶意攻击或泄露专有知识产权。此外,强加宽泛的透明度定义可能通过揭示隐藏于底层数据集中的个人数据而危及隐私。欧盟《通用数据保护条例》要求数据处理具有透明度,尽管对于这意味着何种程度的技术细节存在不同意见。用户必须能够用通俗语言向公众解释其数据将如何被用于构建智能或自主工具。可解释性是当模型做出决定时,以人能理解的方式解释发生了什么的能力。它旨在理解模型为何做出特定决定,并理解模型在哪些条件下成功、在哪些条件下失败。可解释性既包括理解算法结构的技术方面,也包括理解输出如何呈现给用户[6]。如今,具有更好可解释性的模型通常表现出更差的性能[7]。当前的深度学习模型拥有远超1亿个参数,包含基于统计方法对参数进行归一化或丢弃的技术,且至少以当今的技术实际上几乎不可理解。可解释人工智能是一个核心研究领域[8]。在此类系统中 pinpointing 一个因果性缺陷是一项艰巨的任务[9]。一种更实际的方法可能是倡导结果的可视化和可解释性,包括一致性和泛化性的度量,以及当模型输出发生变化或模型的确定性度量降至特定水平以下时停止并提醒人类的机制。
由于各种人工智能模型相对容易构建和训练,研究和商业人工智能驱动的解决方案可能由有时天真或不专业的行为者生产。这增加了将医学、统计学和计算机科学中现有的伦理准则扩展到考虑放射学人工智能特定情境的重要性[3, 10, 11]。
对抗攻击在其他人工智能领域已广为人知,放射学人工智能界也逐渐意识到这些攻击[12–15]。尽管可能存在潜在的解决方案,但放射学作为一个领域对此类攻击尚无防御能力。这一弱点必须被承认并加以解决。当实施人工智能模型时,其生命周期中任何环节的负责人都应能够回答以下关于算法伦理的问题及其他类似问题:我们是否能够解释我们的人工智能如何做出决策,或至少可靠地预测我们的人工智能分析在已知数据集中的结果?
我们如何防范对人工智能工具和数据的恶意攻击?
我们如何为人工智能数据、算法、模型和售出产品建立可持续的版本控制?
我们如何将恶意攻击和隐私泄露对患者造成伤害的风险降至最低?
在临床应用之前,我们将如何评估已训练模型的临床有效性、伦理行为与安全性?
我们将如何在临床工作流程中监测人工智能模型,以确保其按预期运行且性能不会随时间推移而下降?
实践伦理
放射学人工智能是一个由临床诊疗、技术与数学进步以及商业与经济构成的复杂生态系统。道德行为,即做正确的事,在理智上可能是不确定的。大众媒体每天都在报道技术创新如何越界进入不道德的活动,这些活动即使是无意的,也可能对患者、社会以及个人和商业声誉造成相当大的伤害。尽责的伦理价值观应指导关于何时应用人工智能的决策,定义描述适当且负责任的人工智能的指标,并识别不道德的人工智能并向社区发出警示。
自动化偏见是人类倾向于青睐机器生成的决策,忽视相反的数据或与之冲突的人类决策。自动化偏见会导致遗漏错误和作为错误。当人类未能注意到或无视人工智能工具的失败时,就会发生遗漏错误。高决策流量率——即在放射科医师快速阅片的过程中对放射学检查迅速做出决策——易导致遗漏错误。人工智能基于人类过于细微而无法察觉的特征做出决策则会加剧这一问题。当人们尽管有其他相反证据仍错误地接受或执行机器的决策时,就会发生作为错误。在资源匮乏人群中,自动化偏见的风险可能被放大,因为当地没有放射科医师来否决这些结果。
如果系统出现错误,医师可以在多大程度上将诊断医疗状况的任务委托给智能或自主系统,而不使自己面临更多的医疗事故责任?随着这些工具日益普及,此类关于人工智能造成伤害的问题将以越来越高的频率出现。责任来源可能来自数据隐私、合同、过失、犯罪行为、替代责任或保险等问题[16, 17]。人工智能开发者最终需要与医师遵循同样的“不伤害”标准。尽管责任最终落在人类身上,但当人工智能系统的决策导致伤害时,确定法律责任仍处于不断变化之中。可能难以确定数据、人工智能算法本身及其使用方式在多大程度上对伤害负有责任。不同的场景和人工智能形式可能产生不同的责任模型。随着时间的推移,风险责任体系将逐步演变。
规模较小或资源匮乏的医院和学术部门可能缺乏管理复杂人工智能系统所需的技术、技能和资源。几乎可以肯定,部分放射学人工智能将是专有的,由大型学术或私营医疗机构、保险公司或拥有数据科学专长但缺乏放射学领域历史知识的大型公司开发。这可能加剧放射学人工智能获取方面的差距。
随着放射学将自主和智能人工智能产品纳入广泛且要求严苛的临床实践,相关负责人员应当能够回答关于这一新实践范式伦理的这些问题及其他类似问题:此次人工智能实施对患者和提供者有哪些风险,需要何种程度的人工监督来减轻这些风险?
需要哪些教育和技能来决定是否将人工智能应用于我们的患者,并在适当时安全有效地使用它?
我们如何确保测试数据准确反映目标临床队列?
我们应实施哪些流程来监测人工智能对患者和提供者(自动化偏见)的影响(结局、隐私和意外歧视)?
我们如何持续主动地监测人工智能驱动的自主和智能工具,以验证它们在临床护理中按预期运行?
我们应使用哪些防护措施来决定何时——更重要的是何时不——实施自主或智能机械代理?
结论
放射学中人工智能的伦理使用应促进福祉、尽量减少伤害,并确保利益和伤害以公正的方式在可能的利益相关者之间分配。它应尊重人权和自由,包括尊严和隐私。它应具有适当的透明度和高度可靠性,减少决策中的偏见,同时确保责任和问责仍归于人类设计者或操作者。
放射学界应从现在开始制定人工智能的伦理规范和实践准则。这些准则应促进任何有助于患者和公共利益的用途,并阻止将放射学数据和算法用于缺乏上述两项属性的经济获利。建立这些法规、标准和行为准则以产生合乎伦理的人工智能,意味着以适当的道德关切来平衡各种问题。确保合乎伦理的人工智能需要一种获得所有相关方信任的意愿。为确保患者及其数据的安全,放射学中的人工智能工具在投入使用前需要由合法选定的监管机构进行适当审查。这既需要以放射学为中心的人工智能专业知识,也需要验证和确认人工智能产品的技术。
法规、标准和行为准则必须达成一致并持续更新。这些行为准则的关键在于持续强调透明度、保护患者以及对数据版本和使用进行严格控制。必须强制执行实施后对意外后果和质量损失的持续监测,并制定确定原因和实施纠正措施的相关方案。
新的伦理问题将迅速且定期地出现,我们对这些问题的认识也会随时间而变化。因此,尽管现在考虑放射学中人工智能的伦理问题很重要,但随着我们对其影响和潜力的理解不断增长,反复重新评估这一主题也很重要,并且要重新审视放射学中正在使用的人工智能工具,以评估它们是否符合更新后的法规和标准。
放射科医生将始终对患者照护负有最终责任,并且需要掌握新技能,以便在新的AI生态系统中为患者尽最大努力。放射学界需要一个伦理框架来帮助引导技术发展,影响不同利益相关者如何回应和使用AI,并实施这些工具,以便为患者做出最佳决策和行动,并越来越多地与患者共同做出决策和行动。我们希望本声明能够阐明每个群体中该框架应基于的核心原则。
附加文件
附加文件1:放射学中人工智能的伦理:欧洲和北美多学会声明。(PDF 459 kb)
引用
- Geis JR, Brady A, Wu CC, et al. Ethics of artificial intelligence in radiology: summary of the joint European and North American multisociety statement. Insights Imaging. 2019. PMID: 31571015. doi:10.1186/s13244-019-0785-8
- 全文:PMC6768929(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6768929/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。