指南与共识技术与安全

意大利医学与介入放射学会白皮书:放射学中的可解释人工智能

Explainable AI in radiology: a white paper of the Italian Society of Medical and Interventional Radiology.
指南 / 共识 · Radiol Med · 2023-05-08

意大利医学与介入放射学会(SIRM)发布白皮书,面向放射科医生、临床医生和科学家介绍可解释人工智能(xAI)这一新兴领域,阐释AI成功背后的黑箱问题、将黑箱转为玻璃箱的xAI方法,以及放射科医生在适当使用AI技术中的角色与责任。白皮书指出,由于AI快速演变,尚无法给出确定性结论或解决方案,但学习并批判性地跟进这一技术变革是重要责任。

要点

  • xAI指一组旨在解释AI算法内在逻辑与基于知识可解释性的模型推断的科学知识体系,现已被公认为AI的核心领域。
  • AI模型的黑箱性质使其常被医生认为可信度较低,限制了在真实临床环境中的实施。
  • xAI方法可按实施阶段(事前/事后)、解释范围(全局/局部)和模型特异性(模型特异/模型无关)三个维度分类。

核心结论

  • xAI是当前公认的AI核心领域,但xAI方法的全面分类仍缺乏,研究者对解释的确切定义及使其可被每位终端用户理解所必须考虑的显著特性尚无共识。
  • 由于AI快速变化与演进,确定性结论或解决方案远未定义,但以批判性方式跟上变革是重要责任之一。
  • 忽视并先验地否定AI的到来不会遏制其使用,反而可能导致其在无意识中被应用;学习和增加对这一重要技术变革的知识,将使我们有意识地将AI置于服务和患者服务之中。

研究设计与样本

  • 本文件为意大利医学与介入放射学会(SIRM)白皮书,旨在帮助放射科医生、临床医生和科学家理解xAI新兴领域、AI成功背后的黑箱问题、将黑箱转为玻璃箱的xAI方法以及放射科医生适当使用AI技术的角色与责任。
  • 白皮书介绍了放射学中常用的两类AI方法:采用手工工程属性(如影像组学特征)作为输入的机器学习模型,以及基于深度神经网络或深度学习(DL)的方法。
  • 白皮书描述了机器学习三大类算法:监督学习(如线性与多元回归、逻辑回归、朴素贝叶斯、决策树、k近邻和线性判别分析)、无监督学习(如聚类分析、异常检测、层次聚类和主成分分析)和强化学习。
  • 深度神经网络通常由输入层、隐藏层和输出层三类层组成,神经网络可有多个隐藏层以进行更复杂的计算和预测。
  • 白皮书引用van Leeuwen K.G.等2021年对100个市售AI放射学产品及其科学证据的分析:仅18/100有相关临床影响研究,仅36/100发表了同行评审的效能论文。

诊断标准与关键数值

  • xAI技术可按三个基本维度分类:xAI技术实施阶段(事前、事后)、xAI技术旨在提供模型的全局解释还是预测的局部解释、xAI技术是模型特异还是模型无关。
  • 事后可解释性在医学影像环境中的常见形式为热图或显著性图,用于显示每个区域对决策形成过程的贡献。
  • 复杂医学影像数据可接受的更常见通用后设解释方法包括局部可解释模型无关解释(LIME)和Shapley值(SHAP);LIME通过置换输入样本在离散阶段理解决策,SHAP通过测量每个特征对特定预测的贡献生成解释。
  • 模型特异方法将DL模型重塑以将可解释性背景纳入模型本身的结构和学习机制;模型无关方法在黑箱模型的输入和输出层面操作以处理可解释性问题并得出解释。
  • Z-Inspection评估程序包括三个阶段:Set Up阶段(澄清必要条件、确定研究团队、划定评估边界并创建协议)、Assess阶段(检查AI系统的使用,识别潜在的伦理、技术和法律问题)和Resolve阶段(处理提出的问题并推荐适当程序)。

临床应用与阅片要点

  • 对于执行分割或病灶检测等单项任务的AI软件,放射科医生可在签署报告前检查和修改AI输出,xAI问题可能较为边缘。
  • 对于结合不同医学领域并以预后或治疗策略形式输出结果的更复杂任务,放射科医生能否批判性解读输出成为问题,此时黑箱方法缺乏可信度,xAI是必要的。
  • 作者认为放射科医生不可能具备理解xAI的全部知识,但有必要努力获取xAI的一些基本专业知识和原理,以提高具有医学决策潜力的AI软件的透明度和可解释性。
  • 作者以MRI为例指出,使用MRI作为诊断工具的放射科医生了解鬼影伪影机制,从而不会将肝实质上的主动脉搏动误读为病灶;类似地,AI应用需要理解输出如何生成。
  • 作者认为放射学领域所有可用AI工具(分割、检测、病灶表征和预后)都需要终端用户在获得输出后关注人工神经网络数据处理的可及性。

局限性

  • xAI方法的全面分类仍然缺乏。
  • 研究者之间对解释的确切定义以及使其对每位终端用户可理解所必须考虑的显著特性尚无共识。
  • 由于AI的快速变化和演进,确定性结论或解决方案远未定义。
  • 将xAI推向极致透明和可解释性包含非常复杂的内在限制:随着透明度、可解释性和可解释性增加,基于真实深度学习过程的算法性能存在降低的风险。
  • 白皮书指出该过程并不容易,需要时间被吸收和整合到AI的临床使用中。
全文中译9 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Radiol Med. 2023 May 8;128(6):755–64. doi: 10.1007/s11547-023-01634-5

引言

近年来,人工智能迅速进入诊断影像领域,展现出巨大潜力,既可作为工作流程的催化剂,也可作为生物图像解读的辅助工具,正成为放射学决策支持系统中有前景的引擎[1]。人工智能在医学影像领域稳步蓬勃发展的主要驱动力之一,不仅源于大规模数据集的广泛可及性以及硬件和软件系统的进步,还源于在临床诊疗和管理中实现更高效率的迫切需求。通过影像组学结合人工智能工具提供定量图像数据,放射学中的人工智能顺利嵌入了诊断、预测和预后应用的精髓[2]。塑造放射科医生未来的关键人工智能技术的热门支柱涵盖图像处理、计算机视觉、自然语言处理等[3]。此外,越来越多的证据表明,人工智能算法在放射学工作流程管理的各个层面为各种非诊断性应用提供支持,如质量、安全和运营效率[1]。将人工智能整合到影像工作流程中有望提高效率、减少错误并以最少的人工干预实现特定目标。[4]。然而,由于人工智能模型的“黑箱”性质,它们往往被医生认为可信度较低,这限制了它们在真实临床环境中的实施。[5]。为解决这一问题,可解释人工智能(xAI)领域得以发展,目标是提高人工智能决策的可解释性。xAI的重点是创建新技术和算法,以提高算法和预测模型所接受决策的透明度,从而提升可靠性以及每个特征对结果的影响。[6]。

本意大利医学与介入放射学会(SIRM)白皮书旨在帮助放射科医生、临床医生和科学家理解xAI这一新兴领域,增强对人工智能成功背后黑箱问题的认识,增加对能够将黑箱揭示为玻璃箱的xAI方法的了解,提高对放射科医生在适当使用人工智能技术方面的角色和责任的认识。

人工智能的临床使用与黑箱问题

目前,放射学中通常采用两种主要的人工智能方法。第一种采用手工设计的工程属性,如影像组学特征,将其作为输入用于训练执行各种临床决策任务的前沿机器学习模型[7]。第二种方法基于深度神经网络或深度学习(DL),在过去十年中获得了显著关注[8, 9]。

机器学习算法主要有三种类型,包括监督学习、无监督学习和强化学习。在监督学习算法中,如线性回归和多元回归、逻辑回归、朴素贝叶斯、决策树、k近邻和线性判别分析,输入数据是有标签的。与监督学习相比,无监督学习不需要有标签的数据。聚类分析、异常检测、层次聚类和主成分分析代表无监督学习算法。强化学习是一种更先进的机器学习算法,通过学习解决多层次问题[7]。深度学习(DL)是一个相对较新的研究领域。机器学习技术依赖统计方法来识别模式,而深度学习则类似于人脑,以其神经网络模型最为著名。深度神经网络通常由三类层组成:输入层、隐藏层和输出层(图1)。

输入层接收输入数据,而隐藏层对该数据执行各种计算。输出层产生最终结果。需要注意的是,一个神经网络可以有多个隐藏层,从而实现更复杂的计算和预测。深度学习算法的优势之一是其能够自动从数据中学习特征属性,无需人类专家事先定义它们。有了足够数量的示例数据,深度学习模型可以识别组织中的异常,并避免需要人工定义的分割,这允许更抽象的特征定义并提高泛化能力。深度学习学习复杂数据表示的能力通常使其对不良变异具有鲁棒性,例如包括读者间变异性,并进一步使其能够应用于广泛的临床条件和框架[7]。表1总结了机器学习和深度学习方法的主要优缺点(表1)。

深度学习(DL)工具能够产生极其可靠的结果,但其具有内在的“不透明性”,尽管并非完全不透明,其行为仍可能难以理解。即便是最高水平的专家也可能难以完全理解所谓的“黑箱”模型,这些模型在与人类社会关键且相关的领域(包括医疗信息技术和医学影像)中做出预测决策的合理性可能仍然难以捉摸[10]。人工智能高度不透明的特性或不可解释性,是医疗专业人员和患者对这一新技术产生不信任的主要因素[11]。这一事实对其实际应用构成了障碍,尤其体现在那些易受影响的领域,即自动化影响人类生存与存续的领域,特别是在医疗保健部门。将人工智能应用于医学领域提出了重大挑战。医学决策通常涉及不确定性、不完整和嘈杂的数据集以及高度复杂性[12]。因此,由于医学护理内在的模糊性,人工智能模型的透明度在医疗护理中尤为关键。尽管人类可能并不总能解释其推理过程,但理解人工智能模型如何做出决策可以为人与机器的交互提供信心[13]。随着人们日益关注将伦理标准纳入人工智能技术的设计与实施,对“可信赖人工智能”的需求日益增长,这一术语经过轻微的概念修改后可涵盖有效人工智能、负责任人工智能、隐私保护人工智能和可解释人工智能(xAI)。在此背景下,xAI旨在揭示有关决策过程的关键问题,无论是从人类还是机器的立场[10]。

图1 深度神经网络架构,由输入层、隐藏层和输出层组成 查看原图 ↗
表1 机器学习和深度学习的优缺点 查看原表 ↗

可解释人工智能意味着什么?

xAI是一个新兴领域,具有多种新策略和多项正在进行的研究,对人工智能在许多不同领域的发展产生重大影响。Van Lent等人首先通过描述其系统解释基于人工智能的预测的能力,提出了xAI的概念[14]。尽管该术语的应用并不一致,但一般指一类能够阐明人工智能系统如何得出结论的系统[15]。xAI研究决策过程背后的推理,概述系统的优势和劣势,并预测模型的未来行为[10]。

迄今为止,xAI可被视为一个涵盖xAI某些方面的总括术语[10, 16],包括可解释性,指终端用户对算法输出的理解

可解释性,涉及阐明决策是如何达成的,以便更广泛的用户能够理解。

透明度,指模型不可理解的程度。

可辩护性,涉及提供深入的案例以支持某些结论。

可争议性,涉及用户能够对某一特定决策提出异议的事实。

在人工智能(AI)中,系统的复杂性或深度与其可解释性之间往往存在负相关关系。这种预测准确性与可解释性之间的内在张力,常常导致最准确的方法(如深度学习(DL))透明度最低,而最可解释的方法(如决策树)准确性较低[17]。在模型性能与其可解释性之间取得平衡至关重要,因为前者将显著改善患者照护,而后者将增强AI在放射学实践中的采用和信任[16]。

可解释人工智能(xAI)的伦理、法律和社会问题(ELSI)

近年来,对透明和可解释AI的追求不仅激发了该领域大量研究工作,也已成为许多伦理和负责任设计提案的核心焦点[5, 11, 18]。此外,人们在涉及AI技术时常常表达对隐私和安全的担忧[19]。多个机构已认识到需要更高的清晰度和透明度。欧盟委员会发布了一份白皮书,旨在为可信AI的数字信任生态系统建立监管框架,其中确定的基本伦理要求包括透明度和可解释性。在欧盟AI高级别专家组起草的《可信AI伦理指南》文件中,规定每当AI“显著影响人们的生活”时,有权“要求对决策过程作出充分解释”[20]。

本质上,在人类智能失效并造成重大后果之后,适当的最佳实践是查找根本原因、进行改进并从自身错误中学习。在AI失效的情况下,承认这一点很重要,而且越来越多地要求解释AI决策算法中出了什么问题[21]。实际结果是建立法律和社会意义上的问责制。如果没有明确的责任分配,AI不太可能在现实世界中广泛实施。因此,可能会出现不可预见的法律挑战,这可能产生重大影响[21]。然而,仅解决围绕AI的伦理或法律关切可能并不充分。AI的所有伦理、法律和社会问题(ELSI)都值得同等关注,并且无疑应置于AI和xAI在医疗保健中实施之前,因为ELSI反思的目的是使决策者和利益相关者全面理解与特定技术或实践相关的伦理、法律和社会问题[22]。

近年来,解释AI系统的输出已成为一个关键问题,不仅是技术层面的,也是法律和政治层面的。人们普遍认为,可解释AI系统在伦理上应是可取的,甚至可能在法律上是必要的,这推动了该领域的大量研究[23]。透明度问题在欧盟层面的监管提案中受到了显著关注,特别是在拟议的《人工智能法案》(AIA)中。然而,围绕AI系统监管的讨论和咨询仍在进行中,现有法规和未来政策下的可解释性义务仍在辩论之中[18]。

黑箱的解决方案?——可解释AI模型

可解释性方法,无论是在研究环境还是法律界,都被推荐作为提高AI模型透明度和区分度的实用手段[24]。

迄今为止,基于三个基本维度[25],已有一些对xAI技术进行分类的提议被提出:xAI技术的实施阶段(事前、事后)

xAI技术旨在提供模型的全局解释或预测的局部解释

xAI技术是模型特定性或模型无关性

图2以图示方式总结了xAI技术的简化分类。(图2)。

广义而言,可区分两类可解释AI模型:事后可解释性,即发生在所讨论事件之后;以及事前可解释性,或称固有可解释性,即发生在所讨论事件之前。xAI的概念可通过两种途径应用:事后和事前[12]。事后xAI涉及使用外部解释器来解释已训练模型在测试期间的行为。相比之下,事前xAI从一开始就将可解释性纳入AI模型的结构中,优先考虑自然可理解性,同时在训练期间仍力求最佳准确性。本质上,事前方法旨在在模型的整个开发过程中考虑其可解释性,而事后方法仅在模型训练完成后解释其行为[12, 26]。

当机器学习模型依赖于易于量化和解释的输入数据时,其可解释性通常是可行的。有些算法,例如决策树、稀疏线性与加性模型或贝叶斯分类器,其设计内部组件数量有限,从而允许检查模型的预测和/或分类操作。这些模型在其决策中提供了可追溯性和透明度[25]。然而,在现代AI算法中,模型和数据往往是复杂且高维的,难以用简单的输入与输出关系来解释。例如,深度学习(DL)模型是一类机器学习算法,它们为了预测和/或分类准确性而牺牲了模型的可理解性[25]。DL框架被应用于语音和图像识别、自然语言处理以及分析复杂图像和声音数据等应用中。因此,针对这些“黑箱”模型的可解释性技术属于事后可解释性技术。首先,它们将DL黑箱模型重塑为更简单的可解释模型,通过这样做,允许探索和解释黑箱[12]。这些技术被称为xAI,其主要目标是从“黑箱”模型迁移到更透明和可解释的模型,类似于“玻璃箱”模型[25]。解释的范围可以是全局的或局部的,全局解释旨在使整个推理过程透明和可理解,而局部可解释方法旨在解释单个特征归因[26]。

医学影像环境中常见的事后可解释性形式是热图或显著图。这些图是事后可解释性的一种常见形式,能够突出每个区域在决策形成过程中的贡献[27]。尽管这些方法尚不成熟,但它们并非xAI用户可用的唯一工具。在医学影像领域,一些其他方法已被成功采用,包括特征可视化和原型比较方法。适用于复杂医学影像数据的更常见的通用事后解释方法包括局部可解释模型无关解释(LIME)和Shapley值(SHAP)。LIME试图通过置换输入样本来在离散阶段理解决策,而SHAP则通过测量每个特征对特定预测的贡献来生成解释。LIME和SHAP是通用的,适用于医疗保健中各种类型的数据,不仅限于医学影像数据。它们通常用于为医疗保健领域的复杂模型提供解释[27, 28]。

事后xAI方法可以是特定于模型的或模型无关的(图2)。特定于模型的方法以某种方式重塑深度学习模型,将可解释性背景纳入模型本身的结构和学习机制中,这与模型无关方法相反,后者在黑盒模型的输入和输出层面运作,以处理可解释性问题并得出解释。然而,事前方法侧重于使运行中的模型具有透明性,这就是事前方法本质上是特定于模型的原因。对于模型无关方法,模型的内部要素可以被忽略,因此这些类型的模型可以应用于任何学习方法,而特定于模型的方法则限于模型的确定性子组[26]。图3展示了不同AI模型的可能工作流程方法,应用于特定输入(肾脏实性肿块),包括黑盒、事后xAI和事前xAI。

图2 xAI技术分类的示意图 查看原图 ↗
图3 不同人工智能(AI)模型的可能工作流程方法,应用于特定输入(肾脏实性肿块),包括黑盒、事后可解释人工智能(XAI)和事前XAI。肾脏肿瘤的输出在三种模型中均可识别,但黑盒模型没有解释,而事后和事前XAI具有不同的可解释性方法 查看原图 ↗

放射学中的可解释AI

可解释AI在放射学中的相关性和相关程度如何

2021年,van Leeuwen K.G.及其同事发表了一篇有趣的文章,包含对100种市售人工智能放射学产品及相关科学证据的分析[29]。该论文强调,尽管所分析的产品均获得了CE认证,但仅有少数有相关的临床影响研究(18/100),且仅有36/100发表了同行评审的效能论文。这篇论文值得评论的一个方面是其手稿的透明性目标,尽管明显缺乏明确的xAI(可解释人工智能)部分。然而,作者提供了一个在线实时更新工具以深入了解已获批的AI(www.aiforradiology.com),在该平台上可以搜索特定的AI工具及其工作原理、可信度和临床效能的相关信息。从这一实例的分析中,可以看出放射学中AI及其可解释性的一个主要问题。事实上,尽管已有大量CE认证软件面市并开始使用,但仅有少数对其可解释性进行了分析。对于执行单一任务(如分割或病灶检测)的AI软件,xAI问题可能是次要的,因为放射科医生有能力在签署报告前检查和修改AI输出。然而,对于结合不同医学领域、基于不同AI方法得出预后或治疗策略结果的更复杂任务,放射科医生是否能够批判性地解读输出?在这一背景下,黑箱方法缺乏可信度,xAI是必要的,以确保放射科医生、其他专科医生和患者获得将AI软件融入现实生活的基本工具。当然,这一过程并不容易,需要时间来消化吸收并整合到AI的临床使用中。

此外,很难相信放射科医生拥有理解xAI所需的全部知识,但有必要付出一些努力来获取xAI的一些基本专业知识和原理,以提高具有医学领域决策潜力的AI软件的透明度和可解释性。转向另一个放射学话题可以阐明这一概念。例如,并非所有放射科医生都了解磁共振成像(MRI)的全部工作原理或组成部分,即使他们出于临床目的解读MRI图像。然而,将MRI用作诊断工具的放射科医生了解鬼影伪影的机制,这使他们不会将肝实质上的主动脉搏动误判为病变。以此为例,放射学中的AI应用似乎重要的是能够理解输出是如何生成的,以降低“教条医学”的风险,远离当前推动科学进步的“循证方法”[5, 30]。

因此,放射学领域所有可用的人工智能工具,如分割、检测、病灶表征和预后,需要终端用户在获得输出之后也关注人工神经网络数据处理的可及性。当然,这一极具挑战性的任务也值得过程的其他参与者(数据科学家、开发者、工程师、产品公司等)的关注与协作,以改进将人工智能工具融入临床实践的xAI过程,避免有意或无意的错误损害患者健康或对人工智能的信任。然而,将xAI推向极致的透明度和可解释性包含一个非常复杂的固有局限。随着透明度、可解释性和解释性的提高,基于真正深度学习过程的这些算法性能下降的风险也随之而来。因此,一旦xAI在放射学中的益处和局限性明确,我们需要开始在大量用户中实施这一过程,以检验人工智能在临床实践中的益处,并使该过程本身适应现实。

评估人工智能系统可解释性的一种有趣方法被称为Z-Inspection;这是一项在实践中评估可信人工智能的倡议[31, 32]。Z-Inspection程序有三个主要阶段:(1)设置阶段,在此期间明确必要的先决条件,确定调查团队,划定评估边界,并制定方案;(2)评估阶段,在此期间检查人工智能系统的使用,识别潜在的伦理以及技术和法律问题,并进一步将其扩展到可信人工智能的伦理价值和需求;(3)解决阶段,该阶段针对所提出的问题进行介入,以处理可能的伦理紧张关系,并推荐适当的程序。

采用Z-Inspection流程对于在临床实践中确定人工智能至关重要,因为它遵循了《可信人工智能伦理指南》[33]所概述的可信人工智能评估清单(ALTAI)。

xAI对放射学专业的意义

人工智能在医疗保健中可能带来的大规模益处是巨大的,体现在流程优化、个性化治疗和技术实施方面,但如果不认识并妥善纠正可能的缺陷,所有这些可能的情景都远未实现[5]。认识到这些方面并意识到该主题的现实性,对于保持我们迄今所建立的医疗流程的严谨性至关重要。事实上,如上所述,人工智能不仅在研究领域占据空间,在临床实践中也是如此。在此背景下,可解释人工智能(xAI)在将人工智能的快速发展与其在实践中的应用相结合方面发挥着桥梁作用,尤其是在放射学专业中。因此,在放射学专业中意识到xAI意味着该专业本身需要一些变革,以避免可能出现灾难性的结局,就像人工智能先驱Geoffrey Hinton在2016年所假设的那样:“人们现在应该停止培训放射科医生了。很明显,五年内深度学习将比放射科医生做得更好。”幸运的是,人工智能实施的过程已被证明比预期更为复杂,放射科医生的作用仍然至关重要;另一方面,这一专业将需要实施和修改,以成为范式转变过程的一部分。事实上,放射科医生的一个重要角色将一如既往,即扩展他们的知识并将其与先前的专业知识相融合。事实上,放射学自诞生以来就面临着大量技术变革及随之而来的适应,这些变革彼此迅速接替,一个标志性的例子是Roentgen所描述的X射线现象及其不久后的临床应用[34]。因此,xAI对放射科医生的主要影响之一是在这一领域不断扩展知识,以熟悉这一与医学、特别是放射学密切相关的新主题,从而提高他们自身和患者的信任度。事实上,医学学科比以往任何时候都更需要转化方法,以增强进步的益处并最大限度地减少潜在缺陷。在这些考量之中,还有两个方面需要强调。第一,如何利用目前由放射科医生执行的某些流程自动化所获得的时间?第二,如何在放射学实践和放射学培训中实施xAI知识?

放射科医生的工作安排可能会朝着倾向于解决更复杂病例的方向演变,在这些病例中不确定性或非典型情况使人工智能应用表现较差,或者增加多学科会议以整合来自不同人工智能工具的所有信息。事实上,由于数字更倾向于技术,放射科医生在可解释性和透明度方面的作用在未来几年应处于核心地位。

此外,越来越多的证据表明,接受培训的放射科医生在人工智能(AI)方面缺乏足够的培训[35]。Forney等人[36]提供了一个有趣的思考,即接受培训的放射科医生至少需要掌握多少知识,才能具备必要的工具,从输入和输出的角度解读AI。事实上,这样做将使新一代放射科医生能够批判性地评估AI工具,并意识到这一新实体中存在的大量偏倚(例如,患病率偏倚、自动化偏倚、检测偏倚、阴性集偏倚等)。不久之后,理想的做法是在放射科医生的培训期间确保关于AI和可解释人工智能(xAI)的基本标准化综合教育,以防止新一代放射科医生在将AI整合到其学科的道路上迷失方向,相反,使他们成为有意识和批判性的AI使用者[37]。

放射科医生的责任

伴随着围绕AI蓬勃发展的巨大热潮,放射科医生的角色在AI工作流程的各个步骤中肩负着额外的责任。事实上,训练AI系统的先决条件之一是获取大量数据,在影像数据的情况下即为金标准数据。关于这些医学数据可及性的第一个关切涉及数据所有权和知情同意。事实上,根据各国法律确定谁是这些数据的最终所有者至关重要。需要专门针对社区的法律来在这方面支持医生[38]。这一方面也非常敏感,特别是因为私营公司可能利用此类数据开发AI工具,并在不久后产生利润[39]。与数据所有权密切相关的是放射科医生需要了解和考虑的另一个重要方面。它涉及患者隐私和知情同意。事实上,隐私保护的关键在于注入系统的数据经过匿名化或伪匿名化处理,以避免追溯到个体患者。这一方面与放射科医生的角色密切相关。在共享数据之前,放射科医生需要了解哪些数据可被追踪或可识别到个人,以及需要保留哪些数据以提高AI系统效率:数据保护的例子包括使用患者年龄的伪匿名化信息代替更易推断的出生日期,或优先选择避免通过头颈部容积重建获得面部识别的系统[40]。

在所有这些方面得到处理后,另一个基本步骤需要放射科医生的关注。事实上,确保AI工具良好开发的一个关键步骤涉及临床问题以及 consequently 将用于训练系统的数据类型。这将有助于减少可能影响AI开发和AI工具进一步使用的潜在陷阱,即使这些工具是基于xAI方法构建的。为减少可能影响输出的偏倚,xAI将帮助放射科医生和AI工具开发者选择哪些数据有助于训练软件以解决临床问题。

与此并行,放射科医生还需要了解数据标注。事实上,对将用于训练、验证和测试的影像数据进行仔细标注在人工智能工具开发中具有核心作用。此外,真实标准的定义也值得重要考虑:事实上,对于某些病变,单一放射学模态足以确定诊断(例如,气胸的肺部CT),而其他一些异常实体则需要不同的影像模态、影像随访或其他专科的支持(例如,非典型肺炎需在药物治疗后通过第二次CT确认)。这一问题本质上包含削弱人工智能训练的风险,因为影像发现在现实中并不直接足以做出最终诊断,因此算法不确定性更高或出错的风险很高[39]。

放射科医生的另一项重要责任是对人工智能解决方案开发者和患者保持透明:事实上,可解释人工智能(xAI)将支持这些方面,从而改善可信度并改善人工智能在临床环境中的使用。在透明性之外,另一个关键方面需要考虑:医学诊断的责任。关于人工智能工具的最终责任存在大量讨论,但主要方向倾向于将使用人工智能支持的放射科医生视为最终责任人[11, 39]。当然,这一方面在xAI下比在黑箱模型下更可接受,且需要采取许多步骤来巩固这一立场并确保对放射科医生和患者的保护。

上述所有考虑对于减少在放射学中使用人工智能工具(即使是xAI)时出现陷阱的可能性很重要。另一个需要考虑的方面是xAI的实际局限性,即目前无法应用于所有人工智能工具,且可解释性并不等同于医学实践中每种方法的高水平决策。放射科医生需要了解这些局限性,以避免在xAI使用中产生潜在偏倚[27]。

最后,放射科医生最重要的责任——涵盖所有其他责任——是对软件本身、人工智能开发者和所有使用者保持批判性态度。事实上,只有通过所有专业人员与患者之间的建设性批判性协作,才有可能提高对人工智能在特定工具上的益处和局限性的理解[41]。

在放射学中采用可解释人工智能的建议

在开发任何用于医疗保健尤其是放射学实践的高风险人工智能系统时,应仔细考虑纳入xAI算法和包含解释性组件。

患者的知情同意应以最清晰、最易理解的方式构建,尽可能多地考虑xAI概念,包括可解释性、可说明性、透明性、可辩护性和可争议性。

患者数据的匿名化或假名化对于遵守现行欧盟法规至关重要。放射科医生可以在使各方认识到共享数据以建立生物样本库用于训练人工智能模型的重要性以及保护敏感信息方面发挥关键作用。

在共享数据之前,应仔细考虑数据所有权。如果过程中涉及营利性公司,这方面包括重要的伦理考量。整个过程的透明度有望提高医学最终用户和患者的信任度。

作为可解释人工智能(xAI)的最终用户,放射科医师应意识到xAI在与个体决策相关的当前局限性,与应用于全局AI过程(如模型开发和知识发现)的解释相比,xAI在这些个体决策中显示出的启发性有限。

放射科医师应意识到xAI的出现,放射学学术界也应关注在放射科医师、住院医师和医学生中传播xAI的基本概念。

应鼓励所有参与的专业人员之间,必要时与患者之间,对所有xAI过程进行建设性的批判性沟通。

结论

人工智能已凭借巨大成功迈入放射科医师的科学现实或日常生活中。然而,尽管越来越多地关注将伦理标准纳入AI技术设计和实施,对xAI及其融入放射科医师现实世界的理解仍然不足。意大利医学放射学会(SIRM)发布了一份xAI白皮书,旨在帮助放射科医师、医学从业者和科学家。我们概述了xAI这一新兴领域、AI成功背后的黑箱问题以及将黑箱揭示为玻璃箱的xAI方法。我们阐述了放射科医师在适当使用AI技术方面的角色和责任,其在放射学领域的相关性,最后,我们提供了一些在放射学实践中采用可解释AI的建议。

引用

  1. Neri E, Aghakhanyan G, Zerunian M, et al. Explainable AI in radiology: a white paper of the Italian Society of Medical and Interventional Radiology. Radiol Med. 2023. PMID: 37155000. doi:10.1007/s11547-023-01634-5
  2. 全文:PMC10264482(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10264482/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。