利益相关者对临床放射学中人工智能工具实施的信任与观点
本研究通过对25名受访者(其中19人直接参与放射学AI的开发、实施或使用)进行半结构化访谈,探讨了在放射学中作为临床决策支持的人工智能(AI)信任所需的条件。研究识别出与可靠性、透明度、质量验证和跨组织兼容性相关的四个信任方面,这些方面属于实质性和程序性要求类别。结论指出,在医疗保健中建立适当水平的AI信任是复杂的,涉及多个维度的要求,需要多方利益相关者参与开发AI解决方案。
要点
- 信任AI需满足可靠性、透明度、质量验证和跨组织兼容性四方面要求。
- 可靠性涉及数据量、粒度和偏倚;透明度涉及标准、可追溯性和可解释性。
- 质量验证强调方法学严谨性和本地验证;跨组织兼容性关注数据共享与整合。
核心结论
- 在医疗保健中建立适当水平的AI信任是复杂的,涉及多个维度的要求。
- 信任AI的条件涉及可靠性、透明度、质量验证和跨组织兼容性四个方面。
- 创造信任条件需要多方利益相关者参与,寻找并推广明确定义的解决方案。
研究设计与样本
- 研究采用半结构化访谈,共纳入25名受访者,其中19人直接参与放射学AI的开发、实施或使用,6人在其他医疗领域工作。
- 访谈通过迭代编码过程分析,从开放编码到理论指导的主题编码,识别出信任的相关主题。
- 研究在一所欧洲最大的大学医院及合作实体进行,采用目的抽样策略。
临床应用与阅片要点
- 作者认为,为促进AI在放射学中的进步,应让AI支持而非替代人类专业知识。
- 作者指出,支持需要信任,识别信任的方面和条件有助于制定AI实施策略。
局限性
- 受访者是目的性选择的,存在选择偏倚,结果仅限于他们的观点。
- 研究采用探索性方法和开放编码分析访谈,而非整合标准,可能带来偏倚回答和误解的风险。
全文中译8 节 · 点击展开
引言
在医疗保健中使用基于计算机的决策支持系统会引发若干问题,其中许多属于信任与可信赖性的范畴。具体而言,专业利益相关者必须对系统的有效性建立信任,其实施才能成功[1]。经典人工智能模型在这方面构成了特殊挑战。其非确定性以及相关性(而非因果性)本质导致了“黑箱”问题:用户无法审查系统的决策过程[2, 3]。一项关于人工智能在放射学中未来的范围综述得出结论,大多数利益相关者不同意人工智能取代人类放射科医师的技术官僚式前景,并确定信任是人工智能在放射学中成功的七个决定因素之一[4]。尽管信任是人工智能在医疗保健中应用的核心要求,但很少有科学工作涉及信任问题。Gille等[5]发现,对于什么是信任以及如何在医疗保健中实现信任,尚未达成共识。
很少有研究涉及医学影像人工智能中信任这一广泛问题[6–9]。它们主要关注算法的可解释性和可解读性,将其作为可信赖人工智能的一项要求[6, 8, 9]。对人工智能模型的普遍要求是可解释和可解读,以便人类专家能够理解模型输出的原因[10]。既往研究虽为改善算法的可信赖性提供了技术依据,但其解释中并未涵盖医学推理[11]。
从更广阔的视角审视医学图像分析支持中人工智能相关的信任与可信赖性,可为医疗保健专业人员及其他利益相关者对人工智能建立适当水平的信任提供依据。Hasani等[7]提出了开发可信赖人工智能系统的综合要求,包括利益相关者参与。然而,他们并未引用支持该要求的实证研究。
信任取决于相关各方之间的互动,应被理解为一种为降低复杂性而建立信念的持续过程[12, 13]。社会情境对于信任方与被信任方之间的相互作用很重要,它由将增强相关各方之间信心的活动和策略组成[14]。人类行动者之所以逐渐信任彼此或人工智能系统,是因为被信任方在更大系统(如组织)中所扮演的角色[15]。建立信任倾向[16]的互动活动示例包括:(1) 能力的信号传递,(2) 善意的展示,(3) 诚信的界定,以及 (4) 情感联系的建立[17]。尽管情感联系对于人际层面的信任很重要,但人工智能本身不应需要在情感层面值得信赖,而应与其他支持医疗决策的技术在同一层面体现可靠性[18]。
本研究以磁共振图像上脑病灶自动分割的人工智能解决方案在临床常规中实施罕见为出发点[19–23],旨在探讨围绕人工智能信任这一广泛主题的知识空白、利益相关者对人工智能的看法,以及我们如何在医疗保健中实现对人工智能的信任。我们设计了一项访谈研究,覆盖欧洲最大的大学医院之一及合作机构中广泛多样的利益相关者。我们进一步旨在界定信任的先决条件,并识别在聚焦人工智能时实现医疗保健信任的潜在障碍。
材料与方法
由于放射学中的人工智能可被视为非典型情况[24],故采用目的性抽样策略。我们选择了一种探索性方法,重点关注人工智能的持续发展如何为未来变化开辟空间[25]。我们旨在纳入在临床和学术背景(医学、技术和行政)、工作场所规模和地理位置方面具有多样性的受访者。图1展示了参与本研究访谈的25名个体以及受邀但未参与者的(n = 13)人口学信息图表。25名参与者在医疗保健系统中担任不同角色,大多数医学专业人员还担任(或曾担任)管理或领导职务,并具有学术背景。其中19名受访者作为其放射学相关专业实践的一部分,直接参与了人工智能应用的开发、实施或使用。在38名受邀受访者中,13人未参与;两名放射科医生因缺乏时间拒绝邀请,一名放射科医生因休假拒绝。此外,两名放射科医生、三名神经外科医生、两名肿瘤科医生、一名管理者和一名磁共振护士未对邀请作出回应。一名管理者已辞职。
数据收集
半结构化访谈遵循一份访谈指南(补充材料1),其中包含预设问题,并允许探讨数据收集过程中出现的未预期问题[26]。访谈主要聚焦于三个主题——人工智能的开发与使用、专业决策以及管理与组织——并包括基于参与者回答的追问问题[27]。
第一个访谈主题由关于放射科医生如何使用或预期如何使用不同类型人工智能的问题组成。我们引导受访者在梳理其对人工智能的使用或期望以及与该技术特定使用相关的挑战时,贴近其个人经历和活动。
第二个主题涉及有关制约专业角色的责任的决策。问题涉及人工智能以及对最先进知识、标准和技能的自动化,这些是应对准确性要求能力的核心,例如对临床事项的专家判断和规范性内容。访谈还涉及医疗保健专业人员有责任遵守规范其作为公认专家执业的伦理、标准和准则[28]。访谈的这一部分包括关于问责制的模糊性以及公众对临床推理、诊断工作和优先排序的期望的问题,这些期望与更广泛的社会价值观或所认知的公共利益相一致。
指南的第三个主题包括关于管理和组织程序的问题,这些程序制约着自动化决策(ADM)引入专业实践。我们重点关注与ADM相关的组织目标以及对行政效率、公平性、质量和安全问题的评估。这些问题之所以受到关注,是因为许多先前的研究表明管理问题如何导致专业人员做出知情判断的能力被边缘化[29]。通过询问管理者如何构建ADM,我们旨在识别组织条件如何塑造了将知识、准则和标准转化为手头案例的需求和特征的能力[28]。我们因此能够识别出进一步制约专业自由裁量能力的模糊性。
访谈由两名社会科学家(M.B.和B.R.)进行——他们此前未从事过特定的神经放射学相关问题以减少解释偏倚——访谈经录音并由外部转录员转录。每次访谈均保持一本日志,以记录研究者的初步数据印象。
数据分析
我们使用ATLAS.ti Web,Scientific Software Development GmbH(https://atlasti.com/)(本研究未使用该软件近期可用的AI附加功能)来识别、检索和反思转录稿中的陈述,在迭代式三阶段编码程序中应用和聚类编码(图2)。在第一轮编码中,我们使用具体的经验性编码和实境编码,贴近受访者的实际陈述。在第二轮编码中,我们对现有编码进行聚合,以识别涉及AI的活动范围如何与有关专业和组织规范、价值观、规则和政策的更广泛意义簇相关联。在这一轮分析中,我们识别出与临床工作的重要维度和程序性挑战相关的主题。第三轮编码涉及基于理论反思对编码和主题进行重新阅读。
结果
在912个编码文本片段中,265个与信任方面直接相关。迭代式三阶段编码过程如图2所示。在开放编码期间,定义了具体的经验和体内代码,例如可视化、筛查、分割、检测、远程工作、自由文本、数据共享、数据管理、训练人工智能、映射模式和决策支持。第二轮编码——主题编码——产生了与临床工作实质性维度相关的主题,例如判断、伦理、精确性要求、探索、技能和问责制,以及与程序性挑战相关的主题,例如标准化的重要性、合理化、治理和效率。在分析的第二轮主题编码中,我们将信任确定为一个反复出现的主题,它既出现在放射科医生实践的地方层面,也出现在与管理和组织需求相关的中央组织层面。
对访谈的分析产生了四个理论指导的信任主题:与可靠性相关的信任(64个代码);与透明度相关的信任(61个代码);与质量验证相关的信任(59个代码);与组织间兼容性相关的信任(81个代码)。这些主题适合信任的两个维度:即对实质性要求的信任和对程序性要求的信任。实质性信任涉及对数据、方法、基础设施等的信任。程序性信任涉及提出技术、组织和行政挑战的要求。
在表1、2、3和4中,我们呈现并定义了四个信任主题的构成方面在实践中为我们的受访者产生信任的条件。这四个主题是与可靠性相关的信任、与透明度相关的信任、与质量验证相关的信任以及与组织间兼容性相关的信任。每个方面都有一段访谈引文作为支持,作为我们对实践中信任定义的示例。
讨论
我们识别出四个与信任相关的主题,这些主题被归类为实质性要求或程序性要求。制定满足这些要求的解决方案需要所有利益相关者的参与,尤其是使用该技术的专业人员。我们还需要培养组织对信任重要性以及开发者、用户、监管者和管理者之间协作的认识[5, 12]。由于人工智能在放射学中的临床实施尚处于起步阶段,我们必须解决对人工智能建立适当信任水平的关切,以便基于自动生成的信息做出均衡的临床决策[30, 31]。建立这种信任迫使放射科医生和其他医疗保健专家反思将人工智能纳入临床实践中的专业判断和决策的后果,例如,当人工智能解决方案使用回顾性和实时健康数据的组合来支持循证决策、个体化护理和精准医学时[32–34]。
人工智能的可靠性对信任至关重要。我们识别出可靠性的三个方面:数据量、精细度和偏倚。在处理大量数据时,人工智能有望为诊断提供可靠的基础[35]。获取越来越多的图像数据可以带来更好的诊断,但也存在信息过载的风险。当人工智能在大型数据集中系统地返回可预测的输出时,可靠性便得以产生。精细度指的是在可用于处理和分析数据的资源条件下,信息深度的增加如何能够带来更高的病灶检测精度。例如,成像模式的技术进步导致分辨率提高或新的可用诊断图像类型[36]。只有当详细信息能够被及时处理和分析时,这些技术改进才能使患者受益。人工智能从高度详细信息中准确提取临床相关信息的能力提高了其可靠性。识别出的第三个可靠性方面是偏倚,即被先入之见误导的风险。人工智能将当前病例与所有现有参考病例进行比较的能力提高了放射科医生对决策中可能的认知偏倚的意识[37]。通过提供第二意见,人工智能使放射科医生意识到潜在的偏倚。一位放射科医生在访谈中给出的例子是,较近期的病例往往对他们影响最大,而人工智能考虑了其训练过的所有病例,从而为他们提供了更广泛的参考框架[38]。
基于透明度的信任依赖于放射科医生对人工智能在处理个别病例时“内部运作”的理解[38]。我们确定了对透明度至关重要的三个主题:标准、可追溯性和可解释性。标准指的是人工智能如何将不同病例联系起来,以增强放射科医生对数据管理方式的理解,从而使输出结果可迁移至新病例。标准通过提供循证支持,最大限度地减少因能力和经验程度差异而产生的偏倚,使从一个病例到另一个病例的见解迁移成为可能。当人工智能成为可信标准时,我们预期诊断质量将总体得到提升。可追溯性是标准的一个固有方面,一位接受访谈的放射科医生认为,要能够信任算法处理数据的方式,做出决策的依据必须能够被领域专业人员追溯[39]。对标准和可追溯性的要求引出了与透明度相关的第三个主题:可解释性。可解释性被定义为人工智能系统能够对其如何得出特定决策或结论提供清晰且可理解的解释的能力[40],它作为人类与医学人工智能之间的知情互动,增强了放射科医生诊断能力的提升[41]。
不同的人工智能应用可能需要对工具不同程度的信任。可追溯性和可解释性在人工智能的预测无法轻易验证的场景中可能尤为重要。例如,当人工智能用于分割时,医生可能不需要对工具具有同等程度的信任,因为结果可以通过视觉评估。然而,如果存在例如数据集或分布偏移,个体医生可能无法以同等程度验证结果的准确性,甚至不可能做到。相反,医生必须对支持系统建立适当程度的信任。因此,需要基于系统可追溯性和可解释性的其他验证策略,以对人工智能建立适当程度的信任。
诊断工作中质量验证的组织程序促进基于信任的方法学严谨性和本地验证。当人工智能作为组织手段出现时,方法学严谨性为信任奠定基础。人工智能在准确数据上训练,“从不疲倦,从不犯错”,回应了受访者对诊断质量随时间变化的担忧[39]。“经过验证的数据集对于提供有价值的支持至关重要,可作为指导放射科医生的参考或图谱”。同时,受访者指出,验证数据的一个挑战在于算法从标准化数据集中学习,因此缺乏适应当地知识的能力[42]。涉及质量验证服务于人工智能信任的第二个主题是需要一个对模态和工作流程变化敏感的本地验证过程。本地人口特征需要针对特定地区或队列的数据集,并顾及不同模态之间的差异,即使它们来自同一制造商。有人建议需要人机学习来应对数据中的潜在偏倚及其如何影响放射学评估。
结果表明,放射科医生对人工智能的信任取决于这样一种体验:人工智能与组织中的其他系统和实践相兼容,提升其能力并提供控制感[43]。能力意味着来自不同来源的数据被共享并整合到一个连贯的基础设施中,该基础设施利用组织在组织层面上进行规划、分配、随访和评估的能力。数据共享对于在组织单元内部、不同医院之间、全国范围内以及国际上获得能力至关重要。当各种不同格式的数据被整合到现有模式中,使得跨组织或职能边界的专家能够共享和使用数据以高效、安全地协作时,对人工智能的信任便会产生。整合的数据必须是连贯的,以支持医疗保健组织的管理。然而,在某些情况下,关于患者病历、个人数据和职业保密等方面的法律要求通过制造效率与患者完整性之间的张力,使控制和验证程序复杂化。为使人工智能增强能力建设中的信任,组织必须对数据拥有控制权。多样化的数据来源和工作流程使比较变得困难,可能限制信任。对数据的控制对于监测数据集分布偏移也至关重要;人工智能系统在新数据上的持续学习可能导致预测结果的逐渐变化。不过,组织必须确保这种偏移不是由于训练数据中的偏差而产生的。
总之,基于组织间的兼容性,当用于随访、管理和评估的标准化程序公平、合法且安全时,对人工智能的信任便会产生。
本研究存在某些局限性,可能限制研究结果在不同背景下的普适性。受访者是目的性选取的,导致选择偏倚,这将结果限制在仅代表他们的观点。此外,我们采用探索性方法和开放编码来分析访谈,而非使用统一标准。虽然这种方法允许更自由地探索主题,但也存在偏倚答案以及访谈者与受访者之间对主题误解的风险。
结论
医疗保健中对人工智能的信任是一种复杂的态度,建立在各种程序性和实质性要求之上。为界定促进对人工智能信任的要求,信任可以被视为一种信念的飞跃而非绝对确定性,因为后者在此背景下可能无法实现甚至不可取。本研究中确定的对信任的程序性和实质性要求取决于与可靠性、透明度、质量验证和组织间兼容性相关的方面。这些方面各自又进一步分为必须满足的具体条件。创造信任产生的条件需要各利益相关方的参与,他们必须通过寻找和推广明确定义的解决方案来弥补问题固有的复杂性。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 132 KB)
引用
- Bergquist M, Rolandsson B, Gryska E, et al. Trust and stakeholder perspectives on the implementation of AI tools in clinical radiology. Eur Radiol. 2023. PMID: 37505245. doi:10.1007/s00330-023-09967-5
- 全文:PMC10791850(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10791850/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。