患者对放射学中人工智能实施的看法:标准化问卷的开发与验证
本研究基于既往定性研究提出的六个域开发患者对放射学人工智能实施的标准化问卷,经认知访谈预测试后,155例门诊CT、MRI和/或传统X线检查患者填写问卷;探索性因子分析提取五个因子,三个因子内部一致性良好,两个可接受,结论为问卷可行,但需更多数据以验证性因子分析进一步完善量表。
要点
- 问卷提取五个因子:不信任与问责、程序性知识、人际互动、效率、知情。
- 患者对人工智能接管放射科医生诊断解读任务持中等偏负面态度(因子1平均分3.28)。
- 患者偏好人际互动而非人工智能沟通(因子3平均分4.38)。
核心结论
- 本研究产出一份可行的问卷,用于测量患者对放射学人工智能实施的接受度,需更多数据收集以进一步完善量表。
研究设计与样本
- 前瞻性研究,经当地机构审查委员会批准(IRB编号:201800873),在荷兰大学医学中心格罗宁根进行。
- 基于既往20例参与者半结构化定性访谈确定的六个域开发问卷,经认知访谈预测试后,155例预约CT、MRI和/或传统X线检查的患者填写问卷。
- 采用探索性因子分析(主轴因子法、斜交promax旋转),以Cronbach's alpha和组合信度测量内部一致性。
诊断标准与关键数值
- 探索性因子分析提取五个因子:不信任与问责、程序性知识、人际互动、效率、知情。
- 因子1、2、3内部一致性良好(Cronbach's alpha > 0.8),因子4可接受(仅略低于0.7),因子5在条目数少(n=4)情况下可接受(Cronbach's alpha略低于0.6)。
- 因子1平均分3.28(患者对人工智能接管诊断解读任务中等偏负面),因子2平均分4.47,因子3平均分4.38,因子4平均分2.89。
- 因子1与改变倾向相关(r = −0.39814,p < 0.01),因子3与改变倾向相关(r = −0.179,p < 0.5);因子1与教育水平相关(F(4, 4) = 6.99,p < 0.01);因子4与年龄弱负相关(r = −0.200,p < 0.05);因子2与年龄弱正相关(r = 0.196,p < 0.05)。
局限性
- 验证通过认知访谈和探索性因子分析完成,可能被视为主观。
- 由于缺乏现有量表,无法与其他标准(如与现有量表比较)进行验证。
- 问卷在门诊患者中测试,可能不能代表全部放射科患者人群。
- 探索了患者对纯人工智能生成报告的接受度,但未涉及放射科医生撰写、人工智能增强的报告的接受度。
- 未系统记录未能参与或拒绝参与的患者人数及原因。
全文中译11 节 · 点击展开
引言
人工智能(AI)有望通过改善图像采集、图像评估和工作流程速度,彻底改变放射学的实践 [1, 2]。越来越多复杂的AI系统正在被开发用于临床实践 [1, 2]。
重要的是,从放射科医生的角度单方面开发AI系统,忽视了患者的需求和期望,而患者或许是最重要的利益相关者。AI系统可能需要满足某些先决条件,才能使这项技术被社会所接受 [3]。患者的偏好决定了AI系统应在何种边界内运作。然而,目前关于患者对放射学中使用AI的看法所知甚少 [3]。
AI在放射学中的实施是消费者健康信息技术(CHIT)这一更广泛概念的一个示例。CHIT是指使用计算机和移动设备在医疗消费者和提供者之间进行健康信息决策和管理 [4]。为了测量患者对CHIT的接受度,已开发了若干问卷 [5, 6],使用了Davis被广泛接受的技术接受模型(TAM [7, 8])。然而,由于在放射学AI的情境中患者并非活跃使用者,因此需要一种新方法来测量当患者并未主动使用该技术而是接受该技术时的技术接受度。
据我们所知,目前尚无经过验证的标准化问卷可用于映射患者对放射学中AI实施的看法。因此,本研究的目的是开发一份关于放射学中AI实施的标准化患者问卷,并通过专家评估、定性预测试和因子分析对其进行验证。
材料与方法
这项前瞻性研究由格罗宁根大学医学中心当地机构审查委员会执行并批准(IRB编号:201800873),该中心是一家三级护理医院,为荷兰约220万居民提供初级和专科护理。所有患者均提供了书面知情同意。
问卷开发
为开发该问卷,我们在先前的一项研究中对20名参与者进行了半结构化定性访谈(见Haan等[3])。基于这些访谈[3],识别出患者对放射学中人工智能实施的看法的六个关键领域:技术验证、程序性知识、能力、效率、个人互动和问责制。在本研究中,我们使用这六个领域作为问卷的框架。在每个领域内,至少开发了七个条目,主要为5点Likert型同意-不同意量表。根据受访者每分钟回答约4至6个条目的经验法则[9],我们将问卷限制为48个态度条目(分为6组同意-不同意问题)。我们还使用了八个条目特定格式的态度条目。由于该格式的应答选项与内容相关,假设这些问题需要较少的认知加工,并已显示出能获得更认真的作答[10]。此外,还使用了现有的一个关于变革取向的具有足够信度的量表(Cronbach's alpha = 0.89)[11]。我们还纳入了五个人口学问题(出生日期、性别、教育程度、数字设备拥有和使用情况)、四个关于假设情境的是否问题、一个关于信任的全选适用问题,以及一个要求参与者估计人工智能在放射学实践中实施时间范围的问题。根据纸质问卷的一般建议[12],我们使用了较深的背景以使答题框突出显示(见图1)。
问卷认知访谈预测试
通过认知访谈[13]对第一版问卷进行了定性预测试。这些访谈的主要目的首先是要求参与者在填写问卷时大声思考。访员在受访者出现任何不确定线索后进行追问。七名传播科学专业的研究生(均具有访谈经验)基于方便样本对计划接受门诊胸腹部CT扫描的患者进行了共21次访谈。21名患者的年龄在35至76岁之间(中位数63岁),其中11名为男性。访谈产生了若干改进问卷的建议。首先,从认知访谈中发现,“同意”和“不同意”之间的区别可能容易被忽视,因此我们添加了加号和减号(图1)。其次,我们调整了有时被解释得过于笼统或过于具体的术语。为了尽可能清楚地表明问题具体涉及人工智能替代医生,我们在问卷中尽可能多地使用“医生”和“人工智能”这两个词。第三,我们对一些陈述使用了更简短、更清晰的问题措辞,删除了多余的措辞,如“问题是否在于……”。
程序 数据收集
定量数据收集的患者招募时间为2018年12月19日至2019年3月15日。计划接受CT、MRI和/或传统X线摄影检查的患者由7名沟通科学专业学生中的一位(与进行认知访谈的学生相同)进行接触。所有在我科候诊室等待放射学检查的患者均被接触。基于认知访谈,我们估计填写问卷大约需要15分钟。我们的目标是受试者与条目比例至少为1:3的样本[14]。原始条目库有48个条目,这要求样本量至少为141。探索性因子分析(EFA)中的样本量确定较为困难,但在数据强健的情况下,较小的样本仍可实现准确分析。遵循“强数据”的指南[14],我们验证了没有任何变量的共同度(每个变量方差中可由因子解释的比例)低于0.40。我们以0.35作为最低因子载荷,并剔除交叉载荷高于0.50的条目。此外,我们仅纳入条目数超过3个的因子。
数据分析
数据使用IBM SPSS Statistics(版本24)进行分析。采用探索性因子分析(EFA)检验条目在多大程度上测量了与放射学中人工智能相关的构念,并发现潜在的潜变量。在EFA中,每个条目与潜在因子之间的关系以因子载荷表示,其解释类似于标准化回归系数。采用主轴因子法作为提取方法,因为该方法不要求多元正态性。选择斜交Promax旋转是因为预期因子之间存在(一定程度的)相关性。Bartlett球形检验(< 0.001)和Kaiser-Meyer-Olkin取样适切性量数(0.719)表明数据适合进行EFA。因子数量的决定基于Kaiser[15]准则、平行分析[16]和碎石图检验[17]。因子载荷较低的条目被剔除(如载荷< 0.35)。采用Cronbach's alpha计算各因子内条目的内部一致性。一般而言,Cronbach's alpha为0.7被视为内部一致性良好的指标。在某些情况下,alpha为0.5或0.6也可接受[18]。为克服Cronbach's alpha的缺点(如可靠性被低估;见Peterson和Kim[18]),我们还在R中计算了组合信度[19]。该指标的解释类似于Cronbach's alpha。为探索因子分析所得因子的意义,我们计算了与数值型人口学数据(年龄和改变倾向)的Pearson相关性,并对分类型人口学数据(性别和教育程度)进行了方差分析。
结果
样本
受访者(N = 155)年龄在18至86岁之间(均值 = 55.62,标准差 = 16.56);55.6%的受访者为男性。9.7%的受访者具有硕士或博士学历,21.4%为学士学历,24.0%为中等职业学历,39.6%为高中学历,5.2%完成了小学水平教育。有若干患者表示无法参与;在绝大多数情况下,这是由于缺乏时间(因为停车问题、工作或学校相关活动,或因为这些患者在医院另有预约)。
探索性因子分析(EFA)结果
EFA生成了五个因子,代表以下潜在变量:(1)“放射学中人工智能的不信任与问责”,(2)“放射学中人工智能的程序性知识”,(3)“放射学中人工智能的个人互动”,(4)“放射学中人工智能的效率”,以及(5)“被告知放射学中人工智能相关信息”。
因子1、4和5由我们先前定性研究[3]中确定的初始领域(技术验证、能力和效率)的条目组合而成。因子2(程序性知识)和因子3(个人互动)与上述定性研究[3]中确定的相同领域相对应。最初,17个条目负载于因子1“不信任与问责”。删除了两个条目,以使Cronbach's alpha提高至0.863。最初,6个条目负载于因子4“放射学中人工智能的效率”,其Cronbach's alpha为0.594。删除了一个条目,以使Cronbach's alpha提高至0.670。来自原始领域问责、程序性知识和效率的五个条目未负载于任何因子,因此也从量表中删除。对于因子5,Cronbach's alpha仍略低于0.6。该因子包含的条目并不直接评估对放射学中人工智能态度的方向,且部分条目呈负向负载,这意味着条目并非全部与潜在变量正相关。此外,在这种情况下,我们认为最好不要从该量表中删除更多条目,因为人为地努力将alpha提高到某一水平以上可能损害信度和效度[20]。在大多数情况下,组合信度与Cronbach's alpha相同,但对于因子3和4,组合信度得分更高。表1显示了问卷5个因子各自保留的全部39个条目。表2显示了从问卷中删除的8个条目。我们还验证了因子之间的相关性,并得出结论:没有因子之间存在强相关(表3)。因子1和3呈中度相关,这表明患者对信任与问责以及个人互动的重视程度相似。
患者对放射学中人工智能的看法
因素1“不信任与问责”的平均得分为3.28,这表明患者对人工智能接管放射科医生诊断解读任务的信任度中等偏负,无论是在准确性、沟通还是保密性方面。因素2“程序性知识”的平均得分为4.47,这表明患者关注于了解其影像检查是如何采集、解读和沟通的。患者还表示欣赏并偏好人际互动而非基于人工智能的沟通,因素3“人际互动”的平均得分为4.38。此外,患者对人工智能是否会改善诊断工作流程的态度相当模糊,因素4“效率”的平均得分为2.89。在因素5“被告知”中,若干条目的得分并不明确。例如,在该因素内,患者倾向于偏好人工智能系统查看整个身体而非仅特定身体部位(平均得分3.88),并希望在可能时由人工智能系统告知其未来将患的疾病(平均得分3.69)。另一方面,患者表示如果由计算机提供结果,他们会感到缺乏情感支持(平均得分4.21)。
因素与其他变量的关联
表4显示了因素与受访者特征的关联。因素1(“不信任与问责”)和因素3(“人际互动”)与改变意愿显著相关;受访者对放射学中人工智能越不信任(因素1)或越欣赏人际互动,其改变意愿得分越低(因素1,r = − 0.39814,p < 0.01;因素3,r = − 0.179,p < 0.5)。因素1还与受访者的教育水平显著相关;受访者教育水平每提高一个类别,信任水平稳步上升(F(4, 4) = 6.99,p < 0.01)。
因素4(“效率”)与年龄呈弱负相关(r = − 0.200,p < 0.05),这意味着受访者年龄越大,越不认为人工智能能提高效率,而因素2(“程序性知识”)与年龄呈弱正相关(r = 0.196,p < 0.05)。性别与任何因素均无显著关联,性别与教育之间也无显著交互效应。
讨论
人工智能在过去几年中取得了巨大进步,预计将在未来几十年引发新的数字革命[21]。预计放射学是将发生重大变革的领域之一。许多人推测它将对放射科医生的日常实践产生潜在的深远影响[22]。然而,关于患者将如何看待这种转变缺乏讨论。例如,患者会信任计算机算法吗?他们会偏好人际互动而非技术吗?据我们所知,文献中没有关于这一主题的研究。
在本研究中,我们记录了一份标准化问卷的开发过程,该问卷用于测量患者对放射学中人工智能的态度。该问卷是在先前一项定性研究的基础上,由放射科医生和调查方法学家合作开发的[3],并通过认知访谈对其清晰性和可行性进行了预测试。随后,155名预约门诊CT、MRI和/或常规X线摄影的患者填写了该问卷。
探索性因子分析在因子选择及各因子内条目的选择上经过了几轮,最终揭示出五个因子:(1)“对放射学中人工智能的不信任与问责”,(2)“放射学中人工智能的程序性知识”,(3)“与放射学中人工智能的个人互动”,(4)“放射学中人工智能的效率”,以及(5)“被告知放射学中人工智能相关信息”。其中两个因子(“程序性知识”和“个人互动”)与定性研究中确定的领域几乎完全一致[3]。对于三个因子(1、2和3),内部一致性良好(Cronbach's alpha > 0.8);对于一个因子(4),内部一致性可接受(仅略低于0.7);对于一个因子(5),考虑到纳入的条目数较少(n = 4),内部一致性可接受(Cronbach's alpha略低于0.6)。
因子5的部分条目呈负向载荷,尽管反向计分很容易解决这一问题,但这也可能意味着该因子内的条目是多维的。
因子1仍包含大量条目。由于纳入许多条目会增加受访者负担,因此减少每个量表的条目数可能是值得的,每个量表最好不超过8个条目。
因此,可以推荐通过验证性因子分析进行进一步的数据收集,以进一步完善该量表。尽管如此,总体而言,所开发的问卷为描绘患者对放射学中人工智能的看法提供了坚实的基础。
我们关于若干人口学变量与人工智能信任和接受度之间关联的发现,与先前关于消费者健康信息技术(CHIT)接受度的研究一致[22]。正如Or和Kash[23]在其对52项研究(考察了94个预测CHIT接受度的因子)的综述中所总结的,只有当患者接受该技术时,成功实施才有可能;为此,需要处理诸如主观规范(医生、家人和朋友的意见)等社会因素。
有趣的是,我们的调查结果表明,患者对于人工智能系统接管目前由放射科医生完成的诊断解读普遍并不过度乐观。患者表示,他们普遍需要充分、完整地了解诊断过程的所有方面,包括其影像数据如何获取、哪些数据被获取以及如何处理。患者还表现出保持人际互动的强烈需求,尤其是在传达影像检查结果时。这些发现表明,在为诊断、治疗计划或预后目的开发人工智能系统时,积极让患者参与非常重要;当具有已证实价值的人工智能系统进入临床实践时,患者信息和教育可能具有重要价值。它们还表明患者需要在允许人工智能系统运行的伦理和法律框架内进行开发。此外,对人际互动和沟通的明确需求也表明,放射科医生在直接向患者咨询其影像检查结果方面具有潜在作用。当人工智能接管越来越多目前由放射科医生执行的任务时,尤其可以考虑这种实践转变。重要的是,我们的调查结果仅提供了患者对人工智能在普通放射学中看法的当前理解。
所开发的问卷可用于未来时间点以及接受特定类型影像检查的更具体患者群体,这将为如何使放射学人工智能系统及其使用适应患者需求提供有价值的信息。
我们研究的局限性包括:验证是通过认知访谈和探索性因子分析完成的,这可能被视为主观的。由于缺乏现有量表,无法使用其他标准进行验证,例如与现有量表进行比较。此外,我们的问卷在门诊患者中进行了测试,这可能不能代表所有放射学患者群体。
此外,尽管我们探讨了患者对完全由人工智能生成的报告的接受度,但放射科医生撰写、人工智能增强的报告——这很可能成为未来的常态——的接受度并未涉及。
还应提到,我们没有系统记录未能参与或拒绝参与的患者人数及原因。然而,在绝大多数未参与的患者中,原因是缺乏时间。
总之,我们的研究产生了一份可行的问卷,用于测量患者对放射学中实施人工智能的接受度。进一步的数据收集可能会进一步完善该量表。
引用
- Ongena YP, Haan M, Yakar D, et al. Patients' views on the implementation of artificial intelligence in radiology: development and validation of a standardized questionnaire. Eur Radiol. 2019. PMID: 31705254. doi:10.1007/s00330-019-06486-0
- 全文:PMC6957541(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6957541/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。