指南与共识技术与安全CTMRUSPET

数字放射学中的人工智能:第二部分——对内部人士接受度与共识的调查

The Artificial Intelligence in Digital Radiology: Part 2: Towards an Investigation of acceptance and consensus on the Insiders.
指南 / 共识 · Healthcare (Basel) · 2022-01-14

该研究通过电子问卷调查了92名医学专家、91名医学物理师和90名应用科学专家对人工智能引入数字放射学的接受度与共识,发现三类专业人员对AI在影像和非影像应用(含独立应用和mHealth/eHealth)均表现出高度鼓励性认同,但接受度因培训背景而异。

要点

  • 三类专业人员对AI在影像和非影像应用均表现出高于理论均值3.5的接受度。
  • 影像应用中三组态度一致,ANOVA未显示组间差异。
  • 非影像应用和交付方式上态度因培训背景不同而存在差异。

核心结论

  • 三类专业人员对AI引入数字放射学在影像和非影像应用、独立和网络模式下均表现出高度接受。
  • 接受度因培训背景不同而在非影像应用和交付方式上存在差异。
  • 有在职AI直接培训经验者表现出最高的乐观度。
  • 研究提示应继续开展此类调查并采用不同施测方法以提高参与度。

研究设计与样本

  • 研究为电子问卷调查,使用Microsoft Forms开发并遵循SURGE清单。
  • 参与者包括医学专家92名(男48/女44,平均年龄37.9)、医学物理师91名(男43/女48,平均年龄36.1)、应用科学专家90名(男47/女43,平均年龄37.3)。
  • 问卷包含选择、开放、分级和Likert问题,分级和Likert采用六级心理测量量表,最低1分、最高6分,理论均值3.5。
  • 统计分析先以Shapiro–Wilk检验数据正态性,再应用ANOVA,显著性阈值P<0.01,置信区间目标95%。
  • 通过意大利科学学会联合会等渠道及WhatsApp群组匿名发放问卷。

诊断标准与关键数值

  • 回答平均值低于理论均值3.5表示应答偏负面,高于3.5表示偏正面。
  • 在信息学培训方面,应用科学专家(SAS)记录到更高得分。
  • 在生物医学应用技术培训方面,医学物理师(MP)和应用科学专家(SAS)均显示更高得分。
  • 在风险分析、治疗和预防等医学问题上,医学专家(MS)记录到更高得分。
  • 在质量控制方面,医学物理师和应用科学专家显示更高得分;SAS在mHealth、eHealth及两者兼有问题上得分较低。

临床应用与阅片要点

  • 作者认为在AI进入临床实践前应直接面对共识/接受度问题。
  • 作者建议调查应考虑三类关键专业人员而非仅限影像,并涵盖eHealth和mHealth整合。
  • 作者提出应针对不同专业类型分别设计调查,并在科学学会内完善调查。
  • 开放问题建议包括要求提供简历并附针对性问题、提供问答网格涵盖AI具体培训方面。

局限性

  • 原文未报告局限性。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Healthcare (Basel). 2022 Jan 14;10(1):153. doi: 10.3390/healthcare10010153

1. 引言

人工智能与数字放射学

数字放射学的标准化在器官与功能诊断领域引起了重要变化。这涉及诊断和介入放射学两方面 [1,2]。它导致了工作组织和报告流程的显著变化。此外,它推动了数字化和计算机化 [3,4]。这解决并简化了许多组织问题,例如档案管理,即使出现了新的问题,例如与网络安全相关的问题 [5,6]。如今,数字放射学(DR)涵盖了广泛的诊断场景,也包括与电离辐射不直接相关的领域,如磁共振和超声检查 [7,8,9]。那些使用DICOM的成像领域统一在数字放射学的框架之下 [10,11,12,13]。现在,我们正面临研究对健康领域可能产生的影响 [14]。在这一背景下,一个重要的引擎是COVID-19大流行期间的研究努力。例如,关于胸部CT/放射摄影的研究开启了重要的讨论和场景 [15,16,17,18]。

人工智能是计算机科学的一个领域 [19],当应用于健康领域时,被视为一种能够执行通常需要人类智能的任务的工具 [20,21,22,23],近年来已被应用于各种健康相关领域,例如癌症检测 [24]、痴呆分类 [25]和药物设计 [26]等。

如果我们考虑人工智能在数字放射学中的潜力,其应用是多方面的。

当我们进入数字放射学领域时,需要考虑四个重要的视角 [27,28]:第一个视角是数字放射学包含其可潜在应用的不同成像领域。如果排除不涉及电离辐射的成像过程,我们可以确定以下领域,均涉及器官和全身诊断:介入放射学

诊断放射学(放射学、CT)

核磁共振

正电子发射断层扫描

伽马照相机

第二个视角是横跨这些学科的相关领域,人工智能在这些领域中可发挥重要作用:治疗

预防

质量控制

风险评估

第三个视角是人工智能应用的分布方式。事实上,我们不能忘记,在数字放射学的背景下,人工智能具有与医疗器械软件相关的标准化前景 [29]。该软件在独立使用或网络使用时具有不同的影响,如果通过电子健康(eHealth)或移动健康(mHealth)解决方案进行网络化,其影响也不同。这些影响还涉及网络安全的重要方面 [30]。

第四个视角是具体的培训,必须包括人工智能以及相关学科,如信息学、医学影像和生物医学应用技术。

人工智能进入糖尿病视网膜病变(DR)常规诊疗(包括上述观点)必须通过一种方法来实现,该方法要求将循证医学(EBM)转化为卫生领域的操作流程,利用所有可用的共识工具,包括指南[31]、技术评估(TA)如HTA和CER[32]以及共识会议[33]。Eddy[34]对EBM的最新定义还考虑了在卫生领域的多维空间中制定循证政策,涉及质量、可接受性、共识和成本效果分析。因此,所有共识工具也将与其他学科一样,建立在内部人士和公众的接受与共识之上,后者将帮助表达重要立场。在这方面以两个关键词[35,36]进行PubMed检索:显示(图1)83条结果,其中77条为2019年至今关于可接受性的结果,23条为关于共识的结果,均涵盖2019年至今。

这意味着在过去两年中,可接受性和共识已成为该问题的优先事项。该领域新兴工具中,我们发现调查研究可作为利益相关者和管理者的一般性感知工具。这些调查[37,38,39,40,41,42,43,44,45,46,47]聚焦于围绕该领域的一些参与者:放射科医师、放射技师、初级保健提供者(PCP)、学生和患者,即既包括服务提供者也包括使用者,还包括受训对象。关于患者的研究[37,38,39]强调了他们对这些技术的好奇心和不反对态度,同时需要创建文化、需要就该问题进行教育,以及与电子健康和移动健康整合中对网络安全方面的担忧。学生[47]表现出好奇心和乐观态度,但抱怨缺乏足够的培训以及需要将特定模块纳入培训课程。关于放射科医师和放射技师的研究[41,42,43,44,45,46]显示出对这些解决方案的开放态度,同时强烈希望在未来工作流程改造过程中发挥重要作用并获得充分培训。在几乎所有研究中,除少数例外如[39],均通过验证过程使用自由和非标准化问卷,表明学者在这一历史时刻正依靠其创造力来创建越来越创新和适应性强的问卷。放射学中广泛使用的TAM等工具未被使用[48]。

从这些研究中显现出以下需要在调查中进一步深入研究的需求。许多群体已被考虑,如PCP[40],但其他群体被忽视。未发现针对人工智能系统应用科学专家的研究。在少数情况下,开展了涉及多个专业群体的调查,如[44,45]同时涉及放射科医师和放射技师。我们的假设是,放射学中的人工智能可接受性调查:必须考虑上述(1–4)观点,不限于影像学,并包括与电子健康和移动健康的整合[49];

必须考虑所有相关专业人员,他们具有不同的培训背景和不同的工作流程,因此对人工智能有不同的期望。

一些关于人工智能解决方案设计与测试的研究明确强调了团队的重要性[50]。该团队理解(伴随技能的天然渗透):医学物理学;

医学专家;

应用科学专家。

在临床实践中引入人工智能的准备和初步步骤应直接面对共识/接受度。基于上述内容,可以明显看出,重要的参与者无疑是(图2):医学专家(MS)、医学物理师(MP)和应用科学专家(SAS)。MS在决策流程中具有战略性作用。MP控制物理过程。SAS设计和维护人工智能工具(如生物医学工程师和放射科技师/技术员)。本研究的目的是:(a)聚焦这三类专业人员,调查其接受度和共识;(b)为他们设计并提交一份适当的电子调查问卷用于调查,该问卷具有广泛的功能特征,考虑到上述需要深入探讨的要点。

2. 方法

根据研究目的,我们决定开展一项调查研究。

方法包括:(I)选择用于设计电子调查的工具及其(II)对法规的合规性;(III)基于所选工具设计调查问卷,尊重需要调查的广泛功能特征;(IV)在人群中传播;(V)基于有效统计方法进行数据分析。问卷使用Microsoft Forms开发。它遵循了SURGE清单[51]进行调查的开发和实施。统计分析遵循两个步骤:数据正态性验证;

应用方差分析(ANOVA),以P值低于0.01作为差异显著性标准。

对于统计置信区间,我们设定了95%的目标。

我们认为,在用于验证正态性的最常用检验中,有:(a)Shapiro–Wilk检验,适用于小样本;(b)Kolmogorov–Smirnov检验,用于较大样本。本研究的样本量较小;因此,我们使用了Shapiro–Wilk正态性检验。我们聚焦于关键人物(图2)进行调查。

电子调查问卷设计为涵盖广泛的功能特征(从培训和背景开始,直至人工智能的应用和应用环境),使用:选择题、开放性问题、评分题和Likert量表(图3)。

在评分题和Likert量表中,我们设定了六级心理测量量表;因此可以赋予最低1分和最高6分,理论平均值为(TMV)3.5。TMV可用于答案分析中的比较。答案平均值低于TMV表示反应偏消极而非积极。平均值高于TMV表示反应偏积极而非消极。调查附有对所涉及主题的简要描述,清楚说明重点与数字放射学中人工智能的引入相关。

在招募方面,我们按计划考虑了三个角色群体,我们记得,他们是医学专家(MS)、医学物理师(MP)、应用科学专家(SAS)。所有角色在DR中与AI的关系中承担不同职责;这意味着不同的视角/意见/共识。考虑到这些角色属于非常不同的行业和不同的科学学会,招募工作非常复杂。目前,在意大利有334个科学学会[52]。我们遵循了两条路径:

第一条路径

在意大利,还存在科学学会联合会,其促进各科学学会之间的科学渗透。

关于这三类专业人员,我们参考了:意大利医学-科学学会联合会[53](包括意大利医学与健康物理协会及其他相关科学学会以及在其他医学诊断及相关领域运作的学会等协会),主要面向前两类专业人员MP和MS,但也面向SAS。

科学与技术协会联合会[54](包含国家生物工程组及其他相关科学学会)和放射技师科学协会联合会[55](例如包含意大利系统管理员与远程医疗协会、介入放射技师协会、健康影像科学协会及其他相关学会),主要面向SAS,但也面向其他专业人员。

我们得以获得大会名单,在会上通过到场、联系、会面和讨论,收集对该项目的初步意向支持。创建了一个WhatsApp群组,向其中发送邀请和匿名问卷,并附有简要说明和对讨论的提醒。通过这种方式,可以匿名发送调查。

第二条路径

发送也通过我们的WhatsApp网络进行,同样遵循点对点机制。

表1报告了参与者、打开问卷后同意继续参与的参与者以及相关人口学特征。填写调查者的平均年龄不高。这取决于所提议主题的高度创新性和新颖性,该主题对较年轻人群更具吸引力和包容性(由于其接受的培训)。

附录A中的图A1和图A2展示了问卷样本。该问卷已从意大利语转换为英语。

3. 结果

3.1. 调查中封闭式问题的结果

eS包含一个特定问题,涉及参与所需的AI知识是否达到适当水平(例如通过参加特定学术和/或博士后培训)。只有符合此要求者才被纳入研究。结果整理为五张表。第一张表(表2)涉及AI方面的培训。

第二张表(表3)涉及对AI具体应用于医学影像的同意/意见。

第三张表(表4)涉及对AI应用于与医学影像不直接相关的其他医学方面(治疗、风险分析、质量控制、预防)的同意/意见。

第四个表格(表5)涉及关于如何根据可用信息(电子健康、移动健康、独立式、电子健康和移动健康两者)来考虑接近人工智能的便利性方面[43]。

表6报告了关于与人工智能一般使用相关的普遍乐观态度的分级问题的输出结果。

使用Shapiro检验对数据成功进行了初步的正态性检验。

关于培训(表2),通过障碍的受试者在三组中均表现出高度(得分 > TMV)。然而,在某些情况下行为有所不同。ANOVA检验突显了一些取决于不同背景的差异:(a) 在信息学的情况下,SAS记录了更高的得分;(b) 在生物医学应用技术的情况下,MPs和SASs均表现出更高的得分。

我们还纳入了开放式问题,以调查参与者是否有将人工智能应用于临床的直接经验(即在岗培训)。就MS而言,这可以例如通过由人工智能支持的临床决策的直接经验来体现。对于MPs和SAS,这可以通过在配备人工智能系统的设备上的直接活动来体现,活动范围从开发到校准和/或质量控制。从这些开放式问题中,经过分类和归类,我们发现一小部分受访者表示他们曾经或目前拥有此类直接经验。共有14.3%的MS、13.9%的MP和14.8%的SAS拥有在岗培训的直接经验。接受过在岗培训的个体在使用人工智能方面表现出更高的普遍乐观态度值,三组一致(表6)。关于医学影像中的应用(表3),通过障碍的受试者在三组中均表现出高度(得分 > TMV)。行为是一致的。ANOVA检验突显各组之间在所有问题上均无差异。这里明显的是,即使背景不同——MS更多地面对诊断;MPs更多地面对影像流程;SASs更多地面对技术——这种多样性在彼此之间得到了补偿。

关于人工智能在一般领域(不包括医学影像)应用中的使用(表4),通过障碍的受试者在三组中均表现出高度(得分 > TMV)。然而,在某些情况下行为有所不同。ANOVA检验突显了一些差异,取决于不同背景:(a) 在更偏医学的问题上,即风险评估、治疗和预防,MS记录了更高的得分;(b) 在质量控制的情况下,MPs和SAS在该问题上均表现出更高的得分,该问题与特定背景最为相关。关于使用/提供人工智能方式的意见(表5)是在考虑整合到电子健康和移动健康的重要性的情况下报告的[49]。关于这一问题,通过障碍的受试者在三组中均表现出高度(得分 > TMV),偏好独立式方法。对独立式的偏好可能是由于对网络风险暴露的认识。然而,在某些情况下行为有所不同,SAS在移动健康、电子健康及两者兼有的问题上表现出较低的得分。这与信息学方面更高的培训(见上文)有关,后者导致在不以独立式方式应用人工智能时对网络风险有更高的认识。

3.2. 提交过程中的关键考虑因素及开放性问题提出的建议

3.2.1. 调查的参与率

这种实施方式在未来将越来越普遍。因此,分析招募机制的特殊性和结果至关重要。两次实施在不同时间段进行,以便评估各自对总数据收集的贡献。我们的研究遵循了两条路径。第一条始于2019年,通过在大会上现场收集可参与意向,并有机会进行口头互动/讨论,随后通过WhatsApp发送。

第二种方式没有口头讨论,基于通过WhatsApp进行点对点发送。图4显示,对数据收集的最大贡献来自基于(传统)口头交流的第一种方法。图5显示了每种方法的参与百分比。结果表明,第一种方法的参与率出乎意料地更高。这证明,由言语、副言语和非言语三个成分构成的口头交流,仍然比仅通过聊天进行的交流保持更大的吸引力。

3.2.2. 开放性问题的结果

在调查的第13题中,我们选择性提供了报告评论和意见的可能性。

二十一名受访者报告了意见或评论。我们分析了突出关键问题和改进建议的评论,并进行了数据挖掘,随后进行了分类。

图6按出现频率顺序报告了以下作为重要改进建议的要点:o 在一个小节中通过一系列有针对性的问题来索取简历;

o 为每种类型的专业人员准备一份调查问卷;

o 在科学学会内部完善调查;

o 提供一个包含人工智能非常具体培训方面的问答网格。

4. 讨论

我们无疑即将面临数字放射学领域的又一次重大变革[14]:人工智能(AI)引入临床实践。在疫情期间,AI的重要性和潜力在数字放射学的两个领域清晰显现:胸部CT和胸部X线摄影[15,16,17,18,43]。然而,甚至在疫情之前,我们就已经在讨论这一影响健康领域的现象,尤其是数字化转型程度较深的领域,如数字放射学(DR)[27,28],这得益于DICOM标准化进程。DICOM是图像采集过程后以像素和/或体素排列的信息容器。用作AI输入的像素和/或体素携带被研究生物医学目标的不同信息。这些元素中的信息与物理过程(X射线、伽马射线、磁场、超声等)相关。三个要素发挥重要作用:(1)物理过程(PP),取决于所使用的物理场(X射线、磁场、超声等);(2)技术过程(TP),涉及从物理过程开始捕获信息的技术,以及基于AI算法的软件实现;(3)决策过程(DP),必须考虑基于PP的TP结果以及基于医学知识的人类决策,该决策与TP和PP在功能上相关。

正是由于这个原因,数字病理(DP)、技术病理(TP)和病理生理(PP)工作的专家在人工智能引入过程及相关调查中保持联系非常重要。

还应牢记,除诊断成像外,研究中还考虑了用于非成像问题分类的其他人工智能应用[9,27](非成像分类)。这些应用范围从风险分析到质量控制。我们还发现,在研究中考虑人工智能的交付方式很重要,无论是独立模式交付,还是基于移动健康(mHealth)或电子健康(eHealth)[49]交付。鉴于上述内容,我们决定在研究中考虑与(1,2)相关的医学专家(MSs)、医学物理师(MPs)和放射技师(SASs)三类人员,通过电子调查(eS)来调查其共识和接受度。从总体角度看,这三类专业人员对人工智能在成像和非成像应用中的引入均表现出高度接受度,无论是独立模式还是网络模式(mHealth或eHealth)。具体而言,通过基于方差分析(ANOVA)的统计评估,我们能够看到不同的AI接触方式。在考虑AI应用于成像时,这种方式是统一的。在考虑非成像应用和交付方式时,这种方式并不统一。具有直接在职培训背景且专注于AI的受试者表现出最高的乐观度。从总体角度看,该研究强调了通过电子调查(eS)调查AI纳入情况的有用性,基于三类专家(MSs;MPs;SASs)进行此项调查的有用性,以及在数字放射学中引入AI的普遍乐观态度。

背景对AI的接触方式起着重要作用。在科学文献中,已有各种研究纳入放射科医生(临床决策的关键人物)来开展阅片者研究。在某种意义上,如果我们整体审视所提出的关于AI直接应用的研究[50],我们会发现,就AI的增强而言,我们所提出的研究处于互补位置。我们的研究直接聚焦于三类相关专业人员,他们在从工具设计到决策的流程中发挥积极作用[50]。我们的研究与基于问卷调查的研究[37,38,39,40,41,42,43,44,45,46,47]一致;提交原创调查可以获得战略性信息。除类似研究外,我们的研究还提出了向在TP、PP和DP中运作的三类关键人物提交相同调查的创新做法。此外,考虑到先前研究中出现的需求,我们的研究提出了基于六种心理测量水平李克特/分级问题的不同调查方案,以获得不同的定量结果,有助于分类。

第一个方案涉及与该领域有用知识基础相关模块的教育、学术和博士后培训方面。

第二个方案详细涉及成像方面,聚焦于数字放射学(DR)中使用的不同兼容DICOM工具。

第三个方案涉及成像之外但始终与工作流程相关的人工智能方面(质量控制、风险评估、治疗和预防)[27,28]。

第四个方案致力于与电子健康(eHealth)和移动健康(mHealth)的整合[49],这对于应对网络安全等重要方面具有战略意义。

从总体角度看,本研究与该方向上的其他举措不同[56,57,58,59]。此外,与基于调查的研究[58,59]相比,本研究为学者提供了补充性贡献,因而也提供了补充性结果。我们提出的调查(见附录A)包含13个问题(若考虑李克特量表含有子模块则为23个):(a) 面向所有可能涉及的三种职业;(b) 通过一个特定李克特量表详细探讨人工智能在影像不同部门中的应用,并通过另一个李克特量表探讨人工智能在健康领域转化部门中的应用;(c) 涉及网络整合(独立式、移动健康(mHealth)、电子健康(eHealth))方面,这些方面对软件医疗器械和网络安全的影响很重要。我们使用了多个模块,详细设置了选择题、开放题、开放式大题,以及两个用于进行心理/社会计量评估的模块(目前常用于生命科学):分级题和李克特量表。此外,在我们的调查中,还可以通过两个特定开放题补充人口学信息(包括培训)和工作活动信息,一个开放式大题专门用于插入简历,一个开放题专门用于描述自己的工作活动。

[58,59]中的两项调查本身是互补的;它们各自针对特定的职业群体,且侧重点不同。

[58]中报告的调查针对全国受众,聚焦于MSs,由13个问题组成:4个涉及人口学方面(年龄、地区、活动、职位和工作地点),3个涉及与人工智能的互动(人工智能承担的任务、优势、问题),3个涉及影响(伦理问题、失业风险、政策需求),以及其他补充性问题,例如对人工智能定义的看法。

另一项调查[59]针对国际受众,专门面向MP群体,由25个问题组成。前八个问题涉及培训方面、参与人工智能项目的情况以及对引入人工智能的活动和看法。问题9至17均以特定方式涉及教育兴趣的收集以及对将CV纳入未来活动的看法。一个开放题(第18题)为自由作答。最后的问题均聚焦于人口学信息。

我们的调查通过两个渠道提交,均为电子方式(但其中一个还基于对该倡议的预先面对面介绍),并对这些渠道进行了评估。分析的一部分专门针对所出现的观察结果和关键问题,以及专门收集的内容。

[58,59]中报告的两项调查均完全以电子方式实施,且未对不同模式进行比较。它们未使用分级题和李克特量表题。此外,两项调查均未收集为改进这些举措而需解决的关键问题。

关于调查的传播,我们的研究表明,初步的面对面接触(随后进行电子传输)提高了参与率。这提示未来在开展这些倡议时,应事先进行面对面的初步会议(例如,在焦点小组或大会上)。关于改进和发展的建议,应当指出,那些频率大于1的提议倾向于要求结构化的简历表格、针对不同专业人员的调查专业化,以及科学学会中的精细化。

考虑到这些观察结果和所出现的情况,以专业化和联合化的方式继续这些倡议无疑是可取的。希望人工智能能成为一个契机,催生科学联合会,从而能够以特定和联盟化的方式进行深入的倡议。

5. 结论

人工智能引入临床实践如今已是一个不可阻挡的进程,将推动这一学科从研究走向常规使用。从现在到未来,许多专业人员将参与其中,有必要开展有针对性的共识行动以发布适当的建议。例如,由该领域的科学学会传播的指南、技术评估(TA)报告和共识会议,未来也将使用基于学者目前正在开发的调查的方法。

旨在制定该领域立场文件的倡议将越来越频繁,并将涉及越来越多的专业团队,如[56]中医学物理学家和放射科医生共同参与的工作。国家级[57,58]和国际级[59]科学学会可以在这些调查的改进和传播中发挥重要作用,这些调查可以在监测该主题方面发挥战略性作用。代表不同参与方的科学学会在可能促成稳定和标准化国际监测行动的倡议中作为团队协作也将十分重要。

引用

  1. Di Basilio F, Esposisto G, Monoscalco L, et al. The Artificial Intelligence in Digital Radiology: Part 2: Towards an Investigation of acceptance and consensus on the Insiders. Healthcare (Basel). 2022. PMID: 35052316. doi:10.3390/healthcare10010153
  2. 全文:PMC8775988(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8775988/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。