文献速递技术与安全

对1041名放射科医生和住院医师的AI国际调查第二部分:期望、实施障碍与教育

An international survey on AI in radiology in 1041 radiologists and radiology residents part 2: expectations, hurdles to implementation, and education.
PubMed 文献 · Eur Radiol · 2021-05-11

2019年4月至7月对54个国家1041名放射科医生和住院医师进行国际问卷调查,82%预计AI将在10年内改变放射学领域,主要期望角色为第二阅片者(78%)和工作流程优化(77%),伦理法律问题(62%)和知识缺乏(57%)是最常提到的实施障碍,79%认为AI教育应纳入住院医师培训。

要点

  • 82%(855/1041)的受访者预计AI将在10年内给放射学领域带来变化。
  • 最常期望的AI临床角色为第二阅片者(78%,829/1029)和工作流程优化(77%,803/1029)。
  • 最常提到的实施障碍为伦理法律问题(62%,630/1024)和知识缺乏(57%,584/1024)。

核心结论

  • 放射学界广泛支持将AI纳入住院医师培训项目。
  • 伦理法律问题和知识缺乏被公认为AI实施的主要瓶颈,而标注数据短缺和IT基础设施问题较少被认识到。
  • 作者认为,将AI教育纳入放射学课程(包括数据管理技术方面、偏倚风险以及伦理和法律问题)似乎有助于将AI成功整合到诊断放射学中。

研究设计与样本

  • 研究类型为国际问卷调查,通过Google Forms创建包含39个问题的网络调查,于2019年4月18日至7月12日开放。
  • 最终纳入1041名来自54个国家的放射科医生和住院医师,排除45名非目标人群或重复条目。
  • 调查通过意大利、法国和荷兰放射学会(SIRM、SFR、NVvR)、欧洲医学影像信息学会(EuSoMII)及社交媒体分发,以九种语言提供。
  • 使用多变量逻辑回归评估自变量与观点、障碍和教育的关联,结果以调整比值比(OR)及95%置信区间(CI)表示。

诊断标准与关键数值

  • 期望AI在短期(<5年)内产生明显影响者363/1041(35%),中期(5–10年)492/1041(49%),长期(>10年)149/1041(14%)。
  • 在1029名回答者中,78%(829/1029)期望AI成为第二阅片者,47%(493/1029)期望AI部分替代放射科医生,3%(31/1029)期望完全替代,77%(803/1029)期望工作流程优化。
  • 在1024名回答者中,伦理法律问题630/1024(62%)、知识缺乏584/1024(57%)、数字基础设施限制356/1024(35%)、缺乏泛化性410/1024(40%)、缺乏高质量图像标签287/1024(27%)、缺乏高质量图像数据159/1024(16%)。
  • 79%(819/1041)认为AI教育应纳入住院医师培训,18%(182/1041)回答可能,4%(40/1041)不同意。
  • 23%(241/1041)认为影像信息学和AI应成为放射学亚专科,35%(359/1041)回答可能,42%(437/1041)不同意。

临床应用与阅片要点

  • 放射科医生和住院医师中广泛存在将AI教育纳入住院医师培训的需求(79%),作者认为整合AI教育似乎是可行的前进方向。
  • 伦理法律问题和知识缺乏被受访者视为AI实施的主要瓶颈,作者认为教育应涵盖数据管理、偏倚风险以及伦理和法律问题。
  • 具有高级AIspecific知识的受访者更常指出缺乏标注图像和泛化性问题,提示对数据质量和外部验证的关注与知识水平相关。

局限性

  • 局限性在Part 1中详细讨论,主要包括低回复率(3.9%)和调查研究固有的选择偏倚。
  • 关于实施障碍的识别主要基于单个多选题,受访者可能受预设答案影响。
  • 无法验证受访者对「泛化性」和「数字基础设施」等术语的理解是否与研究者意图一致。
  • Strohm等确定的某些选项(如临床实践中的附加价值)未纳入选项。
  • 关于首选自学媒介的调查在COVID-19前时代进行,在线媒介可能因此迅速普及,今天的结果可能非常不同。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 May 11;31(11):8797–806. doi: 10.1007/s00330-021-07782-4

引言

在“国际放射学人工智能调查”的第1部分中,我们发现,尽管相当一部分放射科住院医师和放射科医生对人工智能(AI)的临床采用持开放和更积极主动的态度,但担心被人工智能取代的恐惧在放射科医生中仍然存在[1]。AI-specific知识被证明是一个重要的影响因素,没有AI-specific知识或具有中级至高级知识水平会降低恐惧并增加开放和积极主动的态度。有限的AI-specific知识导致恐惧增加以及开放和积极主动态度水平下降。

除了个体因素外,组织因素在打算采用新技术时也发挥作用。科学文献中最近出现的一个主题是关于在诊断放射学中实施AI应用的瓶颈和促进因素[2–7]。专家们通常发现的障碍是伦理和监管问题、工作流程整合以及成本效益。包括非AI专家在内的普通放射学界预期的实施障碍可能相似,但目前仍不清楚。

除了个人、组织和伦理因素外,与算法开发过程相关的某些技术方面也可能成为障碍。例子包括缺乏高质量图像和高质量标注数据,以及缺乏外部验证阻碍算法的泛化[6, 8]。目前尚不清楚整个放射学界是否意识到这些陷阱。

此外,关于AI是否以及应在多大程度上纳入住院医师培训项目仍存在争议,而在第1部分中我们已经表明,中级至高级AI知识与对AI的开放和积极主动态度相关[1]。在本研究中,我们试图探讨对AI在放射学实践中实施的期望,包括预期障碍,以及放射学界关于将AI教育纳入住院医师培训项目的意见。

材料和方法

问卷

无需机构审查委员会批准。分析使用匿名化数据进行。创建了一项使用Google Forms(Google LLC)的基于网络的调查,包含39个问题,涉及人口统计学、背景、社交媒体使用、认知和现有知识、对AI的期望、预期的实施障碍、住院医师培训项目中的AI以及关于AI的首选自学习方法。在第1部分的附录1中,列出了所有调查问题及其多项选择选项[1]。由10名放射科医生和住院医师进行了试点,以消除问题歧义[9]。随后该调查由母语者调整并翻译成九种语言(英语、法语、德语、西班牙语、意大利语、荷兰语、捷克语、俄语和土耳其语)。该调查和一封简短说明信于2019年4月18日至7月12日期间可在www.airadiologysurvey.com上访问。调查分发通过意大利、法国和荷兰放射学会(SIRM、SFR和NVvR);欧洲医学影像信息学会(EuSoMII);以及社交媒体完成。调查分发的详细描述见第1部分[1]。

统计分析

连续数据以均数及标准差或中位数及范围表示(视情况而定)。分类数据以比例表示。关于“人工智能教育是否应成为住院医师培训项目的一部分?”和“人工智能是否应成为住院医师培训项目的一部分?”这两个问题的结果被二分为“是”与“也许”或“否”进行分析。采用多因素logistic回归评估自变量与预期影响期限、实施障碍以及在放射学课程中纳入人工智能和影像信息学的结果之间的关联。预先选择变量(年龄、性别、地区(欧洲与非欧洲)、医院类型(学术型、非学术型、私立)、科研背景、当前职位(住院医师与放射科医师)、专业社交媒体使用、信息学/统计学知识、人工智能特定知识以及亚专科)并纳入所有logistic回归分析。在事件数较少的结果中,由于统计效能有限,未进行logistic回归分析。年龄作为连续变量建模;所有其他变量作为分类变量建模。关于变量处理的更详细描述可见第1部分[1]。logistic回归分析结果以调整比值比(OR)及95%置信区间(CI)表示。统计分析在IBM SPSS Statistics for Windows(版本24.0,IBM Corp.)中完成。p值<0.05被认为具有统计学意义。

结果

人口学特征

共有1086名受访者完成了调查。45名受访者因不属于目标人群(例如学生、企业界人士、研究人员、创业者)或为重复条目而被排除,最终纳入来自54个国家的1041名受访者。所有受访者的人口学特征汇总见表1。在第1部分中,已按来源人群(即SIRM、NVvR、SFR、其他)分层对人口学特征进行了详细描述[1]。

表1 所有受访者的基线特征(n=1041) 查看原表 ↗

对人工智能的预期

预期影响期限

大多数受访者认为人工智能将有助于改善诊断放射学(n = 926,89%),部分受访者认为也许如此(n = 108,10%),1%(n = 7)不同意。大多数受访者认为人工智能将改变放射科医师的未来(n = 880,85%),少数受访者持“也许”意见(n = 145,14%)或完全不同意(n = 16,2%)(表2)。

人工智能在放射学中产生明显效应的预期期限大多为短期(< 5年,n = 363,35%)或中长期(5–10年,n = 492,49%)。149名(14%)受访者预期在> 10年才会发生显著变化(图1)。

预期短期(< 5年)内发生变化的独立预测因素包括较高年龄(每10年间隔调整OR 1.26,95% CI 1.07–1.47,p = 0.005)、女性(调整OR 1.37,95% CI 1.02–1.84,p = 0.04)、仅听说过人工智能的受访者(调整OR 2.74,95% CI 1.14–6.57,p = 0.02),以及具有中等(调整OR 4.30,95% CI 1.79–10.26,p = 0.001)或高级人工智能特定知识的受访者(调整OR 5.31,95% CI 2.13–13.23,p < 0.001)(表3)。腹部亚专科的受访者预期短期发生变化的可能性较低(调整OR 0.69,95% CI 0.51–0.93,p = 0.02)。

对中期长期(5–10年)预期变化的独立预测因素为男性(校正OR 1.51,95% CI 1.14–2.00,p = 0.004)以及在欧洲工作(校正OR 1.69,95% CI 1.18–2.42,p = 0.004),而非在欧洲以外工作。

对长期(> 10年)预期变化的负向预测因素为较低年龄(每10年间隔校正OR 0.64,95% CI 0.51–0.82,p < 0.001)、在欧洲工作(校正OR 0.54,95% CI 0.35–0.85,p = 0.008)、职业性社交媒体使用(校正OR 0.60,95% CI 0.41–0.87,p = 0.008),以及中等(校正OR 0.23,95% CI 0.11–0.52,p < 0.001)或高级AI特定知识(校正OR 0.17,95% CI 0.07–0.44,p < 0.001)。医院类型(即学术型、非学术型和私立)无差异。

表2 对实施的期望和预期障碍(n = 1041) 查看原表 ↗
图1 参与者年龄与受访者预期AI将改变放射学临床环境的时间之间的关系 查看原图 ↗
表3 对AI在诊断放射学中预期影响时间的独立预测因素及对其实施的预期障碍 查看原表 ↗

AI在诊断放射学中的长期预期作用

关于AI长期预期作用的问题由n = 1029/1041(99%)名受访者填写。最常见的长期AI作用被报告为AI成为第二读片者(n = 829/1029,78%);具有高级AI特定知识的受访者显著更可能表明这一点(校正OR 3.31,95% CI 1.42–7.69,p = 0.006)(表2和表3)。

47%(n = 493/1029)的受访者预期AI将部分替代放射科医生,独立预测因素为男性(校正OR 1.73,95% CI 1.30–2.32,p < 0.001)、中等AI特定知识(校正OR 2.41,95% CI 1.12–5.20,p = 0.03)和高级AI特定知识(校正OR 4.04,95% CI 1.78–9.16,p = 0.004)。预期部分替代的负向预测因素为年龄(每10年间隔校正OR 0.85,95% CI 0.73–0.99,p = 0.04)以及腹部(校正OR 0.65,95% CI 0.49–0.78,p = 0.004)、乳腺(校正OR 0.48,95% CI 0.30–0.75,p = 0.002)和儿科(校正OR 0.59,95% CI 0.36–0.98,p = 0.04)亚专业。仅n = 31/1029(3%)名受访者预期AI将完全替代放射科医生。

77%(n = 803/1029)的受访者预期AI将优化工作流程,独立预测因素为较低年龄(每10年间隔校正OR 0.77,95% CI 0.64–0.92,p = 0.004)以及中等(校正OR 3.41,95% CI 1.64–7.09,p = 0.001)和高级(校正OR 6.46,95% CI 2.73–15.31,p < 0.001)AI特定知识。99名受访者(n = 99/1029,10%)预期AI将不具有基于图像的作用,如病变检测(即这些受访者仅预期工作流程优化)。

对实施的预期障碍

关于预期实施障碍的问题由n = 1024/1041(98%)名受访者填写,受访者可选择多个答案。所指出的AI临床实施障碍主要为伦理和法律问题(n = 630,62%)、数字基础设施的限制(n = 356,35%)以及利益相关者(即临床医生、放射科工作人员或管理层)知识缺乏(n = 584,56%)(表2)。

人工智能软件开发成本高被指出 n = 363/1024(35%),人工智能软件本身成本高被指出 n = 400/1024(38%);这些结果没有独立预测因素(表3)。

对人工智能缺乏信任的利益相关方(即临床医生、工作人员或管理层)被 n = 376/1024(37%)的受访者报告,并且在欧洲以外工作的受访者(调整后 OR 1.77,95% CI 1.24–2.53,p = 0.002)和心胸放射科医生(调整后 OR 1.57,95% CI 1.11–2.22,p = 0.01)中独立且显著更常见。

利益相关方缺乏知识或专业知识被报告 n = 584/1024(57%),并且在私立中心工作的受访者中显著较少观察到(调整后 OR 0.63,95% CI 0.24–0.94,p = 0.02)。

缺乏高质量图像数据被报告 n = 159/1024(16%),并且在欧洲工作的受访者(调整后 OR 0.39,95% CI 0.26–0.61,p < 0.001)、私立中心(调整后 OR 0.49,95% CI 0.27–0.89,p = 0.02)和乳腺放射科医生(调整后 OR 0.43,95% CI 0.20–0.90,p = 0.03)中显著较少指出。这一障碍在具有高级人工智能特定知识的受访者(调整后 OR 3.37,95% CI 1.05–10.84,p = 0.04)和儿科放射科医生(调整后 OR 2.13,95% CI 1.20–3.80,p = 0.01)中更常被指出。

缺乏高质量图像标签被报告 n = 287/1024(27%),并且在具有高级人工智能特定知识的受访者中显著更常提及(调整后 OR 5.42,95% CI 2.22–13.21,p < 0.001)。

软件缺乏泛化性(即外部有效性)被报告 n = 410/1024(40%),并且在年龄较大的受访者(每10年间隔调整后 OR 0.85,95% CI 0.73–0.99,p = 0.04)和欧洲工作的受访者(调整后 OR 0.54,95% CI 0.38–0.77,p < 0.001)中显著较少提及。

伦理和法律问题被提及 n = 630/1024(62%),并且在欧洲以外工作的受访者(调整后 OR 1.71,95% CI 1.17–2.48,p = 0.005)、具有中级(调整后 OR 2.90,95% CI 1.48–5.65,p = 0.002)或高级(调整后 OR 2.85,95% CI 1.39–5.86,p = 0.004)人工智能特定知识的受访者以及肌肉骨骼放射科医生(调整后 OR 1.44,95% CI 1.03–2.01,p = 0.03)中显著更常见观察到。这一障碍在具有基本人工智能特定知识的受访者中较少指出(调整后 OR 0.68,95% CI 0.48–0.96,p = 0.03)。

医院/中心数字基础设施的限制被提及 n = 356/1024(35%),并且在腹部放射科医生(调整后 OR 1.45,95% CI 1.08–1.95,p = 0.01)、心胸放射科医生(调整后 OR 1.51,95% CI 1.05–2.15,p = 0.03)和介入放射科医生(调整后 OR 1.55,95% CI 1.09–2.21,p = 0.01)中更常观察到。与在学术中心工作的受访者相比,这一障碍在非学术中心(调整后 OR 0.58,95% CI 0.42–0.82,p = 0.002)或私立中心(调整后 OR 0.57,95% CI 0.37–0.87,p = 0.009)工作的受访者中较少指出。对变革的抵触被 n = 7 名受访者在开放回答中提及,计算机科学家缺乏放射学特定知识被 n = 5 名受访者提及。按人工智能特定知识水平预期的实施障碍见图2。

图2 受访者按人工智能特定知识水平指出的预期障碍 查看原图 ↗

住院医师培训项目中的人工智能

大多数受访者(n = 819,79%)表示应将人工智能教育纳入住院医师培训项目,其余受访者表示可能(n = 182,18%)或不同意(n = 40,n = 4%)。支持将人工智能教育纳入住院医师培训项目的正向预测因素包括年龄增长(每10年间隔调整OR 1.43,95% CI 1.20–1.74,p < 0.001)、住院医师身份(调整OR 1.71,95% CI 1.09–2.68,p = 0.02)、仅听说过人工智能(调整OR 2.96,95% CI 1.48–5.89,p = 0.002)、中等程度的人工智能特定知识(调整OR 3.84,95% CI 1.90–7.77,p < 0.001)以及高等程度的人工智能特定知识(调整OR 5.16,95% CI 2.33–11.43,p < 0.001)。亚专业为儿科放射学的受访者报告希望将人工智能教育纳入住院医师课程的比例显著较低(调整OR 0.58,95% CI 0.35–0.98,p = 0.04)(表4)。

少数受访者表示影像信息学与人工智能应该(n = 241,23%)或可能应该(n = 359,35%)成为放射学亚专业,而部分受访者(n = 437,42%)不同意。支持将影像信息学和人工智能作为亚专业的唯一正向预测因素是专业社交媒体使用(调整OR 1.38,95% CI 1.01–1.89,p = 0.04)。

表4 关于人工智能和影像信息学在放射学课程中的意见及独立预测因素(n = 1041) 查看原表 ↗

关于人工智能的首选自学习方法

在受访者中,n = 780(75%)对“您是否计划学习该主题,即使它不是项目或继续医学教育(CME)的要求?”这一问题回答是,而n = 198(19%)的受访者回答“可能”。N = 63(6%)的受访者不计划学习人工智能[1]。首选自学习媒介为会议/专业课程(n = 765,74%)、科学文献(n = 619,60%)、在线文章(如Medium或ai.myesr.org上)n = 498(48%)、在线学习平台如Coursera/EdX(n = 448,43%)以及社交媒体包括Twitter、LinkedIn、Facebook和YouTube(n = 254,24%)。总体而言,我们发现具有中等至高等人工智能特定知识水平的参与者更有动力使用任何媒介进行自学,尤其是科学文献和会议/专业课程。表5总结了每种媒介的独立预测因素。

表5 放射学中与人工智能相关的自学方法的独立预测因素 查看原表 ↗

讨论

这项大型(n = 1041)国际放射科医师和住院医师调查显示,大多数参与者(n = 855,82%)预计人工智能将在10年内对放射学专业产生重大变化。关于人工智能的长期角色,人工智能作为第二阅片者的副驾驶设置和工作流程优化任务最常被提及,分别占受访者的78%(n = 829)和77%(n = 802)。当被问及实施的可能障碍时,所有受访者最常提及伦理和法律问题(n = 630,62%)以及知识缺乏(n = 584,57%)。具有高等人工智能特定知识的受访者补充了缺乏标注图像和泛化性问题。大多数受访者(n = 819,79%)希望将人工智能教育纳入住院医师培训项目,而仅少数(n = 241,23%)同意人工智能和影像信息学应被认定为亚专业。

据我们所知,尚未有针对放射科住院医师培训中对人工智能(AI)教育需求的大规模调查[10, 11]。受访者最常提到的障碍之一是利益相关者(即临床医生、员工或管理层)缺乏相关知识。因此,成功实施AI并使其持续获益的重要一步可能是将AI教育纳入放射学课程。我们认为,本研究表明显著这一点得到了广泛国际群体的支持。

Strohm等人[3]发现了与我们相似的障碍,即利益相关者缺乏知识、资金和信任,以及伦理和法律方面的问题。

具有较高AI特定知识水平的受访者更常将缺乏标注良好且组织有序的数据集视为潜在问题。这与当前文献中的普遍观点一致[2, 6, 7, 12, 13]。仅有28%(n = 287)的全部受访者指出缺乏高质量标注是一个潜在障碍,这可能反映了对该问题的相对认识不足。

62%(n = 630/1024)的受访者提到伦理和法律问题是实施的障碍,这与作者的预期一致。因此,相当大比例的受访者可能不认为隐私问题以及作为医疗器械使用的算法所造成的非故意伤害是一个问题。这表明监管问题以及使用算法进行诊断决策所导致的不同形式的偏差和/或潜在并发症是需进一步探索[4]并纳入教育的主题。

令人惊讶的是,仅有低比例的受访者提到数字基础设施方面的局限性(即35%(n = 356)),因为无缝的工作流程整合对成功至关重要,而将多种软件解决方案全部纳入一个良好整合的IT环境是众所周知的难题[2]。

大多数受访者(n = 780,75%)表示计划进一步学习AI相关知识,而6%(n = 63)完全没有学习更多AI知识的计划。在本研究中,我们发现年轻受访者以及已具备中级至高级AI特定知识的受访者更有动力使用任何媒介进行自学,尤其是科学文献和会议/专业课程。电子学习平台和在线“灰色文献”在该群体中也出乎意料地受欢迎。

本研究的局限性已在第1部分[1]中详细讨论,主要包括调查研究中典型的低应答率(3.9%)和选择偏倚。另一个局限性主要在于对实施预期障碍的识别,这些障碍是通过一个单项多选题来确定的。尽管设有评论选项,但并未产生有价值的补充。因此,受访者可能受到了这些预设答案的影响。我们无法验证受访者对“可推广性”和“数字基础设施”等术语的理解是否与研究者的本意一致。此外,Strohm等[3]所识别的一些选项,如临床实践中的附加价值,并未纳入选项中。关于偏好的自学媒介,本调查是在COVID-19疫情前时代进行的,在线媒介可能因此迅速普及,推测如今关于该子主题的结果会大不相同。

总之,这项大型国际调查的第2部分表明,将人工智能(AI)纳入住院医师培训项目得到了广泛的社区支持。放射学界正逐渐认识到AI实施的障碍,并指出伦理和法律问题以及知识缺乏是主要瓶颈。经过良好整理的数据集和数字基础设施的必要性似乎是更常被忽视的挑战。基于本研究的结果,将AI教育整合到放射学课程中,包括数据管理技术方面、偏倚风险以及伦理和法律问题,似乎是助力AI成功融入诊断放射学的未来方向。

引用

  1. Huisman M, Ranschaert E, Parker W, et al. An international survey on AI in radiology in 1041 radiologists and radiology residents part 2: expectations, hurdles to implementation, and education. Eur Radiol. 2021. PMID: 33974148. doi:10.1007/s00330-021-07782-4
  2. 全文:PMC8111651(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8111651/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。