欧洲放射学会会员对人工智能在临床放射学中当前实践经验的调查
欧洲放射学会2022年调查690名放射科医生,其中276名有临床AI使用经验,分布于32个国家229家机构。多数用户认为AI结果总体可靠,仅少数报告技术整合困难;仅22.7%诊断用途用户和23.4%工作流优先排序用户认为AI显著减轻工作量,总体影响有限。
要点
- 有临床AI经验的276名放射科医生中,75.7%认为诊断算法结果总体可靠。
- 仅22.7%诊断用途用户报告工作量显著减少,69.8%认为无此效果。
- 仅13.3%的690名受访者表示有意向采购AI工具。
核心结论
- 调查提示,与最初预期相比,AI算法在实际临床放射学中的应用有限,主要因对减轻放射科医生工作量的作用尚未被证实。
研究设计与样本
- 欧洲放射学会eHealth与信息学小组委员会设计的简要问卷调查,通过Survey Monkey平台于2022年1月向27700名ESR放射科会员发出邀请,2022年3月第二次提醒后关闭。
- 690名来自44个国家的ESR放射科会员回复,回复率2.5%;其中276名有临床AI算法实践经验者来自32个国家229家机构,构成本研究主要基础。
- 276名有经验者中143名(52%)来自学术机构、102名(37%)来自区域医院、31名(11%)来自私人执业。
诊断标准与关键数值
- 185名将AI用于诊断解读的受访者中,140名(75.7%)认为算法结果总体可靠。
- 44.4%的受访者记录放射科医生与算法之间的诊断差异,34.1%基于放射科医生诊断建立ROC曲线,30.3%基于最终病历建立ROC曲线。
- 111名将AI用于临床工作流优先排序的受访者中,23.4%认为算法对减少医务人员工作量非常有帮助,62.2%认为仅中等有帮助,14.4%认为完全无帮助。
临床应用与阅片要点
- 在诊断解读用途中,常见场景为特定征象的检测或标记,如肺栓塞与肺实质结节、脑出血与脑血流减低、CT结肠息肉,亦包括创伤性病变如平片骨折检测和骨龄计算。
- 其他诊断场景包括图像后处理(如图像重建或结构与功能异常的定量评估)、初步解读(可能替代放射科医生)、鉴别诊断辅助(如便利文献检索)和质量控制。
- 仅17.8%受访者报告将AI工具整合入工作流时遇到技术困难;37.7%未回答该问题。
- 34.6%的受访者在报告中提及使用了诊断算法,17.3%向患者披露。
- 仅22.7%的诊断用途受访者报告工作量减少,69.8%报告无减少效果。
局限性
- 调查数据不能反映欧洲放射科医生使用AI的真实比例。
- 若干问题的答案只能提供总体概览,部分议题值得更详细分析,例如用例场景的区分及验证结果所用方法。
- 观察基于2022年的情况,该快速发展领域的结果和观点可能迅速变化。
- 有实践经验者仅占ESR会员的1%,且受访者可能是对AI特别感兴趣的放射科医生,不能假定调查反映欧洲地区有AI实践经验放射科医生的真实比例。
- 放射科医生并非总直接参与软件整合的技术过程,可能解释该问题未回答比例较高。
全文中译8 节 · 点击展开
要点
在欧洲的临床放射学中,人工智能(AI)算法正被用于大范围的使用场景,包括辅助解释性任务、图像后处理以及工作流程中的优先级排序。
大多数用户认为AI算法总体可靠,并且在日常实践中未遇到重大的技术整合问题。
只有少数用户因AI算法而体验到放射医学工作人员工作量的减少。
背景与目标
数字成像天然适合从数据科学快速而令人兴奋的进展中获益。影像检查数量的增加及相关诊断数据量的增长,已导致许多欧洲国家放射工作人员与工作量之间的不匹配。在2018年对欧洲放射学会(ESR)成员进行的一项意见调查中,许多受访者期望基于人工智能(AI)尤其是机器学习的算法能够减少放射科医师的工作量[1]。尽管越来越多的基于AI的算法已可用于许多放射学使用场景,但大多数已发表的研究表明,这些工具中只有极少数有助于减少放射科医师的工作量,而大多数反而导致工作量增加或不变[2]。此外,在最近的一项文献分析中发现,100个已获CE标志的商业化产品其临床有效性的现有科学证据相当有限,由此得出的结论是放射学中的AI仍处于起步阶段[3]。本调查的目的是了解来自不同欧洲国家的放射科医师目前使用AI驱动工具的实际临床经验。
方法
欧洲放射学会(ESR)电子健康与信息学小组委员会成员制作了一项调查,并有意保持简短,以便能在几分钟内完成作答。一些人口学问题包括国家、机构类型(即学术科室、地区医院或私人诊所)以及放射学实践的主要领域,汇总于表1、表2和表3。对于有关使用基于人工智能(AI)算法的更具体问题,调查明确说明答案旨在反映临床常规经验,而非研究或测试目的。与AI使用相关的问题涉及受访者使用经认证的基于AI算法的工作经验、将这些算法整合到IT系统中可能遇到的困难,以及在临床常规中使用基于AI算法的不同用例场景,主要区分旨在促进诊断判读过程本身的工具(问题见图1)与旨在促进工作流程中检查优先排序的工具。具体问题涉及算法的技术整合(问题见表4);放射科医生对诊断性能的信心(问题见表5);评估诊断准确性的质量控制机制(问题见表6、表7和表8);向患者或在放射学报告中告知诊断相关算法的使用情况(问题见表9和表10);以及算法在减轻放射科医生工作负荷方面的实用性(问题见表11和表12)。受访者还有机会就其对基于AI工具的使用提供自由文本意见。那些未将基于AI算法用于临床实践的受访者被要求跳过所有与临床AI使用相关的问题,直接进入最后一个关于获取基于AI算法的问题,以便在所有参与放射科医生关于获取此类工具的意向的最终问题中考虑其意见(问题见图2)。
该调查由ESR中央办公室通过“Survey Monkey平台”(SurveyMonkey Inc.,美国加利福尼亚州圣马特奥)创建,并于2022年1月通过电子邮件邀请27,700名ESR放射科医生成员参与。调查在2022年3月第二次提醒后关闭。受访者的答案使用Excel软件(Microsoft,美国华盛顿州雷德蒙德)收集和分析。
结果
共有来自44个国家的690名欧洲放射学会(ESR)放射科医生会员回复了调查,回复率为2.5%。各国分布情况及各国具有基于人工智能算法实际临床经验的受访者比例见表1。
276名具有基于人工智能算法实际临床经验的受访者隶属于32个国家的229家机构;他们的回答构成了本研究的主要基础。表2显示,具有人工智能算法实际临床经验的受访者中,143名(52%)隶属于学术机构,102名(37%)在区域医院工作,31名(11%)从事私人执业。
表3描述了与表2相同的一组受访者的主要工作领域特征,显示调查涵盖了广泛的亚专科,腹部放射学、神经放射学、普通放射学和急诊放射学合计占受访者的一半。由于各分组人数相对较少,按亚专科对结果进行详细分析超出了本研究的范围。
关于将软件算法技术整合到IT系统或工作流程中的经验总结于表4,显示仅17.8%的受访者报告在整合这些工具时遇到困难,而多数44.5%的受访者未观察到此类困难,尽管37.7%的受访者未回答此问题。
算法在临床实践中用于辅助判读或工作流程优先级排序。受访者使用人工智能驱动算法的场景概览见图1。
使用算法辅助诊断判读
在276名分享了人工智能工具实际使用经验的受访者中,共185名(67%)报告了对一种或多种整合算法用于常规诊断任务的临床经验。如图1所示,存在不同的使用场景,最常见的是检测或标记特定发现。受访者的自由文本备注显示,几乎涉及所有临床领域和几乎所有影像模态的广泛病理类型。典型的病理示例包括肺栓塞和肺实质结节、脑出血和脑血流量减少,或CT上的结肠息肉。其他任务包括创伤性病变的检测,例如传统X线片上骨折的存在或骨龄的计算。第二常见的诊断场景是辅助后处理(例如使用人工智能工具进行图像重建或结构或功能异常的定量评估),其次是初步判读(即可能替代放射科医师)、辅助鉴别诊断(例如通过促进文献检索)以及质量控制。
尽管对所有不同诊断使用场景的详细分析超出了本调查的范围,但受访者对特定调查问题的回答见表5、6、7、8、9、10和11。由于部分受访者跳过或未完整回答某些问题,每个问题的是/否回答数量并不完整。如表5所示,大多数受访者(75.7%)认为算法提供的结果总体可靠。
相当数量的受访者声明他们使用了针对算法诊断性能的质量保证机制。这些包括在44.4%的受访者中记录放射科医师与算法之间的诊断差异,基于放射科医师诊断建立诊断准确性的受试者工作特征(ROC)曲线(34.1%)和/或基于最终病历的ROC曲线(30.3%)(表6、7和8)。
17.3%的受访者向患者披露了诊断算法的使用,但在报告中被提及的比例为34.6%(表9和10)。
使用人工智能算法进行诊断目的的受访者中,仅少数22.7%经历了工作量的减少,而69.8%报告对其工作量没有减少效果(表11)。
使用算法进行工作流程优先级排序
在276名具有基于人工智能(AI)工具实际使用经验的受访者中,有111名受访者(40%)报告在其临床工作流程中有使用图像集优先级排序算法的经验。如表12所示,使用这些排序算法的受访者中,23.4%认为这些算法对减轻医务人员工作负荷非常有帮助,而其他使用者认为仅有一定帮助(62.2%)或完全没有帮助(14.4%)。
所有受访者获取基于人工智能算法的意向
所有调查参与者,无论其是否有实际临床经验,均有机会回答是否打算获取经认证的基于人工智能的软件这一问题。在690名参与者中,92人(13.3%)回答“是”,363人(52.6%)回答“否”,235人(34.1%)未回答该问题。图2总结了不打算为其临床使用获取基于人工智能算法的参与者所给出的原因。
讨论
虽然此前关于人工智能的调查[1]基于欧洲放射学会(ESR)成员对人工智能对放射学影响的预期,但本次调查旨在获取基于人工智能算法当前实际临床经验的概况。尽管本次调查中具有实际临床经验的受访者仅占ESR会员的1%,但他们在所有受访者中的比例在不同国家之间差异很大。276名分享了在临床实践中使用此类工具经验的放射科医师的地理分布显示,大多数隶属于西欧和中欧或斯堪的纳维亚的机构。所有具有人工智能工具实际临床经验的受访者中,一半隶属于学术机构,而另一半在地区医院或私营服务机构从事放射学工作。由于本次调查的受访者很可能是对基于人工智能算法有特殊兴趣的放射科医师,因此不能假定本次调查反映了欧洲地区具有基于人工智能工具实际临床经验的放射科医师的真实比例。
本次简要调查的大多数受访者未遇到将基于人工智能的软件工具整合到本地IT系统的重大问题;不到18%的受访者确实遇到了此类问题。然而,必须考虑到放射科医师并不总是直接参与软件整合的技术过程;这一事实或许也可以解释未回答该特定问题的受访者数量相对较高。
如今,用于诊断目的的基于人工智能的工具可能涵盖广泛的使用场景。尽管本研究中受访者的自由文本回答反映了这一点,但本次调查主要区分了用于诊断目的的算法和用于工作流程优先级排序的算法,而对所有不同个体使用场景的详细分析超出了本次调查的范围。由于诊断工具通常相当具体并与器官和病理相关,即使在同一机构工作但属于不同亚专科的放射科医师,也可能因其各自领域相关的不同算法而有不同的经验。
在最近对美国放射学会(ACR)成员的一项调查中,人工智能最常见的应用是颅内出血、肺栓塞和乳腺X线摄影异常,尽管有指出在乳腺X线摄影的情况下,必须避免将基于人工智能的工具与更传统的计算机辅助诊断(CAD)软件混淆[4]。据估计,约30%的放射科医生使用了人工智能,但对性能不一致和生产力可能下降的担忧被认为是限制此类工具使用的障碍。超过90%的受访者不会信任这些工具用于自主使用。结论是,尽管最初的预测,人工智能对临床实践的影响是适度的[4]。
基于机器学习的算法的质量保证可能相当耗时,并且需要大量资源。对一个随时间自我适应的设备的灵敏度和特异性的有效监督,可以通过记录放射科医生诊断与算法诊断之间的差异来完成,但理想情况下应结合定期监测,以最终诊断作为金标准进行比较——即所谓的“地面真实”。尽管对基于人工智能的工具充满热情,但在临床实践中实施这项新技术时,还有一些障碍需要解决。这些包括监督学习所需的大量标注图像数据,以及这些算法每个使用场景的验证和质量保证,最后但同样重要的是,包括认证在内的监管方面[5, 6]。最近对市场上可获得的CE标记的放射学用途人工智能产品的概述发现,在来自54家供应商的100个产品中,只有18个产品记录了3级或更高潜在疗效的科学证据,而且大多数这些产品缺乏临床影响的证据[3]。
尽管如此,作为总体印象,本次ESR调查中在其临床实践中使用基于人工智能算法的受访者大多数认为,其诊断发现对于所使用的情境范围是可靠的。值得注意的是,44%的受访者记录了放射科医生与算法发现之间出现的差异,并且大约三分之一表示他们根据放射学报告或临床记录生成了ROC曲线,以计算算法在临床实践中的性能。关于方法学的细节,例如用于建立这些数据的自动化程度,既未向受访者询问,也未由受访者提供。然而,由于超过一半的受访者在学术机构工作,有可能一些算法不仅在临床常规背景下进行评估,也在科学研究研究的背景下进行评估,从而解释了算法质量监督的相对较高水平。参与本次调查的放射科医生中只有一小部分告知患者使用人工智能进行诊断,大约三分之一在报告中提到了这一点。只要放射科医生而非算法做出最终诊断,这可能是可以理解的。
然而,重要的问题仍然是人工智能驱动的工具能在多大程度上减轻放射科医生的工作量。在2018年进行的上一届ESR调查中,51%的受访者预期使用人工智能工具将导致报告工作量的减少[1]。近期一项基于大量已发表研究的分析评估了人工智能对诊断放射科医生工作量的实际贡献。该研究得出结论,尽管人工智能常常为患者诊疗带来附加价值,但仅在4%的机构中工作量减少,而在48%的机构中工作量增加,在46%的机构中保持不变[2]。本次调查的结果略显更为乐观,因为近23%的受访者在使用算法进行临床实践中的诊断辅助时经历了工作量的减少,而近70%的受访者则没有。以工作流程优先级排序为目标的算法的观察结果与之相当。鉴于人工智能工具可应用的使用场景范围广泛,需要进一步研究以确定人工智能算法在哪些亚专科中针对哪些具体任务和问题有助于减轻放射科医生的工作量。 typically,这可能适用于那些涉及相对简单的诊断发现检测且病例量大的场景。
2018年的上一届ESR调查纳入了675名参与者,其中20%已经在使用人工智能驱动的工具,30%计划使用[1]。本次ESR调查纳入了690名参与者,其中276名(40%)在临床实践中有此类工具的使用经验。然而,当本次调查的所有参与者被问及是否打算获取经认证的人工智能算法时,仅有少数(13.3%)回答是,而多数要么回答否(52.6%),要么未回答该问题(34.1%)。给出否定回答的原因包括对附加价值或所宣传性能的怀疑,或对增加工作量的担忧。然而,我们必须考虑到,对这一特定问题的回答不仅包括有实际临床使用经验的受访者的意见,也包括那些更多在科学项目背景下使用这些算法(包括非商业性的、自研的人工智能工具)的受访者的意见。
本次ESR调查的结果难以与近期的ACR调查[4]进行比较,不仅因为问题不尽相同,还因为欧洲各国之间存在差异。尽管如此,两项调查均得出结论,与最初的预测和预期相比,人工智能算法对当前放射学实践的整体影响是有限的。
本次简要调查的几个局限性需要提及。首先,调查数据无法反映使用人工智能的欧洲放射科医生的真实比例。其次,对若干问题的回答只能提供总体概览,尽管本次调查所涉及的某些问题值得更详细的分析。例如,关于使用场景的区分以及用于验证其结果的方法学,情况确实如此。第三,观察结果基于2022年的情况,而在这个不断发展的领域中,结果和观点可能会迅速变化。
总之,本调查表明,与最初的预期相比,如今人工智能(AI)驱动算法在实际临床放射学中的应用是有限的,最重要的是因为这些工具对减少放射科医生工作量的作用仍未得到证实。随着针对特定场景的AI驱动算法积累更多经验,且其使用中的一些障碍未来可能得到缓解,对本次初步调查的后续跟进可为进一步了解这些工具的有用性提供更多见解。
引用
- Current practical experience with artificial intelligence in clinical radiology: a survey of the European Society of Radiology. Insights Imaging. 2022. PMID: 35727355. doi:10.1186/s13244-022-01247-y
- 全文:PMC9213582(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9213582/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。