文献速递技术与安全

将人工智能培训整合进放射科住院医师培训项目的框架:培养未来的放射科医生

A framework to integrate artificial intelligence training into radiology residency programs: preparing the future radiologist.
PubMed 文献 · Insights Imaging · 2024-01-17

该研究提出一个五步框架,用于在现有放射科住院医师培训项目中开发和实施快速人工智能课程,并试点了一个3天课程。课前和课后调查显示,参与者对放射科人工智能知识和理解的自评信心从均值3.25(SD=1.48)显著提高到6.5(SD=0.90)(p=0.002),75%的参与者确认课程涵盖与其放射科工作适用的主题。作者结论为,使用该框架设计并实施人工智能课程是可行的,该3天课程有效提高了参与者对放射科人工智能知识和技能的感知,可作为进一步定制化的起点。

要点

  • 五步框架可用于在放射科住院医师培训中开发和实施人工智能课程。
  • 3天人工智能课程使参与者对放射科人工智能知识与技能的自评信心显著提高。
  • 75%参与者确认课程主题适用于其放射科工作,基础讲座和专家小组讨论被评为最有用。

核心结论

  • 使用所提出的框架为放射科住院医师设计人工智能课程并将其纳入放射科住院医师培训项目是可行的。
  • 该3天人工智能课程有效提高了参与者对放射科人工智能知识和技能的感知,可作为进一步定制化的起点。

研究设计与样本

  • 本研究为在现有放射科住院医师培训项目中设计、实施和评估人工智能课程的研究,重点评估可行性和住院医师的认可度。
  • 课程框架包含五个连续步骤:组建人工智能专家团队、评估住院医师知识水平和需求、定义学习目标、将目标与有效教学策略匹配、实施并评估试点。
  • 由人工智能工程师、放射科医生和放射科住院医师组成的多学科团队设计了为期3天的课程,包括授课讲座、动手实验室环节和与专家的小组讨论。
  • 课前调查由17名住院医师完成(回复率100%),课后调查由12名参与者完成(回复率100%),使用Wilcoxon秩和检验分析。

诊断标准与关键数值

  • 参与者对放射科人工智能方法知识和理解的自评信心:课前均值3.25(SD=1.48),课后均值6.5(SD=0.90),Z值=−3.06,p值=0.002。
  • 75%的参与者确认课程涵盖适用于其放射科工作的主题。
  • 75%的参与者表示会向同事和未来放射科医生强烈推荐该课程,75%的参与者对将课程纳入常规放射科住院医师培训项目持积极态度。
  • 仅2名参与者(16.7%)认为动手实验室环节(在预定义临床研究数据上构建算法)有用。
  • 课前调查中,住院医师希望纳入课程的主题包括:如何在放射科医生工作流程中实施人工智能(15名住院医师/88.2%)、理解机器学习和深度学习(7名/41.2%)、人工智能如何用于临床实践(12名/70.6%)和研究目的(10名/58.8%)。

临床应用与阅片要点

  • 作者认为该五步框架可供其他放射科部门参考,用于准备类似的快速人工智能课程。
  • 作者建议未来课程可考虑在居民需求和专家建议基础上,平衡技术性较强和更视觉化的方法。
  • 作者建议将 Accreditation 和技能评估作为医学领域人工智能课程的下一步。
  • 作者建议未来课程整合更多客观评估(如多选题、基于病例的评估或实践考试),并考虑整合净推荐值(NPS)。

局限性

  • 研究结果在一定程度上依赖背景,不同环境可能有不同需求和可用资源;组建人工智能专家团队在其他机构可能不可行。
  • 自报的课前和课后评估调查可能引入偏倚,完成课程的正向体验可能夸大参与者课后信心。
  • 缺乏客观评估来衡量参与者在课程前后对人工智能软件理解和评估的熟练程度。
  • 课程在单一学术医院开发并执行,样本量小(12名参与者),结果可能无法完全推广到其他放射科部门。
  • 课程以单一方式实施,且依赖一次性课后调查,缺乏纵向评估。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Jan 17;15:15. doi: 10.1186/s13244-023-01595-3

引言

人工智能(AI)对医疗保健的影响是巨大的,众多应用已经在改变临床实践[1–3]。在放射科,使用AI可以改善行政工作流程、图像采集、判读和疾病检测,从而转变放射科医生在这一过程中的角色[4]。例如,基于AI的算法可以通过对胸部X线片进行优先级排序来优化放射科工作流程,从而缩短关键发现的报告周转时间[5]。它们还能最大化图像采集质量,例如通过减少MRI扫描中的噪声和伪影[6],并改善数字乳腺X线摄影中乳腺癌的早期检测[7]。一个未来工作流程的演示展示了AI如何影响影像生命周期中的多个步骤,整合了AI可能提供帮助的各种示例[8]。传统上,放射科医生被期望在医学影像设备、图像归档和通信系统以及其他放射信息系统方面做出管理决策和投资。然而,AI驱动的诊断决策和工作流程效率工具的出现提出了新的挑战,要求放射科医生对AI系统有基本了解[9]。对放射科医生进行AI能力和局限性的教育,使他们能够评估AI系统,对于确保他们能够最佳利用AI解决方案以改善和维持高质量、安全和有效的患者照护至关重要[10, 11]。

尽管AI的重要性不可避免,但先前关于为现有放射科住院医师培训项目开发AI课程的研究很少[12, 13]。此外,放射科住院医师培训项目普遍缺乏正式的AI培训,大多数学术机构尚未提供此类培训[14]。因此,我们旨在提出一个框架,以在现有放射科住院医师培训项目中开发和实施快速通道AI课程,目标是培养新一代具有AI意识的放射科医生。

方法

格罗宁根大学医学中心(UMCG)的机构审查委员会批准了该研究,参与者提供了知情同意。所遵循的程序符合伦理标准和人体 regulations。本研究是受资助项目B3CARE(B3CARE;www.b3care.nl)的一部分。

我们开展了一项关于如何设计、实施和评估AI课程的研究,该课程专门为放射科住院医师教育量身定制,并强调评估其可行性和放射科住院医师的认可度。据此,我们开发了一个由五个连续步骤组成的框架(图1)。组建多学科AI专家团队

评估住院医师的知识水平和需求

定义学习目标

将这些学习目标与有效方法相匹配

执行并评估试点

每个步骤在下面更详细地描述。遵循这一五步框架,由AI工程师、放射科医生和一名放射科住院医师组成的多学科团队设计了一个为期3天的AI课程。

图1 在现有放射科住院医师培训项目中开发和实施AI课程的五步框架。AI,人工智能 查看原图 ↗

步骤1:组建AI专家团队

成立了一个多学科团队,在放射科住院医师培训项目中设计并实施人工智能课程。该团队由以下人员组成:来自特文特大学机器人与机电一体化组的具备教育与科学专长的人工智能工程师(C.O.T.、E.I.S.H.),作为健康数据科学中心(DASH,UMCG,P.M.A.v.O.、R.V.)成员的数据科学专家,在人工智能领域经验丰富且目前掌握最新科学进展与实际应用、来自UMCG放射科的放射科医师(D.Y.、R.V.、T.C.K.),放射科住院医师培训项目主任(W.N.、M.J.L.),以及一位对放射学中人工智能有特别兴趣的放射科住院医师(M.J.v.K.)。

步骤2:询问你的住院医师

一份课前调查(补充材料1)由所有17名住院医师匿名完成,包括2021年4月在格罗宁根大学医学中心放射科工作的初级和高级住院医师(经验1–5年)。课前调查包括八个问题,用以询问住院医师目前对人工智能的了解、他们希望学习的具体主题以及他们偏好的学习方法。这些信息随后被用于人工智能课程的设计和评估过程。

步骤3:确定受众和首要学习目标

基于多种因素(包括住院医师的偏好、实际考虑,以及为了促进有效互动和小组讨论),课程的最佳小组规模被确定为12名参与者。然而,由于可用人数有限且共有17名放射科住院医师,放射科住院医师培训项目主任和人工智能专家团队优先考虑高级住院医师(3–5年经验)而非初级住院医师(1–2年经验)。因此,纳入11名具有3–5年经验的高级住院医师(均为2022年10月在放射科工作的高级住院医师)参加该课程。该课程对高级住院医师为强制参加,且不要求事先具备计算机科学或编程方面的技能或经验。在剩余一个名额的情况下,一位具有10年工作经验并对人工智能教育表现出兴趣的主治放射科医师占据了最后一个席位。所有参与者均被期望具备医学影像技术及其临床应用的基本知识、理解和经验。

学习目标由人工智能专家团队根据机构目标和所有住院医师的课前调查结果提炼而成。排名前3的学习目标是理解以下内容:人工智能系统的基本架构结构、如何利用人工智能进行临床研究,以及如何在临床实践中使用人工智能。这些学习目标被定义为简短的内容:学习人工智能基础知识、获得构建算法的经验,以及理解人工智能在临床研究和临床实践中的意义。另一个学习目标是熟悉人工智能使用的计费、法律和伦理方面。学习目标的详细描述见表1,内容的简短描述见表2。本课程的学习目标基于为技术医学学生设计的既定长期课程而制定,该课程是由B3CARE支持的大型项目。我们的人工智能专家团队此前为技术医学学生开发了一门相关的完整学期课程,提供了一个基础结构,该结构经过浓缩和修改以服务于培训中的放射科住院医师。

表1 根据机构目标和课前调查结果提炼的学习目标 查看原表 ↗
表2 人工智能课程内容分为3天的简短描述 查看原表 ↗

步骤4:教学形式

根据课前调查和人工智能专家团队的投入,课程的学习目标与不同的学习方法相匹配。课程形式包括关于底层人工智能算法基础的理论讲座、使用取自Orange(https://orangedatamining.com)的临床研究数据进行算法构建的动手实验室环节(例如,定义训练集和测试集、调整超参数、过拟合的后果、解释结果)、小组讨论(计费、法律和伦理问题)、与人工智能专家的问答环节,以及商业供应商代表的演示。我们要求供应商侧重于提供关于将商业可用的人工智能系统整合到机构工作流程中的见解以及相关的实施挑战,而不是推销其软件。供应商的演示工具在演示前由讲师(C. O. T.)审查,供应商明确披露了其潜在的利益冲突。

课程长度根据住院医师的偏好(课前调查结果)、实现学习目标的可行性以及纳入放射科住院医师培训项目的实际可行性确定:课程总长度为3天(正常工作时间内每天8小时)。在这24小时中,大约9小时专门用于第一个学习目标,9小时用于第二个,6小时用于第三个。

步骤5:启动并评估试点

课程后调查(补充材料2)由课程的全部12名参与者(11名高年资放射科住院医师和1名经验丰富的放射科医师)完成。课程后调查包含一组22个问题,旨在评估参与者的期望和学习目标实现的程度、课程对其人工智能相关知识和技能的影响,以及课程对其未来职业和专业工作的潜在影响。参与者在课程前后感知信心水平的变化在课程后调查中进行了回顾性评分。课程后调查产生的建议和人工智能专家团队的见解被收集用于课程的未来修订。利用5步框架开发、运行和评估人工智能课程需要约20个月的时间,估计每周总共投入2小时。

统计分析

所有结果均进行描述性分析。使用R语言进行统计计算,采用Wilcoxon秩和检验评估参与者在课程前后对放射学中基于人工智能方法的知识和理解的自报信心水平。

结果

共17/17名住院医师完成了课程前调查(回复率100%)。调查表明,大多数住院医师对人工智能几乎没有知识或经验(表3)。大多数住院医师认为有必要在放射科住院医师培训项目中实施人工智能教育(图2)。住院医师希望纳入课程的主题如下:如何在放射科医师的工作流程中实施人工智能(15名住院医师/88.2%)、理解机器学习和深度学习(7名住院医师/41.2%)、以及人工智能如何应用于临床实践(12名住院医师/70.6%)和研究目的(10名住院医师/58.8%)(表3)。住院医师提出了多种学习方式:将人工智能教育整合到现有临床轮转中(10名住院医师/58.8%)、关于人工智能的单独学习课程(9名住院医师/52.9%)、或关于人工智能的在线学习模块(8名住院医师/47.1%)(表3)。

共有12/12名参与者完成了课程后调查(回复率100%)。完成后,参与者对放射学中基于人工智能方法的知识和理解的自评信心水平显著提高(回顾性评定的课程前平均信心水平=3.25(标准差=1.48),课程后平均信心水平=6.5(标准差=0.90),Z值=−3.06,p值=0.002)(图3)。课程的小组规模(12名参与者)和时间投入(3天)被认为是高效的(表4)。此外,9名参与者(75%)确认课程涵盖的主题适用于他们作为放射科医生的工作(图4)。关于人工智能基础知识的讲座和关于人工智能的小组讨论被评为最有用的(图4)。只有2名参与者(16.7%)认为动手实验室课程(在预定义的临床研究数据上构建算法)有用(表4)。9名参与者(75%)指出他们会强烈向同事和未来的放射科医生推荐该课程,9名参与者(75%)对将课程纳入常规放射学住院医师培训项目持积极态度(图4)。然而,课程被发现对某些领域涵盖不足,包括医院管理层对人工智能相关法律和保险问题的看法、将人工智能整合到其工作流程中的放射科医生的意见(例如:他们如何选择合适的AI软件),以及欧洲医疗保健中AI驱动工具的成本效益策略(表4)。

表3 课程前调查的结果,该调查由八个问题组成 查看原表 ↗
图2 课程前和课程后调查的突出结果。*0值未显示在饼图上。a 课程前调查中的问题,包括17份回答。b–d 课程后调查中的问题,每个问题包括12份回答 查看原图 ↗
图3 参与者对放射学中基于人工智能方法的知识和理解的信心水平。AI,人工智能。共12份关于参与者信心水平的回答,采用0至10分量表(0=完全没有信心,10=非常有信心),由参与者在课程后调查期间评定。Wilcoxon秩和检验得出课程前平均值为3.25(标准差=1.48),课程后平均值为6.5(标准差=0.90),Z值=−3.06,p值=0.002 查看原图 ↗
表4 课程后调查的结果,该调查由22个问题组成 查看原表 ↗
图4 关于AI课程哪部分被评价为最有用的结果。AI,人工智能。课程后调查中的问题,包括12份回答;可多选 查看原图 ↗

讨论

通过本研究,我们证明了在放射科住院医师培训项目中实施一个用于开发和交付为期3天的人工智能课程的框架的可行性。该框架包括五个关键步骤(组建人工智能专家团队、评估住院医师的知识和需求、确定受众和学习目标、确定教育形式,以及启动和评估试点),其他放射科可能会发现这些步骤有助于准备类似的快速人工智能课程。课程后调查表明,该课程提高了参与者自报的在放射学实践中处理基于人工智能的方法的信心。参与者还建议将该课程作为现有放射科住院医师培训项目的标准组成部分纳入。关于人工智能基础的讲座和与专家的小组讨论被认为最有用,而包含构建算法的动手实验室环节被评为不太有用。此外,参与者认为3天的课程长度足够。这些结果作为课程有效性的标志,强调了其在放射科住院医师培训项目中的实用性。

此前有两项研究[12, 13]报告了放射科住院医师培训项目中人工智能课程的开发和实施。Shiang等[12]评估了住院医师使用基于人工智能的决策支持系统应用的实时体验和感知。住院医师认为该方法可取,并报告了积极的体验。然而,他们研究的一个主要局限性是缺乏可推广性,因为他们关注的是一个市售平台的使用,而不是基于人工智能系统的底层概念及其实际应用。因此,这种方法可能无法全面概述人工智能在放射学实践中的潜在作用,也可能不适用于或不适合使用不同平台或供应商的其他机构。此外,该研究未包含对机器学习和深度学习更基础概念的学习目标的详细描述。尽管如此,我们确实同意他们的培训设计将为参与者应对未来人工智能进展做好准备,实时体验可以成为更全面课程的一部分。

Hu等[13]开发了一个为期3周的人工智能工作坊。他们工作坊后调查的结果显示,参与的住院医师在理解人工智能概念方面的信心有所提高,与我们的结果相似。他们提出了方法的全面概述及学习目标,使其更可推广到其他机构。尽管如此,该研究的一个主要局限性是课程长度(3周),这限制了将该课程嵌入放射科住院医师培训项目的可行性。在我们的研究中,我们设计了一个为期3天的课程,参与者认为足够,且放射科住院医师培训项目负责人认为可以轻松纳入现有放射科住院医师日程。然而,Hu等深入探讨了人工智能的技术方面,而我们则侧重于实施、立法和伦理等更广泛的方面。

最近,Salastekar等人[15]基于对美国759名住院医师的一项调查,强调了对人工智能(AI)教育需求的重要性。他们发现,大多数放射科住院医师认为AI教育应纳入放射科培训计划。他们发现,动手实验室课程和教学讲座被评为最有效的学习方式,但在我们的研究中,尤其是动手实验室课程,并未被评估为最有价值。这可能是因为我们使用了一个开源的研究数据集(Orange,https://orangedatamining.com)。一些住院医师认为这种方法过于技术化(编写和调整算法),更倾向于一种更简单、更直观的方法,这可能更接近放射科医师的工作。这与先前其他研究的结果一致,那些研究中住院医师认为AI重要且值得学习,但大多数对学习编程兴趣不大[16],简化且自包含的编程环境也可以作为自我探索的良好机会[17]。然而,偏好可能并非回避技术复杂性的唯一原因。AI专家团队仍然认为相对深入的技术方法是必要的。在未来的课程中,可以根据住院医师的需求和专家建议,考虑平衡这些观点,即采用技术性较低且更直观的方法。

关于内容方面,在我们的课程后调查中,参与者认为课程中遗漏了一些主题。例如,目前在工作中使用AI的放射科医师的意见、医院管理层对AI相关法律和保险问题的看法,以及欧洲AI工具在医疗保健中的成本效益策略,我们的课程均未涵盖。Huisman等人[18]报告了类似发现,他们对1041名放射科医师进行了关于放射学中AI的调查,结论是AI教育应包括数据管理、伦理和立法相关问题。我们通过邀请商业供应商的代表在小组讨论中提供见解,涉及了数据管理和实施挑战。该课程部分可以通过纳入更多(或特定的)商业AI软件来进一步改进(Van Leeuwen等人提供了100种可用于放射学的商业AI软件的完整列表[19]),尽管这会因增加对外部资源和时间投入的需求而增加额外负担。

伦理问题也在我们的课程中以小组讨论的形式涉及。然而,我们未纳入具有AI临床使用经验的伦理专家,也未涵盖立法方面、医院管理观点或欧洲的成本效益策略。由于这些是新兴主题,纳入与医院管理层、政策制定者和保险公司的小组讨论以探讨未来挑战将是有价值的。

在我们的课程中,我们未使用任何现有的学习平台或供应商平台。虽然一些学习平台是开源的,可以通过提供最新AI工具和资源的访问来促进学习,但其他平台则需要付费。根据预算和学习目标,使用现有学习平台可能是有用的,同时也允许每个机构根据自身特定需求和实践定制学习目标。

我们的研究未在课程完成后颁发证书,原因是我们不具备认证资质,且目前缺乏针对医疗保健领域人工智能的标准化认证。认识到全球机构正在参与医疗保健人工智能标准化的制定,我们建议将认证和技能评估作为医学领域人工智能课程的下一步考虑事项。近期一项研究确定了医生在医疗保健中使用人工智能工具所需的六项能力:基础知识、批判性评价、医学决策、技术使用、患者沟通以及对意外后果的意识[20]。类似这样的框架可用于制定医生人工智能教育的评估方案。

本提案存在一些局限性,应予讨论。第一,我们的发现在一定程度上依赖于具体情境,因为不同环境可能有不同的需求和可用资源。我们组建了一支人工智能专家团队,这在其他机构可能不可行。尽管如此,我们机构尚未获得整合到日常放射学实践中的大型平台,而这一点实际上可能与全球许多机构的情况相当。第二,我们的自我报告式课前和课后评估调查可能引入偏倚,即参与者因完成课程的积极体验而在课程结束后高估自身信心。缺乏客观评估来测量参与者在课程前后对人工智能软件的理解和评价能力,这是一项局限。为改进未来课程,我们建议在课程前后整合更多客观评估,如多项选择题、基于病例的评估或实践考试,以确保对参与者人工智能相关能力进行更全面的评价。此外,在我们的调查中,我们采用李克特量表法评价课程的各个组成部分。另外,整合净推荐值(NPS)可能有益,尤其是对于与推荐课程相关的问题。第三,我们的课程在一所单一学术医院中开发并实施,样本量较小(12名参与者)。因此,我们的结果可能无法完全推广到其他放射科。然而,其独立于商业可用平台以及在课程时长方面的实际可行性,将使其更容易在任何住院医师培训项目中实施。最后,课程以单一方式实施,加上依赖一次性的课程后调查,缺乏纵向评估。整合每年重复的课程并配合一致的调查结果和体验反馈,将提升其价值。我们计划进一步个性化我们的人工智能课程,使其每年面向我们的放射科住院医师开放,并利用年度调查结果持续进一步满足参与者的需求。通过多中心方法对未来人工智能教育项目进一步研究这些方面将会很有意义。这可能有助于提供更广阔的视角,并更深入地了解不同机构住院医师的看法和体验。

总之,使用所提出的框架为放射科住院医师设计人工智能课程并将其纳入放射科住院医师培训项目是可行的。为期3天的人工智能课程有效提高了参与者对放射学中人工智能相关知识和技能的认知,并可作为进一步定制课程的起点。

补充信息

附加文件1。

引用

  1. van Kooten MJ, Tan CO, Hofmeijer EIS, et al. A framework to integrate artificial intelligence training into radiology residency programs: preparing the future radiologist. Insights Imaging. 2024. PMID: 38228800. doi:10.1186/s13244-023-01595-3
  2. 全文:PMC10792147(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10792147/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。