指南与共识技术与安全

ESR要点:如何获得有价值的放射学AI——早期卫生技术评估的作用:欧洲医学影像信息学会的实践建议

ESR Essentials: how to get to valuable radiology AI: the role of early health technology assessment-practice recommendations by the European Society of Medical Imaging Informatics.
指南 / 共识 · Eur Radiol · 2024-12-05

本文由欧洲医学影像信息学会提出实践建议,主张将早期卫生技术评估(eHTA)纳入放射学AI工具的开发全生命周期。价值评估应覆盖HTA核心模型九大领域及AI特有领域(如可解释性、泛化性),并强调评估需系统、透明、可操作。三项关键推荐分别涉及全面价值评估、早期eHTA整合及仅对具有透明价值评估的工具考虑广泛临床整合,证据等级为中等或低。

要点

  • 放射学AI的价值应综合涵盖HTA领域与AI特有领域,如临床有效性、成本效果、可解释性和泛化性。
  • 早期HTA应作为AI工具开发的内在组成部分,方法需系统、透明、可操作并咨询利益相关者与最终用户。
  • 仅对具有透明价值评估、且评估涵盖特定预期工作流程及本地环境影响的AI工具,才考虑广泛临床整合。

核心结论

  • 将早期HTA纳入开发过程进行基于价值的开发,将产生更有价值的放射学AI工具,从而促进向临床实践的转化。

研究设计与样本

  • 本文为欧洲医学影像信息学会发布的实践建议文件,基于对HTA核心模型、FUTURE-AI指南和RADAR框架的讨论提出建议。
  • 关键推荐共3条,证据等级分别为中等(Moderate)、低(Low)、中等(Moderate)。

诊断标准与关键数值

  • 推荐1:放射学AI的价值评估应考虑所有潜在价值方面,包括HTA领域和AI特有领域如临床有效性、成本效果、患者与社会影响、可解释性和泛化性(证据等级:中等)。
  • 推荐2:放射学AI的早期HTA应成为AI工具开发的组成部分,方法应系统、透明、可操作,并咨询利益相关者和最终用户(证据等级:低)。
  • 推荐3:仅对具有透明价值评估、评估涵盖特定预期工作流程及本地环境(如患者人群、扫描方案、患者管理)对AI工具性能影响的工具,才考虑广泛临床整合(证据等级:中等)。

临床应用与阅片要点

  • 作者主张在AI工具设计阶段即启动eHTA,采用基于预测和期望的迭代评估,并随最新信息更新直至开展试点或研究试验。
  • 作者认为eHTA方法可包括多标准决策分析(MCDA)和决策建模,用于比较备选方案价值或模拟成本效果。
  • 作者指出最终用户(如放射科医生、患者)应积极参与制定eHTA框架要求,以推动透明综合评估成为常规实践。

局限性

  • 目前尚缺乏针对放射学AI的全面eHTA方法。
  • RADAR框架为近期开发,基于RADAR构思的研究尚未开展。
  • eHTA缺乏验证性研究,评估过程需依赖预测来运作。
  • MCDA需代表性利益相关者集合,可能成本高且耗时。
  • 目前MCDA和决策建模等eHTA方法很少实施,凸显开发周期的缺口。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Dec 5;35(6):3432–41. doi: 10.1007/s00330-024-11188-3

关键推荐

对放射学人工智能的价值评估应考虑价值的各个潜在方面。这些方面由卫生技术评估领域和放射学人工智能特定领域描述,如临床有效性、成本效果、患者与社会影响、可解释性和泛化性。(证据水平:中等)

放射学人工智能的早期卫生技术评估应作为人工智能工具开发的组成部分。所采用的方法应系统、透明且实用,并咨询利益相关者和最终用户,以确保工具符合临床实践的高标准并满足医疗保健中的相关需求。(证据水平:低)

只有对特定预期工作流程的前瞻性影响进行透明价值评估的放射学人工智能工具,才应考虑广泛临床整合。这包括当地环境(例如患者人群、扫描方案、患者管理)对人工智能工具性能的影响。(证据水平:中等)

引言

近年来,越来越多的放射学人工智能(AI)工具被开发出来,在研究环境中显示出有前景的性能,有时与放射科医师相当或超过放射科医师[1]。然而,这些工具中只有有限数量实际用于日常临床实践,这通常是由于已开发AI工具的功能与日常临床实践需求之间的不匹配。许多此类工具仅针对其技术性能和诊断准确性进行评估,且通常在受控条件下(例如严格的纳入/排除标准)进行,偏离真实世界实践[2–5]。工具对诊断思维、治疗决策、临床工作量、患者结局的影响,包括成本效果分析,在开发过程中往往未被量化,甚至未被考虑[2, 5–8]。2022年欧洲放射学会的一项调查说明了开发者与最终用户之间的不匹配,该调查显示约40%的放射科医师具有基于AI工具的实际临床经验,而仅有略高于10%的人有兴趣为其执业获取AI[9]。因此,有必要对拟议的放射学AI工具的潜在价值进行早期评估,以提高其在临床实践中的价值[10–12]。

各种形式的早期卫生技术评估(eHTA)已在医疗保健中被用作有价值工具开发的关键要素[13]。eHTA基于卫生技术评估(HTA)的综合评价,但将评估时机前移。eHTA不是在随机对照试验(RCT)研究等临床内测试的基础上进行评估,而是在工具设计阶段的转化研究起始时即启动。eHTA基于预测和预期,并随着最新信息不断更新,直至试点或研究试验启动(见图1)。这提供了早期识别有价值技术目标的机会。de Windt TS等人[14]针对软骨修复技术开展的eHTA即是此类示例之一。然而,在该示例中,评价仅限于经济预测模型。因此,这种有限的范围遗漏了属于eHTA组成部分的其他价值方面。此外,放射学人工智能(AI)的独特属性将需要现有eHTA方法之外的其他价值方面。目前,尚缺乏针对放射学AI的eHTA综合方法。

因此,本文旨在明确eHTA如何应用于放射学AI开发,以促进基于价值的AI,从而弥合研究与临床实践之间的差距(见图1)。首先,介绍HTA以解释医疗保健中价值评估的一般方法学,重点聚焦HTA Core Model®。其次,我们将明确AI工具与非AI工具价值评估之间的差异以及放射学AI的独特属性。将讨论FUTURE-AI指南和RADAR框架作为将HTA Core Model®应用于放射学AI的示例。第三,我们将描述eHTA在卫生技术开发中的益处以及如何对放射学AI工具实施eHTA。最后,我们将提出关于将eHTA作为放射学AI工具开发中常规实践的愿景。

图1 放射学AI开发简化概览。IJzerman等人[40]区分的四个阶段:基础研究、转化研究、临床研究以及准入与定价。放射学中有价值的AI可通过综合价值评估如卫生技术评估(HTA)Core Model®来确定。在开发过程中为实现价值并弥合开发差距提供指导,可通过早期卫生技术评估(eHTA)框架来实施,此处将其可视化为HTA领域评估的迭代过程以及两种eHTA方法(例如决策建模和多准则决策分析)。AI,人工智能;eHTA,早期卫生技术评估;HTA,卫生技术评估 查看原图 ↗

卫生技术评估

医疗保健中的卫生技术评估

对于人工智能工具的总体评估,最重要的是考虑其潜在价值和临床影响。一般来说,医疗保健中的“价值”被描述为以实现该改善的成本所衡量的患者健康结局改善 [15]。然而,对于何种指标被视为健康结局以及哪些成本与这些结局相关联存在各种解释,这导致了多种价值评估方法的开发 [16–18]。此类评估是卫生技术评估(HTA)研究领域的一部分。HTA 是一个多学科过程,以完整、系统、透明、无偏倚且稳健的方式总结与卫生技术使用相关的医学、社会、经济和伦理问题的信息。其目的是提供患者卫生技术价值的完整概览。

HTA Core Model® 是研究最为广泛的方法之一 [19]。它已成为(欧洲)HTA 机构执行和报告其对新开发药物及其他卫生技术报销建议的首选模型,因此是我们的主要关注点。

HTA Core Model®

HTA Core Model® 是作为一个多学科、综合性的价值评估框架而开发的,适用于各种项目和组织。HTA Core Model® 考虑九个价值评估领域:当前使用、技术、安全性、临床有效性、成本与经济、伦理分析、组织、患者与社会以及法律。每个领域描述卫生技术的一个不同方面,目标是提供全面的价值评估清单。HTA Core Model® 不直接提供卫生技术的建议或价值,而是一种系统的综合方法,以确保所有潜在的价值方面都得到考虑、总结和报告,如 Mäkelä 等人 [20] 和 Galekop 等人 [21] 的示例所示。并非 HTA Core Model® 的所有方面都可能与特定卫生技术相关,但该模型最大限度地减少了忽视卫生技术负面或正面影响的可能性。

HTA Core Model® 可作为放射学人工智能领域 HTA 的坚实基础,因为其大多数价值方面适用于放射学人工智能领域。然而,人工智能工具的价值评估还包含若干非人工智能卫生技术中不存在的独特方面,我们将在下一节中讨论。

放射学中基于价值的人工智能

放射学人工智能工具的当前价值评估

人工智能工具的价值通常主要通过技术性能和诊断准确性来评估,而非在患者、医疗保健或社会层面进行评估 [16]。传统上,模型的技术性能通过人工智能流程的稳定性和互操作性以及处理速度来评估。在过去几年中,已建立了多个报告指南以拓宽评估范围并帮助描述放射学人工智能工具的开发过程(例如 Decide-AI、CLAIM、CLEAR)[22–28]。这些指南增强了人工智能开发方法的透明度,并作为开发者的清单以确保某些任务已完成 [23]。然而,由于这些是报告指南,它们缺乏对人工智能模型开发有用的系统且实用的方法。

人工智能与非人工智能

人工智能与其他非人工智能卫生技术工具之间存在关键差异(见表1)。非人工智能方法通常执行预先确定的操作,而人工智能工具则不同,它从示例数据中自动学习模式。因此,人工智能可以整合来自各种来源的数据,揭示复杂的关系,以支持和更新我们对诊断、预后和治疗选择的见解。然而,人工智能工具底层的高度复杂数据处理往往缺乏对其确切工作机制的透明度[29–31]。这些人工智能特有的问题意味着通用的HTA Core Model®在放射学人工智能工具的价值评估中存在不足[32, 33]。

表1 人工智能与非人工智能卫生技术工具特征之间与卫生技术评估相关的差异 查看原表 ↗

FUTURE-AI可信赖和可部署人工智能指南

可能扩展HTA Core Model®的一个极好来源是基于德尔菲共识的FUTURE-AI框架,用于可信赖和可部署的人工智能[34]。该框架具有全面的价值范围,可与HTA相媲美,但价值概念是针对放射学中的人工智能而具体化的。FUTURE-AI基于医疗保健中可信赖和可部署人工智能的六个指导性关键概念提出了28条指导原则:公平性、普遍性、可追溯性、可用性、稳健性和可解释性。由于这些概念存在多种定义,我们重点介绍FUTURE-AI概念针对不同HTA领域的一些补充示例。

HTA领域“当前使用”的主要目的是以医学为重点描述目标疾病及这些疾病的当前管理(例如流行病学、过度诊断)。FUTURE-AI关于普遍性的第一条指导原则是定义预期用途和用户需求。该指导原则强调医疗机构之间的差异可能影响人工智能工具的通用性(例如目标人群、医疗设备或IT基础设施)。

HTA Core Model®所描述的伦理分析考虑与技术相关的普遍社会和道德规范及价值观。该领域涵盖十九个议题,将识别大多数与人工智能相关的伦理问题,例如潜在的输入偏倚。FUTURE-AI关注人工智能工具识别不道德相关性的倾向,即使输入数据看起来是平衡的。因此,这一公平性方面增加了监测方法,以检测和减轻人工智能工具产生的偏倚。

性价比判断,如HTA“成本与经济”领域所涵盖的,将“安全性”和“有效性”领域的证据汇总为一项透明、结构化的成本-效益分析。汇总放射学人工智能工具的所有成本和效益可能具有挑战性,因为该工具的影响可能很复杂。利益相关者影响评估是FUTURE-AI可用性的一部分,它促进最终用户互动,并帮助识别对每个利益相关者的人工智能特定影响,从而实现更准确的成本-效益分析。

HTA Core Model®在放射学AI工具的价值评估方面存在不足。因此,FUTURE-AI所描述的关键概念可用于补充HTA域,将其添加到Core Model清单中,以确保所有潜在的价值方面至少被考虑一次。一种大致融合了HTA Core Model®和FUTURE-AI指南价值域的价值评估方法示例是层次结构化的RADAR框架[35]。

用于放射学AI价值评估的RADAR框架

RADAR框架纳入了诊断成像工具的生命周期,并以七个层级进行组织,类似于Fryback模型[36]的层级结构,且按照证据程度的递增排列(见图2)。RADAR框架的层级反映了HTA和FUTURE-AI所描述的广泛评估范围,同时指明了技术价值证据增长的逻辑路径。例如,如果一种AI工具不可靠(第1层)或其预测不准确(第2层),那么计算此类AI工具的成本效益(第6层)就意义不大。

RADAR框架与HTA Core Model®之间的另一个重要区别在于其目标用户。HTA主要面向政策制定者。因此,它更明确地汇总某一时间点可获得的全部价值方面。RADAR框架则更侧重于开发者和最终用户(例如放射科医生),提供关于如何组织该工具有效性的现有研究以及仍需开展哪些类型的研究以完成价值评估的蓝图。然而,最终这种层级结构可能导致与HTA Core Model®相比价值评估不够全面。RADAR是一个近期开发的框架:基于RADAR概念化的研究尚未开展。

对于HTA Core Model®和RADAR框架而言,工具价值的证据均通过不同研究随时间收集。正如RADAR层级所描述的,从技术性能开始,最终推进至更高价值的证据层级。顺便提一下,在较高层级发现的重大问题或障碍可能使所设计的AI工具无效或不切实际。因此,在新工具开发之初,通过执行潜在问题的快速扫描来对每个层级至少简要考虑一次可能是有用的,这正是eHTA的前提。

图2 放射学AI部署与评估量表(RADAR)框架概览,该框架可作为放射学AI早期卫生技术评估的基础。外圈描绘RADAR效能层级,内圈提供其描述。AI,人工智能。转载自[35] Boverhof BJ等(2024)。依据CC BY 4.0许可 https://creativecommons.org/licenses/by/4.0/ 查看原图 ↗

早期卫生技术评估

eHTA的功能

技术性能和诊断准确性指标(例如敏感性和特异性)不仅用于人工智能工具开发后的评估,也用于人工智能工具开发和训练过程中。通常,仅基于这些诊断指标对模型进行优化被认为足以产生有价值的工具[2, 37]。然而,已经明显的是,这些测量指标未能充分反映工具的价值[4]。例如,虽然一个人工智能工具可能具有与标准诊疗相同的诊断准确性,因而看起来似乎没有提供附加价值,但可以对其进行优化以减少放射科医师的评估时间或提高医疗保健效率[38]。因此,重要的是在早期就考虑购买者和采购方日后将如何确定人工智能工具的整体价值。

如果我们事先知道人工智能工具的价值日后将如何被评估,例如通过卫生技术评估(HTA),我们就可以利用这一认识在开发过程中评估该工具的潜在价值。这种“早期价值评估”的概念已被认为是一种有用的方法,可及时审查和更新技术的目标和特性,以探索其潜在价值[39]。开发者可以在开发过程中的任何时候进行此类评估,从最初的设计概念到临床实践中的首次评估[40, 41]。虽然诸如早期卫生技术评估(eHTA)之类的早期价值评估对开发者更新技术的目标和设计很有用,但其输出可以支持其他利益相关者关于资源分配、临床试验设计和定价策略的决策[13, 42]。此外,eHTA的结果可作为临床部署后HTA的输入(见图1)。

放射学人工智能的eHTA

放射学人工智能的eHTA应当是系统化、透明且实用的。系统化分析提供了进行质量控制的方法[43],有助于全面评估放射学人工智能的所有有价值领域。系统化方法还确保了可重复性,从而促进结果的可信度[44]。对开发者而言,eHTA方法的透明性可以促进和加速工具开发过程中的决策[45]。此外,如果eHTA是透明的,相关利益相关者(例如投资者、政策制定者、放射科医师、其他医师、伦理学家、法律专家、健康保险公司和患者)可以更容易地理解开发过程中某些决策的原因和方式,从而增强对放射学人工智能工具的信任[23]。最后,将eHTA切实整合到开发过程中至关重要[44]。无缝整合到开发过程中以及最终用户(例如临床医生、财务供应商和患者)的积极参与对于进行有意义的评估至关重要。由于人工智能开发通常是一个快节奏的敏捷过程,eHTA应通过快速、反复的评估来促进这一过程,很可能使其成为一个迭代过程[46]。

eHTA的方法

开展eHTA并无单一标准方法[47, 48]。其他医学领域已采用多种方法进行eHTA[49–51]。最终,最合适的eHTA方法取决于评估目标和技术特征(例如预期用途、所需硬件)[48]。此外,可混合使用不同方法评估在研技术价值的各个方面[40]。放射学AI的eHTA旨在支持为在研AI工具确定有价值的目标和设计。多准则决策分析(MCDA)等决策方法特别适合这一目标[40, 52]。这些决策方法涉及比较潜在工具备选方案的价值,可用于确定纳入那些被认为更有价值的AI工具要素的目标和工具设计。

MCDA是一种通用的eHTA方法[53],用于系统性[54]和透明性[55]决策。该方法首先侧重于汇集影响放射学AI工具价值的准则。这是通过识别所审查AI工具的潜在备选设计之间的差异来实现的。采用利益相关者 elicitation 为备选设计的潜在性能和各准则的重要性权重赋值[56]。其结果是对价值影响因素的全面概览,可用于支持设计选择。已有指南描述了如何汇集准则、选择用于权重评估性能近似值的分析方法以及汇总价值评分[54]。MCDA结果的可靠性高度依赖于所选择的分析方法[53]。此外,与利益相关者的互动对于确定有意义的准则、权重和性能至关重要。要开展良好的MCDA可能较为困难,因为它需要具有代表性的利益相关者群体,且可能既昂贵又耗时。然而,如Hilgerink等[57]所示,正确实施的MCDA是获得透明价值概览的有力工具,可支持AI工具或医疗技术的设计选择。

除MCDA外,决策建模可通过模拟各种场景(例如AI算法的准确性)来评估新技术的潜在价值(在此背景下为成本效果),以预测对健康结局和成本的影响。Marka等[58]和Buisman等[41]提供了用于成本效果的决策模型示例。这些情景分析可通过为可能的临床路径整合、可行定价和所需性能水平提供有价值的见解[59],确保创新无缝且具有成本效果地整合到现有医疗系统中。然而,目前MCDA和决策建模等eHTA方法很少实施,这突显了开发周期中的空白,这可能正是AI工具实际应用仍然有限的基础。

放射学eHTA的未来愿景

放射学中的AI并非例外;应像其他卫生技术一样开展全面的价值评估。此外,开发后评估并不能保证开发出有价值的AI工具。因此,实施HTA和eHTA方法应成为引入任何放射学AI工具的常规做法。

尽管如此,采用eHTA标准仍具有挑战性。首先,执行eHTA需要对开发者而言是可行的。这要求eHTA流程具有灵活性和迭代性,以适应设计更新并融入开发过程。此外,所选的eHTA方法应具有可推广性,以保持对医学技术新发展的适用性,尤其是对快速演变的人工智能领域。第三,成功的eHTA流程需要广泛利益相关方的合作。

前两项挑战可通过开发针对放射学人工智能的标准化eHTA框架来解决。已在开发全面的医疗保健HTA方法(如HTA Core Model®)方面投入了大量努力,但并非专门针对放射学人工智能[19]。人工智能和放射学的独特特性要求对通用HTA策略进行调整,这些策略可基于现有的可部署放射学人工智能指南和框架(即FUTURE-AI和RADAR)。或者,可从其他专注于优化技术开发过程的研究领域获得灵感,例如基于模型的系统工程[60]。标准化框架可以简化eHTA流程。尽管如此,时间和资源可能无法满足执行完整eHTA的需求,此时一套最低要求可作为替代方案。

eHTA框架引入了一个额外问题,因为缺乏验证研究要求该流程能够在有预测的情况下发挥作用。所提出的放射学人工智能HTA框架和现有eHTA方法[54]可以结合为一个标准化、详细且可行的eHTA流程,该流程针对放射学人工智能的具体特点,并使用为预测建模设计的方法。eHTA流程的标准化除了改善eHTA的采用外,还将改善机构间共享和比较eHTA报告的可能性,正如HTA Core Model®所做的那样。

对于第三项挑战,最终用户(如放射科医生、患者)在这些放射学人工智能特异性HTA和eHTA框架的开发和使用中发挥着至关重要的作用。只有当最终用户期望并要求透明和全面的评估时,这些评估才会成为常规实践。最终用户积极参与确立要求可以加速这一进程,因为这一开发过程应是协作性和多学科的。

大量已开发的人工智能工具与那些转化为日常临床实践的工具之间的巨大差距,必须通过放射学人工智能eHTA所提供的系统化、透明、无偏倚且稳健的方式来弥合。这将需要社区共同努力来定义标准化eHTA方法,以衡量全面性、透明度和偏倚。然而,这始于将放射学人工智能的价值视为一个综合性术语,并将放射学人工智能eHTA纳入新放射学人工智能工具的开发过程中。

总结陈述

价值评估并非新鲜事物。像卫生技术评估(HTA)Core Model®这样的综合框架是大多数医疗保健技术的标准实践。放射学人工智能也不例外于价值评估,因此应像其他卫生技术一样接受评估。为了解决人工智能在放射学中的独特价值特征,HTA价值领域可以补充放射学人工智能特异性领域,例如FUTURE-AI所确定的那些领域。

为使有价值的放射学人工智能(AI)得到有效开发,价值评估应作为开发过程的组成部分,而不是开发后的评估。通过早期卫生技术评估(eHTA),可用能够处理有限且往往为预测性数据的方法(如多准则决策分析(MCDA)和决策建模)来评估HTA的价值方面。

为促进在放射学AI工具开发过程中采用eHTA,仍需将标准化且实用的eHTA框架整合到开发过程中。此外,还需要在开发新的放射学AI工具时与临床开展合作。在开发过程中应纳入广泛利益相关群体的积极参与,并且新AI工具的所有最终用户都应要求该过程具有透明度。建议将eHTA基于价值的评估作为一种方法,以尽量减少已开发AI工具与其在临床有效使用之间的差距。尽管并非每个新开发的AI工具都能进行完整的eHTA,但在进入市场前提高开发过程的透明度将产生更有价值的AI工具。

患者摘要

用于放射学的人工智能(AI)工具预计将推动医疗保健的变革。然而,使用AI工具的放射科医生尚未确信其改善健康的能力。主要问题之一是在开发过程中对工具实际价值的考虑有限。对工具价值的早期评估应作为每个正在开发的放射学AI工具的一部分,并应考虑所有可能受其影响的人。只有采取这样的策略,新的AI工具才能真正增强放射学。

引用

  1. Kemper EHM, Erenstein H, Boverhof BJ, et al. ESR Essentials: how to get to valuable radiology AI: the role of early health technology assessment-practice recommendations by the European Society of Medical Imaging Informatics. Eur Radiol. 2024. PMID: 39636421. doi:10.1007/s00330-024-11188-3
  2. 全文:PMC12081502(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12081502/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。