放射学人工智能部署与评估量规(RADAR):将价值导向的人工智能引入放射学实践
本文提出RADAR框架,改编自Fryback与Thornbury的影像效力框架,用于放射学人工智能全生命周期的价值评估。该框架包含七个层级,从技术效力、诊断准确性到患者结局、成本效果,并新增局部效力层级,连接多种研究设计。RADAR旨在帮助放射科医生、研究者和决策者结构化评估AI价值,弥合AI实施差距。
要点
- RADAR七级层级框架覆盖AI从技术效力到局部效力的全生命周期价值评估。
- RADAR-1和RADAR-2在临床部署前通过横断面研究和计算机模拟临床试验评估。
- RADAR-7新增局部效力层级,强调AI在本地环境中的适配性与可行性。
核心结论
- RADAR框架为放射学AI提供了覆盖全生命周期的综合价值评估框架,其分层结构与对局部相关性的关注契合价值导向放射学的原则。
研究设计与样本
- 本文为概念性框架论文,提出RADAR框架,改编自Fryback与Thornbury的1991年影像效力框架。
- RADAR包含七个层级:RADAR-1技术效力、RADAR-2诊断准确性效力、RADAR-3诊断思维效力、RADAR-4治疗效力、RADAR-5患者结局效力、RADAR-6成本效果效力、RADAR-7局部效力。
- 框架通过多种研究设计进行说明,包括横断面研究、计算机模拟临床试验、随机对照试验、队列研究、健康经济学评价、预算影响分析、多准则决策分析和前瞻性监测。
诊断标准与关键数值
- RADAR-1技术效力为AI能持续处理和分析CT脑图像等任务的前提条件。
- RADAR-2诊断准确性效力可涉及算法发现和突出大血管闭塞的敏感度和特异度。
- RADAR-6成本效果效力通过健康经济学评价评估,包括成本最小化分析、成本效果分析和成本效用分析。
- RADAR-7局部效力通过预算影响分析、多准则决策分析和前瞻性监测评估。
临床应用与阅片要点
- 放射科医生和决策者在评估AI价值时应按层级依次通过所有RADAR层级。
- 对于聚焦行政任务的AI系统,RADAR同样适用,评估过程可能更快。
- 作者建议采用结构化三阶段方法实现本地AI整合:影子模式、小规模工作流测试、全面运行并持续监测。
局限性
- 计算机模拟临床试验的前提是数字数据结果可推广至真实患者数据,因此生成有代表性和真实的数字数据对其有效性至关重要。
- 随机对照试验的外部有效性(或泛化性)可能因严格入选标准而受限,提高外部有效性通常依赖更广泛患者范围的多中心方法重复研究。
- RADAR全面但耗时,尤其在随机对照试验等长周期研究中,模型漂移可能到研究结论时削弱其相关性。
全文中译12 节 · 点击展开
引言
一项针对欧洲放射学会(ESR)成员的调查表明,人工智能(AI)在放射学中具有广阔的应用前景,超过50%的受访者正在使用或考虑使用AI [1]。围绕AI的承诺极为宏大,据称可提升技术性能、病灶检测和量化能力,从而优化放射科医生的工作流程并改善患者预后 [2–5]。AI有望在多种成像模式(CT、MRI、X线和超声)的图像采集、预处理和判读中创造价值,同时也可在利用生成式AI的放射科行政事务中发挥作用。
然而,在付诸实施之前,首先应对放射学AI的这一所谓价值进行严格评估。关于放射学AI附加价值普遍缺乏认知的情况已有报道 [2, 6, 7],这呼唤建立一个稳健的价值评估框架以properly评估其价值。价值评估必须超越敏感度和特异度等传统指标,深入探讨临床层面的实际附加价值,综合考虑患者影响、对临床决策的影响、工作流程影响 [8–12]以及患者的实际价值。
本文中,我们提出放射学AI部署与评估量规(RADAR),这是一个旨在概念化放射学AI全生命周期价值的框架。RADAR植根于广受认可的价值导向放射学理念,强调以患者结局为核心 [8, 13, 14]。随后,我们讨论了各种研究设计,这些设计有助于按照RADAR的不同层级评估价值。
放射学AI部署与评估量规(RADAR)
RADAR概念框架如图1所示。表1提供了RADAR各层级的全面定义,并将其与本文讨论的各种研究设计相关联。RADAR是对Fryback和Thornbury于1991年提出的“成像效能框架”[10]的改编,该框架旨在评估成像技术的效能。它按照从具体到广泛的七个效能层级循序渐进。每一效能层级是下一层级的基础:例如,当技术效能(RADAR-1)未得到保证时,推进至后续层级便失去意义。我们引入了“本地效能”(RADAR-7)这一新层级,强调需要在本地情境中对AI系统进行价值评估。这一点至关重要,因为来自RADAR-1至6的见解可能无法普遍适用于不同的医疗机构。
我们用一个用于卒中诊疗的多功能人工智能系统的假设案例来说明RADAR。RADAR从技术效能(RADAR-1)开始,其构成的前提是人工智能能够持续处理和分析脑CT图像以用于后续任务。诊断准确效能(RADAR-2)或许是人工智能文献中报告最广泛的证据类型。在我们的卒中示例中,这可能涉及算法在发现和突出大血管闭塞方面的敏感性和特异性。RADAR-1和RADAR-2均为基础性措施,在临床实施之前予以解决。充分的诊断准确性(RADAR-2)可能允许对诊断思维产生影响(RADAR-3),如果放射科医生的诊断工作流程因使用人工智能而发生变化(例如,当使用人工智能加速卒中诊断工作流程时)。对治疗过程的影响(RADAR-4)发生于例如准确且快速的卒中诊断导致实施更多取栓术时。前四个层面的效能最终体现为实际的患者结局(RADAR-5),在我们的示例中,这可以测量为长期脑损伤的减少。
虽然RADAR-1至RADAR-5主要面向临床,但成本效益效能(RADAR-6)通过将成本与社会健康效益进行对比,扩展纳入更广泛的考量。最后,新增的局部效能层面(RADAR-7)突出该技术的局部适应性和可行性,例如,与特定医院或卒中中心工作流程的契合度。
RADAR-1至RADAR-5:临床价值的评估
前五个RADAR层面主要涉及临床价值,从技术效能(RADAR-1)开始,最终到广泛的患者结局效能(RADAR-5)。适当的临床评估方法应契合人工智能系统的目标,通常与三个主要目的之一相一致:描述、识别或解释[15]。
描述性研究揭示疾病频率而不考虑因果因素[16],在放射学人工智能中大多不相关。识别性研究辨别患有疾病(诊断性)或处于风险中(预后性)的个体[17],其中第一种是我们关注的重点,因为它主要涉及放射学人工智能。据此,我们讨论聚焦于RADAR-1和RADAR-2的横断面研究和计算机模拟临床试验(IST)。最后,我们还关注探索因果性和人工智能系统影响机制的基于解释的研究。在此背景下,我们阐述与RADAR-3至RADAR-5相关的随机对照试验(RCT)和观察性队列研究。所有讨论的研究设计总结于表2。
横断面研究
在放射学人工智能的评估中,横断面研究——即评估特定变量或结局而无需长期随访的单时间点研究——是一种有用的设计[16]。它们可以评估人工智能系统是否在技术上有效(RADAR-1),例如评估该技术在准确解读放射影像方面的能力。横断面研究还可以衡量该技术在诊断患有某种疾病的患者方面的效能(RADAR-2),例如在从CT扫描中识别肺结节的敏感性和特异性方面。横断面研究相对快速且廉价,因为它们只需要与研究人群进行单次交互,无需耗时的随访。
其设计无法提供纵向视角,限制了对放射学人工智能在较长时间段内性能的洞察。因此,横断面研究较不适合用于探讨人工智能对治疗决策或患者结局的影响(RADAR-3至RADAR-5),因为这些通常需要纵向设计(例如随机对照试验(RCT)或队列研究)。
计算机模拟临床试验
对于放射学人工智能,回顾性概念验证研究(RADAR-1)与在临床环境中稳健评估的解决方案(RADAR-3至RADAR-5)之间通常存在巨大差距。放射学人工智能的回顾性研究一般侧重于技术效能,而其他方面对于可信赖的人工智能同样至关重要(例如公平性、可用性、稳健性)[18]。虽然RCT被认为是弥合这一差距的金标准,但为每一项放射学人工智能开展RCT既耗时又昂贵。
为此,虚拟或计算机模拟临床试验(IST)已被提出。IST评估技术的初步可行性和潜力,作为RCT的准备步骤发挥作用[19–21]。主要区别在于,使用数字数据而非人类受试者。因此,与RCT相比,IST更容易组织、成本更低且准入门槛更低。为确保在过渡到RCT之前具有高水平的证据,IST的指南正在不断演进并日趋严格,以尽可能模拟RCT。
在解决技术效能(RADAR-1)方面,IST例如可用于模拟人工智能技术在骨折中处理X射线扫描的程度。此外,它们可以提供对诊断准确性(RADAR-2)的洞察,例如通过建模该技术在胸部CT中发现肺结节的熟练程度。此外,由于IST可以模拟各种临床情境,它们例如可以模拟人工智能推荐对放射科医师在初始乳腺钼靶摄影中检测异常评估的影响,在后期研究进行更全面检查之前探讨其对临床管理决策的影响(RADAR-3)。在进一步进展的前提下,前瞻性IST理论上也可以解决RADAR-4和RADAR-5。
医疗领域应用ISTs(影像压力测试)的构想早在2011年就已提出,但直到最近才被应用于放射学AI,主要原因是数字数据生成方面存在挑战[22]。由于ISTs的前提假设是数字数据的结果能够推广至真实患者数据,因此生成具有代表性和真实性的数字数据对于ISTs的有效性至关重要。两种主流方法是从汇编数据集中生成虚拟患者,以及使用模拟个体患者的数字孪生[23, 24]。技术进步简化了数据模拟并改善了对真实患者数据的推广性。然而,每种方法都需要特定的开发工作和严格的质量控制以实现准确呈现。
随机对照试验
RCTs在(放射学)AI中的代表性不足[25, 26],这与缺乏审慎的价值评估相一致[26]。RCTs被广泛认为是循证医学的金标准,可极大地有益于放射学AI的价值评估。在诊断思维效能(RADAR-3)方面,RCTs研究放射科医生诊断过程是否发生转变以及此类变化是否产生可测量的改善。在治疗效能(RADAR-4)方面,RCTs衡量AI对治疗策略的影响,例如AI辅助解读图像如何影响最终治疗选择。在患者结局(RADAR-5)方面,RCTs最终可能评估直接的患者结局,例如AI引导的干预是否带来生存率的改善。
为得出充分的因果结论,研究人员必须最大化内部有效性。RCTs因其稳健的内部有效性而备受推崇,当选择偏倚、信息偏倚和混杂偏倚被减轻时,内部有效性达到最大化。选择偏倚(即纳入研究与暴露分配之间的关系)通过在个体纳入研究后进行暴露分配来最小化,信息偏倚通过(双)盲法来最小化,混杂偏倚通过随机化来最小化,随机化确保潜在混杂因素在暴露组和非暴露组之间均衡分布。尽管RCTs具有强大的内部有效性,但其外部有效性(或推广性)可能因严格的入选标准而令人担忧,这些标准限制了其在受控环境之外对特定人群的适用性。改善RCTs的外部有效性具有挑战性,通常依赖于在更广泛的患者范围内重复研究(例如通过多中心方法)。
队列研究
在一项关于临床放射学中AI的系统综述中,98%的临床问题通过(回顾性)队列研究来探讨,使其成为最常用的研究设计[27]。队列研究调查干预与结局随时间推移之间的关联,参与者按暴露状态进行比较。虽然本质上是纵向的,但单一测量时点也可促成横断面研究,从而能够解决解释性研究问题和基于识别的研究问题。
虽然RCTs通常被认为是金标准,但队列研究提供了一种可行的替代方案。与RCTs的高成本和有限持续时间相对,队列研究可以在较长时间内追踪更大的人群,重点关注AI对患者健康结局的长期影响(RADAR-5)。队列研究通常允许较大的研究人群,从而产生较强的外部有效性。
然而,在开展队列研究时,必须应对对内有效性的潜在威胁,包括选择偏倚、信息偏倚和混杂偏倚。然而,通过精心的设计和分析,这些问题是可以预见到的。新兴的分析技术,如工具变量法(如遗传学中的孟德尔随机化)、广义方法(如g-formula、结构模型)以及目标试验模拟,提供了准确的因果推断。例如,目标试验模拟可以在队列研究中模拟随机对照试验(RCT),从而在不需反复开展昂贵且耗时的RCT的情况下,提供对AI影响的洞见。
RADAR-6和RADAR-7:超越临床价值的评估
健康经济学评价
健康经济学评价(HEEs)对于理解健康技术的(社会)财务可行性至关重要,但在医学AI领域却明显匮乏[28, 29]。HEEs对比两种或多种技术的成本与健康结局,例如将AI技术与标准诊疗进行比较[30]。成本包括直接支出,如采购、许可和培训成本,以及间接成本,如生产力损失和非正式照护成本。结局通常为患者(健康)结局,如质量调整生命年(QALYs)(RADAR-5),通常从RCT、观察性研究、建模或三者组合中获得。HEEs可用于评估成本效果效力(RADAR-6),从而超越仅关注临床有效性[30]。
表3展示了三种常见的HEE方法。当有充分理由认为AI系统不会改善(临床)结局,但有可能通过改善临床诊断工作流程来降低成本时,采用成本最小化分析(CMA)。如果AI系统有可能改善患者的临床结局,则可采用成本效果分析(CEA),从而提供关于(改善的)临床结局与成本之间比值的洞见,以增量成本效果比来体现。成本效用分析(CUA)最终与CEA类似,不同之处在于临床结局以质量调整生命年来衡量,以确保跨医疗领域技术的标准化比较。
预算影响分析
在初始RADAR层级中确定的效力可能无法推广至每个本地情境,因此需要评估RADAR-1至RADAR-6中所识别的价值能在多大程度上转化。例如,工作流程、人群构成和IT基础设施的局部差异均会影响AI技术的最终价值,进而影响采购[31]。因此,将AI价值评估定制为与RADAR-7中所记录的本地医疗环境的具体特征和需求相一致至关重要。
为解决本地财务可行性问题,预算影响分析(BIA)通过考虑本地预算约束和本地人群构成来评估AI(表4)[32]。全面的BIA考虑本地估算的成本,包括采购、维护、培训和工作流程适配。这为本地放射学实践提供了关于AI可负担性和可持续性的宝贵洞见,并有助于在采购阶段做出最优决策。
在进行预算影响分析(BIA)时,至关重要的是不仅要考虑实施新技术的财务影响,还要考虑谁承担成本、谁从中获益。虽然一个人工智能(AI)工具可能提升某个科室的效率,但其资金可能来自另一个科室。例如,用于早期卒中检测的AI工具可能由放射科出资。放射科承担了购买和实施该AI工具的成本,但受益最多的可能是神经内科,因为诊断能力的提升带来了效率提高和患者结局改善。这可能在不增加神经内科支出的情况下发生,从而可能导致科室之间在出资责任上产生分歧。因此,在评估AI价值并提高采用率时,理解这些预算动态至关重要,因为BIA不仅涉及总成本,还涉及这些成本如何分配。
多准则决策分析
前述方法主要关注临床结局和成本效果,而评估局部效能(RADAR-7)的更广泛方法不仅允许纳入医学和经济方面的考量,还允许纳入法律、社会和伦理方面的考量,后者在放射学AI中尤为相关[11, 14, 33–35]。更广泛问题的示例包括可用性(AI技术使用起来有多容易)、监管(AI技术与当地监管指南的符合程度如何)、可解释性(放射科医生在多大程度上理解AI系统的决策)等。
尽管这些问题在评估放射学AI价值时至关重要,但通过前述方法难以进行操作化和量化。多准则决策分析(MCDA)通过促进对高度多样化问题的比较提供了解决方案[36]。对AI工具进行MCDA将涉及当地利益相关者:(1)确定关键准则,包括患者结局、成本效果、伦理、社会关切;(2)依据这些准则对AI技术进行评分;(3)计算综合评分,以供知情决策和采购使用。这允许采用广泛的卫生技术评估视角,并确保与当地需求和约束条件相一致,从而有效解决局部效能(RADAR-7)问题。
前瞻性监测
前瞻性监测对于在本地层面(RADAR-7)维持长期相关性和效能至关重要。早期研究倡导采用结构化的三阶段方法以实现AI的成功本地整合[37, 38]。最初,AI以“影子模式”运行,可在不影响临床决策的情况下进行安全性评估。随后进行小规模工作流程测试,收集参与临床医生的宝贵反馈。在最后阶段,AI全面投入运行,需要持续监测。这种持续监督有助于应对“模型漂移”等挑战[39, 40],即新数据输入的变化可能损害AI性能。鉴于RADAR的全面性但耗时性,尤其是在随机对照试验(RCT)等较长的研究设计中,模型漂移可能在其结论时侵蚀研究的相关性。因此,进行周密的规划和实施后前瞻性监测至关重要。
讨论
RADAR框架旨在通过七个分层的效能级别逐步评估放射学人工智能的价值,改编自Fryback和Thornbury(1991)的影像效能框架[10]。我们通过将原始框架针对放射学人工智能进行定制、增加局部效能级别并将各层级与各种研究方法相关联,对其进行了扩展。由此,我们为放射科医生和研究人员提供了一个框架,有助于在整个生命周期中对放射学人工智能的价值评估进行概念化。地方决策者还可利用RADAR在采购放射学人工智能时做出有充分依据的、基于证据的决策。
虽然我们主要通过聚焦于改善患者健康结局的示例来展示RADAR,但需要注意的是,许多人工智能系统针对的是非临床任务,例如利用大语言模型技术实现常规行政工作的自动化。RADAR同样定位于处理此类人工智能系统。虽然在这些示例中成本节约(RADAR-6)可能最为相关,但对其他RADAR层级的影响也不可免除。例如,行政负担的减轻可通过为放射科医生提供更多时间进行精确诊断而间接影响诊断思维(RADAR-3),进而可能逐步影响更高的RADAR层级。因此,放射科医生和决策者在确定价值时应按层级逐步推进所有RADAR层级。尽管如此,对于聚焦于上述行政任务的技术而言,这一过程可能更快。
此前已有多项框架被提出用于评估放射学人工智能的价值。国际FUTURE-AI联盟制定了广泛的原则及配套清单,以指导开发者创建安全可信的放射学人工智能[18]。加拿大放射科医师协会[41]和Park等[42]提出了关于处理技术性能(RADAR-2)的指导意见。Omoumi等提供了一份更全面的清单,通过更广泛的关注维度评估放射学人工智能技术的价值[43]。
RADAR的独特之处在于它考虑了放射学人工智能整个生命周期中不同的价值评估需求。例如,早期概念验证技术主要需要技术效能(RADAR-1)和诊断效能(RADAR-2)来确认其基础能力。相比之下,已证明成本效益(RADAR-6)的进一步开发技术,则需要局部价值评估或前瞻性监测计划(RADAR-7)以确保其更广泛的实用性能够在本地转化。因此,RADAR取决于特定技术的状态和价值评估需求,这一点至关重要,因为这些在放射学人工智能整个生命周期中会发生变化。
总之,RADAR构成了一个用于在放射学人工智能整个生命周期中评估其价值的概念框架。它从技术构想阶段的技术性能(RADAR-1)开始,纳入日益广泛的价值评估,最终形成对本地情境可推广性的评估(RADAR-7)。通过七个层级的逐级推进,RADAR构成了一个全面的价值评估框架,定位于弥合放射学人工智能的实施差距。
引用
- Boverhof BJ, Redekop WK, Bos D, et al. Radiology AI Deployment and Assessment Rubric (RADAR) to bring value-based AI into radiological practice. Insights Imaging. 2024. PMID: 38315288. doi:10.1186/s13244-023-01599-z
- 全文:PMC10844175(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10844175/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。