商业AI影像方案采购评估:ECLAIR指南
ECLAIR指南由学术界与工业界联合提出,旨在帮助放射科利益相关者在采购商业AI影像方案时进行结构化评估。评估维度涵盖相关性、性能与验证、可用性与集成、法规法律及财务支持服务。指南以清单和十大问题形式提供实用框架,促进与厂商的知情讨论与决策。
要点
- 评估AI方案需从预期用途、适用人群和临床场景出发,明确其解决的具体问题。
- 要求厂商提供算法设计、训练数据、验证与测试细节,警惕训练/验证/测试数据重叠。
- 关注算法对采集参数变化的重复性与再现性,以及输出指标是否含置信区间和适当阈值。
诊断标准与关键数值
- 分类算法应报告阈值依赖指标(如敏感度、特异度)和阈值非依赖指标(如ROC曲线下面积),并提供置信区间。
- 回归算法应报告平均绝对误差(MAE)和均方根误差(RMSE)。
- 检测算法应报告患者层面分类指标及异常水平敏感度与个体假阳性率权衡(如FROC曲线),并明确匹配标准如交并比阈值。
- 分割算法应报告体素级指标(如Jaccard或Dice系数)和绝对体积差异,以及实例级指标如 per-lesion 准确率。
临床应用与阅片要点
- 采购前要求厂商解释算法操作原理、图像处理步骤及对不同机器分辨率和对比度的处理方式。
- 核查训练数据是否代表目标人群,标注读者经验与条件是否真实,避免数据偏倚。
- 确认算法是否与PACS集成、处理速度及结果可访问性,并评估对工作流程和报告结构的影响。
- 关注法规状态:欧洲CE标记(MDR过渡)、美国FDA批准/许可,以及数据保护合规性。
局限性
- 指南为专家共识框架,未提供系统评价或meta分析证据。
- 未报告具体性能数值或验证研究数据。
全文中译33 节 · 点击展开
引言
人工智能(AI)在过去几年取得了令人瞩目的进展,这在很大程度上得益于其深度学习(DL)子领域的进步。深度学习本身是机器学习(ML)的一部分,是本指南的主要关注点,它对应于一类直接从数据中学习以产生所需输出的算法,并在图像识别等任务中达到了人类水平(或超人类)的表现。这种热情已经蔓延到医学影像领域,放射科对此类技术的接受度越来越高,这些技术有望帮助应对不断扩大的工作量并最终改善患者的预后。为了帮助放射科医生和其他医生在这个新领域中找准方向,已经发表了若干指南,描述了在医学和放射学中开展和报告基于AI的研究的良好实践[1–6]。
与这种快速的学术进展相并行的是私营和公共公司前所未有的投资和活动,目前已有众多基于AI技术的商业解决方案可供销售。医疗器械监管也已发生变化,特别是引入了基于AI的软件作为医疗器械(SaMD)的概念[7]。对AI产品的评估必须包括技术和财务方面的考虑、质量和安全因素,以及关键利益相关者的意见[8, 9]。因此,我们的主要目标是汇集来自学术界和工业界的作者,提供一份指南,帮助放射科医生根据自身需求选择最合适的商业AI解决方案,通过一组问题在评估放射学商业AI解决方案时对解决方案提供商进行质询(ECLAIR指南)。这些问题总结于表1,表2列出了需要考虑的十大问题。在本文的剩余部分中,我们将假设读者具备AI和AI相关术语的基本知识,这些知识可在其他旨在向放射科医生介绍AI的出版物中找到[10–13]。我们还提供了术语表作为补充材料供参考。
相关性
该应用旨在解决什么问题,该应用是为谁设计的?
在评估AI解决方案与自身实践的相关性时,需要回答的基本问题是:它应该解决什么具体问题(预期用途),以及在什么条件下使用(使用指征)?应该有一个明确的特定临床指征(用例),供应商应该能够对此进行解释。
需要考虑的基本要点包括:需要诊断、治疗和/或监测的医学疾病是什么?
预期的最终用户是谁——即放射科医生、临床医生、外科医生——以及他们所需的资质和培训是什么?
该设备的运行原理及其作用方式是什么?
该应用是打算用作研究工具还是用于临床?
该AI解决方案将用作双读、检查分诊、执行质量控制,还是用于其他某些功能[10]?
该系统产生的是诊断、预后还是定量数据(病灶分割、器官体积等)?[14, 15]
该应用是否提供了以前无法获得的有用信息?
是否还有其他考虑因素,如患者选择标准、适应证、禁忌证、警告?
对于医疗器械软件(SaMD),产品监管文档中的“预期用途声明”应提供此信息。
潜在益处是什么,受益者是谁?
可从患者、放射科医生、转诊医生、医院、保险公司、医疗保健系统或整个社会的角度评估益处。每种视角各有其结局指标,下文报告其中部分指标。理想情况下,益处应与证据挂钩,包括科学文献和卫生经济学分析。
患者
人工智能软件可通过多种方式提升影像学在患者诊疗中的价值[16]。评估对患者管理影响的结局指标,如诊断性能、诊断影响、治疗影响和生活质量,已在专门文献中详述[17]。
放射科医生和转诊医生
从放射科医生和临床医生角度需要考虑的部分益处和结局指标包括:提高工作效率和缩短报告时间,这可影响临床医生和放射科医生的满意度[18]
增加与患者相处的时间,这可影响患者和放射科医生的满意度[19]
减少花在“琐碎”任务上的时间
在时间敏感的情况下(如卒中)更快作出诊断
潜在减少身体或心理负担
加强质量控制,降低医疗事故风险、法律和保险成本
机构
对机构的潜在益处包括提高医生效率、更有效地利用资源、更快速的诊疗流程以及降低医疗事故风险。正式的卫生经济学评估,如成本-效益和成本-效果分析,较为稀缺,应予以鼓励。解决方案供应商可能是投资回报(RoI)分析的良好来源;尽管其分析可能偏乐观,但至少应提供合适的RoI指标,以便在系统部署过程中记录并与现实情况进行比对。不同的医疗保健系统将需要不同的卫生经济学建模,以确保本地RoI的可行性。
社会
潜在的社会益处包括降低医疗保健成本、扩大医疗保健可及性并减少护理质量差异,以及最终提高预期寿命和生活质量。
使用人工智能系统相关的风险是什么?
上述所有益处都伴随相关风险。一般而言,购买方应要求审阅供应商提供的监管技术文件中的风险评估矩阵和风险-效益分析,其中涵盖了部分此类风险。
使用人工智能解决方案相关的风险,如误诊,会产生法律风险敞口。对此,应识别购买方机构面临的风险,并明确分配责任。
还必须考虑其他风险。若整合不佳(见“可用性与整合” section)或人工智能系统可靠性差,放射科医生的工作流程可能受到负面影响。此外,尽管始终可用的“第二读者”可能改善放射科医生的培训,但人工智能也可能产生负面影响,导致受训者过度依赖它,或更重要的是,忽视影像征象的基础知识。
性能和验证
与任何诊断解决方案一样,AI算法需要按照临床背景下无偏评估的标准(如STARD、TRIPOD、CHARMS)进行评估,并且诊断性能指标必须可获得[3, 20, 21]。然而,基于AI的产品具有特定特征,需要特别的指导(如TRIPOD-ML、CONSORT-AI、SPIRIT-AI和CLAIM指南)[1–6]。
算法的设计规格是否清晰?
微小的细节可能对AI算法的性能产生级联效应[22, 23]。因此,AI软件供应商需要披露关于其软件如何运行的许多细节,以解释如何适应真实世界的临床影像数据。通常,设计规格应包含在技术文件中。特别是,供应商应解释:使用了哪些图像处理步骤?如何处理来自不同机器的图像在分辨率、对比度和强度上的差异?
对于放射组学方法,算法评估哪些特征?算法在学习与分析之前如何表示图像?这些信息随后可与同行评审文献相关联,以对性能进行批判性评估。
对于深度学习AI算法,使用的是哪种神经网络(例如,U-Net是分割中常用的架构)?此类信息,最好附有相关文献参考,可能有助于识别算法可能的失效模式。供应商应能够并愿意向非专业人员及放射科内的专业人员广泛解释其算法的运行方式。如果不能,这应在与其他解决方案的竞争分析中计为负面因素。
算法是如何训练的?
AI算法包含许多参数,这些参数必须从数据(医学图像)和标签中学习或“训练”——注释可以宽泛到附于整幅图像的诊断,也可以具体到用“病灶”或“坏死”等标签标记特定体素。随后在独立数据上进行验证(可能多次),最后应在来自另一队列或机器的外部数据上进行测试。最后一点尤为重要,因为它可防止过拟合。因此,最终性能关键取决于所使用的数据。一般而言,可参考详细指南[3, 21, 24],但以下几点尤为重要:使用了什么数据来训练AI算法?这必须包括患者、对照、图像的数量以及病理或异常的发生情况。必须提供患者的临床和人口学数据(含纳入和排除标准),以及关于采集地点位置和类型的信息。必须指定技术参数,包括供应商、模态、图像的空间和时间分辨率、采集序列细节、适用时的场强、患者体位、对比剂注射等。用于开发算法的样本应具有代表算法将要应用的目标人群的特征,以避免偏倚(即相同的年龄、种族、乳腺类型……),同时也应遵循部署期间将应用的相同处理步骤[25]。
标注是如何进行的?阅片者的经验水平如何?每个病例有多少阅片者?阅片者是否在真实的图像判读条件下进行评估?特别是,他们是否能够访问原始分辨率图像,并使用其常用的阅片软件和工具?他们是否能够获取相关临床信息和其他图像?是否有时间限制?
数据中是否存在混杂因素?例如,在多中心数据中,某一中心的患者被诊断为某种特定疾病的比例是否高于另一中心?
操作点是基于哪些标准选择的,基于哪个数据集?
性能是如何评估的?
首先,为 proper 评估泛化能力,所有算法应在数据集的不相交子集上进行开发和评估。这实质上意味着算法不应在其开发所用的同一数据上进行测试。TRIPOD 指南展示了实现这一目标的不同方法。一些问题对所有类型的算法都是共通的:使用了什么数据来验证和调优 AI 算法?是否与训练数据存在重叠?如果存在,这是一个警示信号。
使用了什么数据来测试 AI 算法?是否与训练数据和验证数据存在重叠?同样,这是一个警示信号。
测试集是否具有真实代表性?它是否代表了该系统将要应用的人群(例如,年龄、性别、BMI、病变患病率、合并症)?如果不是,放射科医生应意识到,在未经充分测试的某些病例中(如肥胖患者),结果可能欠佳。
测试集(包括影像和临床数据)以及参考标准是否可用和/或公开以确保可重复性?
该算法是否与该领域的专家进行了基准对比?
性能结果是作为独立的临床决策支持系统报告的,还是作为第二阅片者报告的?是否评估了对人类阅片者的附加价值(在性能方面)?
临床验证是否由独立于算法创建者的外部来源完成?临床研究设计质量是否良好?
对于实际应用,评估算法对图像技术变化的稳健性尤为重要。需要评估的要点是重复性(同一机器、同一时间(例如,连续采集))和再现性(不同机器、不同序列或对比度,或不同时间)。这些应在技术文件中涵盖。特别需要考虑的问题包括:算法对采集参数变异(例如对比度、信噪比、分辨率参数)的再现性如何?这通常是学术/研究系统的薄弱环节,如果采集细节是混杂因素,AI 算法很容易捕捉到与病理无关的采集细节,但商业系统应提供证据表明其在部署环境中具有再现性 [26]。
算法的重复性(确定性)如何?对于输出单一值(例如,体积测量)的算法,应提供重复性系数和 Bland-Altman 图。
算法如何处理数据质量的差异?算法是否在伪影/非理想数据上进行过评估?结果如何?
所使用的性能指标取决于算法类型,并在现有指南中有详细说明[20, 21]:对于分类算法(例如诊断):是否报告了阈值依赖指标(如灵敏度、特异度)和阈值独立指标(如受试者工作特征曲线(ROC)下面积)?对于不平衡数据集,是否提供了适当的指标(平衡准确率、无信息率、Kappa……)?是否提供了置信区间?
对于回归算法(例如将临床评分或液体生物标志物水平与图像关联,如骨龄评估):是否同时提供了典型性能指标(平均绝对误差(MAE))和更极端性能指标(均方根误差(RMSE))?对于预测(预后),是否提供了相对于一步朴素预测的基准,例如使用平均绝对缩放误差[27](MASE)?
对于检测算法(例如乳腺X线摄影中的异常检测):是否既以患者层面的分类指标呈现,并对真阳性和真阴性、假阳性和假阴性给出明确且有依据的定义;又以异常层面灵敏度与个体假阳性率之间的权衡呈现,如自由响应ROC(FROC)曲线?匹配标准(如交并比阈值)是否明确定义?
对于分割算法:是否同时提供了整体体素层面指标(如Jaccard或Dice系数)和绝对体积差异?是否提供了实例层面指标(如逐病灶准确率指标)?
开发者是否识别并考虑了其算法中潜在的偏倚来源?
AI算法可以从其训练数据中或在应用过程中学习到人类偏倚(例如针对种族、性别或社会经济地位)。意识到偏倚的可能性至关重要。因此,供应商应准备好讨论其训练数据是如何收集的、模型是如何训练的,以及评估过程如何确保输出尽可能无偏[28]。还应要求供应商提供隐藏分层或亚分层分析的证据,以检查是否存在影响数据亚组的未知偏倚。
算法是固定的还是在有新数据输入时进行自适应?
AI算法通常在部署前使用固定数据集进行训练。较新的趋势是允许AI算法通过纳入更多数据来持续自适应,从而改善性能并适应成像设备和人群的缓慢变化。相关问题包括:系统是否会随时间推移或通过更新来适应当地数据?
是否纳入了来自用户的反馈(例如指出错误检测)?
如果算法经历持续改进,这是否在监管批准范围内?目前,尚无自适应AI系统获得监管批准,尽管随着技术进步这可能改变。
如果未来更新中性能得到提升,算法即发生改变。使用先前版本获得的结果如何处理?它们是否仍然有效,是否仍能与使用新版本算法获得的结果进行比较?
可用性与整合
该应用如何整合到您的临床工作流程中?
理想情况下,数据处理应在后台进行,并且速度足够快,以便放射科医生阅读和报告检查时结果已经可用。需要考虑的问题包括:是否需要手动交互,还是处理在后台自动执行?
从数据采集到结果的处理周期有多快?
如何检查特定数据集的处理状态?
放射科医生使用的应用程序应以与图像归档和通信系统(PACS)完全集成为目标,并以最少的鼠标点击即可访问——这对临床可用性至关重要。AI工具及其结果是否在工作环境中易于访问,并且具有用户友好的界面?对于医疗器械软件(SaMD),重要的是检查供应商是否已按照国际标准化组织(ISO)标准进行了验证;ISO 62633涉及医疗器械的可用性和安全性[29]。建议在评估过程的早期就让信息技术部门和PACS专家参与。
最后,就用户如何管理软件而言,需要考虑的问题包括:是否与医院系统集成了身份管理?
产品中是否定义了不同的角色/用户?
谁可以分配新用户和/或角色?这代表多少工作量?
如果需要交互,所有操作是否可追踪?
该应用程序究竟如何影响工作流程?
AI应用可能能够改善工作流程。例如,基于对异常的自动识别对报告列表进行分诊和优先级排序,可以优先处理重要病例。应用程序输出(如定性或定量数据)可用于自动填充结构化报告;对阅读和报告时间的影响应进行量化。然而,重要的是要识别新工作流程中涉及的所有角色,包括非医师人员如技师。事实上,某些资源可能必须为特定任务重新分配。报告结构也可能因使用AI解决方案而需要改变。这些因素需要在决策过程中加以考虑。
信息技术(IT)基础设施方面的要求是什么?
对于本地部署,某些AI应用可能需要专用计算机硬件,如图形处理单元(GPU),而并非所有计算机都配备此硬件。并非所有GPU都等同,因此应明确GPU计算能力(例如“统一计算设备架构(CUDA)计算等级”)和内存(例如“11 GB或以上”)方面的要求。某些模型的成本显著高于典型台式计算机。同样,中央处理单元(CPU)规格、内存、磁盘存储和能源需求必须明确。基于上述情况,如果必须购置新硬件,该解决方案可能需要大量额外费用。
对于云解决方案,要求通常较低。然而,网络安全和网络性能问题需要讨论。强烈建议尽早咨询IT部门。
互操作性——如何导出数据用于研究和其他目的?
输出格式和结果的可访问性可能影响互操作性。对于未完全整合到PACS中的应用,重要的是考虑以下问题:如何将数据导出以用于研究目的?是否有可访问的应用程序编程接口(API),例如DICOMweb接口?
输出是否为符合标准的形式,例如遵循SR模板标识符(TID)1500的医学数字成像和通信(DICOM)结构化报告(SR)?
是否支持标准导出格式(例如,简单的逗号分隔值(CSV)格式)?
结果是保存的,还是每次都必须重新进行计算?
值得注意的是,目前已存在一些旨在改善AI解决方案与现有基于标准的医疗系统之间互操作性的倡议[30]。
非放射科医生(转诊医师、患者)能否访问这些数据?
如适用,考虑数据呈现的形式是否适合传输给患者,或是否能为转诊医师所理解。
AI模型的结果是否具有可解释性?
取决于其使用方式,AI系统能够解释其推理过程或为医生提供解读其输出的手段可能至关重要。一种常用的方法是可视化,即将特定图像区域重要性的热图叠加在原始图像之上[31]。
监管和法律方面
监管和法律要求因地区而异。然而,由于其特性,放射学中使用的AI应用必须遵守两大监管和法律框架:医疗器械法规和个人数据保护法规。
该AI应用是否符合当地医疗器械法规?
制造商必须为其应用定义使用场景,并明确其是否应作为医疗器械使用,以及属于哪个风险类别。医疗器械被分为I至III类风险等级;医疗器械风险越高,适用的监管控制越多。实施流程因国家而异,必须首先解决的问题是该AI应用是否已在目标国家获得批准/许可[32]。
对于欧洲,该AI应用是否带有CE标志?
对于I类医疗器械,制造商可以自行认证并声明其设备符合法规要求,无需独立机构的参与。
对于更高风险类别(代表了绝大多数基于AI的SaMD),制造商必须指定一个公告机构,该机构将在颁发CE证书之前审查医疗器械的技术文档和公司现有的流程。
在欧洲,将设备投放市场的监管框架目前正从指令过渡到医疗器械法规(MDR)[33, 34]。MDR将于2021年5月26日起适用。符合指令要求的医疗器械享有最长四年的过渡期,在此期间它们可以继续留在市场上。然而,这仅在医疗器械未计划进行重大修改的情况下适用。否则,制造商将必须符合MDR的要求。随之而来的另一个问题是,制造商是否已在计划过渡到MDR?
从2021年1月1日起,英国(UK)将要求国际进口商单独向英国药品和保健品监管局(MHRA)注册,同时从CE标志向UKCA标志的过渡将持续至2023年6月30日[35]。
对于美国,该人工智能应用是获得FDA许可(FDA-cleared)还是获得FDA批准(FDA-approved)?
要在美国市场合法上市,医疗器械必须经过FDA审评[36, 37],可通过De Novo途径——适用于无等同产品的创新医疗器械(FDA批准)[38];或通过510(k)途径——适用于已有等同产品在美国市场上市的医疗器械(FDA许可)[39]。
FDA批准/许可通常被视为质量标志,因为FDA仍然是全球要求最严格的监管机构之一。因此,制造商可能希望有意缩小提交FDA申报文件的人工智能应用范围。必须特别注意FDA批准/FDA许可器械的范围,以及该器械的非美国版本是否与美国版本不同,以及有何不同。此外,FDA目前正在构建一个新的监管框架用于评估基于人工智能的医疗器械软件(SaMD)[40]。
其他医疗器械法规
对于其他地理区域,监管审批存在三种情形。
第一,目标国家认可FDA许可/批准和CE标志等同于其自身的要求水平:在此情况下,制造商面临的挑战较少,但仍须向当地主管部门注册。
第二,目标国家既不认可FDA批准/许可也不认可CE标志,且拥有自己的法规。例如日本即属此类情况,制造商必须向药品和医疗器械综合机构(PMDA)提交申请;中国亦如此,制造商必须向国家药品监督管理局(NMPA)提交申请。
第三,包括美国、澳大利亚、巴西、加拿大和日本在内的若干国家接受医疗器械单一审核程序(MDSAP)认证,该认证与医疗器械法规(MDR)高度一致[41]。
该人工智能应用是否符合数据保护法规?
人工智能系统处理敏感的健康相关数据,这些数据受诸如现行医疗器械法规等法规的约束。例如,欧洲实施了《通用数据保护条例》(GDPR),而美国适用《健康保险携带与责任法案》(HIPAA)[34, 42]。
遵守这些法规在大多数情况下是一个双向过程,需要用户与制造商之间达成合同安排,并落实必要的安全措施。以下问题有助于评估制造商的准备情况:制造商提供了哪些合同保证?合同中是否有与数据保护相关的具体条款?
制造商是否有数据保护问题的参考联系人?
数据处理是在本地进行还是远程进行?制造商或分包商托管数据处理是否符合信息安全标准ISO 27001/27017/27018?
数据是否经过假名化处理?如果是,映射表存储在何处?
财务和支持服务方面的考量
AI应用是复杂的软件,依赖于其他多个软件和硬件组件。因此,除定价外,在决定购买前还需讨论维护、培训和支持问题。此外,还需考虑“该应用究竟如何影响工作流程”一节中提到的医院内部IT成本。
许可模式是什么?
随着软件即服务(SaaS)和订阅模式的兴起,计算总拥有成本并不总是简单的事。必须澄清以下问题:
商业模式是什么:是一次性收费、订阅还是按使用付费模式?是否有基于处理影像量的折扣?如果是订阅计划,取消程序/延迟是怎样的?制造商是否提供试用期?购买前是否可以在医院自有数据上对产品进行真实环境评估?
现在和将来的确切成本是什么(安装成本、年度软件许可、维护费、潜在未来更新成本、内部投入等)?
该解决方案如何扩展到更多用户或更多DICOM模态(设备)?是否会有额外成本?
该AI系统是通过成熟EHR、口述或PACS供应商的“应用商店”门户提供,还是通过AI市场提供?如果是,购买该应用是否会在将来简化您对其他应用的获取(通过利用相同的计算架构和/或AI用户界面)?
用户培训和后续支持如何处理?
与其他IT产品一样,AI系统需要一定时间适应,并提供不同程度的用户友好性。为确保放射科医生高效使用系统,培训和支持是必要的。应讨论以下要点:产品购买是否包含培训课程?谁应参加,每个功能需要多少时间?
是否可以为新用户安排额外培训课程?费用是多少?
如果出现问题,是否有办法联系供应商并有保证的响应时间?
如何确保产品的维护?
由于AI系统处于不断演变的临床生态系统中,围绕产品维护的问题值得重要考虑。几个基本问题应澄清这将如何实现:是否会有定期维护?
如果产品宕机,是否仍可能通过其他方式继续阅读相关图像?修复程序是什么?延迟多久?谁必须承担费用?
软件运行服务器的保证正常运行时间是多少?
潜在故障或错误结果将如何处理?
没有AI应用是完美的。面对真实、高度变化的临床数据集,错误可能发生。购买前必须澄清以下要点:故障将如何解决?如果严重,是否有保证问题会被修复?
提交潜在故障的途径是什么?是否有自动监测,还是用户必须报告故障?
不良事件报告途径是什么?
如何进行上市后监督和上市后临床随访?
结论
本文旨在提供一份实用要点清单,供在考虑是否投资医学影像人工智能解决方案时参考。尽管此处提出的一些评估标准可能并非适用于所有情况,但我们希望已构建出一个框架,使所有利益相关方都能与制造商开展相关讨论并作出知情决策。
补充材料
(DOCX 22.7 kb)
引用
- Omoumi P, Ducarouge A, Tournier A, et al. To buy or not to buy-evaluating commercial AI solutions in radiology (the ECLAIR guidelines). Eur Radiol. 2021. PMID: 33666696. doi:10.1007/s00330-020-07684-x
- 全文:PMC8128726(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8128726/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。