人工智能在放射学中应如何使用:评估商用AI产品预期用途声明的模糊性与完整性
本研究分析了AIforRadiology.com上列出的139个CE标记AI产品的预期用途声明(IUS),评估其是否包含医疗适应症、身体部位、患者人群、用户特征、使用环境和操作原理6项内容。多数IUS提及3项或更少,仅7个产品提及全部6项;56个声明含有免责声明,其中13个与产品声称矛盾。作者鼓励制造商提供更全面、更少歧义的IUS。
要点
- 放射科医生必须了解AI产品的预期用途,以避免超说明书使用或误用。
- 分析的预期用途声明中95%(n=132/139)不完整,多数提及3项或更少。
- 9%(n=13)的预期用途声明含有与产品声称矛盾的免责声明。
核心结论
- 多数CE标记AI医疗器械的IUS缺乏实质性信息,少数情况下与产品声称相矛盾。
- 为确保正确使用并避免超说明书使用或可预见的误用,鼓励制造商提供更全面、更少歧义的预期用途声明。
研究设计与样本
- 研究于2022年9月从AIforRadiology.com检索157个CE标记AI产品的IUS,排除重复产品(n=1)、停产产品(n=3)和重复声明(n=14)后,最终纳入139个产品及其IUS进行分析。
- 评估IUS是否包含6项内容:医疗适应症、身体部位、患者人群、用户特征、使用环境和操作原理,并记录免责声明(禁忌症或警告)并与产品声称比较。
- 产品按CE风险等级(I、IIa、IIb或III)和认证法规(原MDD或现行MDR)以及主要功能(量化、检测、诊断、分诊、图像增强)分类。
诊断标准与关键数值
- 139个产品中,仅7个产品的IUS提及全部6项内容;多数(n=78)提及3项或更少(0项n=1;1项n=18;2项n=21;3项n=38);4项n=32;5项n=22。
- 提及最多的项目为预期身体部位(n=115)和操作原理(n=116),提及最少的为预期使用环境(n=24)和预期患者人群(n=29)。
- 56个声明含有免责声明,其中13个产品的免责声明与产品声称相矛盾;矛盾免责声明包括「按标准诊疗操作」(n=7)和「非诊断用途」(n=6)。
临床应用与阅片要点
- 放射科医生应熟悉所用AI产品的预期用途及其所有要素,以确保安全的患者诊疗。
- 作者建议制造商和监管顾问在公开文件中包含所有定义的IUS项目,以提供透明信息并确保AI产品在临床实践中的安全使用。
- 作者鼓励制造商在监管批准的预期用途上保持透明,并在所有营销材料中准确反映。
- 作者建议进一步研究应关注监管文件中的预期用途与营销材料的一致性,以及二者不一致是否可能成为患者伤害的潜在来源。
局限性
- 分析描述性文本具有主观性,某些IUS要素的解读可能存在争议;作者在分析中尽量保守,若某项被提及但未完全清晰表述仍归类为存在,模糊陈述经小组讨论以减少读者间差异和个人偏倚。
- 缺乏包含CE标记放射学AI产品IUS的全面公共数据库,研究依赖供应商向AIforRadiology提供的信息;并非所有供应商应要求提供IUS,部分可能提供了较简略版本导致某些要素缺失。
全文中译10 节 · 点击展开
引言
人工智能(AI)产品正在进入放射科,目前已有超过200个获得CE认证的商用产品可在欧盟(EU)使用[1, 2]。为帮助放射科医生进行常规临床实践,这些AI产品旨在协助诸如健康组织和病灶的分割、关键发现的检测及连续的患者分诊,或某些疾病状态的鉴别诊断[3, 4]。
根据欧盟立法,医学AI应用被视为医疗器械软件(SaMD),因此必须符合欧盟医疗器械法规(MDR)才能上市和临床使用。SaMD的所谓预期用途声明(IUS)是合规和获得监管许可(如CE认证或FDA许可)过程中的重要一步[5–8]。
在MDR中,预期用途(intended use)和预期目的(intended purpose)这两个术语可互换使用,其定义如下:“预期目的”是指根据制造商在标签、使用说明或宣传或销售材料或声明中提供的数据,以及制造商在临床评价中规定的用途(第1章,2.12)。然而,上述MDR中IUS定义本身并未明确说明应构成该预期用途声明的确切要素,但可在MDR技术文档的其他部分找到(附件II,1.1.)[9]。国际标准化组织(ISO)和国际电工委员会(IEC)的附加文档提供了更多指导。例如,ISO 14971:2019关于医疗器械风险管理的应用指出:“预期用途应考虑诸如预期医学适应证、患者人群、所接触的身体部位或组织类型、用户特征、使用环境和操作原理等信息”[10–13]。
不幸的是,截至目前,获得CE认证的医学AI产品的IUS很少由制造商公开提供,这使得(潜在)用户难以在临床实践中追踪其医疗器械的正确使用方法。由于缺乏这一信息,放射学会对预期用途声明的批判性讨论受到阻碍。放射科医生理解AI产品的预期用途对于设备的安全运行至关重要,进而对患者安全至关重要,正如MDR I (43)所强调的以下声明:“透明度和对信息的充分获取,以适合预期用户的方式呈现,对于公共利益、保护公众健康、赋权患者和医疗专业人员并使其能够做出知情决策至关重要。”因此,医学AI产品的IUS需要全面、清晰、无歧义。然而,这一点尚未被系统分析。
为填补这一空白,本研究旨在探讨放射学AI产品IUS的完整性及潜在歧义,参照MDR和ISO/IEC标准中的要求。此外,我们将这些声明公开于www.AIforRadiology.com以提高透明度。
方法
产品纳入
纳入基于AIforRadiology.com上的产品列表。该平台维护着一个获得CE认证的放射学AI产品数据库。2022年3月,所有列有产品的供应商(87家供应商,191个产品)被要求为其产品提交或验证预期用途声明(IUS)。截至2022年9月26日,任何添加到列表中的新产品均被纳入(n = 12),使产品总数达到203个。对于46个AI产品,供应商未予回复;因此,这些产品未被分析。共收集到157份IUS。已停产产品(n = 3)和重复产品(n = 1)从分析中移除。一家供应商(Quibim)列有15个基于生物标志物的产品,具有相同的预期用途。为防止该单一IUS在分析中被过度代表,我们仅纳入一个产品,其余14个被排除。总共有139个产品及其各自的IUS符合分析条件。所评估AI产品的完整列表见补充材料。
对每个产品,记录当时的CE风险等级(I、IIa、IIb或III)以及其认证所依据的相关法规,即前欧盟医疗器械指令(MDD)(2021年5月之前)或现行欧盟医疗器械法规(MDR)。产品还根据其主要功能或任务(定量、检测、诊断、分诊、图像增强)进行分类。
预期用途声明条目
由于MDR中未对基本预期用途声明条目给出明确定义,我们根据若干相关ISO/IEC标准[10–13]中的描述,审查了预期用途声明中以下六个预期用途声明条目的存在情况(是/否):预期医学适应证
预期适用或接触的身体部位或组织类型
预期患者人群
预期用户特征
预期使用环境
预期工作原理
IUS条目的进一步描述见表1。首先,作者(K.G.v.L.、D.M.H.、S.S.)对30个产品的同一IUS进行评分,随后召开会议以统一我们对IUS条目的定义,并在评分不一致时达成共识。其余IUS由其中一位作者(K.G.v.L.、D.M.H.、S.S.)评分,之后召开共识会议讨论评分中的不确定之处。
此外,还记录了IUS中是否作出禁忌证或警告。这些条目被视为免责声明。免责声明措辞包括“按照诊疗标准执行”和“不用于诊断用途”等。免责声明与IUS中的声称(如存在)进行比较。声称与免责声明之间存在潜在冲突的情况被分类为是/否。
分析
通过统计IUS条目的存在情况并将其表示为所分析产品总数的百分比,评估AI产品IUS的总体完整性。随后根据法规风险分类和产品的主要预期任务进行亚组分析。同样,对相互冲突的声称和免责声明进行计数。构建直方图以展示每个产品的完整性水平。
各供应商同意公开发布的IUS可在www.AIforRadiology.com上查阅。
结果
产品纳入
我们收到了203个产品中157个产品的IUS,其中139个被纳入分析。
纳入的产品均依据现行医疗器械法规(MDR)获得认证(IIa类 = 23,IIb类 = 9),以及依据原医疗器械指令(MDD)获得认证(I类 = 52,IIa类 = 55)。大多数产品用于定量分析(n = 54)、检测(n = 36)或诊断(n = 25)。较少产品侧重于分诊(n = 18)或图像增强(n = 6)。
基于预期用途声明条目的完整性
仅7个产品的预期用途声明(IUS)包含全部6个既定条目。大多数(n = 78)提及3个或更少条目(0个条目,n = 1;1个条目,n = 18;2个条目,n = 21;3个条目,n = 38)。4个条目在32份声明中被提及,5个条目在22份声明中被提及(图1)。
表2给出了每个条目在预期用途声明中出现的实例数。预期身体部位(n = 115)和工作原理(n = 116)最常被提及。预期使用环境(n = 24)和预期人群(n = 29)仅被少量提及(图2)。表3给出了良好和较差预期用途声明的去标识化示例声明。
基于相互冲突的主张和免责声明的歧义
在139份纳入声明中,56份含有免责声明。其中13个产品的主张和免责声明被标记为相互矛盾。按产品类型和监管类别划分的免责声明数量概览见图3。潜在的矛盾免责声明包括,例如“按照诊疗标准行事”(n = 7)和“不用于诊断用途”(n = 6),同时又声称有助于临床状况的诊断、分诊或风险评分。免责声明示例见表4。
讨论
放射学领域的许多人工智能产品在提供给AIforRadiology的使用说明(IUS)中存在含义模糊或不完整的情况。在分析的139个产品中,78个(56%)的IUS至少缺少3项 essential 项目。此外,13个(9%)的IUS含有与产品声明相矛盾的免责声明。IUS是监管文件的一个重要方面,因为它定义了医疗器械的安全和正确使用范围。这也体现在《医疗器械法规》(MDR)中的频繁使用:“预期目的”被提及多达87次,“预期用途”被提及31次。此外,获得CE标志所需的临床证据基于IUS中描述的预期用途。同时,它限制了预期使用者在预期范围之外使用该产品。因此,使用者应当意识到,为本研究提供的AI产品IUS往往不完整,在临床实践中正确使用此类AI产品可能需要额外信息。
大多数IUS中未包含预期患者人群和使用环境。其次常见的是缺少关于医学适应症和用户概况的信息。目前尚不清楚为何139个IUS中仅有29个包含预期患者人群。显而易见,AI产品的预期患者人群对于临床实践中的安全使用至关重要,尤其是因为AI系统在非代表性人群上训练时容易产生偏倚。139个IUS中仅有24个报告了使用环境,这可能是一个较难转化为AI产品的项目。然而,使用者应当被告知该产品适用于何种(临床)情境。例如,一个专为筛查情境设计的AI产品在临床环境中使用可能不安全。
我们的发现得到了英国药品和健康产品管理局(MHRA)的认可。该机构将模糊的预期目的列为“常见问题”,并最近发布了一份关于撰写IUS的指南,以在英国市场缓解此问题[14]。这些建议鼓励在IUS中明确提及本研究中概述并用于分析的具体项目。我们建议供应商和监管顾问在其公开文件中纳入所有已定义的IUS项目,以提供透明的信息,并确保按照MDR的要求在临床实践中安全使用AI产品。
在分析的部分声明中,我们发现了相关的禁忌症或免责声明,这些是避免不安全使用的重要手段,超越了产品作为医疗器械的实际预期用途。然而,如果医疗器械的“感知”预期用途之间存在直接矛盾,例如通过营销材料中的声明或医疗器械名称中所暗示的内容,免责声明可能会加剧对医疗器械正确使用的混淆。全球所有医疗器械法规均要求营销材料与监管机构批准的声明保持一致,并且器械标签涵盖所有对外可用的营销材料,包括制造商网站、宣传册,甚至与客户的口头沟通。最近一项研究已发现,13%的产品以人工智能或机器学习进行营销,而美国食品药品监督管理局(FDA)510(k)许可中并未反映这一点[15]。进一步研究应关注监管文件中的预期用途与营销材料的一致性程度,以及两者之间的分歧是否可能成为患者伤害的潜在来源。
清晰理解人工智能产品的预期用途对于降低超说明书使用和可预见误用的风险至关重要。供应商和用户共同承担产品正确和适当使用的责任。供应商必须采取主动措施以最大限度地降低可预见误用的风险并解决潜在危险。另一方面,用户必须了解其所购买医疗器械的预期用途。因为用户(通常是放射科医生)在因人工智能产品误用导致任何不良事件时,可能面临民事索赔和损害赔偿的责任[5]。2022年4月来自美国的案例明确说明了这一点,当时FDA向医疗保健提供者发出一封信函,因为明确发现用于卒中分诊的人工智能产品未按预期用途使用。在最近向医疗保健提供者发表的一份声明中,FDA指出,用于检测卒中患者大血管闭塞的基于人工智能的软件工具必须严格按照其预期用途使用,以避免误诊导致患者受伤或死亡[16]。
我们的研究有两个主要局限性。第一是分析描述性文本的主观性。某些预期用途(IUS)要素的解读可能存在争议。因此,我们试图在分析中保持保守。如果某一项被提及但未完全明确陈述,我们仍将该要素归类为存在。模糊的陈述通过小组讨论加以解决,以克服读者间差异并尽量减少个人偏见。其次,缺乏一个包含放射学领域CE标志人工智能产品预期用途的综合公共数据库构成了挑战。因此,我们不得不依赖供应商向AIforRadiology提供的信息。遗憾的是,并非所有供应商都应要求为其产品提供了预期用途说明。一些供应商可能分享了其预期用途的更简略版本,导致根据我们的分析某些要素缺失。欧盟委员会一直在开发一个名为EUDAMED的公开可访问数据库,在该数据库中注册带有完整信息的医疗器械将于2024年5月26日成为强制性要求。然而,EUDAMED注册目前是自愿的,因此并非所有器械的预期用途说明均已可用。
结论
总之,我们的分析显示,AIforRadiology.com 上列出的相当数量的人工智能(AI)产品,其预期使用说明(IUS)不完整或含糊不清。这些遗漏和/或模糊表述增加了 AI 在临床实践中超说明书使用或错误应用的风险。监管机构和中央机构必须为包括医学 AI 在内的医疗器械的 IUS 提供全面指导。在 EUDAMED 数据库强制执行之前,我们鼓励制造商对其监管批准的预期用途保持透明,并在所有营销中准确反映。此外,我们鼓励放射科医生熟悉其所使用 AI 产品的预期用途(包括其所有要素),以确保安全的患者诊疗。
补充信息
附加文件 1。受评估 AI 产品清单。
引用
- van Leeuwen KG, Hedderich DM, Harvey H, et al. How AI should be used in radiology: assessing ambiguity and completeness of intended use statements of commercial AI products. Insights Imaging. 2024. PMID: 38366046. doi:10.1186/s13244-024-01616-9
- 全文:PMC10873256(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10873256/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。