放射学中的人工智能:173种市售产品及其科学证据
该研究对截至2023年3月31日CE认证的173种放射学AI产品进行了文献综述,评估2015年1月至2023年3月的同行评议证据。有同行评议证据支持的产品从2020年的36%升至66%,但高级别疗效证据(3-6级)占比稳定在约24%,多中心研究增加而独立于厂商的研究减少。
要点
- 2023年66%的CE认证放射学AI产品有同行评议证据支持,较2020年36%明显提升。
- 诊断准确性(2级)研究仍占主导,但占比从65%降至57%,高级别证据占比约24%未变。
- 多中心研究从30%升至41%(p<0.01),但厂商独立研究从49%降至45%(p=0.29)。
核心结论
- 同行评议证据增加及每产品更高级别证据表明放射学AI市场趋于成熟,但研究仍集中于低级别疗效,厂商独立性、多国数据及前瞻性设计减少,建立无偏倚真实世界证据仍面临持续挑战。
研究设计与样本
- 文献综述,覆盖2015年1月1日至2023年3月31日,纳入www.healthairegister.com上截至2023年3月31日的CE认证放射学AI产品,最终分析173种产品来自90家厂商。
- 证据检索通过PubMed系统检索及www.healthairegister.com和厂商网站补充,纳入在方法或结果部分提及厂商或产品名称的前瞻性和回顾性原创研究英文论文。
- 排除综述、信件、社论、评论、研究方案、病例系列和病例报告;三位作者独立筛选,与另外两位审稿人交叉核对并达成共识。
- 研究按改良版疗效层级模型分类:技术与诊断准确性(1-2级)、临床决策与患者结局(3-5级)、社会经济影响(6级);同时分析研究设计、厂商独立性及多中心/多国数据使用。
- 采用R 4.3.1进行统计分析,分类变量以计数和百分比汇总,使用卡方检验或Fisher精确检验比较比例,p<0.05为有统计学意义。
诊断标准与关键数值
- 2023年173种CE认证产品中66%有同行评议论文支持,2020年100种产品中为36%。
- 2020年和2023年均评估的85种产品中,有证据支持的比例从39%升至81%。
- 2023年639篇论文纳入分析(2020年237篇),其中2级诊断准确性研究占比从65%(153/237)降至57%(241/421)。
- 3-6级高级别疗效研究绝对数从2020年53篇增至2023年99篇,但相对占比稳定在约24%。
- 多中心研究从30%升至41%(p<0.01),多厂商数据研究从25%升至34%(p=0.02);厂商独立研究从49%降至45%(p=0.29),多国研究从15%降至11%(p=0.10),前瞻性设计从19%降至16%(p=0.28)。
临床应用与阅片要点
- 作者认为未来应侧重于反映真实临床环境、患者人群和医疗系统的多样化、多中心、前瞻性验证研究。
- 作者鼓励AI解决方案开发者和使用者分享上市后监测数据,以加强透明度、可靠性并支持医疗提供者。
局限性
- 数据限于2023年3月,可能因新产品和验证研究不断出现而已经过时。
- 跨不同放射学领域的汇总提供广泛视角,但可能掩盖领域间证据成熟度和临床适用性的差异。
- 临床放射学中AI的定义复杂且不易标准化,产品纳入标准可能引发争议,例如心脏超声工具因常由心内科而非放射科管理而被排除。
全文中译10 节 · 点击展开
引言
人工智能(AI)在提高放射学诊断准确性和优化临床工作流程方面具有重要前景[1, 2]。尽管已有大量AI解决方案可供使用[3],但其广泛采用仍然有限。主要障碍包括对数据隐私的担忧、将AI系统整合到现有工作流程中的困难、投资回报不明确,以及最关键的一点——其临床价值的不确定性[4–7]。
医疗器械法规(MDR)要求每个AI产品提供临床证据并接受前瞻性监测,以此作为在欧盟获得欧洲合格认证(CE)标志的前提条件[8];然而,这些数据并未公开。因此,同行评审论文往往是评估这些产品有效性和真实世界性能的唯一可获取来源,使其对于指导放射学领域的循证采用至关重要。
截至2020年,100个CE认证的放射学AI产品中仅有36个在同行评审文献中发表了支持性证据[9]。这些研究大多集中在技术性能和诊断准确性上,对更广泛结局(如对临床决策和患者护理的影响,或社会经济获益)的探究极少。这种全面证据的缺乏引发了关于AI技术是否已准备好满足真实世界临床实践需求的关键问题。
本研究系统评估了2020年至2023年间CE认证放射学AI产品同行评审证据的演变。采用改编的疗效分层模型[9, 10],我们评估了在证明临床相关性和以患者为中心的结局方面的进展。此外,我们还考察了多中心合作、数据多样性和研究独立性等趋势。我们的目标是深入了解AI在放射学中的当前成熟度,识别剩余的证据空白,并提出加速AI采用同时增强其临床影响的策略。
材料与方法
产品选择
本研究基于van Leeuwen等人于2020年开展的分析[9],该分析评估了100个放射学AI产品及其相关的同行评审文献(发表于2015年1月1日至2020年5月18日期间)。本次更新(以下称为2023年分析)聚焦于截至2023年3月31日在www.healthairegister.com上列出的CE认证放射学AI产品,以及2015年1月1日至2023年3月31日期间发表的同行评审论文。分析仅纳入使用机器学习或深度学习技术开发的与厂商无关的影像分析工具。厂商和产品名称已修订以反映截至2023年3月的最新更新。
以下产品被排除在研究之外:2023年3月前已停产的产品、提供多任务软件套件的厂商,以及专注于心脏超声或半自动心脏分割的工具。所分析产品与网站列表之间的差异可能是由于网站近期更新或本研究采用了更严格的纳入标准所致。
科学证据选择
科学证据通过两步法收集。首先,在PubMed上进行系统检索,以识别2015年1月1日至2023年3月31日期间发表的同行评审论文,使用供应商和/或产品名称作为检索词(检索式见补充表S1)。其次,从www.healthairegister.com及各供应商网站获取额外的同行评审论文。
纳入的研究包括以英文发表的前瞻性和回顾性原创研究论文,且这些论文在方法或结果部分提及了供应商或产品名称(包括曾用名)。排除的文献类型包括综述、通讯、社论、评论、研究方案、病例系列和病例报告。
三位作者(N.A.、O.T.和I.B.H.)根据纳入标准独立筛选标题、摘要和全文,随后与另外两位审稿人(M.d.R.和K.G.v.L.)进行交叉核对和共识会议。分歧通过协商解决。
分析
按照van Leeuwen等人[9]概述的方法学,研究根据疗效层级模型进行分类,涵盖从技术和诊断准确性(1级和2级)到临床决策和患者结局(3-5级),以及社会经济影响(6级)。这些层级的定义详见表1。我们呈现了可获得的科学证据及论文中涉及的疗效层级,并指出单篇论文可能评估多个层级。
每篇文章均审查其作者列表、资金来源和利益披露,以确定其是否独立于供应商。纳入研究使用的数据按来源中心数量、国家数量和成像设备制造商进行分类。
此外,对同时出现在2020年和2023年分析中的产品进行了亚组分析,以考察市场存在时间较长的产品的市场趋势,这些产品预期表现出更高的成熟度。此分析结果与173个产品的整体市场进行了对比,其中相当一部分产品是在2020年5月之后推出的。
统计分析将分类变量以计数和百分比形式汇总。计算了2020年至2023年间的百分比变化,包括使用标准误差传播和95%置信水平的Z分数得出的95%置信区间(CIs)。当所有期望频数≥5时,使用卡方检验比较比例;当期望频数较小时,采用Fisher精确检验。统计分析在R(版本4.3.1)中进行;p值小于0.05被认为具有统计学意义。
结果
产品概览与市场趋势
本分析共纳入来自90家供应商的173个获得CE认证的放射学AI产品。其中,85个产品同时出现在2020年和2023年的分析中。2020年数据集中有15个产品在2023年被排除,包括13个因停产或未出现在www.healthairegister.com上而被移除的产品,以及6个较小产品被整合为4个扩展功能产品。此外,自2020年以来新列出的88个产品符合纳入标准,使2023年评估的CE认证AI产品总数达到173个。
图1展示了2010年至2023年进入欧洲市场的经CE认证的放射学人工智能新产品年度数量。数据显示,多年来新产品数量稳步增长,2020年达到峰值44个,而2019年为33个。随后出现下降,2021年推出24个新产品,2022年仅4个。所分析产品和供应商的详细列表见补充表S2,图2显示了其按器官亚专科、模态和功能的分布。
可获得的同行评审证据及研究特征的趋势
PubMed检索策略共识别出2398篇论文,其中274篇符合纳入标准且不属于2020年分析的一部分。通过手动检索额外识别出147篇论文,使纳入的同行评审文章总数达到421篇。详细的检索查询及其结果见补充材料表S1。纳入2020年分析中的论文后,在排除19项与已停产产品相关的研究后,论文总数达到639篇。如果文章涉及不止一个人工智能产品,则可在分析中多次列出,从而产生来自36篇独立论文的78条条目。纳入过程总结于图3所示的流程图中。
本次更新显示,所分析的人工智能产品的同行评审证据显著增加。截至2023年,纳入分析的173个经CE认证的人工智能产品中,有66%有同行评审论文支持,而2020年评估的100个产品中这一比例为36%(图4a)。在2020年和2023年均被评估的85个产品中,有证据支持的产品比例翻倍,从39%增至81%(图4b)。有1–3篇可用论文的产品数量翻倍,在整个市场中从18%升至39%,在85个持续评估产品子集中从19%升至44%。
2020年和2023年分析中所评估论文之间研究特征的变化总结于表2。使用多中心数据的研究显著增加(30%至41%,p < 0.01),使用来自多个制造商数据的研究也显著增加(25%至34%,p = 0.02)。然而,独立于供应商的研究略有下降(49%至45%,p = 0.29),多国研究(15%至11%,p = 0.10)和前瞻性设计(19%至16%,p = 0.28)也略有下降。
按疗效等级划分的科学证据趋势
2020年和2023年分析中支持AI产品的同行评审论文所评估的功效水平趋势见图5和补充表S3。评估技术或临床可行性( level 1)的研究显著增加(p = 0.04),从2020年的23%(54/237)上升至2023年的30%(128/421)。相比之下,其他功效水平的研究未观察到统计学显著变化。诊断准确性(level 2)仍是主要关注点,但其占比从2020年的65%(153/237)下降至2023年的57%(241/421)。与此同时,涉及更高功效水平(level 3–6)、评估临床和社会经济影响的研究在绝对数量上从2020年的53项增长至2023年的99项,但其相对占比保持稳定在±24%。为更好地了解这些证据的集中领域,补充图S1按亚专科、成像模态和功能展示了低级别和高级别证据同行评审论文的分布,显示大多数研究仍集中在胸部和神经影像,以CT和X射线为主要模态,以量化和诊断为主要功能。
按每个产品适用的最高功效水平考虑,图6a显示2020年分析的100个产品中64%缺乏任何功效证据。到2023年,在分析的173个产品中该比例降至34%。具有证明技术或诊断准确性证据(level 1和2)的产品从18%增至35%,而具有涉及临床和社会经济影响证据(level 3–6)的产品从18%增至31%。补充图S2进一步按最高支持证据水平展示了产品在各亚专科的分布。神经影像占CE标记AI产品数量最多,但大多数缺乏支持或仅由较低水平证据支持。相比之下,胸部影像拥有最多由较高级别功效证据支持的产品。
对于在2020年和2023年均被评估的85个产品,无任何功效证据的比例大幅下降,从2020年的61%降至2023年的19%,如图6b所示。在这些产品中,技术或诊断准确性证据(level 1和2)从19%增至39%,而支持临床或社会经济影响的证据(level 3–6)从20%增至43%。
讨论
本随访研究评估了支持CE认证放射学AI产品的不断发展的科学证据,建立在van Leeuwen等人2020年的分析[9]基础上。自2020年以来,市场已从快速产品扩张转向更成熟的状态。新认证在2020年达到峰值,但此后急剧下降,可能由于市场饱和降低了投资者兴趣[11]以及医疗器械法规(MDR)[8]的引入的综合作用。MDR引入了更严格的要求,包括增强的临床评估标准、全面的上市后监督义务以及更详细的技术文档要求,增加了认证过程的复杂性、持续时间和成本。
与这些监管和市场变化并行的是,支持CE认证放射学AI产品的同行评审证据大幅增加。截至2023年,本研究中分析的173个产品中有66%至少有一篇同行评审出版物支持,高于2020年100个产品中的36%。显示技术可行性或诊断准确性的产品(1级和2级)从18%增加到35%,而涉及临床或社会经济结果的产品(3至6级)从18%增长到31%。这一趋势在两个时间段均分析的85个产品中更为明显,反映了更长市场存在和成熟度的益处。
然而,支持性证据的分布在不同放射学领域存在差异。胸部影像产品拥有最多数量的具有更高级别验证的工具,可能由于胸部疾病的普遍性、标准化数据集的可用性以及完善的诊断任务。相比之下,神经影像学作为CE认证产品的最大类别,更常由较低级别的研究支持。许多神经AI工具专注于体积分析或分割任务,这些不太适合前瞻性、基于结果的评估。此外,数据异质性、临床工作流整合有限以及缺乏既定临床基准等挑战可能阻碍神经放射学更高级别验证的发展[12]。
尽管已发表证据和由同行评审研究支持的产品数量总体增长,大多数出版物仍集中于较低级别的效能,在评估临床或社会经济结果方面进展有限。2020年至2023年间,涉及这些更高级别影响的研究比例稳定在约24%。这种停滞表明,虽然证据数量增加,但其临床相关性未能跟上步伐,限制了医疗保健提供者和政策制定者评估这些工具实际价值的能力。
这些发现与Chouffani等人[13]和Brady等人[14]的观察一致,他们指出监管批准并不能保证临床有效性,尤其是当验证严重依赖回顾性研究时。他们强调独立评估的重要性,以减少厂商偏倚并确保真实世界的实用性和安全性。此外,对单中心研究和数据集偏倚的依赖限制了可推广性,并引发了对透明度和不同患者群体结局公平性的伦理担忧[15, 16]。对临床工作流程、患者人口学特征和医疗基础设施差异考虑不足,进一步加剧了这种可推广性的缺乏,使得研究结果难以在不同环境中应用。应对这些挑战需要多样化的、具有代表性的数据集和持续学习框架,以确保在动态临床环境中的适应性和持续性能[17, 18]。这些框架使AI系统能够随着数据和环境的变化而演进,增强稳健性的同时解决透明度和公平性问题。若无这些措施,AI融入临床实践可能因可靠性、适用性和可信度有限而受到削弱。
本研究存在若干局限性,反映了在快速演变的环境中评估AI工具的挑战。数据截至2023年3月,随着新产品和验证研究的不断涌现,可能已经过时。值得注意的例子包括MASAI和PRAIM试验,它们代表了乳腺癌筛查AI的高水平真实世界证据,且发表于我们的纳入时间段之后[19, 20]。尽管这些试验标志着向更严格临床验证的进展,但此类前瞻性证据仍主要集中在乳腺影像领域,尚未在其他领域广泛出现。此外,跨不同放射学领域的发现汇总提供了广阔视角,但可能掩盖了各领域在证据成熟度和临床适用性方面的差异。为减轻这一问题,补充材料包含了针对性的亚组分析,以突出各领域间的异质性。最后,临床放射学背景下AI的定义复杂且不易标准化,使我们的产品纳入标准成为潜在争议来源。例如,心脏超声工具因通常由心内科而非放射科管理而被排除。尽管存在这些局限性,我们相信本研究为放射学中AI的现状提供了重要见解,突出了该领域的重要趋势和持续挑战。
总之,本研究既强调了CE认证放射学AI产品验证方面的进展,也强调了持续存在的挑战。具有同行评审证据的产品比例不断增长反映了积极趋势,但研究集中在较低疗效水平凸显了在证明临床影响和改善患者结局方面的关键差距。尽管产品成熟度和市场占有率的不断提高表明正在向更高水平的验证迈进,但针对临床和社会经济效益的研究停滞不前,表明需要进行更严格的真实世界评估。
未来展望
为弥补这些空白,我们认为未来的工作应侧重于提高验证研究的质量和范围,重点开展反映真实临床环境、患者人群和医疗系统的多样化、多中心、前瞻性验证。资助机构可发挥关键作用,优先资助那些不仅支持人工智能工具开发、还支持其在临床实践中独立验证、实施和长期监测的专项招标。根据《医疗器械法规》(MDR)[8],供应商已被要求通过上市后监督来监测其解决方案的临床性能。尽管发表这些发现并非强制性要求,但共享此类数据可为人工智能工具的真实世界有效性提供宝贵见解。我们鼓励人工智能解决方案的开发者和使用者共同为这一集体知识做出贡献,以增强透明度、可靠性以及对医疗服务提供者的支持,最终推动人工智能安全有效地融入临床工作流程。
补充信息
电子补充材料
引用
- Antonissen N, Tryfonos O, Houben IB, et al. Artificial intelligence in radiology: 173 commercially available products and their scientific evidence. Eur Radiol. 2025. PMID: 40707732. doi:10.1007/s00330-025-11830-8
- 全文:PMC12711992(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12711992/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。