指南与共识心血管技术与安全CTMRUSPET

PRIME 2.0:心血管影像相关多模态人工智能评估的拟议要求:更新版清单

PRIME 2.0: Proposed Requirements for Cardiovascular Imaging-Related Multimodal-AI Evaluation: An Updated Checklist.
指南 / 共识 · JACC Cardiovasc Imaging · 2025-08-27

PRIME 2.0 是由国际多学科专家组通过改良德尔菲法更新的清单,用于标准化心血管影像中人工智能应用的开发、评估和报告,覆盖从传统机器学习到深度学习、大语言模型和多模态生成式AI的进展。该清单在原有7个领域框架基础上纳入心脏运动、成像伪影和观察者间变异等心血管影像特有复杂性,提供实用推荐并采用分级清单结构。

要点

  • PRIME 2.0 为心血管影像AI研究提供全生命周期报告框架,涵盖深度学习、大语言模型和多模态AI。
  • 清单在原有7个领域基础上纳入心脏运动、成像伪影和观察者间变异等心血管影像特有挑战。
  • 推荐使用「参考标准」而非「真实标准」描述模型性能基准,并报告标注来源、标注者数量及资质。

核心结论

  • PRIME 2.0 是更新版、领域特异性的框架,旨在标准化心血管影像中人工智能应用的开发、评估和报告。
  • 该更新针对从传统机器学习向深度学习、大语言模型和多模态生成式AI的快速进展。
  • 该清单通过改良德尔菲法由国际临床和技术专家组制定,提供详细实用推荐并纳入心血管影像特有复杂性。
  • PRIME 2.0 可作为研究人员、临床医生、同行评审和期刊编辑在心血管影像AI前沿工作的关键资源。

研究设计与样本

  • PRIME 2.0 由 JACC: Cardiovascular Imaging 邀请的国际多学科专家组制定,成员包括临床医生、计算机科学家和数据科学家。
  • 专家组采用改良德尔菲法,进行多轮证据审查、清单起草和匿名反馈。
  • Dr Sengupta 协调流程,组织3个工作组,分别由 Drs Kagiyama、Tokodi 和 Hathaway 领导,每组结合AI工程师/数据科学家与医师科学家。
  • 成员独立检索已发表报告并起草章节,经多次协作编辑和全体作者审阅后,采用盲法调查和投票达成最终共识。
  • 清单采用分级结构,必要条目以绿色复选框标记,可选条目以灰色复选框标记,并提供2个独立清单模板。

诊断标准与关键数值

  • 清单在原有7个核心领域基础上扩展,内容大幅修订,提供当代AI方法和心血管影像独特挑战的细致指导。
  • 推荐使用术语「参考标准」而非「真实标准」描述模型性能基准,承认人工标注的固有不确定性。
  • 应严格记录标签来源、标注者数量及资质,并报告评分者间信度指标和解决分歧的共识机制。
  • 应报告采集协议如心电图门控、屏气技术、对比剂 timing 和标准化视图,以及成像模态规格、图像分辨率和文件格式。
  • 作者应完成并提交必要条目,非高亮条目也值得纳入但资源密集,可能无法始终 pursued。

临床应用与阅片要点

  • PRIME 2.0 主要面向在AI与心血管影像交叉领域开展的研究人员和数据科学家。
  • 该清单可作为临床医生、学员和其他读者批判性评估复杂研究的资源。
  • 该清单为同行评审和期刊编辑提供结构化框架,以评估投稿的严谨性、有效性和透明度。
  • 研究人员应明确研究目标、计划部署背景、输入数据和期望输出,并说明模型开发策略。
  • 应报告预处理步骤以确保模型不学习无关特征,如通过移除或亚组分析测试模型不受这些特征影响。

局限性

  • 非高亮条目资源密集,可能无法始终 pursued,特别是在较小的临床或学术环境中。
  • 关于监管批准、卫生技术评估和上市后监测及临床随访的推荐将在后续出版物中讨论。
全文中译41 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:JACC Cardiovasc Imaging. Author manuscript; Available in PMC 2026 Oct 1.

PRIME 2.0 的制定依据:应对快速演变的人工智能格局

2020年,PRIME(心血管影像相关机器学习评估的建议要求)清单发表于《JACC:心血管影像》。1 该清单为心血管影像领域在机器学习(ML)主要使用表格数据时标准化研究质量和报告提供了一个关键框架。然而,人工智能(AI)在医学领域的格局已以惊人的速度发生了转变。自2020年以来,以“深度学习”和“心血管影像”为主题的出版物呈指数级增长。2 研究前沿已从使用表格数据迅速进展到利用深度学习(DL)分析原始像素数据3以及使用生成模型创建合成数据。4 目前正朝着大型语言模型(LLM)和多模态AI方向发展,后者可将影像数据与临床笔记、电子健康记录(EHR)和基因组数据整合。5 鉴于这一技术演进要求更新标准,《JACC:心血管影像》邀请了一个新的专家小组制定PRIME 2.0。

与其他指南的比较及AI在心血管影像中的独特需求

目前已建立了一系列报告指南(汇总于补充表1),以提高AI研究的透明度,包括TRIPOD(多变量预测模型个体预后或诊断的透明报告)+ AI等知名建议。6 PRIME 2.0并非旨在替代这些指南,而是作为补充性的、领域特定的标准。心血管影像中的AI研究面临通用指南未能完全解决的独特挑战,包括心脏的动态运动、高度的解剖变异性、“金标准”标注中显著的观察者间变异性,以及模态特定的伪影和噪声。表1总结了本指南旨在帮助研究人员系统性解决的心血管影像AI研究中的关键问题。

更新过程的方法学

JACC:心血管影像学邀请了一个国际多学科专家组,成员包括临床医生、计算机科学家和数据科学家,具备心血管影像学和人工智能(AI)双重专业知识。专家组采用改良德尔菲法,7进行多轮证据审查、清单起草和匿名反馈。这一共识驱动的方法用于完善每项建议,并确保最终清单反映研究领域的最新水平和实际需求。所有受邀专家均对已发表报告的审查和稿件撰写做出了实质性贡献。Sengupta博士协调整个过程,组织了由Kagiyama博士、Tokodi博士和Hathaway博士领导的3个工作组,每组均将AI工程师/数据科学家与医师科学家相结合。在初始规划会议之后,成员被分配特定主题,并规定了字数限制、清单要素和表格内容。他们独立进行已发表报告的检索并起草各部分内容,汇总形成初稿。随后,Sengupta博士和各组负责人主持了多次协作编辑会议,以完善文本和清单,之后分发给所有作者审阅。采用盲法调查和投票以达成最终共识,确保所有作者均符合主稿件既定的作者资格标准。

PRIME 2.0框架概述与清单结构

PRIME 2.0框架的结构旨在指导研究人员贯穿AI研究的整个生命周期。它扩展了原始版本中建立的7个核心领域(中心图示),内容经过大幅修订,为当代AI方法论和心血管影像学的独特挑战提供精细化指导。这一工作最终形成了一份全面的清单(表2)。该清单采用分层结构,必要条目以绿色复选框标记,可选条目以灰色复选框标记。此外,还为研究人员提供了2份独立的清单模板(补充必要清单模板、补充扩展清单模板)。为促进透明性和科学严谨性,我们鼓励作者在报告心血管影像学中的AI研究时完成并提交这些必要条目。其余未突出显示的条目也是可取的,我们强烈鼓励在稿件中尽可能纳入。然而,我们认识到未突出显示的条目资源消耗较大,可能并非总能实施,尤其是在较小的临床或学术环境中。

目标受众与文件范围

PRIME 2.0的目标受众可分为3组。它主要面向在人工智能与心血管影像交叉领域开展研究的研究者和数据科学家。其次,它可作为临床医生、受训人员及其他需要批判性评价这些复杂研究结果的读者的资源。最后,它为同行评审人和期刊编辑提供了一个结构化框架,用以评估所投稿件的严谨性、有效性和透明度。为提高临床读者的可读性,同时保留必要的技术深度,本文在正文中呈现一般性原则。具体而言,在稿件撰写过程中,作者为后续章节“人工智能方法与应用的选择”“模型评估”和“临床评价”撰写了详细的技术内容。为保持临床读者的清晰性和叙述流畅性,这些内容被移至专门的专栏中。技术内容的参考文献见补充参考文献。与监管批准、卫生技术评估以及上市后监测和临床随访相关的建议将在后续发表中论述。

心血管影像中人工智能研究的设计

应用人工智能的适当性。

过去20年来,人工智能的可用性支持了数据驱动医疗保健领域的许多进展。与此同时,仍存在即使最先进的人工智能技术也难以解决的挑战。一项重要的首要任务是确定输入数据是否可用、合适且具有足够规模。然而,输入数据可能不具信息量8或存在混杂9,使其成为训练高效人工智能模型的困难基础。同样,众所周知,训练数据的规模会极大影响模型性能。10一个隐含的推论则意味着,例如,基于历史超声心动图图像(我们有多年存储数据可供使用)训练的模型,其表现会优于基于床旁超声数据训练的模型(因为此类检查中获取的图像通常不被保存,且仅限于较近年份)。如适用,研究者还应论证为何预期复杂的人工智能模型会显著优于更简单的机器学习或传统统计方法,尤其是在使用表格数据作为输入时。

研究目标、输入数据类型和预测目标。

采用人工智能方法的研究应清晰界定目标、计划部署背景、输入数据和期望输出。这些要素确立了问题的范围以及为模型设计原则提供依据的数据来源。研究目标由期望的临床任务和部署背景所界定。这些要素说明了将要解决的临床问题、预期使用者以及预期部署基于人工智能的解决方案所处的临床工作流程。应明确模型开发策略,可以是开发新模型(即从头开发模型)、对现有模型进行改造或微调,或对既往发表的模型进行外部验证。还应明确说明研究者是否旨在开发基础模型,即在大型、多样化的数据集上训练的模型,目标是可适配广泛的下游任务。

输入模态是指用于训练模型的数据类型。对于基于图像的模型,应清晰描述维度、成像模态、数据来源和采集参数等关键细节。监督类型定义了学习范式:监督学习(带有标注输出)、无监督学习(无标签的模式发现)或结合两者要素的混合方法。模型输出类型描述了预测的性质,如二分类或多分类、连续值或聚类。补充表2在3项已发表研究的背景下呈现了这些要素。

对AI系统所用数据的透明描述对于可重复性、偏倚检测与缓解、获得用户信任以及满足伦理和监管要求至关重要。详细的描述还可以解决各中心之间成像方案标准化的困难。应描述输入数据的类型(例如,心脏图像)、结构化数据(例如,生命体征、实验室结果和用药清单)、非结构化数据(例如,临床记录、门诊信件和放射学报告)以及连续信号数据(例如,心电图(ECG)或可穿戴设备数据)。如果使用图像,应严格报告维度(二维、三维、±时间)、模态(X射线、计算机断层扫描、磁共振成像(MRI)、超声或核医学成像)和数据来源(如扫描仪类型、制造商、型号和软件版本)。模型的预测性质(例如,概率、分类、分割、生成图像)、其所代表的含义(例如,某种疾病的概率)以及——如适用——不确定性的估计,均应予以记录。

AI研究的设计。

AI研究设计可分类为:1)对既往收集数据的回顾性分析;11 2)前瞻性数据收集,能够记录所有可疑混杂因素;12,13,14 3)回顾性分析与前瞻性数据收集相结合;4)随机对照试验(RCT)或注册登记的事后分析;15 或5)在前瞻性RCT16内进行评估(表3)。除传统RCT外,实用性RCT17和混合效果-实施试验18等新试验设计越来越多地用于评估AI应用在真实世界环境中的表现。实用性RCT评估AI在常规实践中而非理想条件下是否有效。整群RCT(随机化机构)19和阶梯楔形整群RCT(逐步向所有站点引入AI)20等设计可能有助于减少污染。随机交叉试验也很高效,21但研究人员应意识到临床医生的学习可能导致持久的携带效应。

混合试验通过同时评估临床效果和实施策略,提供了一种更为整合的方法。22这些研究的主要目的可能是确定临床干预的效果(1型)、实施干预的效用(3型),或同等对待两个目标(2型)。例如,2型试验可以在比较不同培训或工作流程策略以促进采纳的同时,评估AI的诊断获益。

数据来源应明确标注为单中心或多中心、基于集群以及全国性或国际性。对于临床影响,应评估并报告对以下标准的影响(如适用)23:更精确的患者选择;更快的图像采集;自动化、更快速且更准确的后处理和定量分析;更快、更准确的诊断、预后和干预;改善的临床结局;以及改善的成本效益。

对于研究设计,至关重要的是纳入研究终点和指标,以验证设备的独立性能及其在预期临床工作流程中的性能,同时在所有阶段尽量减少偏倚以提高泛化性。23

数据格式与预处理

数据格式。

必须报告关键的技术参数以确保可重复性,符合美国心脏协会关于详细描述数据处理的建议,包括预处理、特征提取和变换。24,25 对于心血管影像研究,必须明确采集方案,如心电图门控、屏气技术、对比剂 timing 和标准化视图(短轴、四腔心等),以及成像设备规格(制造商、型号和采集软件版本;MRI的序列参数;计算机断层扫描的管电流和层厚)、图像分辨率和文件格式。24,26 确保影像数据具有良好的表征性、代表性和可复用性对于稳健的AI模型开发至关重要。26

我们提倡使用“参考标准”而非“金标准”来描述衡量模型性能的基准,以承认人工标注中固有的不确定性。研究人员应严格记录标签来源(专家临床医生、影像报告、临床结局)、标注者数量及其资质,遵循使用明确定义规则进行标注的建议。26 在可能的情况下,还应报告评估者间信度指标和解决分歧的共识机制,因为记录评估者间变异性对于评估标注质量至关重要。24,26 研究人员还应包括标注软件的版本、提供给标注者的培训材料以及确保整个数据集数据标注一致性的质量控制措施,以支持为深度学习应用准备高质量的医学影像数据。25

研究队列的临床特征。

概述研究队列中个体的人口学和临床特征对于确保适当纳入代表性不足的患者群体和评估泛化性至关重要。研究队列的基线特征应以表格形式报告,在可行时呈现人口学信息,包括年龄分布、性别、种族和民族。在可获得的情况下,还应呈现的其他特征包括人体测量学指标(如体重指数)、心血管危险因素和其他合并症、既往和当前治疗(如药物、干预措施)、关键生命体征参数(如血压、心率)以及相关影像学参数(如左心室射血分数、心室容积)。在可获得的情况下,应呈现功能状态或残疾的测量指标(如症状、衰弱指标)。

数据预处理步骤。

数据预处理的总体目标是將数据转换为一种格式,使AI算法能够学习相关信息。例如,心血管影像数据具有很大的变异性,包括但不限于具有不同横截面视图、帧率、长度和缩放比例(即cm/像素)的视频,以及图像采集程序的差异。在大多数情况下,相关视图类别的选择被纳入预处理步骤中,以减少输入数据的变异性,27,28尽管对于使用极大型模型的方法存在一些例外。29模型应使哪些信息可供学习取决于模型需要执行的任务。对于仅需要计算最大和最小腔室尺寸比值(即自动计算射血分数)的任务,绝对缩放比例和帧率可能不是必需的。30相反,当执行相关特征不完全清楚的任务时,标准化和/或将有关缩放比例和帧率的信息传递给模型的方法可能更为重要。31这可以通过数据协调(将所有视频的帧率标准化为特定值)或直接将信息传递给模型来实现。数据协调程序和提供给模型的数据应明确报告。

数据预处理的另一个重要方面是确保模型不会学习不相关的特征。这一特定挑战源于模型能够从复杂的高维数据集中自动提取特征。理论上,模型可以使用任何与标签统计学相关的特征,包括那些与所完成任务肯定不相关的特征(例如,成像区域外的患者元数据文本,32超声心动图机器的供应商)。至关重要的是,作者应报告数据预处理步骤中的程序,以确保通过移除这些不相关特征或通过在具有相同特征的受试者中进行亚组分析(例如,使用特定供应商设备进行成像的亚组)来测试模型不受这些特征存在的影响,从而防止模型学习这些不相关特征。补充表3中提供了预处理期间应解决的最常见挑战的示例。

特征工程与特征选择。

特征工程将原始数据转换为可提高模型性能的代表性输入,而特征选择则分离出最相关的变量,以最大限度地减少过拟合和不必要的计算复杂度。33在心血管影像中,常见步骤包括归一化、分类变量编码以及生成复合指标(如体积指标的比值)。先进方法利用基于深度学习(DL)的表示或图像衍生特征与心电图衍生特征的多模态融合。特征选择方法可分为3类:过滤法、包装法和嵌入法——其中过滤法通过单变量检验对特征进行排序(适用于宽数据集),包装法使用模型迭代评估特征子集(最适合中小型数据集),嵌入法通过正则化或基于树的重要性将选择整合到训练中。34然而,特征选择本质上已纳入DL模型的训练中;因此,正则化并不总是必要的。

在处理多模态数据和生成任务的现代人工智能系统中,有效的特征工程已演变为策略性表征设计。35,36 研究人员不应再依赖手工特征构建,而应侧重于选择合适的预训练编码器(图像用卷积神经网络、文本用变换器、结构化数据用变分自编码器),以自动提取层次化嵌入。对于多模态整合,关键步骤包括通过层特异性归一化来规范化特征空间,并通过对比学习或交叉注意力机制对齐模态,从而确保表征均衡且无模态主导。37 生成模型尤其受益于通过稀疏性约束、互信息正则化和领域先验(如语义分词器)实现的可控潜在空间。38,39 尽管深度网络可自动化特征学习,但通过预训练嵌入引入结构化归纳偏置,并实施基于注意力或梯度驱动的维度剪枝,可显著提升泛化能力和效率。融合方法应针对任务进行优化,其中交叉注意力被证明对于从早期、中期或晚期融合策略中创建连贯表征尤为有效。这种综合方法可在最先进的深度学习流程中同时优化生成质量、多模态一致性和计算效率。常用的特征工程与选择技术见表4。

人工智能方法与应用的选择

选择适当人工智能方法与应用的重要性。

在心血管影像中成功整合人工智能需要选择与临床目标、数据可用性和实践偏好相一致的方法。选择适当的方法(即从经典机器学习方法到变换器等复杂架构)对于优化性能同时确保临床相关性至关重要。心血管影像工作流程生成并使用结构化数据(如影像、信号)和非结构化数据(如临床记录),40 这要求仔细选择和应用人工智能方法。在此背景下,模型选择应平衡可解释性与性能,如表5所述。

机器学习、深度学习、基础模型和多模态模型的训练策略。

广义而言,经典机器学习描述的是学习拟合所提供训练数据的计算机算法。机器学习包括统计算法(随机森林、支持向量机等)以及基于神经网络的算法,即深度学习。这些算法可用于对前述一种或多种数据类型执行不同类型的任务,如分类、序列预测或回归。随着机器学习算法变得更加复杂、规模更大且更强大,它们越来越多地被用于医学内外的多模态任务,包括将图像分析与相关文本的自然语言处理(NLP)相结合。关于经典机器学习技术的更多背景,请读者参阅我们之前版本的PRIME清单。1

基于神经网络的深度学习算法的演变。

神经网络算法因其能够为复杂影像数据提取图像特征和其他空间上下文,极大地推动了机器学习在心血管影像中的应用。在心血管影像中,深度学习在推进诊断工具的自动化和准确性方面发挥了重要作用——从超声心动图解读27,41,42和冠状动脉钙化评分43,44到心肌组织分割、45,46筛查47,48和风险分层。49深度学习模型的整合在心血管影像中不断发展,主要从静态图像分析50开始,现已发展到动态时间序列建模、图像生成和多模态分析。51,52重要的深度学习方法包括卷积神经网络(CNN)、循环神经网络、生成对抗网络(GAN)和视觉Transformer(面板1)。

基础模型和多模态模型。

大语言模型(LLM)和大视觉-语言模型(LVLM)因其能够编码和解码复杂的临床语义,正越来越多地被应用于医学影像领域。LLM是指在海量文本语料上训练的深度学习模型,能够理解和生成人类语言;而LVLM通过联合学习文本和图像输入扩展了这一能力。53两者都是在处理有限数据集时初始化模型的强大方式,可实现高效微调并支持其下游泛化能力。这些模型可作为自动报告生成器、表型编码器或连接临床叙述与影像数据的自然语言接口。54在心血管影像中,它们的多模态能力直接反映了临床医生如何整合不同数据类型的信息。LLM和LVLM的另一变革性应用是通过文本解码器将训练好的图像编码器生成的嵌入转换为人类可解释的文本,从而实现心血管影像报告的端到端自动化(补充表4,面板2)。

解决心血管影像中的临床问题。

人工智能方法可以针对特定的临床数据类型进行定制,从结构化表格电子健康记录(EHR)到复杂影像模态。了解不同模型家族在这些数据类型上的表现,对于将适当的人工智能工具应用于给定临床问题至关重要。本节重点介绍基于输入数据特征的心血管影像任务的适当算法选择。

处理结构化数据。

表格数据是指电子健康记录中常见的结构化数据,如实验室结果、生命体征、人口统计学信息、用药清单、操作代码以及从影像衍生的数据。这些数据集非常适合经典机器学习模型,并越来越多地被用于心血管影像中的疾病预测、55风险分层和健康结局建模。56我们将重点讨论选择深度学习方法处理结构化数据,并以原始PRIME清单1作为经典机器学习方法的参考。在为心血管影像衍生的表格数据选择深度学习模型时,必须考虑该领域固有的变异性,包括非标准化采集方案、数据不平衡(例如罕见心脏疾病或代表性不足的人群)以及不同厂商间不一致的元数据,57这些因素可能给数据集引入显著的噪声和异质性(面板3)。

图像分割。

影像数据,包括超声心动图、MRI、计算机断层扫描(CT)血管造影和核素灌注扫描,富含空间信息。它们经常涉及具有高逐搏变异性的动态结构以及由心脏和呼吸周期引起的运动伪影。其他重要的变异性领域包括采集参数(例如,探头定位、对比剂时机)、不一致的医学数字成像和通信(DICOM)格式、心脏支持装置引入的伪影以及次优的门控。这些复杂性要求分割模型不仅准确,而且对时间和空间的不一致性具有鲁棒性。用于图像分割的突出深度学习架构包括基于CNN的方法,重要的是U-net和nnU-net,以及视觉变换器,如Swin Transformer。在创建合成数据和增强训练数据时,GAN、变分编码器和扩散模型是主要方法(面板4)。

基于图像的报告。

心血管影像报告通常包含模态特异性术语(例如,晚期钆增强、冠状动脉钙化)、结构化测量和动态现象的细微解释,所有这些都需要算法在医学数据上进行训练或微调。报告措辞的主观性带来了额外的挑战,可能影响模型的一致性和准确性。自然语言处理模型可考虑用于管理和搜索大型数据库,例如包含所有经胸超声心动图报告的电子健康记录,58或用于将报告一般性分类为正常与异常负荷超声心动图59(面板5)。

组合数据源。

在多源数据上训练的模型优于单模态方法,特别是在复杂临床场景中,如主要不良心脏事件。60一些包含LLM和视觉模型的更突出的公开可用模型包括GPT-4V(带视觉的GPT-4)。61最终,临床医生应决定是使用微调模型(即,专门设计用于从单一成像模态学习对齐的视觉-文本嵌入)还是通用模型;在灵活性和所需领域特定微调之间存在权衡(面板5)。

其他临床AI应用。

在核心AI模型架构之外,几种相邻技术正在塑造AI在心血管成像中的实施方式,包括联邦学习、62边缘学习、63神经符号AI64和机器人流程自动化65(表6)。

模型评估

模型评估的重要性。

模型评估使用预定义指标测量模型在特定数据集上的性能,而模型评价涵盖更广泛的判断,包括在不同环境中的泛化性、公平性和临床效用。全面的评价框架必须结合统计严谨性和临床相关性,考虑数据集不平衡、输入模态(例如,影像、电子健康记录、文本)和预期用途。对于AI在心血管成像中的采用,例如分析心脏MRI或总结超声心动图发现,性能指标必须反映在不同患者群体和护理环境中的准确性和可靠性。多层评价策略支持监管批准、临床信任和成功整合到临床工作流程中(图1)。

技术性能指标。

技术性能指标为评估AI模型的准确性、区分度和/或误差分布提供了客观基准(表7)。30,66-77 这些指标指导着跨多种临床应用场景的模型选择、比较和调优。选择合适的指标取决于任务类型(分类、回归、分割、生成)、数据集特征(类别不平衡、噪声)以及假阳性或假阴性的临床后果。重要的是,验证指标受到参考标准评估的限制,而在心血管影像中,参考标准评估可能具有较高的观察者内和观察者间变异性78,79。表8列出了分类、71分割、80语言81和多模态任务82中常见验证指标的陷阱和注意事项(专题讨论6)。如需更详细的描述,请参阅Maier-Hein等人的综述。72

鲁棒性与泛化能力。

模型不仅必须在内部验证中表现良好,还必须在面对新的患者群体、机构、设备和数据质量变化时展现出始终如一的准确性。这些特性确保了AI系统在不同临床环境中部署的安全性、公平性和公正性。对于心脏病学家而言,鲁棒性模型意味着可靠的诊断、预后判断和工作流程辅助,即使在影像方案、记录风格或患者人口统计学特征存在差异的情况下也是如此。

评估数据质量。

交叉验证通过将数据分成多个子集进行迭代训练和验证,帮助估计模型的性能。内部交叉验证仍可能因隐藏的相关性或特定部位的影像特征而高估性能,这些特征无法泛化到外部数据集。此外,由于某些分割任务存在较高的观察者间变异性,例如识别高风险斑块形态,83交叉验证可能无法完全捕捉标签主观性的影响。外部验证在完全独立的、未用于训练的数据集上评估模型性能。如上所述,联邦学习的应用可以作为机构间共享稳健的、标注好的心血管影像数据集的潜在解决方案。84 即使是稳健的模型也可能因非标准化的影像方案(例如,MRI序列差异或CT对比剂注射时机)而性能下降,这些方案难以在各机构间统一协调。最终,稳健的模型必须在广泛的数据特征范围内保持一致的性能。影像质量、扫描仪方案、电子健康记录完整性、患者人口统计学特征或输入数据变化(如噪声或亮度变化)方面的差异,都可能降低模型准确性(专题讨论7)。

识别模型所学到的特征。

AI模型的可解释性、可阐明性和偏倚/公平性。

AI工具,尤其是深度学习(DL)模型,仍被视为黑箱,即在对输入数据进行复杂运算后分配一个诊断类别。医学应用的一个重大挑战是通过以可解释性和可说明性为目标来更好地理解此类决策,这两者被涵盖在透明度58以及更广泛意义上的可信度85的框架之下。可解释性是指理解AI模型如何得出对某个个体的给定分类,而可说明性是指解释所做出的最终决策,因此需要较低层次的细节。透明度可以通过事后方法处理,也可以是模型固有的。一些广泛使用的事后方法包括对决策的特征重要性进行评分的评分系统86,以及在图像像素或文本元素尺度上的归因图87,88。关键在于确保AI工具在不同患者(例如不同年龄、性别、种族和社会经济群体)之间提供公平的医疗照护,以及确保决策具有临床相关性(例如关于疾病的生理特征、所分析图像中的感兴趣结构、对可比患者或风险组的一致性决策等)。

一般性建议首先从识别和量化决策中的偏倚89开始,以确保公平性90:各组之间相似的预测率(人口统计学均等),以及更精细层面上各组之间的真阳性率(机会均等),以及各组之间的真阳性率和假阳性率(均等化几率)。此类偏倚的缓解可以在训练阶段之前、期间和之后分别通过操作数据分布、模型稳健性和模型结果的后处理来解决90,其影响超越模型的技术性能,直至对患者和医疗保健系统的伦理考量(专题小组8)。

不确定性。

医学数据分析在4个不同阶段容易出现决策不确定性:数据收集、数据标注、模型选择和基于模型的推断。91不确定性的类型包括偶然不确定性和认知不确定性,分别对应于输出决策受输入数据变异的影响程度,或对此类数据缺乏知识(即模型不确定性)的影响程度。尽管后者在已发表的报告中覆盖更多,但不确定性量化和传播的价值往往被低估,而它可能在医疗保健应用中发挥重要作用92(专题小组9)。

临床医生的接受与迭代改进。

AI模型在临床上的成功采用取决于用户信任,这需要技术严谨性和有效沟通。这些包括以临床可解释的格式(例如置信区间(CIs)、风险分层阈值)透明地呈现模型不确定性,使用事后可解释性工具(例如Shapley加性解释值、显著性图、注意力可视化),以及为临床医生参与循环反馈提供结构化机会。迭代改进策略,如针对性错误审查会议、模型辅助标注工作流程以及基于临床医生反馈的再训练,应予以记录,以展示模型输出与专家判断之间的一致性。纳入这些实践可促进透明度,减轻对确定性输出的过度依赖,并促进AI工具的可持续整合。

临床评估

临床评估的重要性。

AI模型应首先在全面且多样化的数据集上使用统计指标进行评估。测试数据应独立于从不同人群和不同临床中心收集的训练数据。测试数据集还应具有足够的样本量67,并能代表其将应用的目标人群在年龄范围、性别、族裔及其他患者特征方面的构成。应在不同患者组之间比较模型性能,以处理任何偏倚并确保公平性和泛化性。

通过统计方法测量的AI模型性能可能无法直接转化为临床效用和疾病特异性情境。例如,具有统计相似性的诊断图像可能在诊断价值和提示方面存在差异。AI方法中的误分类应根据临床环境中误诊的后果进行加权。在此意义上,临床AI中的模型测试应超越指标,扩展至由医学专家在真实世界临床工作流程中进行评估(表9,图2)。93,94

临床效用指标。

AI工具的性能应在临床情境中解读。例如,自动图像分析和定量中的错误应通过其对疾病分类、分级和治疗决策的下游影响来评估。对新的AI诊断解决方案的评估,在报告准确度、敏感度、特异度、阳性预测值、阴性预测值等指标时,应结合临床后果加以考量72:假阳性和误诊可能导致不必要的手术或焦虑,带来额外成本和侵入性;假阴性可能延误治疗,导致后续患者护理的高昂费用。根据医学检查的设置和目的,AI工具可能优先考虑敏感度(例如用于筛查)或特异度(例如用于门控或分诊)。应特别关注影响代表性不足群体的偏倚和误诊,因为AI倾向于主要拟合流行特征。

为评估临床决策支持工具,决策曲线分析(DCA)和净临床获益(NCB)是已建立的框架,同样适用于基于AI的方法。DCA通过考虑假阳性和假阴性的危害,评估在不同决策阈值下使用模型的净获益。NCB通过纳入正确和错误干预的获益与成本,量化模型辅助决策相对于标准治疗的临床价值。这些工具有助于确定AI模型是否能转化为患者护理的实际改善。此外,临床价值应得到经济可行性的支持(面板10)。

临床验证。

AI系统的临床效用可在多个领域进行评估,包括患者结局(例如死亡率、主要心血管事件发生率)、临床效率(例如每例时间、至临床决策时间)、诊断准确性(例如正确诊断率、临床医生诊断信心)和经济影响(例如成本效益、医疗保健资源使用的减少)。

临床验证的程度应与人工智能系统的潜在风险相称,而后者受人类监督程度和人工智能预期临床用途的影响。95 国际医疗器械监管机构论坛(IMDRF)提出了一个结构化的风险分类框架,该框架取决于人工智能预期应用的临床背景以及人工智能所提供信息的重要性。96

随机对照试验(RCT)提供最强的临床证据,在临床决策支持软件能够安全实施之前,可能需要进行随机对照试验。对于较低风险的系统,真实世界证据可以作为正式试验的替代方案,即从常规临床实践中获取的观察性数据来测量人工智能性能。真实世界证据可以捕获具有代表性的患者人群,包括含缺失值的非精选数据,并反映真实世界变量,如临床医生差异性、工作流程整合和系统互操作性。在此类真实世界数据上进行验证可以评估人工智能系统的泛化性和外部有效性。计算机模拟试验提供了一种补充方法,能够在真实世界部署之前或与之并行,在虚拟患者队列中进行基于模拟的验证。97

持续监测。

人工智能模型性能可能随时间推移而衰减,原因包括数据变化(例如患者人口统计学特征变化)、图像采集变化(例如新扫描仪、成像方案变更)或临床实践变化(例如疾病定义更新)。未能检测到模型性能下降,即使在较小子人群中,也可能导致有偏预测、安全风险以及信任度降低。应持续监测模型性能并定期收集评估指标,以识别模型改进的需求。触发模型改进的阈值应预先定义并具有临床相关性。如果检测到性能下降,应首先查找并理解确切原因,以帮助指导模型改进的方法(例如通过更新训练数据[再训练]、模型参数值[再校准]或改进建模结构或训练方法)。当模型被改进后,应重新评估初始模型部署前进行的所有测试,以确保性能不受损害。

应在模型部署时制定模型和软件维护计划,这样可以避免每当使用新模型时都需要提交新的监管审批申请。例如,美国食品药品监督管理局将此称为预先确定的变更控制计划。98 作为该流程的一部分,应描述所有修改,以及修改方案(再训练过程、性能评估、数据管理和更新机制),还有影响评估(对性能的影响、风险分析和风险缓解)。关于上市后监测和部署后管理与监管机构相关的进一步讨论将在配套论文中涵盖。

人工智能模型监测、再训练系统和监管考量均被视为一个更广泛新兴领域的一部分,该领域称为机器学习运维(ML operations),旨在提供一种在部署后支持人工智能工具的流程。99

可重复性的最佳实践

透明度和开放科学原则的重要性。

透明性和开放科学与科学数据的FAIR(可查找、可访问、可互操作和可重用)原则相一致(补充表5)100,并且是协作创新的关键。建议保持透明性,以便在人工智能研究中接受审查和实现可重复性,并确保所开发的工具可访问且值得信赖,并在不同人群群体中提供无偏倚的益处。因此,建议对基础训练数据保持透明,并确保这些数据在不同人群中具有代表性。

建议尽可能采用公平的开源数据共享模式,以促进科学发现、可重复研究和临床转化。

确保技术可重复性。

结果的技术可重复性(即使用相同方法和数据获得相同结果的能力)是科学报告的重要组成部分。这一过程可以分层进行——在模型层面、整体方法学层面和整个研究层面。然而,将深度学习(DL)应用于复杂数据对这一方法提出了独特挑战。

医学领域独有的技术可重复性一个相当大的挑战是临床数据集难以发布。临床数据可能包含可识别患者身份的信息。在深度学习中,这也意味着难以发布模型权重,因为大型模型可能容易受到隐私攻击,这些攻击能够从训练输入中提取敏感数据。101尽管鼓励共享数据集和模型权重以增强可重复性,但这并不总是可行的。此外,知识产权和商业化问题限制了数据和模型的共享。在此类情况下,应提供任何限制的明确理由。

另一个主要挑战是难以复制训练过程。即使使用相同的模型架构、数据集和超参数,由于固有的随机性来源,所得模型也可能不同。例如,图形处理单元上的随机操作可能引入难以或无法完全消除的变异性。102因此,在报告结果时,必须明确可重复性的预期目标。在大多数情况下,目标是复现最终训练好的模型或复制整个训练方法学。可重复性所需的材料和文档取决于这一目标,并应相应报告。

当仅报告最终模型时,随机性不会产生显著影响,因为模型参数是固定的,并且相同输入预期会产生一致输出。在此背景下,可以通过提供模型架构、训练权重和用于评估的测试数据集来实现可重复性。这些材料可以作为源代码、模型权重文件和数据集通过公开可访问的存储库共享(补充表6)。然而,如前所述,由于隐私问题或数据共享限制,发布某些模型权重或数据集可能不可行。在此类情况下,应提供这些材料不可用的明确理由。

在报告生成模型的整个方法学过程时,必须考虑所有可能影响训练过程的随机性来源。这些来源包括权重初始化、数据集的随机采样、训练过程中的随机成分(如dropout层、学习率调度和归约方法)以及硬件特定行为等因素。为评估方法学的稳健性,应通过多次重复训练过程并报告所得的性能分布来量化统计变异性。在此背景下,作者应提供涵盖完整训练流程的源代码,以及随机种子值、硬件规格和最终模型报告通常所需的所有材料等详细信息。

复现大语言模型(LLM)和生成式人工智能研究的特定考量。

复现涉及大语言模型(LLM)和生成式人工智能的研究需要仔细关注以下因素。许多最先进的模型(如GPT-4)是专有的,预训练数据通常不可获取或未记录。由于这些模型频繁更新且其内部细节通常未公开,作者应报告确切的模型名称、版本、提供商和访问日期。提示词细节还必须包括确切措辞、模板或少样本示例的使用,以及温度或最大token数等生成参数。应描述模型使用的上下文,包括基于云的模型的应用编程接口版本和调用时间,或本地模型的基础模型和微调程序。

鉴于大语言模型(LLM)输出的随机性,研究人员应阐明如何处理输出变异性,例如通过报告多次运行、随机种子或汇总统计量。在无法完全披露的情况下,理想情况下应提供独立测试和基准评估的可能性。

报告局限性、偏倚和替代方案

承认研究和模型的局限性。

准确报告和承认局限性对任何科学研究都至关重要。在涉及人工智能方法学的研究中,此类局限性可能来自多个方面。表10列出了局限性的主要类别,并附有示例和评估方法。这些包括数据相关局限性,如范围或代表性有限(如小样本量、单中心设计、多样性有限)、质量问题(如数据缺失、噪声、伪影)和标注挑战(如观察者间变异性、缺乏金标准)。方法学局限性涉及模型假设、架构或优化器约束,以及分辨率降采样等简化处理。泛化性关切涉及人群、技术和临床背景差异,应通过报告亚组性能或外部环境中的性能退化来加以解决。鼓励进行敏感性分析以评估在数据、参数和提示词变化下的稳健性,尤其是对先进模型。最后,模型特定局限性,如大语言模型(LLM)中的幻觉、生成式人工智能的可控性以及可解释性方面的挑战,应予以透明讨论,以支持负责任的临床使用。

讨论研究优势。

应讨论方法的严谨性,强调数据协调、稳健的交叉验证以及在单模态和多模态基线之间的系统基准测试。关键创新包括将新兴架构(如多模态人工智能和大型语言模型)整合到传统临床流程中,从而提升预测性能和可解释性。与数据集特征相关的优势,包括真实世界多样性、纵向随访和类别平衡,支持跨临床场景的泛化能力。重要的是,该清单框架与既定的诊断工作流程保持一致,并通过模型可解释性、校准和可操作输出优先考虑临床相关性。通过清晰阐述这些优势,研究可以突出其技术贡献和转化准备度,促进心血管人工智能研究中的严谨评估和有意义的临床影响。

关于偏倚和公平性评估的报告。

研究必须通过全面的公平性评估框架,系统性地识别、评估和报告影响模型开发的潜在偏倚。关键偏倚包括选择偏倚(例如,由于转诊模式或医疗服务可及性导致开发队列的差异)、代表性偏倚(例如,缺乏人口统计学多样性或排除亚组)、测量偏倚(例如,不同患者群体之间数据采集方案或图像质量的差异)、标注偏倚(例如,不同机构或患者特征导致专家判读的差异)、历史偏倚(例如,遗留数据中嵌入的差异)和算法偏倚(例如,偏向某些人群的模型架构)。这些偏倚类型总结于表11。

公平性评估应包括按人口统计学亚组分层性能的定量指标。使用置信区间和效应量的统计检验应识别差异,尤其是具有临床意义的差异。在可能的情况下,应包括交叉性分析。此外,应详细报告偏倚缓解策略,包括预处理(例如,数据增强、重采样)、处理中(例如,公平性感知训练、对抗性去偏)和后处理(例如,阈值优化、校准校正)。作者必须讨论这些方法的有效性和局限性,包括公平性-性能权衡和意外后果的风险。

残余偏倚分析应评估剩余偏倚及其潜在临床影响,特别是对历史上被边缘化的人群。研究应考虑人工智能模型是否会延续或加剧现有的不平等。

最后,必须承认公平性评估本身的局限性。这些可能包括数据可用性、亚组样本量小、对真实世界部署的泛化能力有限,以及关于不断演变的医疗保健系统中长期公平性的不确定性。

结合替代方法进行情境化。

为使AI模型具有适当的背景参照,研究应将其性能与临床标准、传统风险评分和更简单的统计模型进行基准比较。例如,基于AI的射血分数估计已证明与金标准双平面Simpson法具有强相关性,103-105 而在超过300,000份超声心动图上训练的深度学习(DL)模型在生存预测任务中优于逻辑回归。106 研究表明,CNN和LLM等先进架构在视图分类、心律失常检测和冠状动脉疾病评估等任务中已达到或超越专家表现。107-111 此类比较为评估先进AI技术的附加价值提供了基础。

使用DL和LLM等复杂架构应由其优越性能明确证明其合理性。研究表明,这些模型在视图分类、心腔分割和疾病检测中可达到或超过专家级准确率,通常实现曲线下面积>0.90。93,112 多模态模型在事件预测中也优于传统风险评分,系统综述支持其改善图像质量和诊断一致性的潜力。113 这些发现强化了在心血管影像中采用更复杂AI模型的理由。

尽管AI模型通常优于传统方法,非AI计算方法在将AI输出置于背景中和验证AI输出方面继续发挥重要的补充作用。放射组学、拓扑数据分析和生理模拟等技术可增强可解释性、提供基准参考并使预测与临床推理保持一致。放射组学能够从影像数据中进行定量特征提取,支持风险分层并与基于AI的预测进行比较。114 拓扑数据分析捕捉传统像素级分析可能遗漏的复杂几何和结构模式。115,116 生理模型,包括应变或血流模拟,通过将AI输出建立在已确立的生物学原理上提供机制性验证。117 此类方法的整合支持透明度、提高模型可信度并促进与临床预期的一致性。

结论

PRIME 2.0回应了心血管影像中AI研究对结构化、透明和可重复报告的迫切需求。它提供了详细的、领域特定的建议,既反映了影像数据的复杂性,也反映了AI方法的快速进展,确保研究符合科学严谨性和临床相关性的期望。为在已发表的报告中维护这些标准,完整的PRIME 2.0清单可作为补充材料随研究手稿提交,以支持透明度并使同行审稿人和读者能够批判性评估方法的稳健性。

补充材料

引用

  1. Kagiyama N, Tokodi M, Hathaway QA, et al. PRIME 2.0: Proposed Requirements for Cardiovascular Imaging-Related Multimodal-AI Evaluation: An Updated Checklist. JACC Cardiovasc Imaging. 2025. PMID: 40892627. doi:10.1016/j.jcmg.2025.08.004
  2. 全文:PMC13628111(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13628111/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。