指南与共识心血管US

EchoPeer:AI时代超声心动图报告标准化评价框架建议

Special article-EchoPeer: a standardized framework for assessing echocardiography reports in the era of artificial intelligence: a recommendation from the Korean Society of Echocardiography AI and Future Strategy Committee.
指南 / 共识 · J Cardiovasc Imaging · 2026-08-14

韩国超声心动图学会AI与未来战略委员会提出了EchoPeer三步评价框架,用于对照参考标准评价AI或医生撰写的成人经胸超声心动图报告。框架分安全门(0步)、精确性(25项,0-80分)和质量(0-20分)三步,并在11名不同培训阶段的医生、30例成人TTE中验证。结果显示安全、精确、质量和总分均随培训级别单调递增,提示该框架能区分人类读者的临床能力。

要点

  • 评价报告先过安全门:漏报或幻觉性报告7类危及生命发现者直接判0分。
  • 精确性评分(0-80)逐项对照参考标准,主要错在室壁运动异常、左室质量与舒张功能。
  • 安全、精确与质量评分随培训级别升高,总分与精确、质量呈显著正相关。

核心结论

  • EchoPeer能区分不同培训水平读者的报告能力,并生成与已知超声心动图报告难点相符的错误图谱。
  • 该框架为未来评价AI生成的超声心动图报告提供了具有临床基础的标准化工具。

研究设计与样本

  • 本研究为韩国超声心动图学会AI与未来战略委员会制定的框架协议及初步验证研究。
  • 研究对象为11名来自多家培训医院的心内科专培/低年资医生,按COCATS 4衍生问卷分为三级:1级3名、2级5名、3级3名。
  • 30例成人经胸超声心动图(TTE)病例涵盖正常、缺血性心脏病、瓣膜病、心肌病、急性PE、AAS及先心病。
  • 图像通过PACS环境以DICOM格式回顾,参考标准由2名有超过10年超声心动图经验的心内科认证专家共识读图建立。
  • 连续变量以中位数(范围)表示,因每组样本量小采用非参数检验,趋势用单侧Jonckheere-Terpstra检验。

关键影像表现/征象

  • EchoPeer评价对象是超声心动图报告文本而非图像本身,评估的是报告中描述的征象与参考标准的一致性。
  • 步骤1评估25个报告项目:A左心结构与功能7项、B瓣膜9项、C右心及肺动脉4项、D主动脉/心包/心内占位/先心病5项。
  • 安全门评估的7类危及生命发现包括:心脏压塞、主动脉夹层或急性主动脉综合征、心梗机械并发症、过客血栓、急性右心功能不全伴可疑PE、LVAD/VA-ECMO并发症、人工瓣或自体瓣重度梗阻。

诊断标准与关键数值

  • 安全评分随培训级别升高:中位数分别为86.7%(86.7%-90.0%)、90.0%(83.3%-93.3%)、96.7%(96.7%-100%),P=0.005。
  • 临界发现检出的逐病例敏感性从1级59.3%(16/27)升至3级92.6%(25/27),参与者水平P=0.007。
  • 精确性评分中位数分别为61.8、64.7、70.9(P=0.007);质量评分中位数分别为10.4、12.9、15.1(P=0.009)。
  • 复合评分中位数分别为72.2、77.7、86.2(P=0.003);精确与质量评分在病例水平Spearman ρ=0.568,参与者水平ρ=0.888。
  • 精确性主要错在三个项目:节段性室壁运动异常严重程度(31.4%)、左室质量与几何形态(23.9%)、左室舒张功能(12.3%)。

临床应用与阅片要点

  • 阅片报告应在核对常规结构之外,先主动排查并明确描述或排除7类危及生命发现如心脏压塞、主动脉夹层。
  • 对室壁运动异常、左室质量与舒张功能的判读应更加谨慎,反复对照参考标准以避免分级跳跃或方向反转。
  • 报告撰写时需整合临床指征、逻辑自洽、表达清晰,避免只罗列参数而缺乏综合判读。

局限性

  • 本研究样本量有限:共11名读者、30例病例,且为单中心参考标准,可能限制结论外推性。
  • 初步验证仅覆盖人类读者,尚未在AI生成的报告上正式验证框架效能。
  • 步骤1的条目权重及步骤2的分数阈值是专家初始操作尺度,未来需要在校准验证研究中重新标定。
全文中译15 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:J Cardiovasc Imaging. 2026 Aug 14;34:23. doi: 10.1186/s44348-026-00085-6

背景

超声心动图是应用最广泛的心脏成像方法,其报告驱动临床决策。过去5年间,超声心动图中的人工智能(AI)已从用于射血分数估计和切面分类的单任务模型[1],发展到在大规模配对的视频-报告数据集上训练的多模态基础模型,能够起草完整的研究解读[2–4]。EchoCLIP、PanEcho和EchoPrime等视觉-语言系统现已能生成关于心腔、瓣膜和心包的自由文本描述,生成完全由AI撰写的超声心动图报告,而非仅生成孤立测量值。生成此类报告的技术能力发展速度,已超过验证其所需的临床基础设施建设速度[5]。

生成式AI引入了传统测量验证研究无法捕捉的错误模式。大语言模型(LLM)可生成读起来具有权威性、但包含虚构发现或关键遗漏的内容[6, 7]。在应用于放射学的多模态AI系统中已记录到幻觉诊断,在应用于超声心动图报告总结的开源LLM中也报告了虚构的心腔大小和多普勒测量值[9]。当前对医学AI的评估通常依赖多项选择基准测试或孤立任务的准确性。此类设计虽然可能显示出与临床医生表面上的等效性,但无法捕捉当AI系统生成完整、非结构化临床报告时出现的安全性失败——此时必须评估的不仅是测量,还有综合与遗漏方面的错误[10]。对于超声心动图而言,漏诊(如肺栓塞、心脏压塞或主动脉夹层)直接影响生存,因此在任何下游准确性指标能够被有意义地解读之前,必须先筛查临床幻觉和关键遗漏。

现有评估工具并非为此任务而设计(表1)[11–15]。放射科医师同行评审项目(如RADPEER)是为人类阅片者之间的阅片一致性而构建的,并未将虚构与解读差异区分开来[11–13]。基于培训的能力框架(COCATS 4第5工作组声明)定义了人类阅片者的技能层级,并不直接适用于算法系统[14]。2025年美国超声心动图学会(ASE)成人超声心动图报告标准化指南规定了成人超声心动图报告的预期内容,但提供的是描述性而非评估性框架,没有用于将报告与参考标准进行比较的评分细则[15]。这些工具均未包含明确的安全关卡,即在评分准确性之前筛除存在关键虚构或遗漏的报告。

为填补这一空白,韩国超声心动图学会成立了人工智能与未来战略委员会,以制定一套标准化的超声心动图报告评估框架。该框架被命名为EchoPeer,从设计之初即适用于对AI生成报告和临床医生撰写报告进行评分,并与参考标准进行对照。EchoPeer包括三个连续步骤:(1)安全闸门,筛查每份报告中的关键发现,其遗漏和虚构会影响患者安全;(2)精确性评估,在四个解剖域共25个条目上逐项量化诊断准确性;(3)质量评估,通过相关性、综合性和清晰度三个检查点评定临床实用性。

一个旨在用于AI评估的框架,必须首先证明其能够区分不同经验水平的人类读者在报告质量上的有意义差异。本文介绍EchoPeer方案,并报告其在三个培训级别的内科住院医师和低年资主治医师中的初步验证,检验三个EchoPeer评分是否能够捕捉到培训级别所预期的临床能力梯度。这一步在人类读者中确立了结构效度,为后续将EchoPeer应用于AI生成报告的计划奠定了基础。

表1 现有超声心动图报告评估框架的比较 查看原表 ↗

EchoPeer评估方案

EchoPeer方案是一个结构化框架,用于依据预先定义的共识参考标准评估AI生成的和临床医生撰写的成人经胸超声心动图报告。该方案包括三个连续步骤(图1)。步骤0产生一个安全评分(%),代表通过步骤0的病例比例;该评分作为一个独立的安全闸门。步骤1产生一个精确性评分(0–80分),步骤2产生一个质量评分(0–20分);这两个评分在病例层面相加,形成EchoPeer综合评分(0–100分),代表报告的综合诊断准确性和临床实用性。未通过步骤0的病例综合评分为0分(精确性=0,质量=0),反映了如下临床原则:未能识别关键发现使该报告在临床上不可接受,无论其余部分的准确性如何。EchoPeer设计用于报告层面的评分;读者层面的表现通过汇总该读者各病例的评分得出。该框架与参考标准无关,研究者可根据研究设计和规模,将评分锚定于专家共识、核心实验室判读或既往临床报告。框架本身旨在跨版本保持稳定,而用于定义各步骤内参考类别和分级阈值的具体临床指南则独立于框架之外,并随证据基础的发展而更新。

第0步(安全性评估)对每份报告进行筛查,以发现直接影响患者安全的严重错误(表2)。第0步的架构——以严重遗漏和严重幻觉作为两种失败模式的通过/不通过筛查——是该框架的一个稳定组成部分。当前框架版本中严重发现的具体清单来源于2025年ASE成人超声心动图报告标准化指南[15],并可能随着证据和指南的演变在未来版本中进行修订。本框架评估的七项危及生命的发现为:(1)可疑心脏压塞;(2)可疑主动脉夹层或急性主动脉综合征(AAS);(3)心肌梗死(MI)并发症,包括室间隔破裂、心室或乳头肌破裂或假性动脉瘤;(4)移行性血栓;(5)急性右心室(RV)功能障碍及可疑急性肺栓塞(PE);(6)左心室(LV)辅助装置或静脉-动脉体外膜肺氧合并发症;(7)人工瓣膜或自体瓣膜的严重瓣膜梗阻或狭窄,尤其是急性或新发的。

对于每项发现,评估两种失败模式。严重遗漏定义为参考标准为阳性但报告中未提及、予以否认或明确降级为非严重类别;保留了严重类别的报告(例如,参考标准为重度主动脉瓣狭窄时报告为“中重度主动脉瓣狭窄”)不归类为失败。严重幻觉定义为参考标准为阴性但报告中断言该发现明确存在;明确标注不确定性的报告(例如,“可能心脏压塞,不能排除”)不归类为失败。如果某一病例的七项发现中有任何一项失败,则该病例被归类为“不通过”;否则,该病例通过第0步。判读者的安全评分为通过第0步的病例比例。未通过第0步的病例被赋予精确度评分0分和质量评分0分,并纳入判读者的平均评分而非排除,以便未能检出严重发现的情况在整体表现中得到反映。详细的严重发现定义以及完整的遗漏和幻觉失败标准见表S1。

由于第0步旨在作为安全关口,第0步失败的处理方式与普通条目级错误不同。一份遗漏了预定义的危及生命发现或引入假阳性严重发现的报告不能被视为临床安全,即使其他非严重内容准确无误。在此类情况下赋予非零综合评分,可能使一份存在严重安全失败的报告因在低风险领域表现良好而看似可接受。因此,当第0步失败时,精确度评分和质量评分均设为0分,综合评分为0分,且该失败病例保留在判读者的平均评分中而非排除。这一规则保持了EchoPeer安全优先的宗旨,并确保严重发现失败不会被其他方面准确的报告内容所稀释。

步骤1(精确性评估)通过加权评分方法量化每个条目的诊断准确性。步骤1架构是一个四级准确性量表,应用于按解剖学域分组的条目,并将条目级权重跨域汇总为单一精确性评分,是该框架中稳定的组成部分。每个条目被赋予一个反映其临床重要性的权重(W),域级权重由各域内条目的权重之和产生。所评估的域和条目锚定于2025年ASE报告标准及疾病特异性超声心动图指南中推荐的核心报告要素[16–19]。然而,这些指南并未为报告评估域或条目提供经过验证的数值加权方案。因此,当前权重代表基于临床影响、患者安全相关性及对管理决策预期影响的初步专家推导操作性量表,并应在未来的验证研究中重新校准。在当前框架版本中,共评估4个解剖学域的25个条目:A域,左心结构与功能(7个条目,22分);B域,瓣膜(9个条目,28分);C域,右心与肺动脉(4个条目,14分);D域,主动脉、心包、心内占位及先天性心脏病(5个条目,16分),总计80分(表3)。分配给每个域的相对权重反映了专家对其在常规超声心动图报告中临床影响的判断。在当前框架版本中,肺动脉瓣疾病和心外发现因缺乏标准化的分级标准而被排除在步骤1评分之外。

每个条目对照参考标准按四级量表进行评分:“完全一致”(W × 1.00),即报告在相关分级或类别上与参考标准一致;“可接受”(W × 0.75),即报告与参考标准相差一个相邻分级但不改变临床管理;“不一致”(W × 0.50),即报告与参考标准相差两个分级,达到可能改变管理的程度;或“重大错误”(W × 0.25),即报告与参考标准相差三个或以上分级、涉及方向反转错误、断言假阳性重大发现,或明确否认参考标准为阳性的重大发现。即使在重大错误级别也保留权重的剩余分数,以便评分反映分级严重程度而非条目层面的二元通过/失败。当参考标准缺失或条目被方案排除时,条目评分为不适用(NA)。单份报告内部存在不一致的条目按最差方向归一化规则评分。

精确性评分为所有可评估条目层级得分的加权总和,按这些条目的总权重重新标度,并以0–80分制表示;NA条目从分子和该重新标度分母中均被排除,因此省略的条目既不惩罚也不抬高评分。规范这些组成部分的操作性评分规则,包括相邻分级参数、隐含正常类别、不确定情况处理、条目特定省略规则、内部不一致方案及NA类别,见表S2;完整的25条目评估模板,包括具体权重、参考类别及条目级评分细则,见表S3。

第2步(质量评估)采用四级量表对每份报告的临床效用进行分级:优(20分)、良(16分)、次优(10分)和不可接受(0分)(表4)。第2步架构是该框架的稳定组成部分,通过三个检查点应用这一四级量表:相关性、综合性和清晰性。四级分级结构受RADPEER同行评审项目的启发,该项目按临床意义递增的有序量表对判读差异进行分级[13];然而,三个检查点是专门为超声心动图报告评估而开发的。第2步四个等级所赋的分值经过选择,以将该有序评估映射到EchoPeer的20分质量评分域:20分表示完全质量得分,16分表示尽管存在轻微局限但仍具临床可用性的报告,10分表示临床有用性有临床意义降低的报告,0分表示报告层面的临床效用失败。这些阈值代表了本框架初步的专家推导操作量表,需要在更大规模的验证研究中进一步校准。相关性评估报告是否直接回答了检查指征所提出的临床问题;综合性评估各项发现是否逻辑整合且无内部矛盾;清晰性评估报告是否足够简洁完整以支持后续决策。这些检查点反映了结构化报告倡议和超声心动图实验室质量框架中所强调的报告质量维度[20, 21]。当参考标准确定心肌病表型(肥厚型心肌病、扩张型心肌病[DCM]、限制型心肌病、致心律失常性右心室心肌病或非扩张型左心室心肌病)[16]时,在相关性和综合性检查点内适用一项附加要求:报告应以适当的不确定性和支持性证据来表述该表型。质量评分在报告层面通过跨三个检查点的整体判断来赋予,遵循表4中详述的等级定义。精确度评分(0–80分)与质量评分(0–20分)在报告层面相加,构成EchoPeer综合评分(0–100分),将逐项诊断准确性与整体临床效用整合在一起。

图1 EchoPeer评估工作流程。三个连续的评估步骤(第0步,安全性;第1步,精确度;第2步,质量)产生三个独立评分。未通过第0步的报告在分析中被赋予第1步 = 0、第2步 = 0,因此综合评分 = 0 查看原图 ↗
表2 EchoPeer第0步安全性评估:关键发现(摘要) 查看原表 ↗
表3 EchoPeer第1步精确度评估:领域结构 查看原表 ↗
表4 EchoPeer第2步质量评估评分标准 查看原表 ↗

试点验证:可行性与区分性能

伦理声明

本方案经首尔大学盆唐医院机构审查委员会批准(编号:B-2602–1026-301)。所有参与者在参与前均提供了书面知情同意。

研究参与者

来自多个教学医院的11名超声心动图专科培训医师和低年资主治医师参与了这项预评估。培训级别通过一份基于COCATS 4的自我评估问卷进行划分,该问卷纳入了超声心动图轮转时长和终身病例量(经胸超声心动图[TTE]和经食管超声心动图[TEE]、负荷超声心动图、三维超声心动图及应变成像)(附录S1)[17, 18]。参与者被分为三个培训级别:1级(n = 3;第一年专科培训医师,超声心动图判读经验有限)、2级(n = 5;第二年或第三年初的专科培训医师)和3级(n = 3;完成专科培训后2年内、积极参与超声心动图判读的主治医师)。不同级别间的超声心动图经验在培训年份(P = 0.002)、超声心动图轮转时长(P = 0.012)、TTE判读量(P = 0.044)、负荷超声心动图量(P = 0.028)和应变成像量(P = 0.044)方面差异显著。基线特征总结于表5。

表5 参与者的基线特征 查看原表 ↗

研究设计

选取了30例有代表性的成人TTE病例,以涵盖主要临床类别,包括正常检查、缺血性心脏病、瓣膜性心脏病、各种心肌病、急性肺栓塞、急性主动脉综合征以及简单和复杂的先天性心脏病。所有病例在分发前均已去除身份标识。病例以DICOM格式提供给参与者,并通过临床影像归档与通信系统(PACS)环境(INFINITT,INFINITT Healthcare)进行审阅,使参与者能够像日常实践一样浏览、测量和分析检查。每个病例附有基本临床信息(年龄、性别、主诉、身高和体重),TTE图像保留了超声技师最初执行的测量值。参与者可根据需要使用PACS工具进行额外测量。未强制规定标准化报告模板;参与者按照各自培训机构的报告风格自由生成报告。每个病例的参考标准由两位具有10年以上超声心动图经验、通过委员会认证的心脏病学专家(YE Yoon和GY Cho)协商判读确定。具体而言,第1步的参考类别和分级阈值根据表S3中指定的现行临床指南进行分配。

分析方法

连续变量以中位数(范围)表示,分类变量以计数(百分比)表示。鉴于每个培训级别的样本量有限(1级,n=3;2级,n=5;3级,n=3),全文均采用非参数方法。基线特征在不同培训级别间通过Fisher精确检验(分类变量)或Kruskal–Wallis检验(连续变量和有序变量)进行比较。安全性、精确性、质量及综合评分在三个培训级别间(1级<2级<3级)的趋势采用单侧Jonckheere-Terpstra趋势检验。该框架的聚合效度通过在病例水平和参与者水平上对精确性评分与质量评分进行Spearman等级相关分析来检验。在所有基于级别的比较中,步骤0未通过的病例被赋予精确性评分0分和质量评分0分;领域级精确性评分仅使用步骤0通过的病例计算,以描述独立于整体步骤0惩罚的逐项表现。逐项主要错误率和质量等级分布进行描述性总结。双侧P<0.05被认为具有统计学意义;趋势检验P值为单侧。所有分析均使用R 4.3版(R统计计算基金会)完成。

EchoPeer在不同培训级别间的表现

在30个病例中,9个包含参考标准定义的关键发现。安全性评分在培训级别间显示出显著的正向趋势(P=0.005,Jonckheere-Terpstra检验)(图2A)。安全性评分的中位数分别为:1级86.7%(范围,86.7%–90.0%),2级90.0%(范围,83.3%–93.3%),3级96.7%(范围,96.7%–100%)。每位参与者对关键发现检测的敏感度也随培训级别显著提高(1级,55.6%[范围,55.6%–66.7%];2级,66.7%[范围,44.4%–88.9%];3级,88.9%[范围,88.9%–100%];P=0.007,Jonckheere-Terpstra检验)。当每个培训级别内所有参与者的关键发现判读结果汇总后,关键发现检测的总体每病例敏感度从1级的59.3%(27例中16例)上升至3级的92.6%(27例中25例)。按关键发现类别和培训级别划分的未检出率见补充表S4。

对于步骤1精确性评估(0–80分制,步骤0未通过的病例计为0分),精确性评分在培训级别间显示出显著的正向趋势(P=0.007,Jonckheere-Terpstra检验)(图2B)。精确性评分的中位数分别为:1级61.8(范围,60.7–65.1),2级64.7(范围,59.9–68.1),3级70.9(范围,69.5–71.8)。领域级分析显示,领域A(左心结构和功能)的准确率最低(中位数,82.2%);而领域D(主动脉、心包、心内占位、先天性心脏病)的准确率最高(94.8%);领域C(右心和肺动脉)和领域B(瓣膜)居中(分别为85.5%和94.8%)。主要错误集中在三个条目:节段性室壁运动异常严重程度(31.4%)、左心室质量与几何形态(23.9%)和左心室舒张功能(12.3%)。

对于第2步质量评估(0–20分制),第0步未通过的病例被赋予质量评分0分(不可接受),与第1步所应用的原则一致。质量评分在不同培训级别之间也显示出显著的正向趋势(P = 0.009,Jonckheere-Terpstra检验)(图2C)。1级的中位质量评分为10.4(范围,7.9–11.2),2级为12.9(范围,9.2–14.7),3级为15.1(范围,14.3–17.0)。质量等级的分布在不同培训级别之间显示出明显的梯度(图3):最佳等级的比例从1级的6%增加到2级的16%和3级的33%,而不可接受等级的比例从21%下降到2级的15%,并进一步下降到3级的3%。

EchoPeer综合评分(0–100分制),即精确度评分与质量评分之和,在不同培训级别之间也显示出显著的正向趋势(P = 0.003,Jonckheere-Terpstra检验)(图4)。1级的中位综合评分为72.2(范围,68.6–76.3),2级为77.7(范围,69.1–82.5),3级为86.2(范围,84.6–87.9)。EchoPeer框架的聚合效度得到精确度评分与质量评分之间显著正相关的支持,无论是在病例层面(Spearman ρ = 0.568,P < 0.001)还是在参与者层面(ρ = 0.888,P < 0.001),这表明两个评分组成部分虽然评估报告表现的不同方面,但捕捉了整体报告质量的相关维度。

图2 按培训级别划分的EchoPeer评分。条形代表中位数值;圆点为各个参与者。每个条形内的数字给出中位数(范围)。A 第0步安全评分(%)。B 第1步精确度评分(0–80分制)。C 第2步质量评分(0–20分制)。P值来自单侧Jonckheere-Terpstra趋势检验 查看原图 ↗
图3 按培训级别划分的第2步质量等级分布。堆叠条形显示每个培训级别内各质量等级病例的比例(1级,n = 90个病例;2级,n = 150;3级,n = 90)。第0步未通过的病例被评分为“不可接受”。 查看原图 ↗
图4 按培训级别划分的EchoPeer综合评分。条形代表综合评分的中位数;圆点为各个参与者。每个条形内的数字给出中位数(范围)。P值来自单侧Jonckheere-Terpstra趋势检验 查看原图 ↗

讨论

EchoPeer被开发为一个标准化框架,用于对照共识参考标准评估超声心动图报告,无论该报告是由AI系统生成还是由人工阅片者撰写。随着AI系统已从孤立的测量任务迈向完整报告生成,对此类框架的需求日益增加[22–24]。现有的评估框架针对相关但不同的目的(表1)。美国放射学会的RADPEER项目为放射学报告的阅片者间同行评审提供了差异分级系统,但其设计并非用于AI评估[11]。COCATS 4定义了人类心脏病学专科培训医师的培训层级,不适用于算法[14]。2025年ASE报告标准规定了成人经胸超声心动图(TTE)报告的预期内容,但未提供定量评分方案[15]。为填补这一空白,韩国超声心动图学会AI与未来战略委员会开发了EchoPeer,这是一个旨在对照参考标准定量评估成人TTE报告的方案,无论报告是AI生成的还是人工撰写的。EchoPeer是对现有框架的补充,通过三个连续步骤评估报告,以生成统一的、定量的报告性能概况:安全门(步骤0)、加权条目级诊断精度(步骤1)和报告级临床实用性(步骤2)。每一步产生一个独立评分,并回答一个不同的临床问题,即报告是否安全、准确和可用。

本研究不仅报告了该方案的制定过程,还报告了其在三个培训层级的心脏病学专科培训医师和初级工作人员中进行的首次试点验证。所有三项评分(安全性、精度和质量)均随培训层级单调递增,观察到的错误模式再现了超声心动图判读中已被充分描述过的困难。据我们所知,EchoPeer属于首批采用统一评分方法、对照参考标准评估超声心动图报告的安全性、诊断精度和临床实用性的框架之一。以下各节讨论方案每一步的依据,并结合试点发现及其对AI生成报告评估的意义。

步骤0与安全门的临床必要性

超声心动图报告最严重的失误并非测量不精确,而是遗漏或虚构了需要立即处理的发现。这类错误在性质上与程度性的不准确截然不同。如果评估从平均条目级准确性入手,就无法反映这一点,因为一份在所有常规条目上都精确无误、但在一项关键发现上出错的报告,仍会获得高分。这类诊断错误仍是可预防伤害的重要来源,而在影像学中,占主导地位的是解读性错误而非技术性错误 [25, 26]。第0步筛查的情况,包括心脏压塞、急性主动脉综合征(AAS)、心肌梗死(MI)的机械并发症、急性肺栓塞(PE)和重度瓣膜梗阻,具有一个共同特性:一次漏诊或虚构诊断就可能决定患者能否获得及时且恰当的治疗 [27–29]。因此,EchoPeer在任何准确性评分之前设置了一道安全闸门,使关键性遗漏或关键性幻觉在报告诊断细节之前、并独立于诊断细节被识别出来。第0步的关键发现清单并非旨在穷尽所有情况;其他情况,如心源性休克背景下的重度左心室(LV)收缩功能障碍,可在未来EchoPeer版本或机构特定适配中纳入。

初步验证显示了这道闸门的实际重要性。尽管关键发现敏感性随训练而提高,但残余失败集中在少数被认为临床上有难度的诊断上,最显著的是低流速、低压差的重度主动脉瓣狭窄和急性肺栓塞。在这一人类队列中,所有第0步失败均为关键性遗漏;在任何训练水平上均未发生关键性幻觉。然而,这一模式并不必然预测人工智能系统的行为,因为生成式模型可能在罕见但高风险的场景中失败,同时复现常规报告模式 [30–33]。例如,大语言模型(LLM)在总结临床文本时可能引入无依据或虚构的陈述 [34–36]。EchoPeer从一开始就设计为能够同时检测两种失败模式:第0步同时筛查每份报告的关键性遗漏和关键性幻觉。这种双重筛查预计对人工智能生成的报告尤为重要,因为一份行文流畅的报告仍可能关键性地不完整或存在虚构;第0步会在应用任何基于准确性的评估之前,将此类报告判定为不安全。

第1步与条目级诊断精度

通过安全门槛的报告并不因此就在临床上充分,因为其对转诊医师的价值取决于每项影响管理决策的发现的准确性。瓣膜病的严重程度、局部室壁运动异常的存在与范围,以及舒张功能障碍的分级,每一项都具有直接的治疗后果,而一份仅记录整体印象的评估无法显示报告在哪些方面可靠、在哪些方面不可靠。即使在受过培训的阅片者之间,超声心动图解读的可重复性也是有限的,尤其是对局部室壁运动的视觉评估和舒张功能分级 [37–39]。因此,第1步旨在在单个条目层面解决诊断准确性问题,根据每个条目的临床重要性进行加权,并对照参考标准进行分级,使所得评分反映具有临床意义的一致性,而非逐字逐句的吻合。

在试点验证中,重大错误集中在左心领域,尤其是局部室壁运动异常严重程度、左心室质量与几何形态以及舒张功能。这些条目有一个共同特点:它们要么依赖于主观视觉分析,要么依赖于按照指南推荐算法对多个参数进行整合,而这两者都是人工报告的公认薄弱环节 [40–42]。有趣的是,AI报告系统在这些领域面临的挑战并不完全相同。需要视觉分析的条目一直是专用AI工具的重点,例如为局部室壁运动开发的工具 [17, 43, 44],以及用于识别特定表型(如心脏淀粉样变性)的工具 [45, 46]。这些系统很可能遇到与人类阅片者类似的困难,其转化意义在于,AI验证工作应针对此类条目,并采用最严格的接受阈值。相比之下,需要按照固定算法进行多参数整合的条目,如左心室质量与几何形态,或舒张功能 [18, 19],本质上非常适合系统性算法执行 [47–49];同样的情况也适用于依赖既定数值界值的瓣膜性心脏病严重程度分级 [17, 50]。然而,在此类条目上的良好表现本身并不能证明AI报告系统已准备好独立用于临床,仍需要通过诸如EchoPeer之类的框架对所有条目类别进行结构化验证。

第2步与报告的临床效用

诊断准确性,即使完整,本身也不足以使报告具有临床效用。一份报告只有在回答了促使检查的临床问题、整合各项发现且无内部矛盾,并足够清晰地陈述结论以供采取行动时,才对转诊医师有用。结构化报告之所以在各影像专业中被提倡,正是因为非结构化叙述对于承载这些特性而言是一种不稳定的载体 [20, 51]。在超声心动图中,报告质量被公认为实验室质量的重要组成部分,不同于任何单项测量的准确性 [21]。第2步旨在通过三个检查点(相关性、综合性和清晰性)来捕捉这一维度,这三个检查点对应于转诊医师判断一份报告是否无需进一步澄清即可据以采取行动的标准。

在试点验证中,质量等级的分布随培训呈一致变化,被评为“最佳”的报告比例逐步上升,而被评为“不可接受”的比例逐级下降。这一模式支持将精确性和质量作为两个独立维度进行评估的价值:一份报告在条目层面可能诊断准确,但仍未能提供连贯、可操作的解释。这一区分对于AI生成的报告尤为重要,因为大语言模型(LLMs)生成的文本流畅且具有说服力,而与其正确性无关 [52, 53];流畅的语言可以掩盖编造和条理混乱,而生成模型在超声心动图报告中的早期应用同时展示了这一前景和风险 [54]。

一个适用于AI生成报告和人工撰写报告的综合框架

这三个步骤的设计意图不是作为相互独立的审查,而是作为一个单一工具运作,试点验证支持了该设计。三项评分(安全性、精确性和质量)均随培训级别的提高而单调递增。由于培训级别是独立于该方案确立的能力外部标志,这种单调递增为框架的结构效度提供了初步证据。综合设计还要求保留步骤0的失败案例,而非将其剔除。安全性失败和条目级不准确并非报告的相互独立属性,二者在最缺乏经验的参与者中均更为常见;因此,将步骤0失败案例从步骤1和步骤2的分析中排除,会不成比例地从这些参与者中移除最具挑战性的案例,从而掩盖该方案旨在测量的梯度。对步骤0失败案例赋以精确性评分0分和质量评分0分,可在综合评分中保留对关键发现失败的惩罚,并防止能力排序产生偏倚。

通过在一个通用量表上对安全性、诊断精确性和临床实用性进行分级,EchoPeer使得一份报告无论其作者是谁,都能以相同的标准进行评价,而这种以报告为中心的设计正是将该框架扩展到AI生成报告的关键。对这样一种工具的需求日益明确。医学AI的报告和评价标准发展迅速,从试验层面的指南[55],到决策支持系统早期临床评价框架[56]、预测模型报告规范[57]以及风险相称的监管评估[58]。这些框架规范的是AI系统如何被研究和报告;EchoPeer则与之互补,规定了可接受的超声心动图报告必须包含的内容以及一份给定报告在多大程度上存在不足。对于AI生成的超声心动图报告,第0步可能尤为重要,因为流畅的文本仍可能遗漏危及生命的发现或引入虚构的诊断。第1步随后可将错误来源定位到特定的超声心动图领域和条目,区分视觉判读失败与基于指南的整合失败;第2步则评估生成的报告是否回答了临床问题、是否连贯地整合了各项发现,以及是否恰当地传达了不确定性。此类标准首先在分级的人类能力范围内进行验证,为自动化报告在走向临床部署过程中的安全性和充分性提供了评判基准。

局限性

本研究存在若干局限性需要考量。首先,这是一项小规模预试验研究,参与者数量有限,且各培训层级内的人数较少;因此本文报告的趋势需要在更大规模的多中心队列中加以确认。第二,该方案是在人类阅片者而非AI系统中进行验证的,其在AI生成报告——即最终预期应用场景——中的表现尚待确立;在将该框架应用于AI之前,本研究特意选用人类队列进行研究,以提供一个分级的专业能力基准。第三,参考标准由两位经验丰富的心脏病专家协商一致确定,这可能无法完全反映参考标准定义中固有的不确定性;未来研究可采用更大规模的专家小组或外部核心实验室裁定。第四,EchoPeer在两个阶段依赖有限的专家输入:步骤1中的条目权重是初始的专家推导操作性量表,而非来源于经外部验证的多专家共识;且每份报告由一位专家心脏病专家单独评分,未进行正式的评分者间信度评估;未来研究应扩大专家校准范围并量化评分者间一致性。第五,病例集富集了步骤0的关键发现及多种病理类型,这增强了内容覆盖度,但并未再现常规实践中的疾病流行率,因此绝对分数不应被解读为对真实世界表现的估计。第六,本研究在韩国培训医院开展,报告习惯、术语及临床沟通规范在其他医疗体系中可能有所不同;该框架通过允许在步骤2中根据机构具体情况调整分级阈值来预见这一问题,但在更广泛应用之前仍需进行国际验证。最后,当前框架版本聚焦于成人经胸超声心动图(TTE);向经食管超声心动图(TEE)、负荷超声心动图、三维成像及应变报告的扩展需要在未来工作中进行专项验证。未来的验证研究还应纳入人类和AI生成的报告,这些报告应涵盖一个有意界定的与参考标准一致性谱系——从接近一致的报告到存在具有临床意义差异或重大错误的报告——以进一步校准评分框架并检验其在不同报告准确性水平上的区分能力。

结论

本研究报道了EchoPeer的研发——一个三步方案,用于对AI生成和人类撰写的超声心动图报告的安全性、诊断精确性及临床实用性进行分级评分,并在三个培训层级的心内科进修医师和初级工作人员中完成了首次预试验验证。三项评分均随培训层级的提高而单调递增,且错误模式再现了既往已在超声心动图判读中明确描述的困难,支持EchoPeer作为一种测量工具的有效性。EchoPeer为评估超声心动图报告提供了一种实用且基于临床的标准,无论报告作者是谁。需要更大规模的多中心研究——包括对AI生成报告的直接评估——来确认其适用性,并进一步明确其在更广泛的AI报告验证领域中的作用。

补充信息

附加文件1:表S1. 逐步0安全性评估的详细信息:关键发现、临床定义及不合格标准。表S2. 逐步1精确性评估:评分量表与操作规则。表S3. 完整的逐步1精确性评估:25个项目、权重、参考类别及项目级评分原则。表S4. 按关键发现类别和培训级别划分的逐步0不合格率。附录S1. 自我评估问卷。

引用

  1. Bae, Moon, Park, et al. Special article-EchoPeer: a standardized framework for assessing echocardiography reports in the era of artificial intelligence: a recommendation from the Korean Society of Echocardiography AI and Future Strategy Committee. J Cardiovasc Imaging. 2026. PMID: 42601624. doi:10.1186/s44348-026-00085-6
  2. 全文:PMC13474789(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13474789/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。