ESR要点:欧洲医学影像信息学会关于AI实践推荐中常用性能指标的解读
本文为放射科医生提供评估AI性能的实践推荐,涵盖重叠指标、基于检验的指标和基于结局的指标,强调使用独立数据集进行本地验证、选择任务特异性指标并结合部署场景。关键推荐包括在反映本机构成像方案和患者人群的独立数据集上本地验证AI工具(证据等级:中等),以及同时评估和报告基于检验与基于结局的性能指标(证据等级:中等)。
要点
- 应在独立于算法开发的数据集上本地验证AI工具,确保实际性能与声称性能一致(证据等级:中等)。
- 根据AI任务类型选择指标:分割用DSC和归一化表面距离,检测用IoU和mAP,分类用敏感度、特异度、AUROC及精确率、F1等。
- 基于检验和基于结局的指标均应评估并报告,低患病率场景下AUPRC比AUROC更有信息量。
核心结论
- 放射科医生必须评估AI性能指标,因为这些指标反映特定数据集中的可接受性能,但不保证临床效用。
- 针对临床场景的独立评估至关重要;性能指标必须与AI应用的预期任务(分割、检测或分类)一致,并基于领域知识和临床背景选择。
- 敏感度、特异度、AUROC和准确率必须结合针对目标人群计算的患病率依赖指标(如精确率、F1分数和马修斯相关系数)来解读,以确保安全有效的临床使用。
研究设计与样本
- 本文为欧洲医学影像信息学会(European Society of Medical Imaging Informatics)专家共识文件,属于ESR Essentials系列。
- 专家就重叠指标和判别指标的使用提供共识意见,并涵盖校准指标、不确定性量化和可解释性指标。
- 推荐条款标注证据等级:本地验证、任务特异性指标选择、部署场景考虑均为中等证据等级。
诊断标准与关键数值
- 本地验证AI工具:使用独立于算法开发、反映本机构成像方案和患者人群的数据集,超越CE标志进行验证(证据等级:中等)。
- 分割指标:Dice相似系数(DSC)和归一化表面距离,IoU即Jaccard指数,DSC和IoU范围均为0到1;建议DSC与归一化表面距离同时报告。
- 基于检验的指标:敏感度、特异度、AUROC,用于评估模型在不同数据集间区分疾病状态的能力(证据等级:中等)。
- 基于结局的指标:精确率、阴性预测值、F1分数、马修斯相关系数、AUPRC,用于评估模型在真实临床环境中做出可靠诊断的能力(证据等级:中等);基于检验和基于结局的指标均应评估并报告(证据等级:中等)。
- 检测任务中边界框IoU超过阈值(通常为0.1或0.5,取决于临床任务)视为真阳性;平均精度(AP)按类别计算,各类别均值即mAP,范围0到1。
临床应用与阅片要点
- 应在预期临床环境和工作流程中评估AI性能,让放射科医生和临床医生参与定义相关指标并估计本地疾病患病率,并评估临床意义或脆弱亚组的表现(证据等级:中等)。
- 对于罕见但严重的疾病(如心脏淀粉样变性和恶性胶质瘤),阈值可提高(如至0.7)以强调特异度、牺牲部分敏感度用于排除诊断;阈值调整应对应ROC曲线左下方或PR曲线左上方工作点。
- 不建议不加批判地使用Youden指数,因其对敏感度和特异度等权重,这在临床实践中很少有意义;应在诊断窗口背景下解读和确定阈值。
- 生成式AI图像评估常用SSIM、PSNR和RMSE,但这些指标不一定反映诊断质量,应始终伴随人工评估诊断质量和可互换性。
- AI工具预测概率不一定指示真实诊断可能性,除非模型校准良好;将模型应用于新数据时应考虑阈值调整,以应对高概率假阳性或低概率假阴性等潜在差异。
局限性
- 校准指标(如Brier分数)、不确定性量化(如保形预测)和可解释性指标(如Grad-CAM)对理解模型行为也很关键,但这些方法在成像应用中的真实世界实施仍然有限,可能留下高估算法结果的空间。
- AI模型性能指标反映特定数据集中的可接受性能,但不保证临床效用;需要针对临床场景的独立评估。
全文中译30 节 · 点击展开
关键推荐
在CE认证之外,使用独立于算法开发的数据集对人工智能(AI)工具进行本地验证,这些数据集应反映本机构的成像方案和患者人口学特征,以确保实际性能与声称性能一致(证据级别:中等)。
使用针对特定任务的性能指标,例如:分割指标(如Dice相似系数(DSC)和归一化表面距离)。
基于检验的指标(灵敏度、特异度、ROC曲线下面积),用于评估模型在不同数据集间一致区分不同病变状态的能力。
基于结局的指标(精确率、阴性预测值(NPV)、F1分数、马修斯相关系数、PR曲线下面积),用于评估模型在真实临床环境中做出可靠诊断的能力。
基于检验和基于结局的性能指标均应予以评估和报告。
(证据级别:中等)在评估AI性能时考虑部署环境:在预期的临床环境和 workflow 中评估性能。
让放射科医师和临床医师参与定义相关指标并估计本地疾病患病率。
在具有临床意义或弱势亚组中评估性能(证据级别:中等)。
(证据级别:中等)
引言
随着AI日益融入放射学领域,全面评估算法性能对于安全可靠的临床使用至关重要[1]。诊断性AI的性能指标必须与临床目标相一致,需考虑成像模态、扫描方案、疾病患病率和患者人群的变异性[1]。虽然准确率、灵敏度和特异度等传统指标为大家所熟悉且使用最为频繁,但它们往往无法反映AI在真实世界中的性能,尤其是在复杂或低患病率场景中[2, 3]。
性能指标虽为放射学实践不可或缺的组成部分,却常被认为复杂难懂。指标的不当使用在AI文献中十分常见[4, 5],包括依赖易受类别不平衡影响的指标、过度强调单一指标以及忽视临床相关性,这可能误导使用者并掩盖算法的局限性,进而可能导致过度诊断和费用增加[6]。
采用AI工具的放射科医师往往在没有充分指导的情况下自行解读指标并估计效用,存在评估失误的风险。这种“买者自慎”的方式将评估工作流程和患者护理获益的负担转嫁给最终用户,而这是一项耗时的工作,又因缺乏标准化的指标报告而更加复杂。厂商在强调其软件主观获益的同时,不能仅依靠这些来支撑AI在医疗保健中的可持续整合[7]。
本文是“ESR Essentials”系列的一部分,为诊断性AI放射学(包括合成图像)中选择和解读重叠度指标与鉴别性指标提供推荐意见,探讨常见陷阱,提供缓解策略,并使放射科医师能够就诊断性AI工具做出明智决策。来自欧洲医学影像信息学会的一组专家以共识形式提供了关于这些指标使用的专家意见。
除了重叠度和判别性指标外,校准指标(如Brier评分)、不确定性量化(如用于可信度评估的保形预测)和可解释性指标(如Grad-CAM)对于理解模型行为也至关重要。Brier评分表示概率预测对结果的代表程度,确保预测概率得到良好校准,即Brier评分越低,表明概率与实际结果之间的均方误差越小,因此模型预测能较好地反映结果[8]。保形预测是一种通过将点预测转化为预测集来量化预测不确定性的框架。其显著特点是无分布假设,意味着它可以在不假设任何特定数据分布的情况下提供有效的置信集。此类不确定性量化方法有助于避免对可能不正确的预测产生危险的过度自信[9]。然而,这类方法在影像应用中的实际落地仍然有限,可能为算法结果的夸大留下空间。
评估层次
放射学中的人工智能模型在不同层次的输入数据上运行,从像素到患者,每个层次都需要量身定制的性能指标。在最低层次,分割指标评估准确标记每个像素的能力。检测指标评估模型定位特定区域或对象的能力,而分类则为图像或病灶(如良性或恶性)分配标签。预测任务估计未来事件的可能性。在患者层次,人工智能的实际影响以临床结局和医疗效率来衡量。
为每个临床问题选择适当的类别至关重要,通常需要组合多种指标。例如,肺结节人工智能工具必须同时从检测和分割两方面进行评估,以确保准确定位和体积分析[10]。
分割、检测和分类任务评估
人工智能算法可基于正确预测(真阳性[TP]和真阴性[TN])和错误预测(假阳性[FP]和假阴性[FN])进行评估。TP的含义因任务层次而异,无论是在像素、区域、扫描还是患者层次。以下各节概述了源自混淆矩阵(图1)的性能指标及其在分割、检测和分类中的应用,详述了每项任务的复杂性和相关指标。
分割指标
技术性能:分割
分割任务分为语义分割和实例分割(图2)。语义分割将每个像素分配到一个类别,而实例分割进一步区分这些类别中的各个对象。性能通过评估预测标签与参考标准标签之间空间重叠的指标进行量化,其中TP代表正确标记的像素。关键指标包括交并比(IoU),也称为Jaccard指数,以及DSC,两者范围均为0到1。IoU衡量重叠区域与预测区域和实际区域并集之比,而DSC计算重叠面积的两倍除以两组像素总数 [11](图3)。在分割中不鼓励使用准确率,因为它容易受到像素类别不平衡的影响,这种不平衡通常由大量背景像素引起 [12]。
重叠指标对体积敏感,倾向于较大的球形对象,而非边界更具挑战性的细小或不规则结构。推荐使用边界特异性指标,如归一化表面距离和Hausdorff距离,其中前者因其稳健性而更受青睐 [13]。在医学影像分割中,建议将DSC与归一化表面距离一同报告 [1]。此外,重叠指标对异常值(单个错误像素)非常敏感;因此,最佳实践是报告第99或第95百分位数而非最大距离。
技术性能:对象检测
当像素聚集形成可区分的结构时,目标检测指标就变得至关重要。边界框由四个像素坐标定义(图2),通常用于定位这些结构。通常,边界框只定义两个坐标(例如左上和右下)。由于边界框是正方形,另外两个坐标可以计算得出。在评估检测性能时,重点不在于精确的角点位置,而在于预测的边界框是否与手工参考足够匹配。这种匹配使用IoU(见“技术性能:分割”)进行量化,如果IoU超过阈值(通常为0.1或0.5,取决于临床任务),则边界框被视为真阳性(TP)。对于每个目标类别(例如肝脏和肿瘤),计算平均精度(AP)。这些精度值在所有类别上的平均值,即平均精度均值(mAP),提供了范围从0到1的总体检测性能评分。基于混淆矩阵的指标也可用于分割,将在下一节中介绍。
分类指标
应区分基于检验的(临床)结局基于的性能指标。基于检验的指标是诊断检验或分类模型本身的属性,与患病率无关,允许模型之间的比较。人群中患病率的变化不会影响这些指标,因为它们只考虑已知为阳性或阴性的个体。相反,基于结局的指标直接依赖于患病率,在临床实践中特别有用。
基于检验的(每类)性能指标(敏感度和特异度)
敏感度(也称为召回率或TP率),是所有阳性病例中真阳性的比例,评估模型正确识别阳性病例的能力(图1)。特异度(也称为TN率),是所有阴性病例中真阴性的比例,评估模型正确识别阴性病例的能力(图1)。这些指标提供关于检验的信息,且与患病率无关。
基于结局的性能指标(精确率和NPV)
精确率,也称为阳性预测值(PPV),衡量被预测为阳性的病例中真正为阳性的比例(图1)。
NPV衡量被预测为阴性的病例中真正为阴性的比例(图1)。这些指标提供关于检验结果对患者意义的信息,且依赖于患病率。
每类指标和预测指标的重要性
高敏感度和/或高PPV在筛查检验中至关重要,具体取决于文化和地理背景。高敏感度结合高NPV有助于排除疾病,但单独使用时可能导致假阳性(FP),造成不必要的随访或干预,但可减少漏诊疾病,从而防止索赔[2, 14]。相反,高特异度(低假阳性率)对于确认具有严重后果的疾病(rule in)至关重要,可减少不必要的治疗或随访,特别是在侵入性操作或昂贵干预中(见“低患病率环境”部分)。
敏感度和特异度不受患病率影响,因为其公式仅考虑阳性或阴性病例,是稳定的性能指标,但在患病率不同的环境中可能产生误导。通常,提交监管审批的研究中疾病患病率约为50%,主要是为了避免需要过大的样本量及随之而来的负担。
精确率反映阳性结果确认特定患者患病的可能性,在假阳性(FP)后果严重的场景中尤为重要,例如确认恶性肿瘤(并避免活检)。
汇总性能指标
准确率
准确率表示正确预测的总体比例(图1)。尽管直观,但在类别不平衡的数据集中,由于频繁预测多数类,准确率可能显得虚高。平衡准确率是敏感度和特异度的平均值,在此类情况下是更好的指标,因为它同等权衡阳性和阴性的检出[2]。然而,在低患病率环境中,平衡准确率仍可能产生虚假的高结果,而模型实际上是较差的预测器。目前,学界在低患病率场景中仍倾向于使用准确率,这可能部分解释了在真实环境中常见的性能下降[5]。
F1分数
F1分数平衡了精确率和敏感度,当样本类别之间存在不平衡且阳性类别最为相关时尤为有用。换言之,当您希望在结局相对罕见的临床环境中不漏诊同时尽量减少FP时,该指标最为理想。
在此,罕见通常定义为患病患者<40%(例如肺结节、偶发性肺栓塞、乳腺癌、脑CT上的急性发现及其他机会性筛查场景)。在这些情况下,强烈推荐使用F1分数而非准确率。原因在于其公式不包括真阴性(TN)(图1),因此不受多数类膨胀的影响。
马修斯相关系数(MCC)
MCC是一种解决类别不平衡的稳健统计指标,在二分类场景中比准确率甚至F1分数提供更具信息量和更真实的评分[15]。仅当混淆矩阵所有四个元素均表现良好时,它才产生高值,范围为−1(完全错误分类)到+1(完全分类)。与F1分数不同,MCC对类别互换(即阳性结果变为多数类)保持不变,使其在不平衡数据集中尤其有价值[15]。
精确率、阴性预测值(NPV)、准确率和F1分数依赖于患病率,因为其公式包含阳性和阴性病例。虽然有助于在特定情境中解读检测结果,但其可靠性在患病率不同的人群中存在差异。例如,患病率增加通过提高真阳性(TP)与FP的比值来提高阳性预测值(PPV)。必须验证研究队列中的患病率是否与目标人群的患病率一致,因为假设二者相等可能导致基于队列的指标与人群水平指标之间出现显著差异。
图1展示了混淆矩阵示例及所有混淆矩阵衍生指标的彩色编码公式。详细示例见陷阱1。
多阈值指标:AUROC、AUPRC和FROC
多阈值指标,如受试者工作特征曲线下面积(AUROC)和精确率-召回率曲线下面积(AUPRC,或AP),总结了模型在不同阈值下区分类别能力。此处的区分是指模型正确区分阳性病例与阴性病例的能力。自由响应操作特征(FROC)评估每张图像中多个病灶的检测和定位性能。AUROC和AUPRC及其各自的曲线(ROC曲线和PR曲线)对于模型比较和可视化模型在特定条件下的行为具有重要价值[16]。
受试者工作特征(ROC)曲线下面积
AUROC衡量模型区分阳性与阴性病例的有效程度,表示随机选择的阳性病例得分高于阴性病例的可能性。它评估所有阈值下的整体区分能力,其中每个阈值(操作点)代表灵敏度(TP率)与特异度(TN率)之间的权衡。尽管常用,但AUROC的变化几乎没有直接的临床意义,因此不能用于评估临床影响[17]。
AUPRC
AUPRC(或AP)量化了不同阈值下精确率与灵敏度之间的权衡,且依赖于患病率。它在低患病率环境中尤其有价值(见陷阱1和2)。在这些情况下,AUPRC提供的真实世界性能评估比AUROC更具信息量,后者可能因占主导地位的TN类别而出现误导性的高值[3, 18, 19]。它可以被视为AUROC的“F1分数版本”,因为两者都排除了TN类别。
FROC
FROC在医学影像中用于评估与每张图像中多个发现的检测和定位相关任务的诊断性能,例如肺结节、肝脏病灶或一般性转移灶[18, 20]。因此,FROC不使用ROC中的假阳性率,而是使用每图像假阳性数(FPPI),后者衡量每张图像中不正确病灶检测的平均数量[1]。FROC曲线将灵敏度(y轴)对FPPI(x轴)作图,展示正确检测病灶与避免FP之间的权衡。FROC的其他变体,如定位ROC(LROC)、替代FROC(AFROC)和刀切法FROC(JAFROC),也可使用。关于FROC替代方法的更多细节可参见参考文献16和19[18, 21]。
多分类指标
在模型必须在三个或更多类别之间进行选择的情况下,应选择能反映这种复杂性的适当评估指标。此类情况下应使用评估所有类别性能的指标。宏F1分数平衡每个类别的精确率和召回率,然后对这些值取平均,确保即使小类别也能影响最终结果。相反,微F1分数平等对待每个预测,在计算精确率和召回率之前汇总所有正确和不正确的预测,偏向较大的类别。其他有用的指标包括Cohen's Kappa,它通过考虑偶然一致的可能性来调整准确率,以及MCC,它捕捉真实类别与预测类别之间的整体相关性,即使在高度不平衡的设置中也是如此[22]。
分类指标的实践应用
在分类任务中,AI模型输出数值(0–1或0–100),表示图像或ROI属于某一类别的可能性。实际概率可通过校准和不确定性量化进行评估[23]。阳性/阴性判定取决于所选阈值(工作点)。调整该阈值可使决策与临床优先级相一致(例如,减少假阳性或阴性)。例如,若模型预测值为0.6而阈值为0.5,则该样本为阳性。
对于罕见但严重的疾病(例如心脏淀粉样变性和恶性胶质瘤),阈值可能提高(例如提高至0.7)以强调特异性,牺牲部分敏感性并用于确诊疾病。此调整对应于ROC曲线上向左下方工作点的移动,或PR曲线上向左上方工作点的移动,每个阈值生成一个独特的(理论)混淆矩阵(图4)。例如,在阈值为0.7时,0.6变为阴性。
传统上,约登指数用于从ROC曲线推导敏感性和特异性。然而,我们不建议不加批判地使用约登指数,因为它对敏感性和特异性赋予同等权重——这种方法在临床实践中很少有意义。相反,阈值应在诊断窗口的背景下具体解读和确定(图4)。另一种方法是根据临床需求选择最低要求的敏感性/阴性预测值或特异性/精确率。例如,在脑肿瘤病例中,目标是避免不必要的活检和/或不必要的脑部手术,假阳性可能比假阴性带来更严重的后果。在这些情况下,阳性预测值和特异性更为重要,应选择更靠近ROC曲线左侧的工作点。
需要注意的是,除非模型经过良好校准,否则预测概率不一定代表诊断的真实可能性。因此,在将模型应用于新数据时,应考虑阈值调整,以应对潜在的差异,如高概率假阳性或低概率假阴性。
AI生成图像的评估
随着生成式人工智能的兴起,合成医学图像越来越多地被MRI和CT厂商用于AI辅助重建以及模型开发中的数据集增强。常用于评估这些图像的指标包括结构相似性指数(SSIM)、峰值信噪比(PSNR)和均方根误差(RMSE)。RMSE表示AI生成图像与原始图像之间累积平方误差的平方根,值越低表示质量越好[24]。PSNR衡量峰值信号相对于噪声的比值,值越高表示质量越好[25]。SSIM的范围为−1至1,评估亮度、对比度和结构,值为1表示完全相似。SSIM值越高反映感知质量越好且与原始图像越相似[26]。值得注意的是,这些指标不一定反映诊断质量。因此,一幅SSIM低、PSNR低、RMSE高的图像,如果关键发现清晰,仍可能具有较高的诊断质量。此外,SSIM常被误解,它反映的是整体相似性,这意味着边缘模糊的图像即使诊断区域完整也可能得分较低。因此,这些指标应始终伴随对诊断质量和可互换性的人工评估[27, 28]。
AI临床试验的评价指标
临床试验(即前瞻性研究)的设计和执行对于将AI纳入临床工作流程至关重要。在前瞻性临床研究中,结局与(回顾性)诊断研究不同。临床(即患者或医院层面)终点将作为评估AI模型临床性能的主要指标,并辅以传统诊断性能指标。此类终点包括召回率和间期癌发生率(在乳腺癌筛查中)、死亡率、住院率[29]、住院时长[30]、急性住院床日数[31]、治疗等待时间[32]、无病生存期[33]、患者满意率[34]。某些终点的数据,如间期癌发生率,可能需要数年才能收集。目前,已开展的AI医学影像试验有限,部分原因是AI是一个相对年轻的领域,但预计其数量在不久的将来会增加。
指标使用中的陷阱及缓解策略
以下描述了当前AI在医学影像中的一系列常见陷阱,并附有最常见临床陷阱的示例。缓解策略见表1。关于指标使用中常见和罕见陷阱的全面列表(不限于放射学),读者可参考Metrics Reloaded在线工具(https://metrics-reloaded.dkfz.de/)。已提供流程图(图5),描述了根据AI模型任务选择适当性能指标的策略以及对市售诊断AI工具的评估策略。
陷阱1. 忽视小结构
大感兴趣区(ROI)可能无法捕捉到小而具有临床重要性的结构。这被称为小尺寸偏差,该问题类似于类别不平衡,即小结构(例如,大ROI内的小区域)对整体指标(包括灵敏度和DSC)的贡献较小。
陷阱2. 形状无感知
陷阱:某些指标,如DSC,可能无法完全捕捉分割任务中的形状差异。
陷阱3. 低患病率环境与对单一指标的过度依赖及监管批准相结合
低患病率环境可能出现在二级转诊中心的罕见疾病中,也可能出现在常见疾病的低发生率场景中,例如筛查、防御性医疗文化或三级转诊中心。
目前临床实践中最常见的情况是,在低患病率环境中,看似微小的特异度缺陷可能导致不成比例的大量假阳性(FP)。例如,一个获得CE认证和FDA许可的偶发性肺栓塞检测算法,灵敏度为94%,特异度为95%,在IPE患病率为3%的中心,其准确率将为95%,假阳性率为5%,乍看之下似乎足够[35]。然而,在所有被标记的病例中,大多数(63%)将是假警报(假发现率 = 1 − 精确率),可能导致本已不堪重负的临床工作流程因额外扫描而更加恶化,并可能因抗凝治疗而导致过度治疗(图6)。这尤其令人担忧,因为放射科医生很可能遵循AI结果[36]。此外,由于数据漂移和异质性人机交互,实际性能很可能更差。
如果F1分数(53%)、MCC(57%)和精确率(37%)能够事先获得(图6B),那么部署该算法不可取这一点就会很清楚。值得注意的是,供应商通常期望最终用户自行进行这些评估。算法获得CE标志这一事实意味着安全性,但并不意味着具有临床有意义的使用价值。
陷阱4. 依赖准确率评估真实世界性能
对于不平衡数据集,依赖准确率可能产生误导,因为模型可以通过简单地预测多数类(最常见的是真阴性(TN))来获得高准确率(另见图6B、C)。
陷阱5. 忽视临床背景
仅关注统计性能而不考虑临床效用。
陷阱6. 报告不充分
适当报告性能指标对于AI稿件的完整性至关重要。相关文献中报告不充分的情况很常见。
总结陈述
总之,本文强调了稳健的评估指标对于将人工智能安全整合到放射学中的重要性。实用策略针对诸如依赖单一指标和报告不佳等陷阱,使放射科医生能够批判性地评估人工智能工具以用于安全的临床使用,并使供应商和研究人员能够进行更透明的报告。
患者摘要
人工智能在放射学中越来越多地用于更快、更准确地检测和诊断疾病。评估这些工具的性能不仅在研究中很重要,而且在医院的实际环境中也很重要,以确保安全性和准确性。本指南帮助放射科医生选择正确的方法来衡量人工智能性能,旨在保障患者安全并保持高诊断质量。
引用
- Klontzas ME, Groot Lipman KBW, Akinci D' Antonoli T, et al. ESR Essentials: common performance metrics in AI-practice recommendations by the European Society of Medical Imaging Informatics. Eur Radiol. 2025. PMID: 40753524. doi:10.1007/s00330-025-11890-w
- 全文:PMC12953274(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12953274/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。