指南与共识技术与安全CTMRUSDR

影像学中可重复人工智能基准数据集创建的建议

Recommendations for the creation of benchmark datasets for reproducible artificial intelligence in radiology.
指南 / 共识 · Insights Imaging · 2024-10-14

本文针对影像学人工智能外部验证缺乏可及数据的问题,提出创建基准数据集的建议,涵盖从预处理到监管和生物统计学等多方面考量。文章强调数据集应具有代表性、标注规范、质量可控且可及,并讨论了评估模型性能的指标选择。

要点

  • 基准数据集是验证AI软件性能、提升可信度与稳健性的关键。
  • 数据集需反映真实世界疾病谱、人群多样性和采集系统差异。
  • 图像质量、标注规范性及去标识化处理均影响基准数据集质量。

核心结论

  • 创建并开放涵盖多样人群与疾病特征的基准数据集,对验证AI算法性能及测试泛化能力至关重要。

研究设计与样本

  • 本文为影像学基准数据集创建的建议性文章,由作者提出系列考量与建议,未报告系统检索方法与证据分级。

诊断标准与关键数值

  • 基准数据集应清晰界定具体用例、临床背景、目标人群与医疗场景。
  • 标注应以充分随访或病理证据为参考标准,缺乏时可采用阅片者共识或多数投票作为替代。
  • 数据集应包含去标识化人口统计学与相关临床病史等元数据。
  • 数据集样本量应结合临床相关效应量与期望统计学显著性水平进行估算。
  • 若用于验证真实世界适用性,应保持目标人群的自然疾病患病率;若用于训练机器学习算法,则偏好平衡数据集。

临床应用与阅片要点

  • 作者建议在创建基准数据集前明确具体用例及任务类型(检测、分类、分割、回归)及其标注要求。
  • 作者建议图像预处理(如降噪、强度归一化、增强)应详细描述并公开所用软件代码以保证可重复性。
  • 作者建议应评估图像质量,排除含伪影无法诊断的图像,并确认无低分辨率或降解迹象。
  • 作者建议数据集应便于研究者获取,并附元数据文件及遵循相应报告指南的描述手稿。

局限性

  • 原文指出目前尚无标准化方法用于现代AI工具的样本量计算。
  • 原文指出合成数据在临床实践中引入的潜在偏倚仍在研究中。
  • 原文指出ComBat等 harmonization 方法在影像组学特征上的可重复性仍存在开放研究问题。
  • 原文指出MIMIC-CXR为单中心数据,可能不能代表地理上不同的人群。
  • 原文指出在联邦学习情况下,图像与标签质量验证无法集中进行,数据质量成为数据提供机构的唯一责任。
全文中译18 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Oct 14;15:248. doi: 10.1186/s13244-024-01833-2

引言

近年来,人工智能(AI)算法在医疗保健领域的发展势头强劲,放射学领域亦是如此。截至2023年初,仅放射学领域就有超过200种市售AI软件解决方案[1]。AI模型外部验证的一个重要方面是基准数据集的创建。基准数据集是经过精心整理的专家标注数据集合,代表所关注疾病的全部谱系,并反映目标人群的多样性以及数据采集系统和方法的差异。此类数据集对于验证AI模型(即确立其可靠性和准确性)、提高可信度以及确保在真实世界应用中稳健性能的可能性至关重要[2–4]。

如果用于开发和验证AI算法的数据集不能代表目标人群,就可能产生偏倚,从而对大量患者造成严重后果[3]。例如,如果数据集来源于一个成熟医疗体系内相对同质的源人群,所开发的算法可能无法有效泛化到例如资源有限、人群人口学和病理生理特征不同的环境。这可能进一步加剧健康不平等,潜在地导致边缘化人群的医疗结局更差[5]。此外,在过度使用的源自医院人群的公共数据集上开发的算法,如果应用于筛查环境中具有相似人口学特征但疾病患病率不同的个体,可能表现出欠佳的性能[6, 7]。这可能导致大规模漏诊,尤其是考虑到自动化偏倚的存在[8]。Logullo等[9]回顾了使用公共数据集训练AI诊断肺结节(检测、分割或分类)的研究。他们显示,纳入的研究中有49%在模型开发和/或验证期间使用了LIDC-IDRI [10]或LUNA [11]或源自它们的数据集。此类公共数据集的特征可能与利用其进行训练/验证的AI算法的预期使用场景不同。例如,结节的体积定量可能来源于手动直径测量,与全自动测量相比会给出不同的结果。此外,这些公共数据集可能已经过预处理,其质量可能与临床实践中使用的数据不同。因此,在决定数据集是否应被用于特定关注任务之前,必须进行进一步分析以确保数据集的临床实用性。

创建并开放涵盖多样人群和疾病特征的基准数据集以验证AI算法的性能并测试其泛化能力,是一项迫切的任务。此外,基准创建过程必须透明且严格记录。再者,数据集应代表其旨在解决的临床情境(例如筛查和临床诊断)。因此,创建基准数据集并非一项简单的任务,因为在其形成过程的各个步骤中都可能产生偏倚[3]。限制偏倚的因素包括所使用的数据来源、匿名化步骤、数据格式和标注方法。

已有 initiatives 旨在标准化用于验证影像学人工智能软件的基础设施,以提高透明度[1]。此外,针对筛查环境中医学影像基准数据集的建议已经存在,但尚无用于临床应用的标准化方法[12]。在病理学领域,已提出创建测试数据集以验证人工智能性能的方案[13]。对于更通用的人工智能解决方案,可以认为,由于数据稀缺,对模型进行本地微调并实施严格的上市后监测是最有效的方式。然而,在模型部署之前,需要在引入临床之前明确模型的弱点,尤其是在罕见疾病中。

本文探讨了创建影像学基准数据集(图1)以验证人工智能软件性能的关键考虑因素,应对数据质量和数据异质性等挑战,并强调领域专家的输入。最后,本文讨论了评估模型性能的指标,并为临床实践中创建基准数据集提供了建议。本文的主要目标是指导医院中用于人工智能软件评估的这些数据集的开发。

图1 创建基准数据集的考虑因素 查看原图 ↗

影像学基准数据集的创建

在开发基准数据集时,需要采取若干步骤[4, 12]。以下部分重点介绍并审视其中最为关键的步骤。

明确具体使用场景

在创建基准数据集之前,必须明确具体的使用场景。这涉及考虑各种任务,如目标检测、二分类或多分类、分割和回归,及其要求(例如,检测需要正确的边界框,分割需要正确的轮廓等)。临床背景,包括所关注的疾病、成像模态、目标人群和医疗环境,应当明确,例如在二级或三级转诊中心急诊就诊患者中检测胸部X线异常与正常胸部X线。此外,确定最准确的参考标准标签非常重要。在许多情况下,专家用户被视为参考标准,但这更多是基于实际考虑而非基于实际证据。患者的随访或更广泛的诊断检查往往缺乏,导致缺乏明确的参考标准。例如,在判断肺结节是否为恶性时,活检结果应优先于临床观察,但活检结果要么(尚)不可获得,要么未被纳入数据收集。此外,在这种情况下,可用于确认结节良性性质所需的2年随访数据也往往缺乏。

病例的代表性

需要考虑的一个关键方面是临床实践中所遇病例的代表性。数据集必须反映真实世界场景,包括疾病严重程度谱,并确保在人口统计学、供应商和其他因素方面的多样性。

一个难以应对的挑战是罕见疾病的纳入。鉴于其低患病率,需要非常大的样本量才能使这些病例得到恰当代表。由于获取足够大的数据集通常不可行,一种提出的方法是通过生成包含代表性不足子集变体的合成数据来扩充数据集[14]。对于分割任务,已证明纳入合成病例可使交并比(IoU)提高多达30%[15]。对于像嫌色细胞亚型检测这样的任务,合成组织学图像提高了临床环境中的准确性[16]。然而,合成数据集异质性在临床实践中引入的潜在偏倚仍在研究中[17]。

考虑上述所有因素(疾病谱、多样化人口统计学特征等)将有助于确保数据集能够代表患者人群和预期临床环境(例如,初级保健、公立医院、学术中心或人群筛查)。

例如,源自人群筛查队列的数据集不适用于验证针对医院人群常规计算机断层扫描(CT)的算法,因为扫描方案和疾病患病率存在差异。由于临床指征异质性和偶然发现导致新诊断,验证算法具有挑战性,尤其是在腹部CT扫描等更广泛的临床环境中。在这些情况下,患者的指征可能各不相同,从偶然发现的分析到定期肿瘤随访不等[18, 19]。这就是为什么在具有明确指征和有限发现谱的高度专业化环境中实施或评估AI技术可能更为直接,例如乳腺X线筛查[20, 21]和MRI上前列腺癌检测[22]。

就人群特征而言,非代表性数据集的一个例子是MIMIC-CXR数据集[23, 24],它主要由单一医院急诊科的数据组成[6]。MIMIC-CXR是一个带有相关放射学报告的大规模胸部X线图像数据集。对于肺部结节检测任务的胸部CT,著名的数据集是LIDC-IDRI[10]及其衍生的LUNA16[11]。它们在研究人员中的受欢迎程度源于它们是唯一提供肺结节坐标的公开可用数据集。然而,基于这些数据集的AI解决方案可能具有有限的泛化能力。Li等人[25]的一项研究表明,在独立数据集和LUNA16上训练的算法在非LIDC-IDRI数据集上测试时保持了高性能。与那项研究相反,Ahluwalia等人[6]表明,当胸部X线片分类器在地理和时间上不同的真实世界数据集中验证时,其诊断性能在某些亚组中可能下降。因此,当仅基于例如公开的LUNA16数据集开发的解决方案应用于真实世界场景时,必须谨慎行事。

正确标注

一个精心整理的基准数据集的主要特征是,它应被正确标注以用作验证研究的参考标准,理想情况下应具有足够长的随访时间或病理学证据(活检和/或组织学)。通常,由于在回顾性研究设计中通常无法获得所有参与者的组织学或横断面影像,在前瞻性环境中在伦理上也不可行,因此常以阅片者共识或多数投票作为替代。这种(本质上不完美的)方法需要领域专家(包括放射科医生)的参与。应考虑并报告这些专家的经验年限,并应识别观察者间一致性较差的病例并分析任何(系统性)错误。与标注过程相关的另一个考虑因素是标签类型应附有适当的说明,尤其是当这些标签来自不同医院时,以确保结果的一致性。决定注释格式也至关重要,如DICOM(DICOM-SEG、RTSTRUCT)、NIfTI或BIDS [26]。对于超声图像,任何保留灰度图像或RGB颜色的图像注释格式均可 [27]。Diaz等人 [26] 提供了(开放获取)数据管理工具的综合指南,Willemink等人 [28] 提出了一系列医学影像数据预处理的步骤,并解释了数据管理和数据可用性方面的困难。

另一个重要的考虑因素是应随注释一同包含的元数据类型。元数据可以包括去标识化的患者人口统计学信息、相关临床病史等信息,这些信息有助于为标注数据提供背景,并为下游分析提供有用信息。元数据的纳入和分析应谨慎进行,因为不同格式的元数据之间可能存在相关性 [29]。除上述内容外,如果AI模型要直接用于临床病例的推断,元数据还应反映临床实践中AI模型可用的信息 [30]。最后,可以在元数据中(如DICOM-SEG中)包含标签是手动、半自动还是使用AI算法全自动获得的信息,以确保匿名性,并允许评估观察者间和观察者内变异性。对于具有多个二值分割的病例(例如,每位放射科医生各提供一个),可用于选择输入AI算法的掩膜的一些方法包括取掩膜的交集、均值、并集或随机选择其中之一。也可以基于像素进行多数投票 [31]。上述方法是两阶段方法,其中基于可用标签创建整理后的标签 [32]。还需要提供关于如何处理放射科医生不确定是否属于肿瘤的区域的具体建议 [33]。

与元数据的类型和格式同等重要的是数据协调问题。需要从多个中心收集数据以增强稳定性和稳健性,但来自不同扫描仪和协议所获得的临床和/或影像学特征会存在差异[34]。表格数据的常用协调技术包括标准化缩放和ComBat[35],而直方图均衡化、自适应直方图均衡化和对比度受限自适应直方图均衡化则常用于医学图像的协调[36]。关于协调方法可重复性的局限性仍存在开放的研究问题,尤其是当变异与影像组学特征相关时[37]。例如,ComBat协调是一种为去除微阵列表达中的批次效应而开发的统计方法。然而,与ComBat所设计的基因表达阵列不同,影像组学特征具有不同的复杂度水平,预期会受到成像参数变异的非均匀影响[38]。此外,ComBat协调仅旨在去除归因于批次效应的方差,同时保留生物学信息,但使用ComBat直接在患者数据上校正这些效应而不提供确实对影像组学特征值有影响的正确生物学协变量,将导致生物学信号的丢失。这是因为ComBat会假设影像组学特征值的变异仅归因于所定义的批次,因此不会均匀地执行[39]。基于上述原因,ComBat校正不能仅在推理时应用,而是需要训练数据和测试数据一起由模型处理,同时改变特征值。即使在单个参与者的情况下,整个协调过程也应从头重复,模型也必须重新训练。因此,ComBat方法无法处理前瞻性数据(在临床环境中不实用),因为其性能取决于批次间的变异,使其使用不够理想且不适用于临床实践[39–42]。目前,欧洲Horizon 2020项目致力于数据协调方法的研究[43]。其中之一是ChAImeleon项目[44],该项目最近宣布了一项挑战赛,将提供多种癌症类型的协调多模态影像和临床数据,允许算法的开发和比较。

样本量和偏倚考量

基准数据集应针对手头任务具有适当规模,并应考虑效应量的临床相关差异以及要达到的预期统计学显著性水平。最好进行样本量计算,尽管由于现代人工智能工具的复杂性,迄今为止尚无标准化方法可用[45, 46]。在计算曲线下面积(AUC)的情况下,可进行通用样本量计算,并给出给定AUC、置信区间和置信水平下的最小样本量[47]。Balki等[46]进行的一项综述显示,在医学研究的人工智能应用中,样本量计算的证据很少。只有少数研究进行了任何形式的样本量分析。Rajput等[48]表明,要使样本量被认为充足,模型的分类准确率应高于80%,且根据Cohen量表,效应量应大于0.5。对于验证数据集的样本量计算,Goldenholz等[45]开发了一种模型无关的开源工具,可用于任何临床验证研究。Balki等表明,事前和事后方法各有优缺点,并建议研究人员在构思研究时应尝试两者以估计样本量,或咨询生物统计学家[46]。还应注意,样本量的选择也取决于将要使用的算法。更复杂的模型(基于深度学习(DL))通常比机器学习算法(例如决策树)需要更多数据。由于传统样本量估计无法因其复杂性而得出关于机器学习算法临床价值的结论;诸如机器学习样本量分析之类的工具可能有用[45]。使用该工具,通过指定要计算的性能指标以及一些其他参数(如所需精确度、准确度和“覆盖概率”),可以提供达到高于截断值的指标值所需最小样本量的估计。对于预测模型以外的机器学习解决方案,关于样本量仍未达成共识,但变量越多、结局越罕见,所需的样本量就越大。

收集数据的资源可用性以及所关注疾病的罕见性可能限制病例数量,除非对数据集进行扩增。数据集的平衡——无论是保持自然疾病患病率还是使正常与疾病病例相等——取决于其预期用途。如果数据集将用于验证人工智能算法的真实世界适用性,则应保持目标人群中存在的自然疾病患病率。如果数据集的目的是用于训练机器学习算法,则优选平衡数据集,因为否则需要非常大的样本量才能获得最佳性能。此外,并不能保证增加样本量会带来更准确的人工智能算法,正如在区分可能提示前驱期阿尔茨海默病的各种临床病症的案例中所证明的那样[49]。应努力通过在数据集创建过程中考虑可能的偏倚因素来确保偏倚风险较低[30]。

文献[50,51]中经常用作AI工具外部验证的一个数据集是MIMIC-CXR数据集[22,23]。应注意的是,该数据集由单中心数据组成,可能无法代表地理上不同的人群。Ahluwalia等人[6]的一项研究表明,如果进行亚组分析,胸片分类器的性能取决于患者特征、临床环境和病理。尽管如此,创建此类大型数据库可以促进AI解决方案开发的进展,这些解决方案有可能在临床实践中实施,应予以推动,特别是考虑到CT、MRI和PET/CT等其他成像模态仍然在很大程度上缺乏此类数据库。在数据收集和标注阶段还可能产生许多其他形式的偏倚。近期的一篇综述[3]提供了详细的概述。

图像质量与去标识化

在放射学中创建基准数据集时,图像质量至关重要。图像必须不存在导致无法诊断的伪影,并应进行正确的预处理[28]。此外,为确保可重复性,对图像进行的任何预处理(例如降噪、强度归一化或增强)都应详细描述,所使用的软件(代码)应提供给将进行验证的研究人员。基准数据集中的图像应使用与预期用途相似的适当采集设置和参数进行采集。需注意,开放数据集中来自旧扫描仪的图像可能与当前临床实践不同,使其不适合用于基准测试。检测用此类图像训练的算法的性能漂移,可以通过不同方法完成,例如仅使用扫描日期将其排除,或使用无监督预测对齐[52]来校正该漂移。其他方法包括检查元数据中指示扫描仪年份的参数,或检查扫描的图像质量并确认其不是低分辨率、没有退化迹象、且存在正常水平的噪声。除上述之外,数据漂移还可能由临床人群的变化(人口统计学或疾病患病率变化)和/或临床实践中使用的临床指南、诊断标准和治疗方案的变化引起。因此,应始终评估这些因素以判断是否发生了数据漂移。

数据隐私和安全在医疗保健中是法律要求的。个人数据的保护可以通过不同技术实现,如随机化(删除标识符)、密码学技术、限制访问等[53],这些也必须符合相关法规。对于受限数据集,使用隐私保护技术(如加密)进行托管可以确保敏感信息的保护。

在欧盟(EU),隐私和安全法律,尤其是欧洲的《通用数据保护条例》(GDPR),不允许与其他机构进行无限制的数据共享以改进模型。即使使用去标识化的元数据,研究已表明,例如仍然有可能重建接受头部MRI扫描的个体的面部图像[54]。隐私保护问题的一个有前景的解决方案是联邦学习(FL)策略,即将模型带到来自不同机构的数据(因此是异质性患者数据)上进行训练和测试,而不损害隐私和安全,因为数据不离开中心的服务器[55, 56]。在联邦学习的情况下,由于图像和标签质量验证无法以集中式方法进行,数据质量成为数据提供机构的唯一责任。最后,对于患者数据被烧录在DICOM图像和/或二次捕获图像中的情况,应特别谨慎。存在一些自动化去除烧录患者数据过程的方法[57],但仍可能需要人工干预以确认这些方法的正确性。

可及性与文档

在开发基准数据集时,考虑到可发现、可访问、可互操作和可重用原则[58],一个重要关注点是研究人员易于获取。数据集应附带一个元数据文件,包含访问和处理数据所需的信息。此外,描述数据集及可能用例的手稿应遵循适合该应用类型的特定报告指南[59]。相关的临床和人口学信息也应提供,以允许亚组分析[60]。

Xie等人[61]使用MIMIC-IV-ED数据库[62]创建了一个公开可用的基准数据集,包含超过400,000名入住医院急诊科的成年人的电子健康记录。通过公开提供如此大型的数据集,他们激励其他研究人员和公司使用该数据库来开发和测试他们的解决方案。另一个可供研究人员使用的大型数据集示例是NLST数据集[63]。该数据集由低剂量CT扫描或胸部X线摄影以及伴随的临床数据组成。它通过癌症影像档案[64]进行维护和访问。这两个数据集都易于获取,并附有参与者的临床和人口学特征。

性能指标

除了数据集创建的考虑因素外,还应考虑用于评估模型的性能指标的不同方面。性能指标有助于识别模型可能引起偏倚的固有弱点。

性能指标的选择

在放射学中,性能指标的选择对于评估算法在基准数据集上的性能至关重要。性能指标的选择取决于模型的目标或期望结果,不同指标可能更适合不同任务[65, 66]。例如,鉴于疾病患病率低,敏感性和阴性预测值(NPV)等指标对于为筛查目的设计的数据集具有相关性。提供关于指标在临床场景中相关性的建议可以改善数据集的使用和对陷阱的认识[65]。

对于大多数临床任务,应报告多个性能指标,以全面反映模型的性能,包括其在特定临床环境(如低患病率)下的固有误差[67]。应确保这些指标提供临床相关信息,且终端用户易于解读。表1列出了一些常用的性能指标及其类别。

重要的是,其中一些指标(如基于平衡数据集得出的AUC-ROC和准确率)不能直接适用于低患病率环境,因为即使在性能较差的分类器中,假阴性比例天然较高。应注意,同一指标在不同应用领域可能有不同称谓。例如,Dice系数在分割任务中可能等同于F1分数,或召回率可能等同于敏感度,具体取决于终端用户的专业背景。还建议报告置信区间,因为在生物医学研究中,置信区间对性能指标具有重要意义,因其提供了所用样本的额外信息[68]。

表1 常用性能指标及其类别[67, 96] 查看原表 ↗

亚组分析

报告亚组(如按年龄、性别或种族划分)的性能指标[5, 69, 70]有助于评估偏倚并识别模型可能表现不佳的特定亚组。应注意,GDPR不允许要求参与者申报其种族,除非这是研究的主要目标,这限制了此类亚组分析的可能性。一种变通方法是使用群体层面的汇总人口统计学数据,但这存在缺点。Tripathi等[71]审查了公开可及的影像数据集,发现存在许多问题,涉及不同人群的人口统计学、种族和地理多样性等。

Aequitas[72]和FUTURE-AI[73]等工具可帮助分析模型的公平性和偏倚,并指导如何处理出现的问题;PROBAST-AI[30, 74]将提供评估偏倚风险的指南。然而,PROBAST-AI的最终版本尚未发表[59]。关于如何避免偏倚的法规和建议可参见欧洲议会关于医疗保健中人工智能的文件[75]。此外,可通过模型卡(Model Cards)[76]提供关于特定亚组及用于开发算法的数据的信息,有助于增强模型部署的透明度和可问责性。

利用基准数据集来评估上述人群特定亚组中是否存在偏倚是有益的。然而,除该方法外,在模型开发和后处理过程中还可采用多种技术来减轻这些偏倚[77],例如利用生成式人工智能技术扩充训练数据。例如,Burlina等[78]证明,通过生成眼部合成眼底图像,深色和浅色肤色个体之间的差异被最小化。另一种方法是应用对抗方法,该方法不仅增强模型在特定关注变量上的性能,还最小化第二个模型从第一个模型所学特征中正确识别受保护属性的能力[79]。Li等[80]在皮肤病变分类中成功证明了该方法。最后,作为后处理阶段的一部分,模型预测可在不同亚组间进行校准。最终,这些方法的有效性可通过将模型性能与基准数据集进行比较来评估,基准数据集也可包括使用这些技术生成的示例(例如合成图像)。

基线性能和泛化

根据临床医生设定的标准——即模型在特定关注任务上应表现如何——建立并报告参考(基线)性能,可为所需性能下限提供背景。将人工智能软件在基准数据集上的性能与放射科医生或其他专家临床医生的性能进行比较,可揭示人工智能或临床医生更具优势的领域,表明该软件的潜在附加价值。例如,对于医学图像,建议开展精心设计的研究(例如根据多读者多病例设计)以确定人工智能是否有益,尽管鉴于所需人类读者的数量,这可能非常耗费资源[81]。

人工智能性能与临床专家的比较具有挑战性,因为算法在临床上首选设置取决于具体情境。创建开源数据集的努力包括WILDS基准数据集[82],旨在解决 diverse 问题集中自然发生的分布偏移(成像特征的变化)(例如跨不同采集部位的肿瘤识别任务)、用于解决医院间差异的BenchMD[83],以及DomainBed套件[84],该套件由多领域数据集组成,侧重于评估人工智能算法在真实世界环境中的泛化能力。另一个公开可用数据集及其在关注数据集上性能的优质资源可在Papers with Code网站[85]以及Adalca的GitHub仓库[86]中关注医学成像任务的数据集中找到。在开源数据集上建立基线性能后,随后可利用未用于模型开发的受限访问基准数据集来估计所开发人工智能算法在新的、未见病例中的真实性能。

评估在另一源人群上开发的算法局限性的另一种方法是使用基准数据集进行故障分析[4]。Oakden-Rayner等人[87]评估了一个设计用于检测X线骨折的深度学习(DL)模型的性能。尽管该模型在外部验证期间保持了非常好的性能,但算法审计揭示了在意外边缘病例(如Paget病)中错误率升高,同时模型的工作点也发生了显著改变。

允许测试的次数

最后,必须考虑仅用于外部验证的同一基准数据集上允许算法运行多少次[12]。提供数据集并允许在基准数据集上对算法进行多次评估会增加过拟合的风险,导致误导性的性能结果。设定运行次数限制或在每次测试运行中提供不同比例的数据集有助于减轻该风险。理想情况下,基准数据集不应直接对用户可访问,且每次验证时使用的具体病例应随机选取(前提是数据集大小允许)。Roelofs等人[88]的一项研究表明,与普遍看法相反,当单独测试集仅在Kaggle竞赛中用于获得最终排名一次时(尽管具有相似特征的留出集可能已多次用于公开排名),几乎没有迹象表明存在显著过拟合,这表明测试集有可能被多次使用。最后,在进行验证之前,应就结果的公布位置(同行评审期刊、网站等)达成一致,并确保使用指定的报告指南[59]正确报告结果。

创建和使用基准数据集之前的其他考虑因素

除了用于评估软件性能的数据集和性能指标外,其他因素也会影响基准数据集的创建和使用。这些因素列于下文。

法规合规性

创建基准数据集需要遵守GDPR或HIPAA等法规[89],确保数据隐私和安全,并处理透明度和公平性等伦理考量。这些法规不断演变(欧盟即将出台的《人工智能法案》[73]),需要定期更新和维护数据集。这涉及在整个工作流程中(从数据采集到报告验证结果)分配法规合规方面的资源和专业知识。在验证软件提供商的软件时,彻底审查授予其的权限和访问权也很重要,以确保不损害患者隐私和安全。这也可以通过本地安装软件并授予其离线数据访问权限或使用加密来实现。此外,在使用患者数据用于模型开发/验证之前,必须遵守当地机构审查委员会的规定。

维护与整合

提供数据集以及技术支持至关重要。这包括协助软件安装以及基于基准评估算法。此外,数据集与各种图像归档和通信系统的互操作性也很重要,这些系统可为临床或研究目的量身定制[26]。为此,需要一个用户友好且对各种操作有明确说明的界面。或者,数据集可以通过癌症影像档案等平台进行分发和安全访问[90, 91]。

讨论

近年来,众多供应商携人工智能产品进入医学影像市场以辅助临床医生,尽管在某些情况下可能已进行过有限形式的外部验证[92],但获得CE认证或FDA许可的模型仍存在泛化性问题,具体取决于最终用户的临床环境。虽然已有关于减少偏倚的建议[3, 59, 74, 77, 93],但这些建议并不能提供万无一失的保证。除此之外,人工智能公司通常不披露确切使用了哪些数据来训练其模型,这使得难以将训练数据与当地临床环境中使用的数据进行比较。

为应对基准数据集的缺乏,本出版物为创建此类数据集、选择相关性能评估指标以及如何将人工智能软件整合到临床工作流程中的考量提供了有价值的见解。通过解决这些方面,人工智能在放射学中的实施有可能变得更加可靠、有效且在伦理上更健全,最终改善患者预后。此外,近期诸如欧洲癌症影像倡议(EUCAIM)等倡议——一个联邦式欧洲数字基础设施——将产生大规模、高质量的数据集,非常适合用于基准测试[43]。

从利益相关者的角度来看,选择人工智能软件是一项不简单的任务,因为它需要考虑诸如诊断或预后性能、可解释性、可用性、错误率、集成工作流程、周转时间等参数,以及提供维护、上市后监督等服务[94]。尽管存在公开可用的影像数据集,但这些不能用于验证人工智能软件,因为供应商可能已使用该数据集的一部分来开发其算法,因此,如果将该数据集用于验证,将导致对算法真实性能的高估。在推理过程中也应注意应用与开发算法训练期间所使用的相同预处理步骤。此外,应注意设备和采集方法在不断改进(例如,光子计数CT [95]),基准数据集在发布时或之后一段时间可能最终会过时。其他局限性包括需要专家意见来建立参考标准,以及可能需要微调算法参数以适配基准数据集的参数。最后,欧盟近期的人工智能法案[73]对人工智能解决方案在临床实践中的适应和使用提出了新的挑战,应予以考虑。

在创建基准之前,重要的是要考虑该数据集将用于何种任务。应努力创建更多的基准数据集,因为它们对于人工智能软件在临床实践使用前的验证至关重要。此外,直接比较不同供应商在这些数据集上的性能,将使临床医生能够决定哪种软件在给定任务上表现更好。

结论

在本文中,我们提供了关于基准数据集创建的详细建议,旨在帮助研究人员、临床医生和数据科学家创建可靠、多样且能代表真实世界医疗数据的高质量基准数据集。最终,我们相信基准数据集的创建将通过增加对人工智能模型的信任来促进更有效的人工智能模型的开发,并可能带来患者结局的改善和医疗服务的更好提供。

引用

  1. Sourlos N, Vliegenthart R, Santinha J, et al. Recommendations for the creation of benchmark datasets for reproducible artificial intelligence in radiology. Insights Imaging. 2024. PMID: 39400639. doi:10.1186/s13244-024-01833-2
  2. 全文:PMC11473745(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11473745/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。