指南与共识心血管MR

AI心脏MRI分割研究的报告质量:系统综述与未来研究建议

Quality of reporting in AI cardiac MRI segmentation studies - A systematic review and recommendations for future studies.
指南 / 共识 · Front Cardiovasc Med · 2022-07-15

本系统综述评估了2012至2022年209项AI心脏MRI分割研究对CLAIM清单的依从性,总体中位依从率为67%,模型描述域最高,数据集描述域最低。研究指出患者描述不足和模型失败分析缺失是主要短板,影响研究的透明性、可重复性和有效性,并提出了改进报告质量的建议。

要点

  • AI心脏MRI分割研究对CLAIM清单总体依从率中位数为67%,数据集描述域依从性最低。
  • 仅18%的研究报告了病例的人口学和临床特征,10%报告了病例流程,影响选择偏倚评估。
  • 仅22%的研究在外部数据上测试模型,32%报告了模型失败分析,限制泛化性评估。

诊断标准与关键数值

  • 总体对CLAIM清单的中位依从率为67%(IQR 59-73%)。
  • 模型描述域中位依从率最高,为100%(IQR 80-100%)。
  • 数据集描述域中位依从率最低,为63%(IQR 50-67%)。
  • 性能描述域中位依从率为60%(IQR 50-70%)。
  • 研究描述域中位依从率为71%(IQR 63-86%)。

临床应用与阅片要点

  • 在日常阅片和报告中,应关注AI分割模型训练和验证人群的 demographic 和临床特征,以评估其适用性。
  • 注意模型是否在外部数据上验证,仅22%的研究进行了外部测试,内部验证结果需谨慎解读。
  • 关注模型失败分析,仅32%的研究报告了错误分类案例分析,影响对模型局限性的认识。
  • 参考CLAIM清单中的数据集描述域要求,完善病例纳入排除标准、样本量计算和缺失数据处理等报告。

局限性

  • 本综述仅关注心脏MRI的AI分割研究,结论可能不完全适用于其他心脏影像模态。
  • 未纳入未发表、预印本或技术会议文献,可能遗漏部分研究。
  • 即使使用CLAIM等结构化工具,报告质量评估仍存在主观性。
全文中译19 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Front Cardiovasc Med. 2022 Jul 15;9:956811. doi: 10.3389/fcvm.2022.956811

引言

心脏磁共振(CMR)是无创评估心脏结构的金标准。心脏容积的定量测量可通过CMR实现,并依赖于对CMR图像上结构的准确分割。手动分割通常由心脏影像专家执行,但存在若干缺点。除了费时费力之外,手动分割还具有操作者依赖性,可能影响观察者间一致性。随着对心脏影像的需求持续增长并超过受过培训的阅片者的供给,对自动化的需求日益增加(1, 2)。

人工智能(AI)正在通过复杂和重复性任务的自动化改变医学影像领域,包括解剖结构的分割(3)。机器学习是AI的一个子领域,常用于医学应用中的图像分析和处理。机器学习算法通过经验进行学习,通常以监督方式进行:算法在标注数据上训练,例如一组手动分割的CMR图像,其中心手动分割提供参考标准或金标准。算法识别该图像数据中的判别性特征和模式,这些特征和模式被纳入以生成一个模型,该模型可在新的未标注数据上执行任务——如心腔分割——而无需显式编程。机器学习本身涵盖多种技术,包括深度学习,可应用于影像中的结构分割(4)。

越来越多的研究报告了使用AI方法进行CMR分割。这些研究的报告方式很重要。对方法和结果的透明报告有助于可重复性,并允许对有效性进行适当评估。同样,一致的报告标准有助于研究之间的比较,并可能提高文献的可获取性,这在AI等快速扩展的领域可能尤为有益。医学研究报告一致性的需求已得到广泛认可,并反映在不同研究类型的各种指南和清单中。医学影像人工智能清单(CLAIM)(5)采用了经过验证且广泛使用的诊断准确性研究报告标准(STARD)指南,并纳入了AI研究特有的领域,包括数据来源、模型设计和性能评估的详细描述。本系统综述旨在通过评估对CLAIM的依从性来评价涉及AI CMR分割研究的报告质量。

材料和方法

研究方案已在国际前瞻性系统综述注册平台(PROSPERO;注册号CRD42022279214)注册。本研究按照系统综述和荟萃分析优先报告条目(PRISMA)指南(6)实施和呈现。无需伦理批准。

纳入和排除标准

报告使用人工智能(AI)对心脏磁共振(CMR)中的结构进行分割的研究被考虑纳入。如果研究报告了以下内容,则被认为符合纳入条件:(1)任何类型的全自动AI方法(包括机器学习、深度学习和神经网络),(2)心脏腔室、心肌或瘢痕组织的分割,以及(3)使用成人人体CMR图像,无论采集方法(如使用静脉造影剂)、参数、后处理方法和软件如何。排除标准如下:缺乏新开发的分割模型(例如,评估现有方法的研究)、使用半自动AI方法(分割过程需要手动输入)、多器官分割、多种成像模态的联合分割(例如,CMR和CT)、心脏血管(例如,主动脉、肺动脉、冠状动脉)或心包组织的分割、使用非人类或离体图像,以及会议论文。图1展示了CMR上自动双心室(7)(图1A)和四腔心(8)(图1B)分割的示例。

图1 AI心脏MRI分割示例。自动(A)双心室和(B)四腔心分割的示例。绿色和红色轮廓分别显示左心室心外膜和心内膜。深蓝色和黄色轮廓分别显示右心室心外膜和心内膜。粉色和青绿色轮廓分别勾勒出左心房和右心房。 查看原图 ↗

检索方法

于2022年4月20日检索了MEDLINE和EMBASE数据库以获取相关研究。检索策略见补充材料。非英语语言出版物被排除。

研究选择

图2显示了研究识别和纳入的流程。初步数据库检索后移除了重复研究。对剩余研究的标题和摘要进行了相关性筛选。检索了所有可能相关研究的全文,并根据纳入和排除标准评估其合格性。会议摘要和缺乏足够信息进行评估的研究在此阶段被排除。筛选由(SA)以及(SD、AM2、MS2)独立进行,全文由SA、AM1和MS评估合格性,SA担任仲裁者。

图2 PRISMA流程图。文献检索的系统评价和荟萃分析首选报告项目流程图。 查看原图 ↗

数据提取

三位作者(SA、AM1、MS1)根据标准化检查表从纳入研究中提取数据。为进行质量控制,半数纳入研究还由另外五位作者(SD、AM2、SJ、MG、HA)独立评估。所有分歧均通过讨论解决,由SA担任仲裁者,并确认最终提取的数据。记录每项研究的描述性信息,包括发表详细信息(类型、来源、国家、年份)、所用数据(数据集类型、CMR图像类型、分割结构)和AI模型(验证和性能评估方法)。按照CLAIM的42项标准对研究进行依从性评估,这些标准分为四个领域:研究描述(9项标准)、数据集描述(17项标准)、模型描述(6项标准)和模型性能(10项标准)。补充表2列出了所有CLAIM标准及其所属领域的分配。对于每项标准,依从性标记为是、否或不适用(N/A)。在评估符合CLAIM标准的研究比例时,被判定为N/A的研究被排除。对于仅使用公共数据集的研究,以下标准被标记为N/A,因为在使用公开可用数据源时可视为隐含满足:回顾性或前瞻性研究、真实标注来源、标注工具、去标识化方法以及评分者间和评分者内变异性。此外,以下标准对所有研究均标记为N/A:选择参考标准的理由(因为手动专家勾画是该领域的标准)以及注册号和注册名称。描述性数据和符合CLAIM标准的研究数量以比例值(%)呈现。

结果

检索结果

数据库检索共获得2,855条记录,经标题和摘要筛选确定364项相关研究。随后的全文评估认定209项符合纳入分析的条件(图2)。

纳入研究

全部209项纳入研究的描述性信息见补充表1。所选指标在图3中突出显示。大多数研究(57%)发表于2019年以来(图3A)。大多数研究发表于技术类期刊(58%),少数发表于医学类(31%)或混合类(11%)期刊。这些研究在37个不同国家开展(图3B),其中略超过半数来自中国(26%)、美国(18%)和英国(11%)。

49%的研究使用了公开可用的数据集,61%的研究使用了单中心或多中心非公开数据集,17%的研究使用了多个或组合数据集(包括多个公开数据集以及公开与非公开数据集的组合)。少数研究(6%)未报告其数据来源(图3C)。在所使用的公开数据集中,大多数(86%)是通过医学图像计算与计算机辅助干预(MICCAI)挑战赛或心脏图谱计划(9)获得的(图3D)。大多数研究报告了所用病例数(95%),范围为3–12,984,中位数为78。短轴CMR图像使用最为频繁(70%),而14%的研究未报告用于分割的具体CMR图像类型(图3E)。左心室是最常被分割的结构,无论是单独分割还是联合分割(49%,图3F)。23%的研究报告了多结构分割。

模型验证大多报告为使用内部留出方法(78%),如交叉验证。少数研究报告了在外部且主要为公开数据集上的测试(22%,图3G)。79%的研究使用Dice相似系数(DSC)评估模型性能,或单独使用,或与其他指标如Hausdorff距离或Jaccard指数联合使用(图3H)。少数研究(10%)提供了可公开获取代码的有效链接,另有1%表示代码可应要求提供。

图3 描述性信息。209项纳入研究的描述性信息。(A)发表时间;5项研究(2.4%)于2022年初纳入,未在此处标示。(B)研究来源地区。(C)数据来源;展示了使用公开和非公开数据集的研究比例,部分研究使用了多个或组合数据集。(D)研究中使用的相关公开数据集。(E)所使用的CMR图像类型。(F)被分割的心脏结构;部分研究对多个结构进行了分割。(G)模型验证方法。(H)模型性能评估方法。 查看原图 ↗

对CLAIM的依从性

对CLAIM各领域及所选单项标准的依从性结果汇总于图4。完整结果见补充表2。所有研究对CLAIM全部42项标准的中位依从率为67%(IQR 59–73%)。排除不适用标准后的显著结果如下。

图4 对CLAIM的依从性。(A)小提琴图显示209项纳入研究对CLAIM标准的依从性,按研究描述、数据集描述、模型描述和性能描述领域分组。标注了中位数(实线)及第1和第3四分位数(虚线)。(B)符合所选CLAIM标准的研究比例,按领域分组(各单项标准的标题已为便于阅读而缩短)。 查看原图 ↗

研究描述

研究描述领域的中位依从率为71%(IQR 63–86%)。几乎所有研究都明确说明了使用人工智能方法(91%)及其目标(94%)。在使用非公开数据集的研究中,仅少数研究(36%)说明了这些数据集是前瞻性还是回顾性。没有研究提供完整研究方案的可获取途径。82%的研究声明了资金来源。

数据集描述

数据集描述域的中位依从率为63%(IQR 50–67%),是四个域中最低的。大多数研究报告了数据集的来源(94%)。虽然大多数研究提供了纳入病例的入选标准(74%),但很少有研究足够详细地报告其人口学和临床特征(18%)或说明这些病例的流程(10%)。关于预期样本量计算的细节(4%)以及缺失数据处理方式的细节(9%)也较少报告。68%的研究提供了金标准参考标准的定义。在使用非公共数据集的研究中,分别有55%和31%的研究说明了金标准注释的来源和注释工具,42%报告了评估者间和评估者内变异性。大多数研究报告了数据预处理步骤(94%)、数据元素的定义(99.5%)、数据如何分配到各分区(89%)以及分区之间不相交的层级(87%)。

模型描述

模型描述域的中位依从率为100%(IQR 80–100%),是四个域中最高的。大多数研究提供了所用模型的细节(95%)、模型参数的初始化(92%)、训练方法(78%)以及选择最终模型的方法(92%)。74%的研究报告了所使用的软件库、框架和软件包。

模型性能

性能描述域的中位依从率为60%(IQR 50–70%)。少数研究报告了在外部数据上的测试(22%)。几乎所有研究都提供了模型性能指标(99.5%)。大多数研究在报告结果时提供了显著性和不确定性的统计度量(78%)。许多研究提供了某种形式的稳健性或敏感性分析(61%)以及可解释性和可解释性方法(64%)。少数研究报告了错误分类病例的失败分析(32%)。大多数研究讨论了其局限性(76%)及对实践的意义(76%)。

讨论

报告质量差是研究浪费的主要来源(10, 11),最终可能阻碍医学领域人工智能研究的进展。本系统综述评估了涉及心脏MRI结构自动分割的人工智能研究的报告质量。纳入了2012年至2022年初的209项研究。每项研究均评估了对CLAIM的依从性,CLAIM是一个试图为医学影像中人工智能研究的报告和发表提供“最佳实践”框架的清单(5)。我们识别了报告中的主要差距,并提出了一些建议以解决这些问题(表1)。

对研究材料和方法进行准确且足够详细的描述对于医学影像中的人工智能研究尤为重要,以便能够评估结果的可重复性和可靠性。对CLAIM的总体依从率在模型描述域最高,大多数研究提供了模型描述和训练方法的细节。然而,数据集描述域的依从率最低,这表明用于训练和评估模型的数据来源的报告情况参差不齐。

充分理解数据来源是评估人工智能模型有效性的前提。尽管大多数研究明确了其数据来源,但在未说明数据来源的研究中,这是一个重大缺陷,极大地限制了其可解释性。近半数研究使用了公共数据集,其中大部分通过MICCAI主办的分割挑战赛提供(补充表3)。公共数据集包含先前已去标识化并经专家勾画的图像,使其对研究者具有吸引力。使用MICCAI挑战赛数据集的研究比例凸显了其作为推动该领域发展的驱动力的作用。重要的是,使用公共数据集有助于可重复性并便于分割方法之间的比较。然而,公共来源并非没有局限性。公共数据集完全由回顾性数据组成,这可能对研究设计和模型训练构成限制。它们通常规模较小,人口学和临床多样性有限,因此存在固有的选择偏倚。影响患者人口学的系统性偏倚在人工智能方法应用于临床实践时值得严重关注。例如,先前一项使用大规模数据库对心脏磁共振(CMR)中基于人工智能的分割进行分析的研究发现了性别和种族的系统性偏倚(12),放射影像学中的人工智能也报告了类似的偏倚(13)。在训练、验证和测试模型时使用多样化的数据集对于泛化性和转化为临床实践至关重要。在一个人群的数据集上训练的模型不能保证在另一人群上具有同等性能。可以联合使用多个数据集(如回顾性和前瞻性数据集)来提高所训练人工智能模型的泛化性。即使考虑到公共数据集的使用,我们发现很少有研究报告预期样本量(其影响统计功效和结果的可靠性)或每个分区中病例的人口学和临床特征(其指示选择偏倚、混杂因素和泛化性)。提供关于病例年龄和性别的汇总信息很重要,但单独来看可能不够充分。我们注意到,研究往往缺乏关于不同病理类型病例比例以及这些群体人口学特征的详细信息。此外,研究不应假设读者熟悉公共数据集,如果使用了公共数据集,仍应报告详细的人口学和临床特征。任何模型的性能和有效性取决于其所训练的数据,数据来源(包括选择背后的理由和预期样本量)应明确说明。研究方法必须报告足够详细,以便准确再现结果。值得注意的是,相当数量的研究缺少金标准参考标准的定义、金标准注释的来源以及所使用的注释工具。了解金标准轮廓中包含的结构以及注释者的专业水平对于评估训练过程并最终理解模型性能的背景至关重要。在该领域,对金标准及其来源提供足够详细描述的研究比例低于预期。例如,从纳入研究的图中判断,心室肌小梁通常被包含在血池轮廓中,尽管很少有研究描述这一过程。同样,许多研究未能报告用于金标准注释以及模型训练和测试的具体图像类型。虽然这可以从图中推断,但它仍然是理解模型及其泛化性的关键信息。最后,只有少数研究说明了缺失数据的处理方式,没有任何研究说明在哪里可以获取完整的研究方案。

本领域需要对模型训练和性能进行详细描述。在所有研究中,不到四分之一的研究在外部数据上测试了模型性能。只有在与原始训练队列不同的人口统计学和临床人群中评估性能时,才能全面评价模型的泛化能力。所报告的外部数据集规模较小,仅捕捉到成像表现的有限变异。这是人工智能模型在临床实践中实施之前需要克服的主要障碍。我们还主观地注意到,许多出版物将“验证”和“测试”这两个术语互换使用,或未能清楚区分这些方法。关于人工智能研究中数据的使用,验证集用于在训练轮次之间优化超参数和性能,而测试集用于评估最终模型的性能。研究中缺乏一致的术语可能限制其模型的可解释性,并模糊内部留出法与外部测试方法之间的区别。此外,很少有研究报告对错误分类病例的失败分析,提示大多数研究未探讨模型表现不佳的原因。此外,绝大多数研究未讨论其方法的局限性,限制了其透明度。源代码的公开出版是人工智能研究中一个有争议的话题,仅在全部研究的十分之一中提供。代码的公开可获取性有助于透明度、辅助同行评审并促进新模型的开发,但对所有权和权利具有重要影响。

使用报告框架(如CLAIM)可能是有益的。例如,它们可能有助于指导研究设计并突出在传播结果之前可能需要纠正的领域。框架有助于报告标准化,提高更广泛科学界的可比性和可解释性。研究的可获取性也是推进该领域的一个重要考虑因素。无论期刊类型如何,医学影像中的人工智能研究需要满足广泛的潜在读者群,从临床医生到计算机科学家。在这方面,更标准化的报告以及使用一致且易于理解的术语很重要。

我们承认本系统综述存在局限性。首先,本综述仅关注CMR研究中的人工智能分割。然而,这些发现可能适用于其他心脏成像模式的人工智能研究,如超声心动图、CT冠状动脉造影或核素心肌灌注研究。此外,鉴于胸部成像中的人工智能研究已显示出类似的报告质量缺陷(14),我们的发现可能更广泛地适用于医学影像中的人工智能研究。其次,虽然我们的系统检索旨在识别所有已发表的人工智能CMR分割研究,但未发表、预印本或技术会议文献的数量庞大。在Github或arxiv.org上检索可发现大量分割尝试,其报告质量水平参差不齐,且超出本综述的 capture 范围。第三,即使使用了CLAIM等结构化工具,在确定报告质量时仍存在主观因素,例如一项研究被视为可重现所需的信息量。

表1 研究报告建议。AI研究报告的主要建议基于本系统综述中识别的文献空白。 查看原表 ↗

结论

本系统综述强调了报告方面的变异性,并识别了使用AI对CMR图像进行分割的研究现有文献中的空白。我们确定了出版物中缺失的几个关键项目——最突出的是对纳入AI模型训练和验证的患者描述不佳以及模型失败分析不充分——这可能限制研究的透明度、可重复性和有效性。本综述支持更严格地遵守已建立的报告标准框架,如CLAIM。鉴于这些发现,我们提出了若干建议,以提高CMR及更广泛心脏影像学领域AI研究的报告质量。

数据可用性声明

本研究中呈现的原始贡献包含在文章/补充材料中,进一步咨询可联系通讯作者。

作者贡献

SA和AS构思了系统综述的想法和需求,并参与了研究构思和设计。SD和SA在PROSPERO中完成了方案注册。SA制定了检索策略并执行了文献检索。SA、SD、MaS、MiS和AqM独立进行筛选和资格评估。SA、SD、AhM、AqM、MaS、MiS、SJ、MG、VR和HA评估了纳入研究并收集了相关数据。SA、AhM、MaS、AqM和SJ进行了材料准备和分析。SA、AhM、SJ和MaS起草了手稿、图表。SA、AhM、AqM、VR和SD撰写了手稿初稿。SA和AhM撰写了最终稿,考虑了该领域专家AS、DO‘R、HL、RG、MM和PG的评论和建议。所有作者均参与了数据解释,对 manuscript 先前版本提出评论,阅读并批准了最终手稿,参与了手稿的批判性审阅和起草,并已阅读并批准最终手稿。

利益冲突

作者声明,本研究在没有任何可被解释为潜在利益冲突的商业或财务关系的情况下进行。

出版者注

本文中表达的所有主张仅代表作者本人,不一定代表其所属组织,也不一定代表出版者、编辑和审稿人的观点。本文中可能评估的任何产品或其制造商可能提出的任何主张均不受出版者保证或认可。

引用

  1. Alabed, Maiter, Salehi, et al. Quality of reporting in AI cardiac MRI segmentation studies - A systematic review and recommendations for future studies. Front Cardiovasc Med. 2022. PMID: 35911553. doi:10.3389/fcvm.2022.956811
  2. 全文:PMC9334661(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9334661/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。