指南与共识心血管技术与安全CTMR

心血管放射学中的机器学习:ESCR关于设计要求、质量评估、当前应用、机遇与挑战的立场声明

Machine learning in cardiovascular radiology: ESCR position statement on design requirements, quality assessment, current applications, opportunities, and challenges.
指南 / 共识 · Eur Radiol · 2020-11-19

欧洲心血管放射学会(ESCR)发布立场声明,为心血管影像中机器学习的成功开发与实施提供指导,重点包括研究设计、结果报告与解读的建议,并提出基于SPIRIT和STARD等框架的质量标准清单,同时指出多学科合作和 multicenter 数据集建设的重要性。

要点

  • ML研究应遵循与其它诊断或预后研究相同的质量标准,可参照SPIRIT、STARD和TRIPOD框架。
  • 测试数据集必须与训练和验证数据集严格分开,理想情况下进行外部验证。
  • 心血管影像ML项目需要多学科团队合作,并应推动多中心数据集的构建。

核心结论

  • ESCR立场声明为心血管影像中ML研究的设计、报告和解读提供指导,强调多学科合作和标准化评估。

研究设计与样本

  • 欧洲心血管放射学会(ESCR)组织撰写的立场声明,基于现有研究质量框架(如SPIRIT、STARD)提出ML研究质量 criteria 清单。

诊断标准与关键数值

  • 建议ML研究参照SPIRIT清单设计试验方案,诊断准确性研究参照STARD 2015版要求,预后研究参照TRIPOD指南。
  • 提出ML研究质量 criteria 清单(Table 1),涵盖临床问题、模型选择、样本量论证、数据划分、参考标准、结果报告、可解释性、临床适用性、可重复性和泛化性、患者结局影响等条目。
  • 分割任务中常用Dice系数(0到1)、平均轮廓距离和Hausdorff距离评估,检测任务可用敏感度、特异度、AUC等,并应报告置信区间。

临床应用与阅片要点

  • 放射科医生应确保所选评估方法反映临床相关终点,并考虑在多中心、不同扫描仪和患者人群中进行测试。
  • 推荐将ML算法整合到现有临床工作流中,最好集成到RIS/PACS系统,以确保用户接受度和工作流顺畅。
  • 在图像数据离开临床系统前,必须确保完全去标识化,并建议在发送前复核DICOM元数据以确认去标识化成功。

局限性

  • 原文指出,目前尚未建立ML的标准,且大多数临床使用的后处理软件无法导出分割掩模,限制了数据的可重复使用和研究的可重复性。
  • 原文提到,与STARD和CONSORT指南的建议不同,大多数ML研究在设计时未明确考虑样本量,且常基于方便样本。
  • 原文指出,迄今为止大多数ML报告中的模型开发、调参和测试均在本地可及数据的方便样本上进行。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2020 Nov 19;31(6):3909–22. doi: 10.1007/s00330-020-07417-0

引言

人工智能(AI)、机器学习(ML)和深度学习(DL)目前在公众领域和科学界备受关注[1]。它们的关系呈层级嵌套,如图1所示。AI是一个总括性术语,涵盖所有模拟人类智能的技术,这些技术已被研究和应用数十年[2];而ML描述的是AI算法的一个子集,这些算法从训练数据中学习将输入参数映射到输出(监督式ML)或识别先前未检测到的模式(无监督ML)。DL包含ML算法的一个子集,使用多个相连的计算层[3]。

开源编程工具、更强大的计算能力以及更便捷的数据传输促进了当前AI算法可用性和生产力的提升。具体而言,在最常见的监督式ML情况下,使用多对输入(例如,心脏的MR图像数据)和输出(例如,左心室[LV]的地面真实分割)进行训练。随后,训练好的算法可用于在呈现新的、未见过的输入数据时自动解决所学任务。ML的基本原理已在其他地方广泛描述[4–6]。

ML算法对放射科医生特别有吸引力,因为其主要应用领域是图像处理、图像分析和发现检测——这些都是解释前放射学工作流程的核心组成部分。其优势之一是图像分割,这是心脏每搏输出量计算等分析的前提条件。因此,越来越多的ML算法在心血管放射学领域被设计和评估。分割任务主要使用DL算法解决,其性能已显示出优于传统图像处理方法。然而,ML的应用不仅限于图像分析,还可以支持放射学领域的许多其他任务,如根据紧急程度对检查进行分诊或提供二次阅片以避免遗漏相关发现。它们还可以帮助预测结果并扩展CT和MRI的诊断能力,例如通过心脏CT血管造影评估血流储备分数。

鉴于这些进展,欧洲心血管放射学会(ESCR)——一个致力于推进心血管放射学的非营利医学学会——与该领域的其他领先学会密切合作,制定了一份关于ML在心血管影像中应用的意见书。虽然本意见书的重点是心血管影像中ML的发展,但大多数考虑因素与放射学中ML的总体情况相关。

图1 人工智能(AI)、机器学习(ML)和深度学习(DL)的关系与定义 查看原图 ↗

放射学中ML算法成功开发与实施的要求

人力资源与专业知识

共识声明

•心血管影像中的机器学习项目应涉及不同专业背景的专家,主要是医学和ML专家,在后期阶段还应包括用户界面设计和监管事务方面的专家。

•研究和商业界应就通用数据格式标准达成一致,并且需要能够从临床使用的后处理软件中轻松导出分割掩膜,以促进数据的互操作性和可重用性。

•将机器学习(ML)算法整合到现有临床工作流程中应顺畅进行,最好整合到主要系统(放射信息系统(RIS)/图像归档与通信系统(PACS))中,以确保其实用性和用户接受度。

放射学中成功的机器学习项目几乎总是多学科的。它可以被视为一个四步流程,每一步都需要特殊专业知识,理想情况下需要多个专业人员之间的密切合作,主要是医学专家和机器学习专家。本节描述了成功的机器学习项目所需的人力资源以及四个步骤中每一步的关键活动。

最初的关键问题是要解决什么问题。为此,需要临床领域知识来识别相关问题。另一方面,需要编程知识来评估所识别的临床问题是否可以通过机器学习在技术上解决。此外,人们应始终询问机器学习是否是解决问题的最佳方案,或者是否存在其他不太复杂的解决方案,例如在罕见发生任务的情况下采用手动工作流程。除机器学习外,还有许多传统图像处理技术,如区域生长,对于例如追踪冠状动脉非常有效[7]。为澄清这些问题,临床专家与计算机科学家之间的密切合作是必要的。此外,在此阶段应考虑患者的利益。

一旦确定了一个最适合通过机器学习(ML)解决的相关临床问题,第二步就是算法开发。在监督学习这一主要情况下,这始于数据选择和真值(ground truth)的建立。获取足够数量的高质量真值数据——可将其视为用于ML训练和评估的“金标准”(例如左心室的分割掩膜)——是创建算法的必要条件。所需数据量取决于问题的复杂性、所使用的ML算法,以及感兴趣发现与整个数据集之间的比例。作为经验法则并提供一个来自目标检测领域的例子,对于人类读者而言易于解决的任务(例如在胸部CT扫描中检测并分割健康肺)相比在全身CT扫描中检测细微、小的变化,所需训练数据更少。可用的训练数据越少,数据质量就应越好。大型训练数据集允许存在一些不准确之处。务必牢记,训练数据质量是算法性能的限制因素。因此,所需的数据质量也取决于算法的预期性能。如何获取真值的决定同样需要临床和技术专业知识。它围绕以下问题展开:如何从医院信息系统中提取数据、是否使用公共数据库,以及应如何建立真值以及由多少专家建立。每当患者数据离开原始临床系统时,确保完全去标识化至关重要。在放射学中,这包括擦除或覆盖所有包含数据隐私相关信息的DICOM标签。强烈建议在发送图像数据之前通过审查DICOM元数据来复核去标识化过程是否成功。一种允许在不交换数据样本的情况下协作训练ML模型的方法是“联邦学习”[8]:下载算法副本并使用本地数据进一步改进它。对模型产生的更改汇总在一个更新中,该更新被上传并与中央共识模型合并。真值数据最好以可互换格式存储(例如用于分割的神经影像信息技术倡议(NIfTI)数据格式),以确保对其他项目的可用性。这也符合科学数据管理和维护的FAIR指导原则[9]。遗憾的是,迄今为止尚未为ML建立标准,且大多数临床使用的后处理软件无法导出分割掩膜,这限制了数据的可重用性并阻碍了研究的可重现性。还有许多其他类型的真值标签,包括整个数据集级别的标签(X线片上的骨折:是/否)和用于预测建模的结局标签(患者死亡:是/否)。

在心血管放射学中,大多数算法解决的是分割任务;因此,分割掩膜是该领域最主要的地面真值类型。然而,组织表征(例如T1和T2成像、晚期钆增强)在心血管放射学中所占比例日益增加,也需要适当的地面真值标签,例如心肌炎中经心内膜心肌活检获得的组织学结果。认识到数据集构成可能引入的偏倚很重要:在包含80%来自A国男性患者的训练数据集上开发的临床结局预测算法,在B国女性患者的数据上可能表现不佳。总体而言,开发算法所依据的数据集应尽可能反映该算法日后应用的目标人群。要么研究者意识到这些局限性,要么通过使用大型、异质性数据集来克服这一挑战。金标准是在临床实践中评估算法的性能及其对临床工作流程的影响。最后,必须选择合适的机器学习技术(例如随机森林或深度卷积神经网络)。这一任务需要机器学习专家的专业知识。这一点与其他步骤一样,也涉及伦理考量,例如仅在高度发达国家的数据上开发算法(从而在这些患者群体中获得更好的性能)是否正当。关于机器学习在放射学中应用的伦理影响的详细讨论,我们参考最近发表的多学会声明[10]。

第三步是性能评估。可使用多种统计检验,从较简单的概念(如检测任务的敏感性和特异性)到更复杂的评估(如Dice相似系数,其范围为0至1,用于量化两个感兴趣区域的重叠程度[11])。评估方法应事先确定,以避免方法选择偏倚,并强烈建议统计学家参与。放射科医生有责任确保所选评估方法反映临床相关终点。这要求具备可视化检查数据有效性的功能。此外,评估必须反映该算法所针对的特定患者群体中的预期临床用途。如果该算法日后在其他临床中心及不同患者群体中使用,还应考虑在不同扫描仪型号和患者群体上进行多中心测试。

最后,如果评估认为该算法是解决临床问题的有效方案,则随后进行临床实践转化。这最后一步至少与之前所有步骤同样具有挑战性,并且需要医学和机器学习专家很少涉足的领域的专业知识,即用户界面设计、图形设计、法规事务,以及确保与现有医院IT环境的兼容性——这些环境会随时间和地点而变化。虽然创建专用软件包是最常见的选择,但金标准是将算法及其输出直接集成到现有系统中,最好是集成到放射信息系统/图像归档与通信(RIS/PACS)系统和放射学报告中。这会带来顺畅的工作流程,从而确保用户的接受度和参与度。

根据我们的经验,最佳结果来自于不同学科专家之间的密切合作。图2总结了四步流程。(b) 硬件和软件要求

共识声明

•虽然一些计算强度较低的机器学习(ML)应用可以在中央处理器(CPU)上运行,但目前应用的大多数机器学习算法需要配备专用图形处理器(GPU)的硬件。

•参与机器学习开发的专家应利用在线资源来创建、共享和讨论机器学习算法。

除了人的专业知识外,机器学习项目对硬件和软件也有要求。

图2 机器学习算法开发和实施过程中所需的专业知识,以分割任务为例进行说明 查看原图 ↗

硬件

标准CPU足以运行大多数非深度学习(DL)机器学习算法,甚至层数较少的深度卷积神经网络(DCNN)等深度学习方法。然而,多层DCNN——其构成了当前心血管影像领域所关注的大多数已开发机器学习算法——计算强度更大。这些算法需要配备GPU的专用硬件。目前,系统内存为8 GB或以上的市售消费级GPU足以满足许多应用需求。Tim Dettmers [12] 提供了关于机器学习硬件、性能及价格的详细概述。或者,可以使用Amazon Web Services等异地云解决方案来处理数据。

软件

机器学习社区完全数字化,且大多以开源方式发布。几乎所有相关资源,如软件库和讨论论坛,均可免费获取。Jupyter Notebook是编译机器学习算法常用的基于网页的平台(jupyter.org)。该平台允许使用多种编程语言,包括Python——目前机器学习领域最流行的语言(python.org)。编程语言可被视为用于指示计算机执行任务的词汇和规则系统。机器学习算法可使用TensorFlow(tensorflow.org)、scikit-learn(scikit-learn.org)和PyTorch(pytorch.org)等软件库进行开发。这些库包含预先编写的代码和程序,能够更轻松、更快速地开发软件代码。其他替代方案包括MATLAB(mathworks.com)和R(www.r-project.org)。代码创建后,最好公开共享。GitHub是一个常用的在线Git仓库,用于共享和讨论软件代码,具有版本控制功能,可追溯项目的源代码历史(github.com)。此外,匿名化工具对于放射学中的机器学习项目很重要,因为敏感的患者信息存在于每幅图像的DICOM头文件中,而构建包含多中心研究的大型数据库需要数据交换。幸运的是,有许多免费的独立工具具有批处理功能,适用于Mac OS(如dicomanonymizer.com)和Windows(如rubomedical.com/dicom_anonymizer)。RSNA的临床试验处理器(CTP)是一款开源软件,涵盖从数据采集站点到主要研究者站点之间的整个图像传输流程,并内置匿名化功能(mirc.rsna.org)。图3概述了有用的软件和在线资源。

图3 放射学机器学习项目不同阶段的有用软件 查看原图 ↗

关于研究设计和报告的建议

共识声明

•基于SPIRIT和STARD等现有研究质量标准框架,我们提出了一套放射学中机器学习(ML)研究的质量标准条目清单。

ML研究应与其他任何诊断性或预后性研究遵循相同的质量标准。现有若干框架规定了临床试验的标准方案条目以及诊断性和预后性研究结果的报告要求。临床试验方案应符合《标准方案条目:干预性试验推荐》(SPIRIT)清单[13]。诊断准确性研究应符合《诊断准确性研究报告标准》(STARD)要求,且至少应报告2015版STARD清单[14]中列出的 essential 条目。对于预后性研究,应遵循《个体预后或诊断多变量预测模型的透明报告》(TRIPOD)指南和清单[15]。尽管这些指南并非专为ML研究而设计,但它们确实构成了坚实基础,可用于在方案中(SPIRIT)提供ML研究的详细信息,以及报告应用了ML的研究结果(STARD和TRIPOD)。由于这些指南尚未在ML领域被广泛采纳,目前正在努力制定各框架的ML专用版本。与此同时,我们尝试通过提供一份供研究人员设计ML研究和供读者评估已发表报告质量的条目清单来提供指导。我们的工作扩展了Bluemke等人近期发表的社论,该社论也讨论了这一主题[16]。

设计和报告ML研究的推荐条目

在以下部分,我们列出了设计和阅读采用ML的研究时的重要考虑因素。我们将这些考虑因素总结在一份清单中(表1),并将其应用于一篇旨在设计用于自动心脏腔室分割和左心室射血分数(LVEF)量化的深度学习(DL)算法的研究论文([17];表2)。正在解决什么临床问题?

应清晰描述临床问题和研究理由,同时考虑现有方法及其不足之处。这包括明确所讨论的疾病以及清晰描述所研究的受试者或患者。同样重要的是,应假设ML方法如何能够改进现有方法(如传统统计学方法)来解决该问题。其他相关问题包括所讨论疾病的阶段及其在诊断路径中的位置。2.ML模型的选择

ML模型的选择应有明确的动机,因为存在多种方法,可能导致不同的结果。同样重要的是,应明确讨论过拟合及用于缓解该问题的方法。过拟合发生在ML模型被训练得过于完美地预测训练数据时,导致无法泛化到新的、未见过的数据。Liu等人在其综述文章中概述了常用的ML模型及其特征,以及可用于处理过拟合的方法[18]。应明确算法的技术细节,包括超参数,以促进透明性和可重复性。3.样本量的动机

与STARD和CONSORT指南中的建议相反,大多数机器学习(ML)研究在设计研究时并未明确考虑样本量,且通常基于便利样本。然而,样本量和统计分析计划最好应预先设定。尽管目前尚无关于如何在ML研究中计算样本量的明确指南,但可根据诸如所关注的最小临床差异或期望ML在某一任务上能够产生与人类观察者等效的结果等考量来预先设定受试者或数据集的数量。此外,其他研究人员用于解决可比问题的样本量可能是一个良好的参考指标。4.研究设计及训练、验证和测试数据集的说明

算法开发需要用于训练、验证和测试的数据。研究者应明确说明数据是如何划分为各类别的。将测试数据集与其他数据集严格分开以获取模型性能的真实估计至关重要。这也是美国食品药品监督管理局(FDA)对基于ML的计算机辅助检测设备进行监管审批的要求[19]。理想情况下,验证不仅应在内部数据(来自同一科室或机构)上进行,还应由独立研究人员在外部数据集上进行。5.参考标准

ML研究中的一个关键考量是参考标准或金标准的选取和质量。研究者应精确说明金标准数据是如何标注的以及由谁标注,包括每位观察者的经验水平。重要的是要考虑专家之间的观察者间变异,并描述如何解决分歧(例如,要求观察者达成共识,或由单独的观察者对任何差异进行裁定)。应注明使用的是现有标签(例如,来自放射学报告或电子健康记录)还是创建了新标签。最后,标注数据的专家最好应彼此独立工作,因为这有助于测量人类专家之间的观察者间一致性。6.结果的报告

与传统诊断研究类似,应在预先选定的分类器阈值下给出包含真阳性、真阴性、假阳性和假阴性分类数量的列联表。其他有用的指标包括受试者工作特征曲线下面积(AUC)和Bland-Altman图[20]。需要注意的是,机器学习研究中的术语可能与医学文献中使用的术语不同。敏感度等同于“召回率”,“精确率”表示阳性预测值。F1分数是精确率和召回率的复合指标,因此强烈推荐使用。表3总结了机器学习中常用的指标。应为所有这些指标报告置信区间。在图像分割和分析任务中,应给出机器学习算法与参考标准相比表现如何的指标。这些通常包括Dice系数(衡量机器学习生成的轮廓与参考标准轮廓重叠程度的指标)、平均轮廓距离(两个分割轮廓之间的平均距离)和Hausdorff距离(两个分割轮廓之间的最大距离)[11]。7.结果是否可解释?

由于涉及大量参数,解读机器学习研究的结果可能具有挑战性,尤其是在使用深度学习算法时。当重要治疗决策取决于算法生成的结果时,这一考量尤为相关。显著性映射能够识别输入图像中支撑模型预测的形态学特征,并有助于探究算法的内部逻辑。关于模型预测的视觉反馈对于理解网络学习到的模式是否与公认的病理生理学特征一致,还是与生物学上未知的、可能无关的特征一致,非常重要。8.结果能否应用于临床环境?

旨在解决特定临床问题的机器学习研究应明确考虑其结果是否适用于真实世界临床环境。这包括讨论用于模型推导和测试的数据集在多大程度上代表了其将要应用的临床环境。应识别并讨论任何偏倚来源,特别是类别不平衡和谱偏倚。考虑这些因素可以更精确地识别该算法可在临床上使用的患者,或需要额外验证的患者群体和临床场景。研究者还应考虑该算法是否以及如何在诊疗现场使用,包括算法的可用性(例如,本地部署或通过云解决方案)、结果获取速度(例如,实时或延迟),以及如何可视化结果以核查模型的预测。9.性能是否可重复且可泛化?

迄今为止,在大多数关于机器学习的报告中,模型开发、调优和测试都是在本地可用数据的便利样本上进行的。尽管其中许多报告显示了令人鼓舞的结果,但研究模型的可重复性并进行外部验证仍然很重要,最好是在来自其他独立机构和研究者的多个数据集上进行验证。外部验证对于研究模型对例如不同供应商和机构之间图像采集和重建方法的差异、转诊模式的差异以及目标疾病患病率变异性等的稳健性很重要。反过来,我们也认为在本地使用之前验证外部算法是可取的,特别是如果算法的结果用于自动化分析并将结果直接转移到临床报告中,而不是用作二次阅读工具时。10.是否有任何证据表明该模型对患者结局有影响?

尽管开发机器学习算法的首批概念验证之一是研究其诊断准确性,但研究者和读者应自问是否有任何证据表明其对患者结局有影响。这对于用于治疗建议和检测非预期发现的算法尤为重要。理想情况下,应如前常规干预措施一样,在前瞻性随机临床试验中进行研究。这些考虑也有助于发现和减轻诊断性能良好的算法对患者结局缺乏影响的原因,例如结果沟通欠佳。11.代码是否可用?

机器学习模型设计和功能的透明度是临床接受的关键。将计算机代码提供给其他研究者是实现这一目标的重要一步,并且正日益成为获得资助以及研究被高质量同行评审期刊接受的条件。GitHub平台通过基本质量检查促进了软件代码的免费快速传播。研究者应说明其算法的源代码是否将公开以及公开条件。如果不公开,应给出具体原因。提供软件代码使其他研究人员能够独立研究报告的结果是否可重现并改进模型性能。此外,它还能够评估模型在较长时间段内的性能。

表1 报告机器学习研究时应包括的项目清单 查看原表 ↗
表2 将清单应用于Bai等人[17]的研究论文“Automated cardiovascular magnetic resonance imaging analysis with fully convolutional networks”的示例 查看原表 ↗
表3 机器学习中常用的性能指标 查看原表 ↗

关于机器学习在心脏放射学中应用的系统文献综述的见解

为识别关于机器学习(ML)在心脏放射学中应用的文章,在PubMed和EMBASE数据库中进行了全面检索。该检索识别了所有注册时间不晚于2020年1月31日的英文文章(PubMed中n = 599;EMBASE中n = 2559)。补充材料1记录了检索式。图4展示了确切的检索和审查流程,包括使用文献管理软件(Mendeley)的自动功能去除重复文献(n = 506),以及通过人工筛选排除非机器学习在心脏放射学中应用的文章(n = 2466)。在下一步中,剩余的相关文章(n = 222)根据机器学习应用的功能被分为五个类别:(a)图像采集和预处理,(b)检测,(c)分割,(d)诊断,(e)预测,以及(f)其他。这些类别之间的关系是递进的;例如,检测是分割的前提条件。研究根据给定算法的目的被归入最先进的类别。

在此,我们简要提及每个类别的一个示例;图5展示了相应的图像:(a)Tatsugami等人使用了一个具有10层的深度卷积神经网络(DCNN)来降低CT血管造影图像的图像噪声。平均图像噪声显著低于仅使用标准混合迭代重建重建的图像(18.5 ± 2.8 HU vs. 23.0 ± 4.6 HU)[21]。(b)Howard等人在1676张图像上开发了五个神经网络,用于在胸部X线片上检测和识别心脏起搏器和除颤器。他们报告的准确率为99.6%,甚至对设备的具体型号组进行了分类[22]。(c)Romaguera等人使用DCNN在短轴心脏MRI图像中分割左心室,发现Dice评分为0.92,敏感度为0.92,特异度为1.00 [23]。(d)Lessmann等人开发并测试了DCNN,用于在1744例非心电图门控的平扫CT扫描上进行自动钙化评分。他们报告在软组织核重建上冠状动脉钙化评分的F1评分为0.89 [24]。(e)Coenen等人使用了一个具有四层的神经网络,仅从CTA数据预测冠状动脉狭窄的血流动力学相关性,使用基于机器学习的血流储备分数(FFR),以有创测量的FFR作为参考标准。他们报告基于CTA的狭窄评估的诊断准确率从71%提高到85%(敏感度:89%;特异度:76%)[25]。

图6展示了自2013年以来关于机器学习在心脏放射学中的发表数量呈指数增长。图7展示了研究文章中涵盖的模态分布和机器学习技术,其中MRI是主要模态(41.4%),深度学习(DL)是最常用的机器学习技术(63.1%)。

补充材料2提供了关于机器学习在心脏放射学中的详细文献综述,重点介绍和讨论了所有类别中的重要研究。补充材料3包含文献检索所得所有研究的完整参考文献列表以及一份包含研究详细信息的表格。

图4 检索和审查流程图 查看原图 ↗
图5 机器学习在心脏放射学中的应用示例。a 右冠状动脉多发斑块并支架置入的CT血管成像(CTA)曲面多平面重建;左侧为标准混合迭代图像重建,右侧为经机器学习算法处理后的降噪图像[21]。b 在平片(左)上正确识别Advisa装置,并附相应的显著性图(右),可视化神经网络的关注区域[22]。c 通过深度卷积神经网络(DCNN)在MRI上分割左心室(LV),自动检测的轮廓以绿色显示[23]。d 在平扫CT上自动检测和定量钙化(红色:左前降支冠状动脉;绿色:左回旋支冠状动脉;黄色:胸主动脉)[24]。e 基于机器学习的CT血流储备分数预测左前降支冠状动脉中段梗阻性狭窄[25] 查看原图 ↗
图6 2013年至2019年间每年发表的关于机器学习在心脏放射学中应用的文章数量(Y轴为文章数量,X轴为年份),数据来源于结构化文献综述。为清晰起见,2013年之前及2020年1月发表的研究未纳入 查看原图 ↗
图7 关于机器学习在心脏放射学中应用的研究(n = 222)中涉及的(a)成像模态和(b)所使用的机器学习方法类型 查看原图 ↗

机器学习在心血管放射学中的应用:机遇与挑战

机遇

共识声明

•机器学习算法在心血管放射学的整个任务流程中提供机遇。

从多方利益相关者的角度来看,机器学习在心血管成像中提供了巨大机遇。首先,从患者角度,有机会避免不必要的成像检查。如果确需成像,机器学习提供了以更短的成像方案和更低辐射剂量完成检查的机会。图像采集完成后,由机器学习辅助的自动后处理相比当前工作流程可提供更快的结果,并可能减少观察者间差异,有助于对具有紧急发现的研究进行优先排序。机器学习还可用于从图像中提取额外的相关信息。与心血管成像相关的一些示例包括:提取所有心腔的容积而不仅仅是左心室(LV)、更详细地分析心脏运动模式,以及定量冠状动脉周围和心包脂肪量以及肝脏脂肪量。当能够作出诊断的可靠算法可用时,这可以作为“第二读者”来减少诊断错误。最后,机器学习有助于自动提取未被请求但具有预后意义的信息。例如,自动检测或排除视野内所显示的肺结节或其他器官系统的异常,对专门从事心血管成像的放射科医生将是有用的。此外,机器学习算法可用于创建详细的本地、国家和国际数据库,提供用于临床比较的正常值。这也将使得能够检测更小的效应量和更精确的结果。(b)挑战

共识声明

•机器学习算法最初是为解决非医学领域的问题而开发的。由于健康相关数据的特殊性,如高观察者间变异性、分散的数据存储和数据隐私问题,放射学中的机器学习项目面临特定挑战。

•医学研究界应努力汇编目前心血管影像领域缺乏的多中心数据集。

•进一步的挑战包括罕见疾病和/或解剖变异以及遵守法律框架。

放射学中机器学习项目高质量数据集的汇编受到健康相关数据某些特殊性的阻碍。首先,存在显著的阅片者间和阅片者内变异性的问题,这是由于医学中的许多类别并不像狗或汽车等日常物体那样界限分明。其次是医学图像解读的复杂性。例如,晚期钆增强成像中的一条小高信号条纹可能是高信号伪影或真正的瘢痕。为明确这一点,需要整合额外信息,例如是否存在植入的心脏装置。第三,医学数据采集缺乏标准化。在放射学中,异质性由不同的硬件、软件供应商以及未标准化的采集参数引入。这对于影像数据如此,对于其他诊断测试也是如此,因此阻碍了“一刀切”的解决方案。第四个挑战涉及健康数据的非标准化格式和分散性质。在其他领域如工程领域,数据登记在通常从头设计的可互换系统中,而医院中的数据大多存储在分散的、历史形成的、多种数据格式的数据孤岛中。第五个挑战,尤其与心血管放射学相关,是处理更高维度的影像数据。例如,心脏电影图像是四维的,而机器学习算法传统上设计用于处理二维数据。应对这一挑战的解决方案要么复杂,要么减少信息(将3D CT数据集作为一系列多个2D图像处理)。放射学中机器学习项目的另一个重要挑战是严格的数据隐私标准。

所有这些使得在医疗保健中创建高质量地面真值数据集具有挑战性且成本高昂。因此,医疗保健相关机器学习项目中的数据集与非医学领域相比往往小得多:著名的日常物体检测竞赛ImageNet挑战赛包含超过1400万张图像(http://www.image-net.org/about-stats),而心血管放射学中的机器学习研究通常包含少于100个病例。由NIH提供的ChestX-ray8数据集等公共数据集包含超过100,000张具有八种疾病标签的正位胸片,是克服这一问题的重要举措。然而,标签需要严格的质量审查,这需要医学领域知识。对于心血管放射学,目前缺乏可比的数据集,专业学会可以在汇编具有高质量地面真值标签的大型公开可用数据集方面发挥重要作用,以便对不同机器学习算法进行客观比较。像ESCR MR/CT登记处(https://www.mrct-registry.org)这样的登记系统,提供大型标准化数据集用于进一步分析,目前拥有超过300,000次去标识化检查[26],也是这一方向的重要贡献。

除了图像数据相关的问题外,还有其他挑战。首先,存在罕见疾病实体的问题。机器学习算法需要足够数量的训练样本来检测模式,理想情况下应包括疾病谱两端的极端示例。然而,许多放射学疾病模式很少见,如先天性心脏病,确保完全具有代表性的训练数据集仍然是一个困难。其次,法律问题:机器学习算法尽管在许多任务上高度准确,但从来不是完美的,关于错误或漏诊的法律责任的讨论正在进行中[27]。第三,接受度问题:医生和患者是否愿意信任对他们来说是“黑箱”的算法的判断?然而,对我们不完全理解的系统的信任是日常生活的一部分。

结论

关于机器学习在心血管成像中的科学研究发表数量呈指数增长,2019年有超过100篇研究论文。大多数涉及使用深度卷积神经网络(DCNN)进行图像分割任务的MRI研究,但机器学习算法也可以帮助缩短成像协议并从相同的成像数据中提取更多信息。机器学习在放射学领域做出重要贡献的前提条件现已具备:免费可用的开源软件、大多数国家大量的数字放射学数据,以及越来越多训练有素的专家来训练和临床监督机器学习。此外,数据和机器学习模型的在线传输已变得便捷。

然而,为了实现这一巨大潜力,放射学领域需要制定关于机器学习应用和研究的共同质量标准。我们强调需要详细描述所使用的数据集和方法。此外,在旨在产生临床影响的机器学习算法开发过程中,需要来自多种背景的专业人员的合作。

电子补充材料

ESM 1(DOCX 89 kb)

引用

  1. Weikert T, Francone M, Abbara S, et al. Machine learning in cardiovascular radiology: ESCR position statement on design requirements, quality assessment, current applications, opportunities, and challenges. Eur Radiol. 2020. PMID: 33211147. doi:10.1007/s00330-020-07417-0
  2. 全文:PMC8128798(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8128798/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。