文献速递心血管CT

基于人工智能的冠状动脉钙化自动评分软件的评估

Evaluation of an AI-based, automatic coronary artery calcium scoring software.
PubMed 文献 · Eur Radiol · 2019-11-14

本观察性横断面研究纳入315例非增强钙化评分CT扫描,以半自动软件为参考,评估基于人工智能的自动钙化评分软件。结果显示,自动软件与半自动软件在Agatston评分、体积评分、质量评分及钙化病灶数量上均具有极好的相关性和一致性,风险分类准确率为89.5%,但自动软件存在高估倾向,且自动分析加人工复核的耗时仍短于半自动方法。

要点

  • 自动软件与半自动软件在Agatston评分、体积评分、质量评分上的ICC分别为0.996、0.996、0.991。
  • 风险分类准确率为89.5%,加权κ=0.919,但33例误分类中27例为高估,多由AS 0误判为AS 1-10。
  • 自动运行加人工复核的中位时间为36秒,短于半自动方法的59秒。

核心结论

  • 自动软件与半自动参考标准在三种钙化评分及钙化病灶数量上均具有极好的相关性和一致性。
  • 风险分类准确,但存在高估倾向,尤其当Agatston评分为0时。
  • 因此,对自动结果进行人工复核应为强制性的。
  • 自动运行时间加人工复核结果仍比使用参考标准更省时。

研究设计与样本

  • 观察性横断面研究,纳入315例连续的非增强钙化评分CT扫描,另设13例含解剖异常或金属植入物的独立数据集。
  • 所有扫描均使用Siemens SOMATOM Force MDCT,采用前瞻性心电触发高螺距螺旋扫描,管电压120 kV,自动管电流调制,质量参考mAs 40,机架旋转时间0.25秒,螺距3.2,准直192×0.6 mm,矩阵512像素,时间分辨率66 ms,扫描始于心动周期65%处。
  • 重建采用常规加权滤波反投影算法,中等锐利卷积核Qr36,层厚3.0 mm,增量1.5 mm。
  • 参考标准为半自动后处理软件(syngo.via, Siemens Healthineers),由两位有10年心脏CT阅片经验的放射科医生至少分两次双读,分歧经共识解决,钙化阈值设为>130 HU,面积≥1 mm²的钙化对象纳入。
  • 自动软件在MeVisLab中运行,无需人工交互(除加载数据外),所有315例扫描均进行分析,记录自动运行时间及人工复核时间。

关键影像表现/征象

  • 自动软件在心脏和/或相邻结构中错误配准图像噪声,导致19例AS从0误判为1-10,其中13例AS差值<2,4例AS差值在2至8之间。
  • 3例误判两个等级,其中2例因纳入主动脉根部钙化,1例因纳入心包钙化。
  • 1例误判四个等级,因纳入二尖瓣钙化。
  • 所有低估的扫描均误判一个等级,其中4例AS差值≤2,1例AS差值为21,后者未纳入右冠状动脉开口附近的钙化。

诊断标准与关键数值

  • 自动软件与参考标准在AS、VS、MS上的Spearman相关系数分别为ρ=0.935、0.932、0.934(p<0.001),ICC分别为0.996、0.996、0.991(p<0.001)。
  • 自动软件与参考标准在钙化病灶数量上的ρ=0.903,ICC=0.977(p<0.001)。
  • Bland Altman平均差异及1.96 SD上下限分别为:AS -8.2(-115.1至98.2),VS -7.4(-93.9至79.1),MS -3.8(-33.6至25.9)。
  • 风险分类准确率为89.5%,加权κ=0.919(p<0.001);33例误分类中27例高估、6例低估。
  • 风险分组截断值:CAC 0为无明确斑块、极低心血管风险;CAC 1-10为极小斑块负荷、低心血管风险;CAC 11-100为轻度动脉粥样硬化斑块负荷、中等心血管风险;CAC 101-400为至少中等动脉粥样硬化斑块负荷、中高心血管风险;CAC >400为广泛动脉粥样硬化斑块负荷、高心血管风险。

临床应用与阅片要点

  • 自动软件的分析结果需进行人工复核,原文结论指出对自动结果进行人工复核应为强制性的。
  • 自动运行加人工复核的中位时间为36秒(IQR 29-49),半自动方法的中位时间为59秒(IQR 35-100)(p<0.001),自动运行本身的中位时间为9秒(IQR 5-18)。
  • 在含解剖异常或金属植入物的13例独立数据集中,自动软件与参考标准在AS上的ρ=0.939、ICC=0.956(p<0.001),风险分类准确率为54%,加权κ=0.621(p=0.001)。
  • 自动软件的钙化评分反馈不可编辑,因此需要修正时的时间无法记录。
  • 自动软件的假阳性高衰减对象可在可视化反馈中识别,原文认为不太可能造成临床问题。

局限性

  • 所有CSCT扫描均在单中心、仅一台CT扫描仪上进行。
  • 自动软件仅与同一供应商的半自动软件进行比较。
  • 共27例(8.6%)CSCT扫描被排除,限制了普遍性。
  • 本研究仅限于数值相关性和一致性,未对单例CSCT扫描进行比较,因此可能的假阳性和假阴性高衰减对象未被评估。
  • 所有CSCT扫描均来自有症状、无已知缺血性心脏病的患者,而该技术更常用于无症状患者。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2019 Nov 14;30(3):1671–8. doi: 10.1007/s00330-019-06489-x

引言

非增强、心电触发、冠状动脉钙化评分计算机断层扫描(CSCT)以低辐射剂量检测冠状动脉钙化(CAC)[1],并且独立于传统风险模型,可可靠预测无症状患者未来的心血管(CV)事件[2]。美国[3, 4]和欧洲[5]的临床指南推荐对选定的无症状个体进行CSCT,通常为预检临床CV风险评估中等概率者。

用于CAD分级和风险的最常用CSCT技术是Agatston评分(AS),其他技术包括体积评分(VS)和质量评分(MS)[6]。

CAC评分传统上由专家使用半自动软件进行,包括手动识别和标记钙化冠状动脉病变。全球指南支持使用CSCT,该方法的使用可能会增加。因此,需要更高效的自动化系统。过去几年,人工智能(AI)放射学系统取得了进步。例如,最近一项肺癌CT诊断研究表明,AI与放射科医师相当甚至更优[7]。在CAC评分中,AI可能具有类似的潜力来辅助或替代人工阅读者,从而减少临床工作量并提高效率。

本研究的目的是通过评估总AS、VS、MS以及钙化冠状动脉病变数量的相关性和一致性,将基于AI的自动CSCT后处理软件原型与半自动常规软件进行比较。此外,还进行了基于CV的五种常用类别风险分类的比较。最后,评估了分析时间。

材料与方法

伦理

本研究按照赫尔辛基宣言中提出的原则和良好临床实践进行。获得了区域伦理审查委员会的许可(Dnr 2018/535-32)。根据瑞典登记处的伦理法规和瑞典立法,患者被告知其参与登记处的情况,以及拒绝参与或删除数据的权利,这豁免了书面同意的任何要求。

对于多医院获取的训练数据,在需要时获得了必要的伦理批准和/或患者同意。

研究样本

在这项观察性横断面研究中,患者及其基线特征从全国质量登记处SWEDEHEART回顾性收集[8]。连续纳入2017年12月1日至2019年1月31日期间在林雪平大学医院使用特定最先进CT扫描仪进行CSCT的所有患者(n = 342)。指征为疑似缺血性心脏病。排除标准如先前建议[9],包括解剖异常(n = 2)、冠状动脉内支架(n = 0)、金属植入物(n = 18),以及经视觉检查确定存在严重运动伪影或高水平噪声的CSCT扫描(n = 6)(图1)。此外,1例CSCT扫描(n = 1)因冠状动脉扫描不完整而被排除。最终主要数据集包括315例CSCT扫描。

在20例存在解剖异常和金属植入物的CSCT中,共有13例被认为可读取用于CAC评分,并构成独立数据集(n = 13)。

图1 流程图。纳入与排除 查看原图 ↗

CT采集参数与图像重建

所有CSCT扫描均使用Siemens SOMATOM Force(Siemens Healthineers)多排CT(MDCT)获取。采用前瞻性心电触发高螺距螺旋CSCT扫描,管电压120 kV,自动管电流调制(CARE Dose4D,Siemens),设置为40质量参考mAs。其他设置如下:机架旋转时间0.25 s,螺距3.2,准直192 × 0.6 mm,矩阵大小512像素,时间分辨率66 ms。扫描设定在心动周期的65%时相开始。重建采用常规加权滤波反投影(WFBP,Siemens)算法,使用中等锐利卷积核(Qr36),层厚3.0 mm,增量1.5 mm。若心率 > 65次/分,则给予β受体阻滞剂。CTCS扫描后,在同一检查时段内进行CCTA。

基于人工智能的自动系统概述

该自动软件在来自多厂商、多扫描仪和多医院的常规冠状动脉钙化评分采集的匿名数据上进行训练。本研究未使用任何训练数据集。

在模型训练过程中,冠状动脉的位置在以心脏为中心的坐标系中创建了 territory map。该图用于分配不同体素属于冠状动脉的先验 likelihood。

对于每个评估的CSCT扫描,使用模型分割心脏,以建立以心脏为中心的坐标系。预先计算的冠状动脉 territory 权重被映射到患者心脏的局部大小和形状。提取所有 > 130 HU的体素。在每个体素周围提取图像 patch,以表示局部空间特征、来自 territory map 的先验 likelihood 以及该体素在以心脏为中心的坐标系中的位置(x, y, z)。模型使用这些特征来预测该体素属于冠状动脉。

一些工作 [10–12] 已经使用了患者特异性、以心脏为中心的坐标系,但依赖于手动放置的标记,或局部图像坐标结合计算昂贵的配准到基于 atlas 的模型 [13, 14]。另一项工作使用了心脏分割,但除了体素强度外没有进一步分类 [15]。据我们所知,所评估的新型机器学习模型结合了该坐标系内的位置、体素周围的局部图像信息以及冠状动脉 territory map,是新颖的。

数据报告

使用经过半自动、先前验证 [16] 的后处理软件(syngo.via,Siemens Healthineers)获得标准参考。所有315例CSCT扫描由两名放射科医生(M.S.和S.S.,均有10年心脏CT阅片经验)在至少两次会话中双重阅读,所有解释差异通过共识解决。为确定CAC的存在,衰减阈值设定为 > 130 HU。面积 ⋝ 1 mm2 的钙化冠状动脉对象被纳入,如最初描述 [17] 使用默认软件设置。每个钙化感兴趣区域均被手动识别并标记,以获得总AS、VS、MS以及钙化冠状动脉病变数量。记录第一次阅读所用时间。

共有62例(20%)标准参考的CSCT扫描接受了另外两名读者(A.P.,放射科医生,具有20年心脏CT阅片经验;L.H.,心脏影像放射技师,具有2年心脏CT研究阅片经验)的二次意见评估。被选进行二次意见评估的CSCT扫描是那些因读者主观性(n = 32)、钙化靠近冠状动脉开口(n = 27)或难以区分外周钙化冠状动脉病变与噪声(n = 3)而被认为可能改变风险分级的扫描。达成共识后,做出了两处更改,两者的AS差异均≤ 5,且风险分级未发生改变。

根据AS,CSCT扫描被分配到常用风险组, cutoff值为:CAC 0:无可识别斑块,极低心血管风险。CAC 1–10:极小斑块负荷,低心血管风险。CAC 11–100:轻度动脉粥样硬化斑块负荷,中等心血管风险。CAC 101-400:至少中等动脉粥样硬化斑块负荷,中高心血管风险。CAC > 400:广泛动脉粥样硬化斑块负荷,高心血管风险[18]。

对于读者间一致性,随机选取106例(33.6%)CSCT扫描的子集并分配给两名独立放射科医生。一名放射科医生被分配71例CSCT扫描(G.N.,1年心脏CT阅片经验),另一名放射科医生被分配35例CSCT扫描(A.B.,16年心脏CT阅片经验),两人均对先前结果设盲。

自动软件在常规工作站上的MeVisLab中实现。所有CSCT扫描(n = 315)均使用自动软件进行分析,获取总AS、VS、MS以及钙化冠状动脉病变数量。记录了自动系统的运行时间以及对结果进行手动复核的时间。复核包括对所有CAC进行定位,并获得与自动得出的钙化冠状动脉病变数量基于图像的数值相关性。

除了将数据加载到软件中之外,不需要人工交互。对于每例CSCT扫描,显示带有十字准线的三维可视化CSCT反馈,允许进行多平面重建(图2)。

具有冠状动脉异常和金属植入物的可读CSCT扫描(n = 13)按照相同常规独立报告。然而,另一名放射科医生(G.W.,16年心脏CT阅片经验)进行了半自动双读,且没有二次意见。

图2 冠状动脉钙化评分计算机断层扫描的多平面重建,显示左前降支和回旋支有广泛钙化。左:预处理图像显示钙化病变为高衰减区域。右:后处理,可视化冠状动脉钙化评分反馈。对结果有贡献的高衰减区域以绿色显示 查看原图 ↗

统计学

连续数据若呈正态分布则以均值±标准差表示,若呈非正态分布则以中位数和四分位距(IQR)表示。分类数据以数量和百分比表示。正态性采用Shapiro-Wilk检验进行检验。标准参考与自动软件在AS、VS、MS及病灶数量方面的一致性和相关性,根据非参数数据的情况,分别采用Spearman秩相关系数(⍴)和组内相关系数(ICC)进行评估。Bland-Altman图显示了95%置信区间内的偏倚和一致性界限。风险分类的差异通过加权kappa分析(κ)和准确率进行评估。观察者间一致性通过ICC和Spearman秩相关系数(⍴)进行展示。时间差异采用Wilcoxon符号秩检验进行分析。双侧p < 0.05被认为具有统计学显著性。评定者间一致性的随机化通过Excel(Microsoft Office 365)实现;所有其他分析使用IBM SPSS v.24(IBM SPSS)进行。

结果

根据纳入/排除标准,共纳入315例患者,其中女性171例(54.3%),男性144例(45.7%)。平均年龄为58岁(± 11.5 SD)。所有基线特征见表1。

自动软件相对于标准参考在AS、VS和MS方面的相关性采用Spearman秩相关系数进行评估,结果分别为⍴ = 0.935、0.932和0.934(p < 0.001)(图3)。

自动软件相对于标准参考在AS、VS和MS方面的一致性采用ICC进行评估,结果分别为0.996、0.996和0.991(p < 0.001)。

Bland-Altman图的平均差值及1.96 SD一致性界限上下限如下:AS − 8.2(− 115.1至98.2)、VS − 7.4(− 93.9至79.1)、MS − 3.8(− 33.6至25.9)(图4)。少数离群值导致了自动软件对CAC评分的高估倾向,主要发生在较低范围内。

风险分类分配的混淆矩阵显示准确率为89.5%,加权kappa分析(κ)= 0.919(p < 0.001)(表2)。共有33次CSCT扫描被错误分类:27次被高估,6次被低估。共有29次CSCT扫描偏差一个类别,其中19次从AS 0偏移至AS 1–10。所有19次从AS 0偏移至AS 1–10的CSCT扫描均归因于心脏和/或邻近结构中图像噪声的错误配准,13次AS差值< 2,4次AS差值在2至8之间。3次CSCT扫描偏差两个类别,其中2次由于纳入了主动脉根部钙化,1次由于纳入了心包钙化。1次CSCT扫描偏差四个类别,归因于纳入了二尖瓣钙化。所有被低估的CSCT扫描均偏差一个类别,4次AS差值≤ 2,1次AS差值为21,后者未纳入靠近右冠状动脉开口的钙化。

自动软件相对于标准参考在钙化冠状动脉病灶数量方面的相关性和一致性分别采用Spearman秩相关系数和ICC进行评估,结果显示⍴ = 0.903和ICC = 0.977(两者p < 0.001)。

标准参考与独立阅片者之间关于AS的阅片者间一致性的相关性和一致性分别采用Spearman秩相关系数和ICC进行评估,结果显示⍴ = 0.968和ICC = 1.000(两者p < 0.001)。

自动软件与独立阅片者之间关于AS的相关性和一致性分别采用Spearman秩相关系数和ICC进行评估,结果显示⍴ = 0.909和ICC = 0.979(两者p < 0.001)。

获得半自动读片的中位时间为59秒(IQR 35–100),相比之下自动运行时间为9秒(IQR 5–18),而自动运行时间加结果复核为36秒(IQR 29–49)(p < 0.001)。

在另外13例存在冠状动脉异常和金属植入物的CSCT扫描中,标准参考与自动软件之间关于AS的相关性和一致性分别采用Spearman秩相关系数和ICC进行评估,结果显示⍴ = 0.939和ICC = 0.956(两者p < 0.001)。风险分类分配的准确率为54%,加权kappa分析(κ)= 0.621(p = 0.001)。

表1 基线特征 查看原表 ↗
图3 散点图描绘标准参考与自动软件之间的冠状动脉钙化积分相关性,以Spearman秩相关系数rho(⍴)表示。a Agatston积分;b 体积积分;c 质量积分 查看原图 ↗
图4 Bland Altman分析描绘自动软件与标准参考之间冠状动脉钙化积分的差异,以冠状动脉钙化积分测量值的均值作图。平均差异为红色;一致性上下限及95%置信区间为绿色。a Agatston积分:平均差异− 8.2,一致性界限− 115至98.2。b 体积积分:平均差异− 7.2,一致性界限− 93.9至79.1。c 质量积分:平均差异− 3.8,一致性界限− 33.6至25.9 查看原图 ↗
表2 混淆矩阵 查看原表 ↗

讨论

在本研究中,使用半自动后处理软件作为参考,评估了基于人工智能的自动后处理软件获得的三种CAC积分和钙化冠状动脉病灶数目。相关性、一致性及随后的风险分类均极佳,且自动分析耗时更少。

自动软件的AS、VS和MS与标准参考相比,相关性和一致性均极佳。AS、VS和MS的Bland Altman图显示一致性界限较窄,但在CAC积分较低范围内存在小幅高估偏倚。风险分组分类是准确的,但有33例(10.5%)CSCT扫描被错误分类,大多数从AS 0偏移至AS 1–10。最低AS积分范围内的这种错误分类偏倚可能是一个临床缺点,因为AS > 0被认为代表早期CAD,因此可能成为处方药物的把关因素[19–21]。值得注意的是,由于数据集的偏态分布,低AS积分范围内的这一偏倚可能被夸大,因为315例CSCT扫描中有140例(44%)的AS为0。所有偏差两个或以上类别的CSCT扫描均源于专家不太可能犯的错误,可能反映了人工智能特有的挑战。然而,这些错误的CAC结果在视觉CSCT反馈中是可识别的,因此不太可能造成临床问题。

关于钙化性冠状动脉病变的数量,存在极好的相关性和一致性,这一特征先前已被证明具有预后价值[22]。

评估自动CSCT软件的研究数量有限,且由于研究设计、纳入标准、图像采集、重建和定量评估方法的差异,与其他研究进行比较较为困难。然而,CAC评分和风险类别分类的相关性和一致性与具有大致相似前提条件的先前研究总体一致[12–14]。应用于orCaScore框架的自动系统已显示出极好的结果[9, 23],但orCaScore数据集在各风险类别之间分布均匀且规模较小。此外,CAC评分主要应用于无症状患者,这些患者可能更有可能具有与本研究中相似的CAC分布。

在创建强有力的标准参考方面投入了大量精力,包括双重判读以及一部分CSCT扫描用于第二意见。实现了接近完美的判读者间一致性,这在本研究中并非独有[13, 14, 24],但表明具有足够的可靠性。一位负责CSCT扫描判读者间一致性的放射科医生相对缺乏经验,但结果仍然极好,这可能表明CAC评分并非特别困难。CSCT需要专家交互,但又相对简单,这一事实使其成为临床环境中人工智能开发的极佳候选者。然而,可接受的运行时间是重要的前提条件,与先前描述的情况相当或略快[23]。虽然自动软件更快,但也需要专家时间来确认结果。因此,自动运行时间加上判读确认时间可能是临床上更合适的登记方式,在本研究中仍短于半自动方法。然而,CAC评分反馈不可编辑。因此,在需要时,校正时间无法被记录。考虑到本研究的风险组分类准确性,超过1/10的检查将需要手动校正,不可避免地以额外时间为代价。

有趣的是,48%被排除的CSCT扫描仍适用于半自动判读,与自动软件相比显示出极好的相关性和一致性,但风险组分类准确性较低。然而,这应在更大样本中进行分析。

无数据缺失,但本研究存在局限性。第一,所有CSCT扫描均在单一中心、仅使用一台CT扫描仪进行。这可能是一个缺点,因为从不同CT厂商检查的离体人类心脏得出的AS存在差异[25]。然而,在一项纳入30例患者的在体研究中,扫描间变异性并无实质性差异[24]。第二,该自动软件仅与同一厂商的半自动软件进行了比较。然而,该半自动软件此前已与其他厂商进行比较,显示出相似的结果[16],从而支持了外部有效性。第三,共排除了27例CSCT扫描(8.6%),限制了普遍性。第四,本研究仅限于数值相关性和一致性;未对个体CSCT扫描进行比较。因此,可能的假阳性和假阴性高衰减物体未予评估。第五,所有CSCT扫描均来自已知无缺血性心脏病的有症状患者,而该技术更常用于无症状患者。然而,绝大多数患者的验前概率较低,且很大比例无可检测的CAD,因此可能类似于无症状人群。第六,半自动阅读时间未包括双重阅读或第二意见。尽管如此,CAC评分通常由单一阅读者完成。第七,用于CSCT阅读的时间可能存在阅读者间差异,而我们的注册数据仅来自一名放射科医生。第八,在自动时间注册双重检查中,如果CAC广泛,由于钙化病变无法区分,数值相关性不适用。最后,更大的数据集可能获得统计学上更强的结果。尽管如此,除一项例外[14],这是已知评估源自CSCT扫描的自动CAC评分的最大研究。

结论

三种CAC评分和钙化冠状动脉病变数量在自动与参考标准之间具有极好的相关性和一致性。风险类别分类准确,但存在高估偏倚倾向,尤其是当AS为零时。因此,必须对结果进行双重检查。尽管如此,自动运行时间加上对结果的手动双重检查仍然比使用参考标准耗时更少。

引用

  1. Sandstedt M, Henriksson L, Janzon M, et al. Evaluation of an AI-based, automatic coronary artery calcium scoring software. Eur Radiol. 2019. PMID: 31728692. doi:10.1007/s00330-019-06489-x
  2. 全文:PMC7033052(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7033052/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。