文献速递心血管胸部技术与安全CT

基于SCAPIS回顾性CT数据的自动化AI冠状动脉钙化评分准确且与专家评分相关

Automated AI-based coronary calcium scoring using retrospective CT data from SCAPIS is accurate and correlates with expert scoring.
PubMed 文献 · Eur Radiol · 2024-10-18

在瑞典心肺生物影像研究(SCAPIS)中,对4567例无症状受试者的钙化评分CT行AI与半自动专家评估对比,Agatston、体积、质量评分的ICC均为0.994,心血管风险分类总体准确率91.2%、加权kappa 0.913,AI在低钙化评分范围存在轻度高估偏倚。

要点

  • AI与半自动评估的总Agatston、体积、质量评分ICC均为0.994,病灶数目ICC为0.960。
  • 心血管风险五分类总体准确率91.2%、加权kappa 0.913,AI高估331例(7.2%)、低估71例(1.6%)。
  • 402例分类不一致经审核发现AI在20.1%的病例中实为正确,AI错误以噪声和伪影误配准为主。

核心结论

  • AI与半自动评估在三种钙化评分、病灶数目和病灶位置上均呈极好相关与一致性。
  • 心血管风险分类的一致性和准确率高,但AI在低钙化评分范围存在轻度高估偏倚。
  • 作者认为钙化评分CT适合作为AI全面初步评估的候选检查。

研究设计与样本

  • 回顾性、观察性、横断面研究,数据来自SCAPIS,最终纳入4567例50–64岁无症状且无已知冠心病受试者。
  • 所有钙化评分CT于2015年10月8日至2018年6月12日在林雪平大学医院使用同一台SOMATOM Definition Flash双源CT完成。
  • 参考标准为受过培训的胸部放射科医生或心内科医生使用syngo.Via VB10A半自动软件进行的钙化评分评估。
  • AI评估使用同一厂商的syngo.Via VB60A软件自动完成,结果与半自动评估图表经光学字符识别自动读取并人工核对。
  • 另对2016年5月17日至2016年10月18日连续采集的200例半自动评估行二次阅读用于可靠性分析。

关键影像表现/征象

  • 队列总Agatston评分范围0至2871,2846例(62.3%)Agatston评分为0,平均51.4、中位数0.0。
  • 逐血管Agatston评分相关系数:左主干合并左前降支0.977、回旋支0.831、右冠状动脉0.975。
  • Bland-Altman平均差及95%一致性界限:Agatston评分−0.04(−52.5至52.4),体积评分−0.44(−46.51至45.63),质量评分−0.07(−9.62至9.48)。
  • 本研究中无法区分左主干与左前降支病灶位置,因半自动评估者被指示将这些区域的钙化均报告为左前降支。

诊断标准与关键数值

  • 风险分类采用五级:Agatston 0为无可识别斑块、极低心血管风险;1–10为极小斑块负荷、低风险;11–100为轻度动脉粥样硬化斑块负荷、中等风险;101–400为至少中等斑块负荷、中高風險;>400为广泛斑块负荷、高风险。
  • 总Agatston、体积、质量评分的Pearson相关系数分别为0.989、0.988、0.988(p < 0.001),ICC均为0.994(p < 0.001)。
  • 病灶总数ICC为0.960,病灶位置ICC:左主干合并左前降支0.955、回旋支0.881、右冠状动脉0.918(p < 0.001)。
  • 心血管风险分类加权kappa为0.913(p < 0.001),总体准确率91.2%。
  • 200例二次阅读亚组分析:总Agatston及逐血管ICC为1.0、1.0、0.999、1.0,风险分类总体准确率98.5%、加权kappa 0.986(p < 0.001)。

临床应用与阅片要点

  • AI评估与专家半自动评估在三种钙化评分上高度一致,可支持钙化评分CT的自动化初步评估。
  • 审核402例分类不一致病例发现AI在20.1%的病例中实为正确,AI错误以噪声、伪影及非冠状动脉钙化误配准为主。
  • 作者指出AI结果应由人类读者复核,先行AI评估后由专家复核可能减少误分类错误,尤其是假阴性结果。

局限性

  • 研究为回顾性,因病例数量大未对参考标准行完全控制,导致AI结果存在低估偏倚。
  • 研究为单中心,钙化评分CT数据未包含扫描方案或CT系统的变异,AI与专家评估也均使用与CT系统同一厂商的软件,限制了结果的普遍性和可迁移性。
  • 逐血管分析未分别报告左主干与左前降支的钙化负荷,而两区域心血管风险动态不同。
  • 纳入人群与现行指南推荐不完全一致,例如年龄范围小于AHA推荐的40–75岁。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Oct 18;35(5):2438–47. doi: 10.1007/s00330-024-11118-3

引言

非对比增强、心电触发的冠状动脉钙化评分计算机断层扫描(CSCT)是一种有价值的诊断工具,可在最低辐射暴露下识别冠状动脉钙化(CAC)[1–6]。该技术已被证明能够独立于传统风险评估模型,可靠地预测无症状个体未来的心血管(CV)事件[7–10]。美国[11]和欧洲[12]临床指南均推荐对选定的无症状个体进行CSCT,特别是那些预检临床CV风险评估为中等风险的个体。

Agatston评分(AS)于20世纪90年代初引入[13],仍是CSCT中冠状动脉钙化评分(CACS)分级和冠状动脉疾病(CAD)风险评估的主要方法[14]。然而,已开发出替代技术如体积评分(VS)和质量评分(MS),以提高CACS评估的可靠性和可重复性[15–17]。传统上,胸部放射学专家或心脏病学专家使用半自动软件执行这一相对简单的任务,该过程涉及手动识别和标记CAC病灶。随着CSCT在全球的持续普及,对更高效和自动化评估系统的需求日益增长。

近年来,人工智能(AI)在放射学领域取得了显著进展。多项研究表明,AI能够在更短的评估时间内达到与放射科医生相当的CACS诊断准确性[18–20]。这表明在CACS背景下,AI有望辅助或可能替代人工阅片者,为减轻临床工作量和提高整体效率提供了机会。在大型数据集上测试AI是确保模型稳健、能良好泛化至多样场景并在实际应用中可靠运行的基本步骤。它有助于发现和解决与偏倚、变异性和可扩展性相关的问题,促进可信且有效的AI系统的开发。

本研究旨在比较市售AI-based CACS软件与传统半自动CACS的结果,使用迄今最大的来自无已知CAD的无症状个体数据集。研究评估了AS、VS、MS、钙化冠状动脉病灶数量和病灶位置的相关性和一致性。此外,还探讨了它们在将受试者分为五个CV风险类别方面的可比性。

材料与方法

研究样本

本回顾性、观察性、横断面研究严格遵循《赫尔辛基宣言》所述原则并按照良好临床实践标准进行。本研究获得瑞典伦理审查机构(哥德堡地区伦理审查委员会,DNR 2021-00441)以及瑞典心肺生物影像研究(SCAPIS)(哥德堡和于默奥地区伦理审查委员会,Dnr 2010-228-31M)的授权。根据瑞典登记处伦理法规和国家立法,SCAPIS研究对象已被告知其参与登记处的情况,并可选择拒绝参与或要求删除其数据。本研究豁免了书面知情同意的要求。

所有纳入受试者均于2015年10月8日至2018年6月12日期间在林雪平大学医院接受了SCAPIS[21]项目内的CSCT检查,总计5057人,年龄50–64岁。受试者数据和人群人口统计学资料(表1)从SCAPIS数据库中回顾性收集。截至目前,共有45篇文章报道了部分或全部纳入研究人群[22]。这些文章均未涉及CSCT扫描的人工智能评估。

排除标准为拒绝接受CSCT扫描者(n = 45)以及Wolterink等[23]先前确立的排除标准。据此排除了登记为存在严重运动伪影或高噪声水平的CSCT扫描(n = 114)、CSCT扫描图像缺失(n = 1)、扫描长度覆盖不完整(n = 4)以及半自动评估的CACS结果表缺失(n = 56)。自我报告有心肌梗死、心绞痛、心力衰竭、心脏瓣膜病、冠状动脉旁路移植术、经皮冠状动脉介入治疗病史(n = 122)或上述任一情况信息缺失(n = 148)的受试者亦被排除,以遵循指南推荐[11, 12]将CACS用于无CAD症状个体的风险评估。

表1 受试者特征 查看原表 ↗

CT采集参数与图像重建

所有CSCT扫描均使用SOMATOM Definition Flash双源CT系统(Siemens Healthineers)完成。根据心率和脉率变异性,采用前瞻性心电图触发的高螺距螺旋扫描(Flash扫描)或序列扫描技术。两种扫描方案均采用厂商推荐的扫描和重建设置,使用120 kVp管电压和自动管电流调制(CARE Dose4D,Siemens Healthineers),质量参考mAs设为80。其他扫描参数包括机架旋转时间0.28 s、螺距3.4、128 × 0.6 mm准直。Flash扫描的扫描启动设定在心动周期的60%,而序列扫描在70%时进行。

图像重建使用加权滤波反投影(WFBP,Siemens Healthineers)、专用于钙化积分重建的卷积核(B35f)、3.0 mm图像层厚、1.5 mm增量。若心率超过60 bpm且未发现这些药物的禁忌证,则给予舌下硝酸甘油和β受体阻滞剂(美托洛尔,静脉和/或口服)。CSCT扫描后,在同一次成像过程中进行了冠状动脉计算机断层扫描血管造影(CCTA)。

数据报告

SCAPIS内进行的半自动CACS评估由胸部放射科医师或心脏科医师使用专用的CACS后处理软件(syngo.Via VB10A,Siemens Healthineers)完成。所有阅片者均至少接受了美国心脏病学会基金会/美国心脏协会心脏CT临床能力声明[24]中规定的心脏CT阅片1级培训,并具有1至>10年阅读临床CCTA的经验。除此之外,阅片者还参加了SCAPIS框架内的年度培训和信息会议,以确保阅片和报告的一致性。

半自动评估生成的CACS结果图表保存在本地PACS(Sectra工作站IDS 7,Sectra)中。这些图表经假名化处理后导出,用于自动读取。读取使用定制MATLAB脚本(R2023a,Mathworks)完成,该脚本利用光学字符识别进行自动制表。所有数值均经人工核对。该流程可获取半自动评估的AS以及MS和VS、病灶数量和病灶位置。本研究未对参考标准结果进行完整的预控以发现错误。然而,由一名心脏影像放射技师(L.H.)对AI软件误分类的病例进行了审核,该技师具有心血管CT学会定义的心脏CT阅片1级培训资质[25]及6年心脏CT研究阅片经验。还对2016年5月17日至2016年10月18日期间连续获取的200例半自动评估的子集进行了二次阅片(由L.H.完成),用于后续可靠性分析。

自动评估通过从PACS导出CSCT图像,由同一CACS后处理软件的更新版本进行后处理,该版本支持AI评估(syngo.Via VB60A,Siemens Healthineers),并已在既往研究中描述[18, 19, 26]。该全自动评估生成的图表经假名化处理后,以与半自动评估图表相同的方式导出用于自动读取,并提供相同类型的信息。

基于AS,AI评估和半自动评估的CACS值均被分类为五个常用心血管风险类别:AS 0(无可识别斑块,极低心血管风险)、AS 1–10(极小斑块负荷,低心血管风险)、AS 11–100(轻度动脉粥样硬化斑块负荷,中等心血管风险)、AS 101–400(至少中等动脉粥样硬化斑块负荷,中高心血管风险)和AS > 400(广泛动脉粥样硬化斑块负荷,高心血管风险)[27]。

统计分析

连续数据以均值 ± 标准差报告。分类数据以计数和百分比呈现。由于样本量大(中心极限定理),假定数据服从正态分布。

标准参考与自动软件在AS、VS、MS、病灶数量和病灶位置方面的一致性和相关性分别采用Pearson相关(r)和组内相关系数(ICC)评估。p值 < 0.05被视为具有统计学意义。采用Bland–Altman图可视化偏倚及95%置信区间内的一致性界限。心血管风险分类的差异通过加权kappa分析(κ)和准确率进行检验。Kappa系数的评定标准为:0.01–0.20,轻微一致性;0.21–0.40,一般一致性;0.41–0.60,中等一致性;0.61–0.80,高度一致性;0.81–0.99,几乎完全一致[28]。二次阅片子集分析采用ICC评估总AS及每支血管AS,并采用加权kappa分析(κ)和准确率评估心血管风险分类。

Bland–Altman图使用Microsoft Excel(Microsoft Office 365,MSO,版本2302)绘制,其余所有统计分析均使用IBM SPSS版本27(IBM)完成。

结果

研究样本

在5057名受试者中,共有4567名(90.3%)符合规定的纳入标准并被纳入研究(图1)。其中,男性2229名(48.8%),女性2338名(51.2%)。研究人群的平均年龄为57.3 ± 4.4岁。受试者特征见表1。3313例(72.5%)的钙化积分CT(CSCT)扫描采用序列扫描技术,1254例(27.5%)采用高螺距螺旋技术。

图1 瑞典心肺生物影像研究(SCAPIS)中由受过培训的放射科医师或心内科医师从钙化积分CT(CSCT)扫描中半自动导出冠状动脉钙化积分(CACS)的纳入和排除标准 查看原图 ↗

数据报告

自动软件与标准参考之间总AS、VS和MS的Pearson相关系数(r)分别为r = 0.989、0.988和0.988(p < 0.001)(图2)。AS的逐支血管相关性为:左主干(LM)合并左前降支(LAD)动脉r = 0.977,回旋支动脉(CX)为0.831,右冠状动脉(RCA)为0.975。本研究无法区分LM和LAD作为病变位置,因为执行半自动评估的阅片者被指示将这些区域的所有钙化均报告为位于LAD。VS的相关性为r = 0.978(LM + LAD)、0.847(CX)和0.970(RCA),MS的相关性为r = 0.979(LM + LAD)、0.851(CX)和0.972(RCA)(p < 0.001)。

总AS、VS和MS的ICC一致性水平分别为0.994、0.994和0.994。关于相同指标的逐支血管ICC分析分别得出:LM + LAD为0.988、0.989、0.989,CX为0.904、0.913、0.916,RCA为0.987、9.985、0.986(p < 0.001)。总病变数的ICC为0.960,病变位置LM + LAD为0.955,CX为0.881,RCA为0.918(p < 0.001)。Bland–Altman图显示了平均差异及1.96倍标准差的一致性上下限:AS为−0.04、−52.5至52.4,VS为−0.44、−46.51至45.63,MS为−0.07、−9.62至9.48(图3)。

队列中总AS范围为0至2871,其中2846名(62.3%)受试者的AS为0。AS的均值和的中位数分别为51.4和0.0。风险类别分配的混淆矩阵(表2)显示总体准确率为91.2%,加权kappa分析(κ)为0.913(p < 0.001)。在402/4567例(8.8%)中,半自动评估与自动评估的心血管风险类别分类不一致。其中,331/4567例(7.2%)被AI评估高估,71/4567例(1.6%)被低估。

对所有402例误分类病例的审核显示,半自动评估在80/402例(20.1%)中存在钙化配准错误或漏检:19/80例(23.75%)为图像噪声或伪影或非冠状动脉钙化的配准错误,61/80例(76.25%)为钙化漏检。

噪声或伪影的半自动误配准导致10/80(12.5%)例出现一个类别的CV偏移(n = 10,AS 0至AS 1–10)。非冠状动脉钙化的半自动误配准导致5/80(6.3%)例出现一个类别的CV偏移(n = 1,AS 1–10至11–100;n = 4,AS 11–100至101–400),以及4/80(5.0%)例出现两个类别的CV偏移(n = 3,AS 0至11–100;n = 1,AS 1–10至101–400)。半自动评估遗漏的钙化导致47/80(58.8%)例出现一个类别的CV偏移(n = 34,AS 1–10至AS 0;n = 5,AS 11–100至1–10;n = 8,AS 101–400至11–100),12/80(15%)例出现两个类别的CV偏移(n = 12,AS 11–100至0),以及2/80(2.5%)例出现三个类别的CV偏移(n = 2,AS 101–400至0)。

审计显示,AI评估在322/402(80.1%)例中误配准或遗漏了钙化:图像噪声或伪影、非冠状动脉钙化和起搏器电极的误配准在270/322(83.9%)例中发生,遗漏钙化在52/322(16.1%)例中发生。

AI对噪声或伪影的误配准导致223/322(69.3%)例出现一个类别的CV偏移(n = 212,AS 0至1–10;n = 11,AS 1–10至11–100),以及3/322(0.9%)例出现两个类别的CV偏移(n = 3,AS 0至11–100)。AI对非冠状动脉钙化的误配准导致43/322(13.4%)例出现CV类别偏移:24/322(7.5%)例出现一个类别的CV偏移(n = 20,AS 0至1–10;n = 2,AS 1–10至11–100;n = 2,AS 101–400至> 400),14/322(4.3%)例出现两个类别的CV偏移(n = 13,AS 0至11–100;n = 1,AS 1–10至11–100),4/322(1.2%)例出现三个类别的CV偏移(n = 4,AS 11–100至0),以及1/322(0.3%)例出现四个类别的CV偏移(n = 1,AS 0至> 400)。AI对起搏器电极的误配准导致1/322(0.3%)例出现四个类别的CV偏移(n = 1,AS 0至> 400)。AI遗漏钙化导致49/322(15.2%)例出现一个类别的CV偏移(n = 34,AS 1–10至0;n = 5,AS 11–100至1–10;n = 8,AS 101–400至11–100),以及3/322(0.9%)例出现两个类别的CV偏移(n = 3,AS 11–100至0)。审计结果见图4。

对200例半自动评估的子分析包括125例AS 0、24例AS 1–10、32例AS 11–100、12例AS 101–400和7例AS > 400(根据原始CV分类)。总AS的ICC为1.0,LM + LAD、CX和RCA的ICC分别为1.0、0.999和1.0。总体准确率为98.5%,加权kappa分析(κ)为0.986(p < 0.001)。半自动评估在2例中误配准了图像噪声,导致CV风险分类从AS 0偏移至1–10,并在1例中遗漏了钙化,导致CV分类从AS 11–100偏移至AS 1–10。

图2 AI与半自动评估之间(a) Agatston评分(AS)、(b) 体积评分(VS)和(c) 质量评分(MS)的Pearson相关系数(r)散点图,r分别为0.989、0.988和0.988 查看原图 ↗
图3 Bland–Altman图,显示AI与半自动评估之间冠状动脉钙化评分的差异与这些测量值平均差异的关系。A Agatston评分:平均差异−0.04,一致性界限−52.5至52.4。B 体积评分:平均差异−0.44,一致性界限−46.51至45.63。C 质量评分:平均差异−0.07,一致性界限−9.62至9.48 查看原图 ↗
表2 混淆矩阵,比较标准参考半自动评估与AI软件的心血管疾病(CVD)风险分类分布 查看原表 ↗
图4 比较人工智能(AI)与半自动(SA)评估所致心血管风险组误分类并导致1、2、3或4个风险组偏移的图表。a 风险组误分类总数,即假阳性和假阴性的总和。b 将AI和SA评估的风险组误分类分为冠状动脉钙化的假阳性和假阴性检出。 查看原图 ↗

讨论

本研究使用了包含4567例CSCT扫描的大型数据集,按照当前指南[11, 12]推荐,在无CAD的无症状个体中比较AI软件与标准半自动评估所得的CACS结果。据我们所知,就非对比ECG门控心脏扫描中AI衍生CACS的评估而言,这是迄今为止规模最大的研究。研究结果显示,两种方法在三种CAC评分上具有极好的相关性和一致性。按血管评估以及病变数量和位置的评估也显示出高度一致性。Bland–Altman图显示AS、VS和MS的平均差异极小且一致性界限较窄。在较低CAC评分中可见轻微的过高估计偏倚,这可能是由于数据集的偏斜所致,62.3%的扫描AS为0。心血管风险类别分类的加权kappa分析显示几乎完全一致(κ 0.913),总体准确率为91.2%。审查402例被误分类的心血管风险病例发现,其中20.1%的情况下AI评估是正确的。审计还显示,半自动评估主要漏检钙化,而AI评估的错误则往往是噪声和伪影的误配准。

由于研究设计、纳入标准、成像方案、重建方法和定量评估存在差异,与同一领域的其他研究[18, 23, 26, 28–30]进行比较具有挑战性。尽管如此,我们在CACS和风险类别分类方面的结果与既往研究[18, 23, 25, 29–31]相似,显示出极好的相关性、一致性以及随后的风险分类。此处评估的AI软件已获准用于临床,早期版本已证明其能够产生可靠的CACS评估结果[26],并具有有前景的节省时间潜力[18, 19]。本研究纳入更大数量的受试者,证实了其在所有常用CACS指标上的稳健性。这也表明AI在汇编大型数据库方面具有潜力,可减轻放射科医生的工作负担,并可能提高回顾性和前瞻性数据集分析的准确性。我们的审计发现强调了这一点。先进行AI初步评估,随后由专家阅片者进行评估,可减少误分类错误,尤其是那些导致假阴性结果的错误。如前所述[18, 26],AI结果应由人工阅片者核查。

本研究存在若干局限性,主要归因于其回顾性设计。第一,由于病例数量庞大,缺乏完全受控的参考标准,这导致了对人工智能结果的低估偏倚。然而,所有半自动评估均由经过培训的阅片者在受控环境下完成,涉及CACS的判读与报告,并且还对误分类进行了审核,以进一步了解该问题。此外,对200例样本的二次阅片显示与原始半自动评估具有高度一致性。第二,本研究的单中心性质意味着CACS测试数据未包含CSCT扫描方案或用于CSCT采集的CT系统的任何变异。人工智能和专家阅片者评估也均在与CT系统同一供应商(Siemens Healthineers)的软件应用上进行。这限制了结果的普遍性和可迁移性。此前使用在不同供应商CT系统上采集的CSCT测试数据进行的评估已得出类似结果[29]。未来关于CACS人工智能评估准确性的研究应纳入大型、更多样化的测试数据集,以进一步了解这些工具的普遍性。第三,按血管分析未分别报告LM和LAD的钙化负荷。由于这些血管区域的心血管风险动态不同,在此properly描述钙化负荷可能具有临床重要性[32]。同一人工智能软件的早期版本在分别报告LM和LAD CACS方面已显示出优异结果[19, 26]。第四,纳入人群与现行指南的建议不完全一致。例如,年龄范围小于AHA推荐的40–75岁,该推荐用于CACS在指导药物治疗中的作用[11]。

总之,本研究利用无已知CAD的无症状个体的大规模数据,证明了自动软件与参考标准在三种类型的CACS、病变数量和病变位置方面具有极好的相关性和一致性。风险类别分类也高度准确,但在CAC评分较低范围内存在轻微的高估偏倚。这表明其具有高水平的稳健性,CSCT是人工智能进行全面初步评估的极佳候选者。

引用

  1. Henriksson L, Sandstedt M, Nowik P, et al. Automated AI-based coronary calcium scoring using retrospective CT data from SCAPIS is accurate and correlates with expert scoring. Eur Radiol. 2024. PMID: 39419864. doi:10.1007/s00330-024-11118-3
  2. 全文:PMC12021696(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12021696/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。