AI-SCoRE:快速、客观、全自动预测COVID-19患者结局的平台
本研究基于1575例COVID-19患者(16家医院,第一波)的临床和CT数据,开发并验证了AI-SCoRE平台,仅用年龄、性别、氧饱和度、健康肺实质体积和心胸血管钙化5个变量,自动计算0-100风险评分。模型在训练集AUC为0.842(95%CI 0.816-0.867),外部验证集AUC为0.808(95%CI 0.740-0.877),并划分低、中、高风险三级。
要点
- AI-SCoRE仅需5个变量(年龄、性别、氧饱和度、健康肺实质体积、心胸血管钙化总量)自动预测COVID-19患者死亡风险。
- 风险评分0-100分为低危(≥0且<23)、中危(≥23且<45)、高危(≥45且≤100),对应死亡率分别为8%、32%、66%(第一波)。
- CT特征全自动提取,无需人工勾画,平台6±2分钟生成风险评分和分级。
核心结论
- AI-SCoRE是一个基于少量无偏临床变量和CT自动分析的有效、可靠的全自动COVID-19患者风险分层平台。
- 5变量全自动模型性能与包含24或13变量的模型非劣效,外部验证证实其预测死亡风险的性能。
研究设计与样本
- 多中心回顾性研究,第一波纳入16家意大利医院1575例连续COVID-19成人患者,最终队列1125例(非幸存者292例,26%),用于模型开发。
- 前瞻性外部验证队列为第二波213例连续COVID-19成人患者(IRCCS San Raffaele医院),结局为生存。
- 采用三层次数据分析计划(10×5重复交叉验证),比较9种多变量模型,以AUC为模型选择指标。
- CT特征自动提取:使用预训练深度学习模型(R231、V-net)分割肺和肺炎,按HU区间(GGO -780~-570,半实变 -570~-290,实变≥-290)计算体积分数;心胸血管钙化自动定量。
关键影像表现/征象
- CT自动提取的健康肺实质体积(WALV%_E)和心胸血管钙化总量(包括冠状动脉、主动脉瓣和胸主动脉钙化)是预测预后的关键影像特征。
- 按HU区间定义的肺病变体积分数(GGO%、半实变%、实变%)用于量化肺炎严重程度,但最终模型仅纳入WALV%_E。
- 自动提取的心胸血管钙化体积与手动分割强相关(R=0.844,p=2.2e-16)。
诊断标准与关键数值
- AI-SCoRE评分0-100分:低危≥0且<23,中危≥23且<45,高危≥45且≤100。
- 第一波队列:低危死亡率8%,中危32%,高危66%;第二波队列:低危1.8%,中危23%,高危34%。
- 全自动5变量模型(R5p)第一波AUC=0.842(95%CI 0.816-0.867),第二波外部验证AUC=0.808(95%CI 0.740-0.877)。
- 手动24变量逻辑回归模型AUC=0.839±0.009,13变量模型AUC=0.840±0.0093,5变量模型AUC=0.834±0.007,三者统计等效。
临床应用与阅片要点
- 在急诊或入院时,输入年龄、性别、氧饱和度,上传非增强胸部CT DICOM图像,平台自动计算健康肺实质体积和心胸血管钙化总量,6±2分钟生成风险评分和分级。
- 低危患者(评分<23)死亡率低,可考虑降级管理;高危患者(评分≥45)死亡率高,需密切监护和积极治疗。
- 注意:低危组中少数死亡患者均存在严重基础疾病或免疫抑制状态,评估时应结合临床合并症。
- CT特征全自动提取,避免人工半定量评分的主观性和操作者依赖性,适合疫情期间快速批量筛查。
局限性
- 开发队列为回顾性研究,虽经前瞻性外部验证,但验证队列来自单中心。
- 研究人群为COVID-19患者,模型在其他疾病或人群中的适用性未验证。
- 最终模型仅纳入5个变量,未包含实验室指标和合并症,可能遗漏部分预后信息。
全文中译13 节 · 点击展开
引言
自2020年初以来,SARS-CoV-2感染已达到大流行水平,成为国际关注的突发公共卫生事件[1]。SARS-CoV-2感染具有高度传染性,COVID-19进展往往突然,可迅速从轻度症状性疾病恶化为需要重症监护的呼吸衰竭[2]。
为减轻高强度医院的负担,一种在急诊科(ED)入院时对重症和死亡风险患者进行分流的快速可靠预测方法,是患者管理和总体公共卫生目标的关键需求。
已有若干特征被提出作为COVID-19患者结局的预测因素;其中包括年龄、性别、合并症、全身炎症生物标志物[3],以及大量包含这些变量的预后模型[4, 5],已被提出来改善患者风险分层。然而,这些模型的临床适用性远未实现,主要归因于方法学缺陷或潜在偏倚[6]。特别是,样本量有限、缺乏外部验证、数据质量问题(变量缺失与数据插补、非标准化值、定性或半定量测量)以及结局定义不同,已在不同程度上限制了这些提出的解决方案[6]。此外,这些数据收集的可靠性和快速性具有挑战性,且并不总是与面临大流行的不堪重负的医院中的紧张情况相匹配。特别是,既往史数据,包括所报告的合并症数量和类型,可能受患者临床状况、年龄和精神状态以及社会经济背景的影响。此外,实验室检查可能需要较长的周转时间,尤其是在不堪重负的实验室中,并且不同实验室和国家之间的参考值可能不同。最后,影像学特征具有操作者依赖性且耗时。
将通过医学图像自动提取的特征整合到基于人工智能(AI)的预测算法中,有望解决这些问题,提供基于完全独立于患者和操作者主观性的测量指标来推导预测模型的可能性。
胸部CT在COVID-19大流行期间已被广泛用于临床实践,以支持临床决策[7]。
胸部CT可评估COVID-19相关肺炎的严重程度[8],识别并发症[9],并可对患者进行全面表型分析,提供关于心血管风险[10–14]、肺动脉高压[15]和患者脆弱性[16]的信息。此外,胸部CT适用于AI驱动的鉴别诊断[17]和相关特征的自动提取[18],克服了与主观评估相关的偏倚以及大流行期间专科医生短缺相关的问题。
本研究的目标是设计和验证一个AI平台(AI-SCoRE,Artificial Intelligence – Sars Covid prognostic Risk Evaluation,人工智能—SARS Covid预后风险评估),具有计算机和手机界面,基于可靠、无偏且快速的算法,能够自动处理DICOM胸部CT图像和临床数据(这些数据从COVID-19症状首次出现时的患者中收集),并返回可靠的预后风险评分。
材料与方法
研究设计
本临床研究(AI-SCoRE;NCT04834934)纳入了一个回顾性系列,包括第一波疫情期间(2020年2月16日至4月29日)在意大利北部16家医院急诊科(ED)连续收治的1575例COVID-19成人患者(详细名单见补充材料),以及一个前瞻性队列,包括第二波疫情期间(2020年10月14日至12月31日)在意大利米兰IRCCS San Raffaele医院连续入组的213例COVID-19成人患者,用于前瞻性外部验证。
各机构的当地伦理审查委员会批准了本研究。
收集的临床和CT参数列于补充材料中。
第一波队列的数据收集于2020年6月30日结束,第二波队列的数据收集于2021年2月28日结束。
本研究通过六个步骤开展:(1)创建训练数据集,包括从第一波患者的CT图像和病历中手动提取的更具意义的临床和CT变量,以测试用于二分类目标预测模型的不同多变量模型;(2)确定预测模型并逐步减少纳入变量的数量,以获得仅包含必要、无偏且自动化的临床和CT变量的模型,其性能与包含更广泛变量集的模型相比非劣效;(3)实现CT定量特征提取的自动化;(4)选择最终自动模型以构建“AI-SCoRE”,并确定能够识别三个不同风险等级的AI-SCoRE阈值;(5)设计并部署用户友好的智能手机和PC界面以管理AI-SCoRE平台;(6)在属于第二波的前瞻性队列中对AI-SCoRE进行外部验证(图1)。
AI模型
变量选择与模型开发
采用三层数据分析计划(DAP)进行模型开发和选择,该计划扩展了FDA主导的MAQC-II项目[19]的10×5重复交叉验证设计。第一波数据被拆分M=10次,按p=0.7的比例分为训练集和测试集(n_训练=789,n_测试=336)。对于每次拆分,对拆分中的训练数据应用N×K重复交叉验证(N=10,K=5)。在R统计环境(R-0.4.03版本)中应用caret框架[20]的函数开发候选模型。作为主要模型选择指标,我们采用受试者工作特征曲线(ROC)的曲线下面积(AUC)。模型集包括九种不同的多变量模型,均为AI中常用于二分类目标的模型。所有模型首先在一组24个变量上进行训练,逐步缩减至一组5个变量。caret框架基于内部重复交叉验证方案自动收集每种模型类型的最优参数调优。模型选择时,收集每次拆分内部测试的AUC平均值,每次拆分共50个模型,然后在各拆分间取平均。模型评估时,考虑M个测试集上的平均AUC。
CT特征的自动提取
通气良好肺容积与肺炎特征
采用两个预训练的深度学习模型组合,从CT图像中自动提取定量肺炎特征。肺掩膜通过公开可用的R231模型[21]获得,该模型为在代表不同实变肺受累情况的数据集上训练的、逐层处理的二维U-net(Vol R231)。为进行比较,采用第二个预训练分割模型进行肺炎提取(pneumonia_C),该模型基于体积U-net或V-net[22],作为NVIDIA Clara COVID-19 Collection [23]的一部分提供。为了丰富对COVID-19病变的描述,超越肺炎模型所提取的内容,计算了肺掩膜内对应于Esposito等人[8]提出的磨玻璃影(-780,-570)、半实变(-570,-290)和实变(≥ -290)HU区间的体素相对比例,并将其用作附加特征:通气良好肺容积(WALV%_E)、磨玻璃影(GGO%_E)、半实变(SC%_E)、实变及总体间质受累(GGO-SC%_E)(详见补充方法)。
心血管胸段总钙化
包括冠状动脉、主动脉瓣和胸主动脉钙化体积在内的心血管胸段总钙化体积通过多步骤方法获得(详见补充方法)。自动估计器与手动分割高度相关(R = 0.844 p = 2.2e-16)。使用稳健回归模型(PaBablok法)的分析验证实验报告于图1S。
自动特征提取的示例见图S2。
结果
训练数据集
从总共1575例连续患者和107个变量(43个不同的人口学、临床和实验室检验变量及64个胸部CT变量)中,根据数据清洗步骤(图2),最终队列包括1125例患者和24个变量。
患者的主要临床特征和手动提取的CT特征报告于表1,同时考虑了患者结局(NS = 292,26%;S = 833;74%)。
院内二分类结局存活者(S)与非存活者(NS)被作为评估患者结局最可靠的读数加以考虑。
模型开发:从24变量模型到5变量模型
使用九个多变量模型进行二分类(表2)。所有模型均纳入24个人口学、临床和CT手动提取变量进行训练,逻辑回归模型(glm)显示出最高AUC = 0.839 ± 0.009(表2)。
基于变量间的共线性及临床冗余,我们进一步聚焦于13个变量的子集(年龄、性别、COPD、糖尿病、高血压、血氧饱和度、肌酐、CRP、肝脏脂肪变性、通气良好肺体积、主肺动脉直径、椎体衰减值和总心血管胸廓钙化)。在同一DAP中对13变量数据集进行测试,证实了glm模型的准确性(AUC = 0.840 ± 0.0093)。为了获得快速且无偏的预后评分,我们排除了可能引入偏倚的变量,例如合并症、需要较长周转时间且可能受不同医院间非标准化参考值影响的实验室检查、所有主观且依赖操作者的CT变量。因此,最终模型在缩减的5变量集(Var5)上进行了测试:年龄、性别、血氧饱和度以及两个适合自动提取的CT衍生变量(通气良好肺实质体积和总心血管胸廓钙化体积)。Var5模型的平均AUC = 0.834 ± 0.007,与在24变量和13变量较大数据集上获得的AUC非常接近。随后在拆分数据的测试部分对三个特征集上开发的glm模型进行了比较,结果与内部测试的估计一致(表S1-S2)。特别是,通过Delong检验[24, 25]对ROC曲线进行的大量轮转分析支持以下假设:三个模型在特征集之间不可区分,且在统计学上等价。
全自动精简模型
从深度学习或阈值滤波器中提取的一组定量特征的图形化和统计学总结[8, 21–23]报告于图3S。替代模型在同一DAP的内部和外部测试上进行了比较(表S3)。R5p模型(即Var5 glm模型,采用自动提取的总心血管钙化和WALV%_E)在内部测试中最为准确(AUC = 0.837)。再次应用Delong检验以评估自动化变量的影响。在外部测试上对R5p模型与先前构建的Var5、Var13和Var24模型进行两两评估,未发现显著差异(表S4)。R5p模型的系数报告于表S5。对完整第一波数据集估计的AUC为AUC = 0.842(DeLong 95% CI:0.816–0.867)。全自动5变量模型(R5p)已被选定用于计算“AI-SCoRE”,以0–100的评分预测死亡风险。总结5特征自动化模型开发流程的流程图见图1。
风险分级的确定
采用分类树(CART的rpart实现[26])实施自动分箱策略,分为三类,低风险箱中假阴性率最高为10%(图1右下方)。而对于中评分和高评分组,则接受较低的特异度。分箱方法确定的AI-SCoRE区间为:低风险(≥ 0,< 23)、中风险(≥ 23,< 45)、高风险(≥ 45,≤ 100),各风险等级的死亡率分别为8%、32%和66%(图1和表3)。
在线平台开发
在PowerApp环境中开发了用户友好界面,使AI-SCoRE平台可通过PC桌面和移动应用程序访问。给定患者的年龄、性别和血氧饱和度,系统生成匿名患者ID,用于对CT图像进行匿名化处理。匿名CT图像可通过连接节点上传并自动分析。在6 ± 2分钟内,系统自主生成风险评分(AI-SCoRE 0–100)及相应的颜色编码风险分级(绿色、橙色和红色分别代表低、中等和高风险),并通过弹出消息通知(图3)。AI-SCoRE平台还提供附加功能(图4),包括快速访问人口统计学、临床、实验室检查、影像学和结局数据。该平台还包括Power BI“问答”功能,支持交互式请求和快速数据检索。
AI-SCORE在第二波队列中的前瞻性验证
与第一波队列相比,第二波队列显示年龄更低(65岁,IQR [55, 76],p = 0.004)、血氧饱和度水平更低(91岁,IQR [86, 94];p = 0.003),以及更低的死亡率,有31例(14.6%)死亡(Fisher精确检验p < 0.001)。
在第二波中,AI-SCoRE的AUC为0.808(DeLong 95% CI:0.740–0.877),123例患者(58%)被归为低风险类别。低风险类别死亡率为1.8%,中风险类别为23%,高风险类别为34%(图1左下和表3)。
尽管被归为低风险但仍死亡的全部4例患者均患有轻度COVID-19,但存在严重合并症且预期寿命本已缩短和/或正在接受免疫抑制慢性治疗(患者36:混合性结缔组织病,接受利妥昔单抗和环磷酰胺治疗;患者42:类风湿关节炎,接受甲氨蝶呤和低剂量类固醇治疗;患者109:慢性淋巴细胞白血病,RAI II期,接受伊布替尼治疗;患者120:系统性淀粉样变性,既往肝移植和慢性心力衰竭)。排除这4例因既存危重临床状况和免疫功能低下状态而无论任何COVID-19特异性评分均处于高风险的患者后,AI-SCoRE正确地将第二波队列中所有患者归类为低风险(图5)。AI-SCoRE前瞻性验证的示例病例报告于图6。
讨论
实施快速有效的自动化工具来评估COVID-19患者的死亡或住院风险,是更好分配患者和卫生资源的一项根本性挑战。急诊科常用的一般临床风险评分,如SOFA和MEWS,在应用于COVID-19感染时,遗憾的是缺乏足够的敏感性和特异性来预测与COVID-19感染相关的死亡率[27, 28]。
因此,在过去几个月中,人们进行了若干尝试以改善患者风险分层,同时也开发了基于机器学习(ML)算法的临床风险评分。然而,所提出方法的真正临床适用性尚不明确,主要由于方法学问题,涉及原始数据质量不足、所收集变量的异质性和缺乏标准化、结局定义中的偏倚以及偏倚解决不明确[6, 29]。
为满足临床需求并克服上述方法学局限性,我们开发了全自动AI-SCoRE平台,能够基于仅五个变量的评估提供0-100量表的患者风险评分:两个人口学数据(年龄和性别)、一个测量非常快速简便的标准化临床数据(血氧饱和度)以及两个由常规非增强胸部CT扫描自动提取的定量影像特征(通气良好肺体积和心血管胸廓总钙化)。
结局定义为生存,被视为COVID-19大流行期间最可靠的数据,原因在于急诊中数据收集碎片化导致氧疗信息可靠性低,以及根据医院资源和疫情阶段部署治疗(如ICU准入)存在偏倚。
AI-SCORE是在有限时间段内转诊至16家意大利医院的1125例患者的回顾性系列上开发的,并在第二波疫情期间对214例连续患者进行了前瞻性验证。
该模型在预测第一波和第二波患者结局方面均表现出良好性能(AUC = 0.842和AUC = 0.808),尽管第二波期间治疗有显著改善并随之降低了总体死亡率。值得注意的是,AI-SCORE与包含更大患者临床和实验室检验特征集的模型(Vars24和Vars13)相比表现出非劣效性能,凸显了其临床价值和适用性。
AI-SCoRE算法和平台能够识别三个风险类别,在第二波外部前瞻性验证中仅1.8%的患者被错误分类为低风险,这些患者均患有既往严重疾病导致预期寿命严重缩短。
我们的最终算法纳入了年龄和性别等常见人口统计学特征[3, 4, 8, 15],以及氧饱和度,这些都是公认的患者结局预测因素,也是指导患者治疗和管理的关键参数[1]。人工智能评分平台将这些参数与从整个肺实质和胸部血管体积中自动提取的胸部CT指标相结合。与既往一些研究中使用的孤立二维切片甚至二维图像块分析[6]相比,以及与放射科医生阅片得出的半定量评分[4, 18]相比(后者受限于全景性不足或阅片者主观性),肺受累的自动容积分析保证了肺炎严重程度评分更为真实和准确的测量[30]。
此外,使用胸部CT图像而非XR图像可保证在识别肺实质受累方面具有更高的敏感性,能够充分考虑轻微的炎症改变[31],并有可能通过量化心脏瓣膜和胸部血管中的钙沉积来实现更深入的患者表型分析[32]。
AI-SCoRE是首个整合心血管钙化的机器学习COVID-19风险模型。这提供了对患者风险更全面的评估。冠状动脉钙化评分是冠状动脉疾病的标志物,也是普通人群中死亡率和心血管事件的既定独立预测因素[33]。在COVID-19患者中,它与危重症、不良主要心血管事件和死亡相关[10, 11, 34, 35]。与单独的冠状动脉钙化评分相比,总胸部心血管钙化(还包括主动脉瓣和胸主动脉钙化)是COVID-19患者预后的更强预测因素,提示总钙化提供了对全身性动脉粥样硬化、心血管衰老和左心室负荷的更全面评估[36]。其预后价值可能源于多种因素。首先,内皮是SARS-CoV-2感染的靶标,弥漫性内皮炎在决定多器官损伤中起关键作用,因此动脉粥样硬化中发生的慢性内皮功能障碍和内皮炎症状态可能增加对COVID-19全身性损伤的易感性[10, 37, 38]。
AI-SCoRE的开发基于临床机器学习视角。这包括第一步基于纯机器学习方法,以完全数据驱动的方式获得临床和影像协变量与患者结局之间的交互关系。然后,针对近期关于完全数据驱动方法对COVID-19预测能力有限的批评[6],进行了进一步的临床驱动的变量精简,排除了合并症、实验室检查和主观测量指标,这些变量可能因急诊采集的挑战性、实验室间参考值差异或手动测量的阅片者间变异性而受到泛化性受限的影响。
与大多数既往预测模型[3, 4, 6, 30]不同,在我们的研究中,结局定义为患者生存,这被认为是COVID-19大流行期间最可靠的终点,因为其他终点受当地方案和医院资源影响,可靠性不足。
AI-SCoRE仅需要少数且易于采集的变量,对于设备条件较差、在疫情中处于超负荷状态的医院也同样适用。该算法架构能够避免数据缺失,这与大多数先前开发的算法不同——在那些算法中,入组患者中有30%至超过50%未能采集到全部所需数值[18],且常使用缺失数据插补[18, 39]。AI-SCoRE模型仅在完整数据集上进行开发和验证,避免了缺失数据插补,因而具有更贴近实际的性能指标和更高的临床实践适用性。
我们流程中的一个重要创新是显著缩短了诊断时间,这符合优化卫生资源的紧迫公共卫生需求。AI-SCoRE可在入院时支持临床决策(居家护理、方舱医院隔离、住院或进入重症监护病房(ICU))。
与先前关于COVID-19的研究类似,我们研究的一个局限性在于紧急情况下从多个中心在短时间内采集的数据可能存在异质性。然而,多中心方法对于减少偏倚和提高预测模型的泛化性是必需的。值得注意的是,CT参数在研究的第一步已进行集中分析,并在最后一步完全自动提取,显著降低了偏倚风险。此外,在不同公共卫生条件下对第二波队列的验证,证实了AI-SCoRE在优化治疗情况下预测患者结局的有效性。
尽管疫苗显著降低了感染率和COVID-19严重程度,但疫苗接种政策依从性的差异以及感染在未接种人群中持续传播,提示AI-SCoRE平台基于患者风险分层改善资源分配的潜在实用性。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 1085 kb)
引用
- Palmisano, Vignale, Boccia, et al. AI-SCoRE (artificial intelligence-SARS CoV2 risk evaluation): a fast, objective and fully automated platform to predict the outcome in COVID-19 patients. Radiol Med. 2022. PMID: 36038790. doi:10.1007/s11547-022-01518-0
- 全文:PMC9423702(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9423702/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。