利用累积信息预测院外心脏骤停后的神经功能结局:人工神经网络算法的开发与内部验证
该研究是对TTM试验932例昏迷OHCA患者的事后分析,在ICU第1、2、3天分别构建仅临床变量、加临床可用生物标志物(如NSE)、加研究级生物标志物(如NFL)的人工神经网络模型,以6个月CPC 1-2为良好结局、CPC 3-5为不良结局。仅临床变量AUROC持续低于90%;加入NSE后AUROC从82%升至94%(p<0.01);加入研究级生物标志物后AUROC约95%。72小时加NSE及任意一天加NFL的模型在保持低假阴性同时假阳性风险低。
要点
- 仅用临床变量预测6个月神经功能结局的AUROC在前3天持续低于90%,预测能力中等。
- 加入临床可用生物标志物如NSE后,AUROC从82%升至94%(p<0.01),支持NSE在现行指南中的作用。
- 加入研究级生物标志物如NFL后,第1至3天AUROC均约95%,预后判别能力优秀。
- 72小时加NSE的模型及任意一天加NFL的模型假阳性预测风险低,同时假阴性预测数量保持在低水平。
- 基于训练集100%特异度阈值,含研究级生物标志物模型第1天假阳性<1%、第2和3天0%,假阴性率15–25%。
适用人群与场景
- TTM试验中院外心脏骤停复苏后持续昏迷的成人患者(GCS≤8,≥18岁, presumed cardiac cause,ROSC持续)。
- 分析限于心脏骤停后24、48、72小时仍昏迷的患者,排除各时间点已清醒或已死亡者;清醒定义为GCS运动反应评分6分或ICU出院时CPC 1–3。
- 排除6个月随访缺失或入院时缺失值>40个的患者(n=7)。
诊断标准与关键阈值
- 良好结局定义为6个月CPC 1–2(日常生活独立,可含轻度残疾);不良结局定义为CPC 3–5(严重脑损伤、依赖他人、昏迷或死亡)。
- 预后评估按最新指南应推迟至ROSC后至少72小时且多模态进行,但本研究探索性模型在24小时即可评估。
- 模型预测不良结局的阈值基于训练集100%特异度设定,用于测试集混淆矩阵分析。
处置流程与药物剂量
- 原文未提及
红旗征与不能漏的情况
- 原文未提及
研究设计与关键结果
- 研究类型:TTM试验(33°C vs 36°C)的事后探索性分析,纳入932例来自欧洲和澳大利亚36个ICU的昏迷OHCA患者,80%用于模型开发、20%用于内部验证。
- 仅临床变量(A级)模型前3天AUROC均<90%;加入临床可用生物标志物(B级,NSE、S100B、TnT、BNP、PCT)后AUROC从82%升至94%(p<0.01)。
- 加入研究级生物标志物(C级,NFL、copeptin、IL-6、tau、GFAP、UCHL1)后第1至3天AUROC约95%(第1天95%CI 92–98%)。
- 基于训练集100%特异度阈值,测试集假阳性:第1天C级0.7%、第2天A级1.2%;C级假阴性率15–25%,B级第3天假阴性率25%。
- B级第3天(72小时)及C级所有时间点敏感度>60%且保持100%特异度。
- 单独NFL的AUROC在第1、2、3天分别为92.3%、92.3%、92.5%(基于测试集)。
证据类型、等级与局限
- 证据类型:对随机对照试验TTM的事后探索性分析,采用人工神经网络建模,按TRIPOD声明报告。
- 局限:探索性、回顾性分析;单数据集内部验证,无外部验证;生物标志物亚组约减少30%患者;EEG、SSEP、CT、MRI因少数患者使用未纳入模型;需前瞻性验证。
对床旁实践的改变
- 提示在昏迷OHCA患者中,仅靠临床变量预测6个月神经功能结局能力中等,加入NSE等生物标志物可提高预测准确性。
- 72小时NSE及任意时间点NFL的模型在保持100%特异度下敏感度>60%,与ERC/ESICM多模态指南算法性能相当,但本研究为探索性,不能直接替代现行多模态预后评估流程。
- 研究级生物标志物NFL在24小时即可提供优秀判别力,但尚未常规临床可用,不能据此在24小时做出撤除治疗决策。
指南或共识出处
- Target Temperature Management (TTM) trial(原文引用21)
- 欧洲复苏委员会(ERC)与欧洲重症医学会(ESICM)指南(原文引用2,3,4,34)
全文中译9 节 · 点击展开
引言
对于心脏骤停复苏后最初几天仍处于昏迷状态的患者,评估其长期神经功能恢复的预后是重症监护中常见且重要的组成部分。患者的背景资料、心脏骤停特征、入院时生命体征以及诊断检查结果均为使预后判断变得复杂的 contributing 因素[1]。需要稳健可靠的方法来分析数据并辅助预后判断,因为完全康复或严重神经功能缺损均可能是长期临床结局。
根据最新指南,预后判断过程应在自主循环恢复(ROSC)后至少推迟72小时进行,并应采用多模态评估[2, 3]。临床神经系统检查是该过程的基础,并辅以脑电图(EEG)、体感诱发电位(SSEP)、神经放射学影像学检查以及一种生物标志物。尽管人口学和临床变量携带重要的预后信息,但目前的算法中均未纳入这些变量[4]。
近年来,出现了多种生物标志物,可能改善当前用于预测神经功能结局的算法。目前,指南中仅纳入了神经元特异性烯醇化酶(NSE)[4]。在众多已被研究用于心脏骤停后脑损伤的新型生物标志物中,迄今为止最有前景的是神经丝轻链(NFL),其在ROSC后24小时即可区分长期神经功能结局的受试者工作特征曲线下面积(AUROC)为94–98%[5, 6]。其他脑损伤生物标志物,包括S100钙结合蛋白B(S100B)、tau蛋白、胶质纤维酸性蛋白(GFAP)和泛素C末端水解酶-L1(UCHL1),也已在心脏骤停预后判断中显示出潜力[7–11]。心肌损伤生物标志物如肌钙蛋白T(TnT)、N末端B型利钠肽原(BNP)和 copeptin,以及全身性炎症生物标志物如降钙素原(PCT)和白细胞介素-6(IL-6),也与神经功能结局相关[12–16]。其中一些生物标志物在许多实验室中常规检测,而另一些则不是。尽管为确定有前景的生物标志物付出了大量努力,但将其组合并加入累积临床数据的预后价值仍不明确[12]。
机器学习算法的改进和计算能力的提升已使多个医学领域的诊断和预后能力得到增强,从放射学到重症医学[17, 18]。机器学习在院外心脏骤停(OHCA)幸存者的短期和长期预后判断中也显示出有前景的结果[19, 20]。在最近发表的一项研究中,我们展示了基于入院时可用信息,一种称为人工神经网络(ANN)的监督机器学习算法在预测包括生存在内的长期神经功能结局方面优于逻辑回归[20]。
在本前期研究的扩展中,我们假设在重症监护最初三天内获得的累积信息,使用含或不含生物标志物的ANN,可产生预测OHCA后神经功能结局的可靠模型。
材料与方法
研究人群与变量
我们纳入了目标温度管理(TTM)试验主要分析中的全部939例患者[21],该试验将昏迷的院外心脏骤停(OHCA)存活者随机分组,比较入住ICU时33 °C和36 °C两个目标温度。2010年至2013年间,来自欧洲和澳大利亚36个ICU的患者被纳入研究。纳入标准为因推测心源性原因发生OHCA、复苏后持续自主循环恢复(ROSC)的昏迷(格拉斯哥昏迷量表(GCS)≤ 8)成人(≥ 18岁)。主要结局为至试验结束时的死亡率,两个温度组之间无显著差异[21]。试验方案经各参与国伦理委员会批准,根据国家法律,知情同意或予以豁免,或从所有参与者或其亲属处获得,符合赫尔辛基宣言[22, 23]。
无6个月随访或缺失值极多(入院时缺失值> 40个)的患者被排除在最终数据分析之外(n = 7)。我们研究了心脏骤停后三个不同时间点(24、48和72小时)。为将预后评估限于昏迷患者,我们排除了在这些时间点清醒或已死亡的患者(图1)。清醒定义为GCS运动反应评分为6分(每日测量),即患者服从运动指令,或ICU出院时脑功能分类(CPC)为1–3。
纳入TTM试验至第3天的所有变量;包括背景信息、院前和入院记录以及24小时(第1天)、48小时(第2天)、72小时(第3天)获得的数据。所有变量显示于电子补充材料中的附加文件1:表s1A;附加文件2:表s1b;附加文件3:表s1c;附加文件4:表s1D。未纳入计算机断层扫描(CT)、磁共振成像(MRI)、脑电图和体感诱发电位(SSEP),因为这些检查仅用于少数患者。
TTM试验生物样本库在第1、2和3天从36个试验中心中的29个收集了血样,约占TTM试验患者总人群的70%。生物样本库中分析的生物标志物按临床可及性或研究级进行分组。针对所研究的三天分别建立了三种模型(A、B和C)(共九个数据集):A级:仅临床变量
B级:A级 + 临床可及性生物标志物:NSE、S100B、TnT、BNP和PCT
C级:B级 + 研究级生物标志物:NFL、和肽素、IL-6、tau、GFAP和UCHL1
为确保生物标志物的预后价值不会因插补技术而减弱,我们分别在B级和C级中排除了NSE和NFL在数据缺失确切当日存在缺失值的患者,导致B级和C级在每个数据集中患者数减少约30%。
结局
结局为在六个月随访时通过面对面或电话访谈后由盲法评估者评定的二分类CPC量表[24]。良好结局定义为CPC 1–2,不良结局定义为CPC 3–5。良好结局意味着日常生活活动独立,但可能包括轻度残疾。不良结局意味着严重脑损伤;依赖他人、昏迷或死亡[25]。
模型开发
为确保无偏的模型开发和独立的内部验证,80%的患者被随机分配到开发集(训练集),20%被分配到验证集(测试集)。训练/测试集的划分在整个模型开发过程中保持不变。我们旨在基于背景资料、院前资料和入院资料,以及入院后第1、2、3天获取的可用ICU信息,按照以下层级建立长期神经功能结局的预测模型:A)不使用生物标志物,B)加入临床可获取的生物标志物,C)加入研究级生物标志物。
对于每个模型,我们采用以下方案进行变量选择和缺失值插补:每个变量最多允许20%的缺失值,
二分类变量至少需要2%的独立事件数,
变量间最大相关性为98%,
采用中位数或众数插补处理低于20%阈值的缺失值。
为减少每个模型中的变量数量,我们使用了包裹式变量选择方法,该方法结合了Boruta变量选择和Shapley值[26]。
我们使用人工神经网络(ANN)预测六个月时的神经功能结局。ANN由输入层、若干隐藏层和输出层组成。这些层由节点组成,节点可以汇聚来自前一层的信息,对其进行变换,然后向前发送至下一层。其目的是模拟人类神经系统中相互连接的神经元的复杂网络,从而检测变量与结局之间的模式和依赖关系,以提高预后性能。我们在开发过程中使用五折交叉验证和贝叶斯优化算法进行超参数调优,以在以下约束条件下找到最佳模型:1–3个隐藏层,每层5–250个隐藏节点,批大小在4至128之间,输入层的丢弃率在0至0.5之间、隐藏层的丢弃率在0–0.5之间,固定学习率为10⁻³,隐藏层的激活函数选择为修正线性单元(ReLU)或双曲正切函数。我们使用L1、L2或最大范数进行范数正则化。所有网络均使用早停法训练,耐心值为30个 epoch,最大 epoch 数为1000。我们使用二元交叉熵作为损失函数。输出层使用 sigmoid 激活函数。我们选择交叉验证中平均AUROC最高的模型进行进一步分析。
模型开发后,我们将Shapley加法解释算法(SHAP)应用于所有模型,以可视化哪些变量解释了个体预测,并理解变量的相对贡献。SHAP算法基于Shapley值,该值源自合作博弈论,解释单个变量对实际预测与所有预测均值之间差异的贡献程度。SHAP算法有助于解释预测模型的工作原理,并减轻对“黑箱”建模的一些担忧。我们创建了一个患者示例,以说明第1–3天(C级)患者特异性预测的解释。对于所有九个模型,我们计算了每个变量绝对SHAP值的均值,并使用条形图展示,以对每个模型的变量进行排序。
统计分析方法
所有连续变量以中位数及四分位距(IQR)表示。分类变量以数量和百分比表示。缺失数据以百分比表示。连续数据组间比较采用Mann–Whitney U检验,分类数据采用Fisher精确检验。我们使用受试者工作特征(ROC)曲线评估预测模型,并基于测试集计算所有模型的AUROC。为评估模型的预后能力,我们基于相应训练集中100%特异性的阈值计算所有测试集的混淆矩阵,以展示真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)预测。所有p值均为双侧,p < 0.05视为显著。
统计分析在R(The R Foundation for Statistical Computing)和Python中进行[27, 28]。所有ANN模型均使用Tensorflow 2.0创建,这是Google开发的开源框架[29]。使用'Boruta-Shap' Python包进行变量选择[26]。ANN模型的事后解释基于Python中的'shap'包[30]。我们在生成ROC曲线和计算混淆矩阵阈值时使用了R中的'pROC'和'Optimalcutpoints'包[31, 32]。撰写本手稿时遵循了TRIPOD声明[33]。
结果
在排除6例因结局缺失和1例因数值缺失的患者后,我们从TTM试验中纳入了932例患者。总体不良结局(CPC 3–5)见于492例(53%)患者,而良好结局(CPC 1–2)见于440例(47%)患者[20]。人群特征见附加文件1:表s1A;附加文件2:表s1b;附加文件3:表s1c;附加文件4:表s1D(补充),包括患者背景、院前和入院特征、标准ICU观察和治疗以及第1、2和3天获得的生物标志物。如图1所示,我们在第1、2和3天的分析中分别排除了24小时内、24至48小时之间和48至72小时之间死亡或苏醒的患者。如方法部分所述,随后根据额外生物标志物的水平为每天创建了三个数据集。每个数据集中的患者数量以及变量数量见表1。
从第1天到第3天的所有模型在预测六个月时神经学结局方面均显示出良好至优秀的预后性能(见图2)。使用临床变量(A级)时,在重症监护的前三天内AUROC始终低于90%。在加入临床可获取的生物标志物(B级)后,AUROC从82%升至94%(p < 0.01)。对于使用研究级生物标志物的模型(C级),从第1天到第3天预后性能优秀,AUROC约为95%(见表1和图2)。总之,在B级中将临床可获取的生物标志物加入临床变量后,预后预测逐步改善,而A级和C级在所有天数上均显示相似的结果。此外,如图2所示,在72小时时B级以及在所有时间点上C级的敏感性高于60%,同时保持100%的特异性。
基于训练集中患者100%特异性(无假阳性)的阈值,测试集中有两个模型出现了假阳性预测(预测不良结局,报告为良好结局):0.7%(第1天C级)和1.2%(第2天A级)。大多数模型的假阴性预测率(预测良好结局,报告为不良结局)较高,但当纳入研究级生物标志物(C级)时,在第1至3天期间始终低于25%(见表1)。
通过将SHAP算法应用于我们的模型,可以对预测进行解释。图3对此进行了说明,其中使用C级的ANN模型预测某患者发生不良结局的概率,并使用SHAP算法解释该预测。在此示例中,患者77岁的年龄增加了不良结局的风险,而低水平的生物标志物(即NFL和NSE)则降低了不良结局的风险。此外,我们使用SHAP算法对每个模型中变量的重要性进行了排序。在图4中,第2天A级、B级和C级最重要的十个变量按变量重要性排序(第1天和第3天排名前十的变量见补充材料)。对于A级,年龄和复苏期间肾上腺素剂量是价值最高的变量。在B级和C级中,当通过生物标志物获得更多信息时,年龄被列为第三重要的变量。当分别加入临床可获取的生物标志物和研究级生物标志物后,肾上腺素剂量降至第六重要的变量,并且未进入前十位变量。
讨论
在这项探索性回顾性研究中,我们发现使用临床变量结合生物标志物和机器学习的模型在预测心脏骤停后昏迷患者的长期神经学结局方面似乎具有前景。仅使用临床变量可获得中等预测能力。然而,当加入NSE等临床可获取的生物标志物后,预测能力随时间改善,AUROC达到94%,这支持了NSE在当前指南中的作用。如图4所示,年龄、BNP和血小板也对B级第3天的预测有贡献。加入研究级生物标志物后,预后能力优异,心脏骤停后24小时AUROC即已达到约95%。研究级生物标志物,如NFL和GFAP,携带了最稳健的预测信息,并且随着时间推移使临床变量在很大程度上变得冗余、附加价值很小,这得到了我们先前论文的支持,该论文显示单独NFL的AUC值高达94% [5]。采用本研究设计时,对NFL单独的额外分析显示优异的预后价值,基于测试集,第1、2、3天AUROC分别为92.3%、92.3%和92.5%。
心脏骤停预后评估的总体目标是力求零假阳性预测(预测不良结局,实际报告良好结局),因为假阳性预测会导致对原本可能以良好结局存活的患者撤除生命维持治疗。因此,特异度可以说比敏感度更为重要。
最新的昏迷性心脏骤停幸存者治疗指南建议在自主循环恢复(ROSC)后至少72小时进行多模式预后评估。Moseby-Knappe等人发现,欧洲复苏委员会(ERC)和欧洲重症医学会(ESICM)推荐的当前心脏骤停后神经预后评估四步算法识别不良结局患者的敏感度为39%,特异度为100%[34]。这些指南基于该领域权威专家的共识意见。与该研究不同,当前研究结果表明,即使在心脏骤停后24小时,预后评估性能也非常优异,AUROC为95%(95% CI:92–98%),敏感度超过60%,同时在加入研究级生物标志物后保持100%特异度。这些结果主要由生物标志物NFL驱动,与既往两项研究相似,其中一项基于相同数据(TTM试验)[5, 6]。事实上,第3天(72小时)的B级以及所有时间点的C级均具有超过60%的敏感度,同时保持100%特异度,这与使用ERC/ESICM指南报告的 performance 相当,后者包含了SSEP、EEG和神经影像学等重要预后指标。这一点值得注意,尤其是第3天的B级,其主要由NSE值驱动。72小时后的NSE和所有时间点的NFL此前均已分别显示出良好至优异的单独性能,敏感度分别为52%和53–65%,同时保持100%特异度[5, 35]。我们的研究与那些研究的不同之处在于仅纳入昏迷患者。
为进一步探讨这一问题,我们基于训练集中100%特异度的阈值对测试集中的不良结局进行预测。这并不能保证测试集中零假阳性率,因为它未考虑置信区间的下限或离群值。尽管如此,包含研究级生物标志物的模型在第1天的假阳性预测低于1%,第2天和第3天为0%,假阴性率为15–25%,处于合理较低水平。因此,第1天C级的特异度基于训练集中的阈值并非100%。对于第3天包含临床可及生物标志物的模型,假阳性预测为0%,假阴性率也处于合理较低水平(25%)。
深度学习算法用于院外心脏骤停(OHCA)预后评估是新的方向。在2019年的一项研究中,Kwon等人基于8,145例患者的验证集表明,深度学习算法在预测出院时不良结局(CPC 3–5)方面优于其他类型的监督机器学习[19]。他们报告AUROC为95%,置信区间较窄,仅基于ROSC时可获得的信息。他们的研究与我们的不同,因为我们观察的是六个月神经学结局,并聚焦于收入ICU的昏迷患者,其中良好与不良结局的平衡约为50%。
据我们所知,这是首个使用ICU入住前三天的累积数据进行预测的研究,也是首个通过将不同组别的生物标志物加入临床变量来结合其预测能力的研究。在单独测试生物标志物之后,采用累积方法是一个自然的步骤,以了解它们如何排序以及随时间如何相互作用。SHAP算法允许对每个预测进行解释,这可以帮助研究人员和医生治疗OHCA患者,并更好地理解变量之间的动态关系,无论是对个体患者还是作为群体。
变量的排序取决于模型中纳入了哪些生物标志物。如图4所示,年龄和复苏期间肾上腺素剂量是第2天携带最多信息的变量(A级)。肾上腺素剂量发挥如此重要作用的原因可能与其与其他预测因素(如ROSC时间和初始心律)的相关性有关。生物标志物在加入模型后主导了排名前十的变量。年龄在所有模型中仍然是重要变量,因为年龄本身就是一个危险因素,也可能与其与合并症的相关性有关。
本调查存在若干局限性。在我们之前基于TTM试验入院数据的研究中,人工神经网络(ANN)在预测长期神经学结局方面优于逻辑回归[20]。我们在本研究中选择了相同的方法,深知ICU入住后数天内患者数量减少可能过低,导致ANN模型无法良好表现(见图1)。对于像NFL这样非常强的生物标志物以及用于模型开发的有限患者数量,ANN可能并不优于逻辑回归。此外,数据集的规模导致测试集中的置信区间偏宽,而且即使训练/测试分割是随机的,数据集的规模也使测试集容易受到患者离群值的影响,从而影响模型性能。
此外,过去十年中患者护理的差异,从院前响应到心脏骤停后护理,可能降低模型的泛化能力,因为我们的模型基于七到十年前的患者数据。然而,在此期间临床实践中并未纳入新的循证治疗。此外,这些模型基于一项随机试验,该试验仅纳入推测为心脏原因的OHCA患者,这可能影响泛化能力。
本研究的另一项局限性是未纳入入院后任何重要的预后检查,如脑电图(EEG)、体感诱发电位(SSEP)或神经影像学检查。当仅纳入临床变量(既非临床可获取亦非研究级生物标志物)时,预后性能在ICU入院后前三天内未见改善(见图2)。当将预后性能与仅基于院前和入院数据的预测模型进行比较时,入院后仅使用临床变量(每个模型约20个变量,见表1)似乎几乎没有增加任何预后价值[20, 36, 37]。我们先前研究中的TTM风险评分和ANN模型是在与本研究相同的人群上开发的,分别显示出良好的预后性能,AUROC为84.2%和89.1%[20, 36]。一个值得注意的发现是,ICU入院后前三天内预后未见改善。这强调了在ICU环境中进行心脏骤停预后评估时需要使用其他预后工具如SSEP、EEG等的必要性。此外,这也指出了使用该规模数据集时的不确定性。在独立测试集上评估模型性能时,结果可能受到训练/测试集划分的影响,且易受离群值影响。例如,模型性能在入院时推测优于24小时后的无生物标志物模型[20]。这一差异很重要,在讨论这种心脏骤停预后评估方法时必须牢记。
从ICU的角度来看,本研究的一个优势在于我们调整了研究人群,排除了在ICU入院后前72小时内死亡或苏醒的患者。这一策略将数据集提炼为在每个时间点均处于不良预后风险中的患者。若不这样做,预测模型将被虚假地增强,因为我们将预测已经苏醒的患者。
为使这些模型可用于临床实施,需要进行外部验证并使用更大的人群进行模型开发,以尽量减少本研究中的一些局限性。
结论
在这项探索性研究中,ANN使用重症监护前三天内的临床变量和生物标志物,在预测OHCA后昏迷患者的神经学结局方面提供了良好至优秀的预后准确性。纳入72小时后NSE及所有天数NFL的模型显示出有前景的预后性能。
补充信息
附加文件1:图4. 第1天SHAP变量重要性。
附加文件2:图4. 第3天SHAP变量重要性。
附加文件3:表1A. 基线特征。
附加文件4:表1B. 第1天——ICU治疗24小时。
附加文件5:表1C. 第2天——ICU治疗48小时。
附加文件6:表1D. 第3天——ICU治疗72小时。
参考来源
- Andersson P, Johnsson J, Björnsson O, et al. Predicting neurological outcome after out-of-hospital cardiac arrest with cumulative information; development and internal validation of an artificial neural network algorithm. Crit Care. 2021. PMID: 33632280. doi:10.1186/s13054-021-03505-9
- 全文:PMC7905905(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7905905/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。