文献速递重症综合管理与镇静镇痛消化、代谢与肾脏急症

机器学习模型与医生预测重症成人急性肾损伤的前瞻性评估:AKIpredictor研究

Machine learning versus physicians' prediction of acute kidney injury in critically ill adults: a prospective evaluation of the AKIpredictor.
PubMed 文献 · Crit Care · 2019-08-16
一句话结论在五个ICU的前瞻性队列中,AKIpredictor预测AKI-23的区分度与医生相当,但净获益更高,因医生倾向于高估AKI风险。

这项在比利时鲁汶大学医院五个ICU进行的前瞻性观察研究,纳入252例无终末期肾病且入ICU时无AKI的危重成人,比较机器学习模型AKIpredictor与医生在入ICU时、第一日晨及24小时后预测7天内发生AKI 2或3期(AKI-23)的性能。30例(12%)发生AKI-23。在各时间点,医生与AKIpredictor的AUROC均无统计学显著差异(入ICU时0.80 vs 0.75,P=0.25;第一日晨0.94 vs 0.89,P=0.27;24小时后0.95 vs 0.89,P=0.09),但AKIpredictor在更宽的分类阈值范围内净获益更高,因医生高估AKI风险。作者认为AKIpredictor可用于系统性风险分层,尤其在高分类阈值下筛选高危患者或减少研究中假阳性。因事件率低,需未来研究验证。

要点

  • 在252例危重成人中,30例(12%)于入ICU第一周发生AKI-23(按SCr和UO标准),仅23例(9%)按SCr标准。
  • 医生与AKIpredictor的区分度在各时间点均无统计学显著差异:入ICU时AUROC 0.80 vs 0.75(P=0.25),第一日晨0.94 vs 0.89(P=0.27),24小时后0.95 vs 0.89(P=0.09)。
  • AKIpredictor净获益范围更宽:入ICU时0–74% vs 医生0–26%;第一日晨0–48% vs 医生0–10%及90–96%;24小时后0–50% vs 医生0–36%、40–48%、50–67%、80–100%。
  • 医生高估AKI风险,校准差,尤其低危患者;高年资医生区分度和校准优于低年资(入ICU时AUROC 0.85 vs 0.81;第一日晨0.92 vs 0.87;24小时后0.96 vs 0.90)。
  • 医生低或中等信心时预测性能更差(入ICU时AUROC 0.74 vs 0.85;24小时后0.89 vs 0.98,低-中等信心 vs 高信心)。

适用人群与场景

  • 研究纳入连续入住五个ICU的危重成人,排除入ICU时已存在终末期肾病或已发生AKI者、再次入ICU者、前3个月内已入住过ICU者、所有预测时间点均在值班时间而无法收集问卷者。
  • 仅首次ICU入住被考虑;计划术后入ICU的患者术后直接转入ICU。

诊断标准与关键阈值

  • AKI分期采用KDIGO指南的血清肌酐(SCr)和尿量(UO)标准,第一周每日评估;基线SCr定义为入ICU前3个月内(不包括入ICU时)最低SCr值,若无则用MDRD公式按eGFR 75 mL/min/1.73 m2计算。
  • 主要终点为入ICU后7天内发生AKI 2或3期(AKI-23)。

研究设计与关键结果

  • 前瞻性观察研究,在比利时鲁汶大学医院五个ICU于2018年5月至6月进行,纳入252例患者,30例(12%)发生AKI-23(SCr和UO标准),23例(9%)按SCr标准。
  • 在同时有医生和AKIpredictor预测的患者亚组中,入ICU时(n=120)AUROC医生0.80 [0.69–0.92] vs AKIpredictor 0.75 [0.62–0.88](P=0.25),净获益范围医生0–26% vs AKIpredictor 0–74%。
  • 第一日晨(n=187)AUROC医生0.94 [0.89–0.98] vs AKIpredictor 0.89 [0.82–0.97](P=0.27),净获益范围医生0–10%及90–96% vs AKIpredictor 0–48%。
  • 24小时后(n=89)AUROC医生0.95 [0.89–1.00] vs AKIpredictor 0.89 [0.79–0.99](P=0.09),净获益范围医生0–36%、40–48%、50–67%、80–100% vs AKIpredictor 0–50%。
  • 医生二分类预测的敏感度和特异度:入ICU时55%和82%,第一日晨85%和86%,24小时后75%和90%。
  • 高年资医生在各时间点区分度和校准优于低年资医生:入ICU时AUROC 0.85 vs 0.81,第一日晨0.92 vs 0.87,24小时后0.96 vs 0.90(高年资 vs 低年资)。
  • 医生低或中等信心时预测性能更差:入ICU时AUROC 0.74 vs 0.85,第一日晨0.93 vs 0.92,24小时后0.89 vs 0.98(低-中等信心 vs 高信心)。
  • AKIpredictor与医生预测联合未改善区分度(P=0.96、0.39、0.41分别对应入ICU时、第一日晨、24小时后),但校准更好,净获益范围更宽更高。

证据类型、等级与局限

  • 证据类型:前瞻性观察研究。
  • 局限:单中心研究且样本量有限,结果需谨慎使用,可能不适用于其他中心;入ICU时和24小时后可用的预测较少。
  • 局限:不能排除偏向临床医生的偏倚,原因包括:(1)AKIpredictor未针对UO定义的AKI优化,开发研究中AKI仅基于SCr标准,且因24小时后AKI-23发生率低未开发模型,故24小时比较使用AKI-123模型;(2)医生有额外3小时提供预测,可获取更晚的临床信息;(3)医生未在所有时间点提供预测。
  • 局限:并非所有患者都有低年资和高年资医生的预测,因此按经验水平和信心水平平均预测时性能未改善,尽管单独分析显示两者性能差异明显。
  • 局限:访谈员仅在工作时间在场,导致择期患者预测收集多于急诊患者,可能解释观察到的低AKI发生率;由于缺乏研究医生预测能力的研究,事先无合理的功效计算,但本研究可为未来研究提供基准。
  • 局限:问卷未包括医生预测的理由,妨碍比较医生与AKIpredictor的预测方式。

对床旁实践的改变

  • 作者认为AKIpredictor可用于系统性风险分层,尤其在高分类阈值下筛选高危患者或减少评估新且有潜在危害疗法的研究中的假阳性。
  • 作者认为AKIpredictor可在医生低或中等信心时提供参考,因这类预测性能较差。
  • 作者认为高年资医生需监管更多患者,可能受益于电子预警系统提醒高危患者。
  • 作者建议同时使用医生专业知识和AKIpredictor可能整体改善诊疗。
  • 作者指出因样本量有限,需外部验证和进一步前瞻性研究AKIpredictor,尤其比较医生和算法的预测方式。

指南或共识出处

  • KDIGO(肾脏病:改善全球预后)工作组AKI分期指南

提炼说明

  • 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」,故未列出这些栏目。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:Crit Care. 2019 Aug 16;23:282. doi: 10.1186/s13054-019-2563-x

背景

急性肾损伤(AKI)是肾功能突然下降,在危重患者中非常普遍[1–3]。AKI对短期和长期结局均有不利影响,并与经济费用增加相关[4–6]。国际肾脏病改善全球结局(KDIGO)工作组根据血清肌酐(SCr)的定量升高或尿量(UO)的减少,将AKI分为三个严重程度递增的阶段[7]。然而,两者都是潜在病理损伤的晚期且非特异性标志物。AKI的晚期识别是解释缺乏循证治疗选择以预防AKI或减轻其病程的潜在因素之一[8–10]。已提出AKI的早期生物标志物,并在特定情况下显示出良好的预测性能[11, 12]。然而,由于它们的测量需要额外的(昂贵的)实验室检测,因此有必要确定哪些患者亚组将从生物标志物检测中获益最多。

AKI的预测模型也已被研究。这些模型的优势在于它们使用(电子)健康记录中已经存在的信息[13, 14]。Forni等人[15]开发的预测评分是一个简单的评分系统,用于检测医院获得性AKI。该评分最近经过外部验证[16],显示出中等区分度和可接受的校准度。Haines及其同事为入住重症监护的创伤患者开发的预测模型,对任何阶段的AKI(AKI-123)及其最严重阶段(AKI-23)均显示出良好的区分度[17]。最后,在多中心随机对照EPaNIC试验[18]的普通ICU人群中,开发了AKIpredictor模型[19],采用先进的机器学习技术,在患者临床病程的不同时间点(入院前、入院时、入院后第一个早晨以及24小时后)预测AKI-123或AKI-23。AKIpredictor已在http://www.akipredictor.com在线提供,不仅在单独的验证队列中证明了高度准确性[19],而且优于血清中性粒细胞明胶酶相关脂质运载蛋白——一种AKI生物标志物[20, 21]。

AKIpredictor[16, 22–24]或类似预测模型[13, 25]的潜在实用性已被认可。然而,这些模型是否以及如何在临床实践中使用仍有待研究。此类模型应在新颖且先前未见的患者队列中进行前瞻性评估。利用现有临床数据来估计危重患者发生AKI等并发症的风险是ICU医生日常实践的一部分。因此,可以预期他们在这项任务中会表现良好。因此,将预测模型的性能与医生的预测进行比较,可以为评估增加一个维度。在本研究中,前瞻性评估了预测模型AKIpredictor预测ICU入住第一周内AKI-23的性能,并与ICU医生的预测进行了比较。

方法

这项前瞻性观察性研究于2018年5月至6月的预定期间在比利时鲁汶大学医院的五个重症监护病房(ICU)中进行。机构审查委员会批准了入组和临床数据收集方案,并豁免了研究参与的知情同意。该研究已在ClinicalTrials.gov注册(NCT03574896)。

研究人群

研究期间连续收治的所有危重成人患者均符合研究条件。若患者存在既往终末期肾病(ESRD)或入ICU时已发生AKI,则予以排除。若为ICU再入院,仅考虑首次入院。此外,若患者在过去3个月内已有入院记录,则予以排除。所有预测时间点均发生在值班时间内的患者被排除,原因是研究人员无法分发问卷。计划手术后入院的患者在手程结束后直接转入ICU。

终点

本研究的主要目标是比较AKI分类预测模型AKIpredictor与医生在预测ICU入院后7天内发生AKI-23方面的诊断性能。预测分别在入院时(入院队列)、ICU停留第一个早晨(第1天队列)以及ICU停留24小时后(第1天+队列)进行。若AKI在上述某一时间点之前已明确,则不再进行后续预测。次要目标为:(a)评估资历水平或预测信心对医生预测准确性的影响;(b)使用两种AKI定义(SCr与SCr和UO)比较AKIpredictor的性能。

急性肾损伤

第一周内每天使用最新指南(KDIGO)[7]中的SCr和UO标准对AKI进行分期。为对AKIpredictor进行外部验证并与开发研究[19](该研究中AKI仅按SCr分类)进行比较,同时每天基于SCr标准对AKI进行分期。基线SCr值定义为入院前3个月内(不包括入院时)所识别的最低SCr值。若无可用基线SCr,则使用肾脏病饮食改良公式以估算肾小球滤过率75 mL/min/1.73 m2计算[26]。

AKIpredictor预测

AKIpredictor的所有预测均基于常规收集的患者信息(表1)。得益于本研究的前瞻性设计,AKIpredictor所需变量无缺失值。预测以风险百分比形式回顾性计算,分别为入院时、ICU停留第一个早晨及24小时后。

表1 AKIpredictor不同模型所包含的变量[19] 查看原表 ↗

医生的预测

问卷(附加文件1:附录A)在与AKIpredictor相同的目标时间点递交给ICU医生:入院时、ICU停留第一个早晨及24小时后。临床医生在所有时间点对AKIpredictor的预测均设盲。前瞻性数据收集包括:医生的二分类预测:您认为该患者在接下来7天内会发展为AKI 2期或3期吗?(是-否)。二分类预测用于确定医生的分类阈值及其衍生的敏感度和特异度。

医生的预测百分比:您预测该患者在接下来7天内发生2期或3期AKI的可能性是多少?(量表0–100%)

医生对其预测的信心水平:您对这一预测有多大信心?(低-中-高)

为适应医生的可用时间,若问卷在预定目标时间点前1小时至后3小时内收集,则视为有效。当每名患者有多个预测时,计算百分比预测的平均值。

AKIpredictor与医生的比较仅在同时具有两种AKI预测的患者子集中进行评估。

受访医生分为两类:初级(初级住院医师)和高级(高级住院医师和主治医师)(见附加文件1:补充方法)。记录其年龄、性别和资历级别(附加文件1:附录B)。按资历级别和预测信心水平进行预设亚组分析以考察性能。

统计分析

数据以均数和标准差(SD)、中位数和四分位距(IQR)以及数量和比例表示(视情况而定)。统计显著性设定为P < 0.05。所有分析使用Python 2.7.13版(Python Software Foundation,http://www.python.org)、Scipy 0.18.1版(SciPy.org)和R 3.5.0版进行。

研究报告遵循观察性研究的STROBE指南[27]、诊断试验的STARD指南[28]以及机器学习预测建模报告指南[29]。

诊断准确性评估

采用区分度、校准度和临床实用性[30]评估AKIpredictor和医生的性能。使用100个bootstrap样本估计性能指标的置信区间。区分度指预测能在多大程度上区分发生和未发生AKI的患者。区分度用受试者工作特征(ROC)曲线和ROC曲线下面积(AUROC)评估[31]。敏感度、特异度、阳性预测值和阴性预测值使用临床医生的二分类判断报告。采用pROC R包[33]中的DeLong检验[32]进行AUROC比较。校准度指预测概率与人群中观察到的AKI发生率之间的一致性。校准度视情况使用校准带或校准曲线以及患者数量分布进行评估[34]。最后,模型的净获益通过AKI分类相关的预期获益与预期危害之差评估,如图1所示。临床实用性使用决策曲线可视化,并以高于全治疗和全不治疗曲线的范围报告[35, 36]。图1给出了决策曲线及其解释的示例。

为评估AKIpredictor对医生预测的附加价值,使用多变量logistic回归将AKIpredictor估计的AKI风险与医生的预测相结合。

图1 决策曲线分析的示例。该示例展示了一个模型预测患者是否会发生AKI的决策曲线,人群AKI患病率为9%。在决策曲线分析中,分类阈值对应于将患者归类为“将发生AKI”的切点。了解患者是否会发生AKI将触发不同的治疗干预。当相关治疗无危害时,使用低分类阈值;因此,患者不会因被分类为假阳性而受损。当相关治疗有毒副作用时,使用高分类阈值,因此,重要的是不要将无AKI风险的患者分类为有风险(从而限制假阳性分类的数量)。目前,AKI的预防措施是优化血流动力学和预防肾毒性,适用于所有患者,因此对应于低分类阈值。净获益是取决于分类阈值的真阳性和假阳性之间的加权指标[35]。最大净获益通过检测所有后续发生AKI的患者获得;因此,该净获益即为人群中AKI的患病率(9%)。对应于所有患者均会发生AKI这一平凡假设的线可以绘制(将所有患者分类为AKI,传统上称为全部治疗)。类似地,最小净获益通过考虑无患者会发生AKI获得,为0(不将任何患者分类为AKI,传统上称为不治疗)。要在临床上实用,模型的净获益应高于这两种平凡分类。在此,该模型略高于全部分类为AKI的曲线,显示在0–43%范围内具有实用性。超过43%时,模型显示负净获益,反映危害,在临床实践中应避免。在此,该模型具有临床相关性,因为它在对应于其相关预防措施的低风险阈值下显示出获益 查看原图 ↗

结果

研究人群

共有348名成人被考虑纳入研究,其中58名因所有预测时间点均发生在值班时间而被排除,27名因入院时存在AKI或ESRD而被排除,11名因再入院而被排除(图2)。剩余252名患者进行分析。

患者特征见表2(所有患者)和附加文件1:表S1(由医生进行预测的患者)。在第一周内,30名(12%)患者同时使用SCr和UO标准发生AKI-23,23名(9%)仅使用SCr标准发生AKI-23。202名(80.2%)患者有基线SCr可用,其余50名(19.8%)为计算得出。

图2 流程图 查看原图 ↗
表2 患者特征和临床结局 查看原表 ↗

AKIpredictor预测

在252名患者入院时、238名患者第一个早晨、195名患者24小时后计算了预测(图2)。

当按SCr分类AKI时,AKIpredictor预测AKI-23的AUROC [95% CI]分别为入院时0.78 [0.69–0.88]、第1天0.94 [0.91–0.98]、24小时后0.93 [0.88–0.97],净获益范围分别为0–74%、0–48%和3–43%(附加文件1:图S1)。

当按SCr和UO标准对AKI进行分类时,AKIpredictor预测AKI-23的AUROC[95% CI]分别为0.76[0.66–0.85]、0.87[0.79–0.95]和0.85[0.75–0.96],净获益范围在入院时、第1天和24 h后分别为0–74%、0–48%和0–43%(图3)。

图3 AKIpredictor按SCr和UO预测AKI-23的性能。a 入ICU时(n = 252),AUROC[95% CI]为0.76[0.66–0.85],净获益范围为0–74%。b 入住ICU第一个早晨(n = 238),AUROC[95% CI]为0.87[0.79–0.95],净获益范围为0–48%。c 24 h后(n = 195),AUROC[95% CI]为0.85[0.75–0.96],净获益范围为0–43% 查看原图 ↗

医师的预测

问卷由43名医师填写,其中24名(55.8%)为初级医师,19名(44.2%)为高级医师(附加文件1:表S2)。共收集709条预测(附加文件1:表S3):入院时关于120例患者的183条预测,第1天早晨关于187例患者的394条预测,以及24 h后关于89例患者的128条预测。尽管方案允许在时间点前1 h收集预测,但大多数预测是在更晚时间获得的(附加文件1:表S3,入院时183条(100%),第一个早晨383条(97.2%),24 h时77条(60.2%))。平均而言,预测分别在入ICU后68 min、第一个早晨后140 min和24 h后20 min获得。附加文件1:表S4按置信水平和资历水平列出了医师的预测。总体而言,在较晚时间点获得的置信度更高,入院时53条(29%)预测为高置信度,第一个早晨147条(37.3%),24 h后55条(43%)。

医师预测AKI的AUROC[95% CI]分别为0.80[0.69–0.92]、0.94[0.89–0.98]和0.95[0.89–1.00],净获益范围在入院时、第一个早晨和24 h后分别为(0–26%)、(0–10% + 90–96%)和(0–36% + 40–48% + 50–67% + 80–100%)(图4)。附加文件1:图S2显示了使用医师二分类预测时的性能,由此可识别其采用的分类阈值:入院时灵敏度和特异度分别为55%和82%,第1天为85%和86%,24 h后为75%和90%。与初级医师相比,高级医师在所有时间点均表现出更高的判别度和校准度(附加文件1:图S3,初级医师和高级医师的AUROC分别为入院时0.81 vs 0.85;第1天0.87 vs 0.92;24 h时0.90 vs 0.96)。最后,当医师对其预测表达低或中等置信度时,其性能较差(附加文件1:图S4,低-中等置信度 vs 高置信度的AUROC分别为入院时0.74 vs 0.85,第1天0.93 vs 0.92,24 h时0.89 vs 0.98)。

在有医师预测的患者亚组中(图4),AKIpredictor预测AKI的AUROC[95% CI]为0.75[0.62–0.88](与临床医师相比P = 0.25),净获益范围为0–74%,在14–74%范围内高于医师。第1天,AUROC[95% CI]为0.89[0.82–0.97](P = 0.27),在0–48%范围内净获益高于医师。最后,24 h后,AUROC[95% CI]为0.89[0.79–0.99](P = 0.09),在0–20% + 23–50%范围内净获益高于医师。决策曲线(图4c)上高风险阈值的宽置信区间可归因于患者数量较少。因此,应谨慎解释这些发现。

图4 AKIpredictor与医生通过SCr和UO预测AKI-23的性能比较。黑点代表医生的分类阈值。a 入住ICU时(n = 120),AUROC [95% CI]分别为0.80 [0.69–0.92]和0.75 [0.62–0.88](P = 0.25),临床医生和AKIpredictor的净获益范围分别为0–26%和0–74%。医生的分类阈值达到55%灵敏度、82%特异度、33%阳性预测值和94%阴性预测值。b 入住ICU第一个早晨(n = 187),AUROC [95% CI]分别为0.94 [0.89–0.98]和0.89 [0.82–0.97](P = 0.27),临床医生和AKIpredictor的净获益范围分别为(0–10% + 90–96%)和(0–48%)。医生的分类阈值达到85%灵敏度、86%特异度、31%阳性预测值和99%阴性预测值。c 24小时后(n = 89),AUROC [95% CI]分别为0.95 [0.89–1.00]和0.89 [0.79–0.99](P = 0.09),临床医生和AKIpredictor的净获益范围分别为(0–36% + 40–48% + 50–67% + 80–100%)和(0–58%)。临床医生的分类阈值达到75%灵敏度、90%特异度、43%阳性预测值和97%阴性预测值。决策曲线上高风险阈值的宽置信区间可归因于患者数量较少。因此,研究结果应谨慎解读 查看原图 ↗

将AKIpredictor与医生的预测相结合

在将医生的预测与AKIpredictor相结合的患者亚组中,与医生相比未观察到判别能力的改善(入住时、第1天和24小时后分别为P = 0.96、0.39和0.41),但更好的校准导致所有时间点的净获益范围更宽且更高(附加文件1:图S5)。仅在初级医生中(附加文件1:图S6)以及低-中等置信度预测中(附加文件1:图S7)也观察到相同结果。

讨论

在本研究中,我们比较了医生估计的AKI风险与AKIpredictor(一种基于机器学习的临床预测模型[19])提供的AKI风险的性能。比较在三个不同时间点进行:入住ICU时、入住ICU第一个早晨以及入住ICU 24小时后。在任何时间点,医生与AKIpredictor之间的判别能力均无统计学显著差异。然而,平均而言,医生提供预测的时间晚于AKIpredictor。

决策曲线分析有助于确定在不同风险水平进行分类时的预期获益或损害。与医生相比,AKIpredictor在入住时对高于26%的AKI分类阈值以及在第1天和24小时后几乎所有AKI分类阈值范围内均显示出改善的净获益。这一比较为该工具如何在临床实践中使用提供了有意义的见解。

如校准曲线所示,医生倾向于高估AKI的风险。在决策曲线中,这种行为导致的净获益与认为所有患者都会发生AKI(全部治疗曲线)相似[37]。目前,AKI尚无治疗方法,预防措施主要是支持性的,因此将患者错误分类为高风险(假阳性)不会造成危害。然而,如果临床试验仅需要高风险患者,或者出现了一种新的、可能具有毒性或昂贵的AKI治疗方法,只有AKIpredictor能够识别出正确的患者,从而限制选择偏倚、不必要的暴露或更高的费用。这种情况对应于AKI的高分类阈值,在此阈值下只有AKIpredictor显示出净获益。

本研究突出了AKIpredictor的其他临床意义。首先,它能够对患者进行一致的分层,性能与训练有素的临床人员相似。其次,它能在固定时间点无延迟地提供预测,而医生平均需要更多时间。第三,尽管高年资医生最擅长预测AKI,但他们需要监管更多的患者,可能会受益于电子预警系统,将他们的注意力引向有风险的患者。第四,当医生存在疑虑且对其预测的信心为低或中等时,这些预测的实际性能较差。在这种情况下,他们可能会发现咨询AKIpredictor是有用的。

本研究是AKIpredictor的首个前瞻性验证研究。与原始开发研究的结果(入院时、第1天和第1天+预测的AUROC [95% CI] 分别为0.77 [0.77–0.77]、0.80 [0.80–0.80]和0.82 [0.82–0.82])[19]相比,这些模型在入院时表现出相似的性能,在第一个早晨和24小时后表现出更高的性能。由于样本量有限,观察到了更宽的置信区间。观察到的改善可能由患者人群的差异来解释(开发人群中病情更重、合并症更多的患者)。事实上,在原始研究中,AKIpredictor在脓毒症患者中的性能略差。由于不在值班时间进行预测,纳入了较低比例的非计划入院患者,如脓毒症。人群差异也可能解释本队列中重度AKI患病率较低(9% vs 12%)。此外,当前研究的设计可能提高了临床医生对肾脏的关注,这反过来可能预防了AKI的发生,从而影响了AKI发生率。

值得注意的是,尽管AKI预测器是基于SCr而非UO标准开发的,但在本研究中,即使AKI同时由SCr和UO定义,该模型仍表现良好。

优势与局限性

本研究具有若干优势。首先,其设计为前瞻性,因此数据收集详细。其次,为减少因医生不配合而导致的偏倚,访谈员努力为所有纳入患者获取问卷:除12例患者外,其余所有患者的预测均在至少一个时间点被收集。此外,在可行的情况下,从初级和高级医生处均获取了预测,从而允许基于医生经验进行二次分析。最后,据我们所知,本研究是首个评估医生对AKI风险估计的研究,这为与其他AKI预后指标(如生物标志物)进行比较提供了基准参照机会。

本研究具有以下局限性:首先,作为样本量有限的单中心研究,研究结果须谨慎使用,因其可能无法推广至其他中心。特别是入院时和24小时后可用的预测较少。其次,不能排除有利于临床医生的偏倚,因为(1)AKIpredictor并非针对以UO定义的AKI进行优化预测,因为在开发研究中AKI的定义仅基于SCr标准[19]。此外,由于ICU停留24小时后AKI-23的患病率较低,未开发模型[19]。因此,在24小时时,比较是使用针对AKI-123的AKIpredictor模型进行的。(2)医生多获得3小时来提供其预测。因此,他们能够获取比AKIpredictor更晚的临床信息。(3)医生并非在所有时间点均提供预测。然而,我们通过要求除12例患者外所有患者至少在一个时间点提供预测来限制这一偏倚。第三,并非所有患者均有初级和高级医生的预测。因此,在基于医生经验和信心水平对预测进行平均时,性能并未改善,尽管单独分析清楚显示两个层面的性能存在差异。第四,访谈员仅在办公时间在场,这有利于收集择期患者的预测而非急诊患者的预测,这可能解释观察到的低AKI发生率。遗憾的是,由于缺乏研究医生预测能力的研究,一开始无法进行合理的功效计算,但我们的研究可为未来的研究提供基准。最后,问卷未包括临床医生预测背后的原因。这阻碍了医生与AKIpredictor如何做出预测之间的任何比较。

结论

医生能够以良好的区分度预测AKI,但倾向于高估AKI风险,表明在低风险患者中校准较差。AKIpredictor在区分度方面与医生表现相当,而在校准和净获益方面表现更好。这凸显了AKIpredictor在临床实践中的潜在用途:筛选高风险患者或在评估新的潜在有害疗法的研究中减少假阳性。此外,我们的研究结果表明,同时使用医生的专业知识和AKIpredictor有可能整体改善诊疗。由于样本量有限,有必要对AKIpredictor进行外部验证和进一步的前瞻性研究,特别是比较医生和算法如何做出预测。

附加文件

附加文件1:补充方法:医师的预测。图S1. AKIpredictor通过血清肌酐预测AKI-23的性能。图S2. 医师二分类预测的性能。图S3. 按资历级别分层的临床医师性能。图S4. 按置信水平分层的临床医师性能。图S5. AKIpredictor、医师及其联合的性能比较。图S6. 初级医师与初级医师联合AKIpredictor的性能比较。图S7. 对预测具有中低置信度的医师与其预测联合AKIpredictor的性能比较。表S1. 由医师和AKIpredictor进行预测的患者的患者特征和临床结局。表S2. 医师的一般情况。表S3. 医师预测的描述。表S4. 按资历和置信水平分层的医师预测描述。附录A. 预测问卷。附录B. 医师问卷 表S1、S2、S3和S4以及图S1、S2、S3、S4、S5、S6和S7。(DOCX 2070 kb)

参考来源

  1. Flechet M, Falini S, Bonetti C, et al. Machine learning versus physicians' prediction of acute kidney injury in critically ill adults: a prospective evaluation of the AKIpredictor. Crit Care. 2019. PMID: 31420056. doi:10.1186/s13054-019-2563-x
  2. 全文:PMC6697946(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6697946/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。