正在进行的随机对照重症试验中的效应量
该研究于2015年9月系统检索EudraCT、ClinicalTrials.gov和ANZCTR注册库,筛选以界标死亡率为主要终点的正在进行的重症临床试验,最终对10项大型试验开展临床医生调查。166名应答者(占订阅者2.7%)对每项试验估计治疗效应达到或超过样本量计算所用效应的概率,中位先验概率为15%(IQR 10-20%);认为可信的最大绝对死亡率降幅中位为4.5%(IQR 3.5-5%),而样本量计算所用绝对死亡率降幅中位为5%(IQR 3.6-10%)(P=0.27)。据此推算,每项试验P=0.05显著结果代表真阳性的概率中位为73.5%(IQR 64-82%)。作者认为,未来以界标死亡率为主要终点的试验通常应按检测<5%的绝对死亡率差异进行把握度设计,并建议试验者在预先发表统计分析计划中提供先验概率估计。
要点
- 166名临床医生对10项大型重症RCT的先验概率估计中位为15%(IQR 10-20%),个体估计在多数试验中为0%至100%。
- 临床医生认为可信的最大绝对死亡率降幅中位为4.5%(IQR 3.5-5%),样本量计算所用绝对死亡率降幅中位为5%(IQR 3.6-10%),两者比较P=0.27。
- 按调查估计推算,每项试验P=0.05显著结果代表真阳性的概率中位为73.5%(IQR 64-82%)。
- 3项试验的实际样本量大于检测临床医生认为可信的中位最大效应所需的样本量;6项试验样本量不足以检测该效应,且常相差超过2000名受试者。
- 作者认为,未来以界标死亡率为主要终点的试验通常应按检测<5%的绝对死亡率差异进行把握度设计。
适用人群与场景
- 以界标死亡率为主要终点的正在进行的重症医学成人随机对照试验。
- 系统检索排除非双侧优效性试验、整群或整群交叉试验、儿科人群试验、与重症医学无关的试验、纯外科技术研究以及已完成招募的试验。
- 调查对象为对重症医学有兴趣的临床医生(Critical Care Reviews订阅者),包括ICU专科医师、其他专科医师及正在接受重症医学或其他医学领域培训者。
诊断标准与关键阈值
- 主要结局指标为临床医生对每项试验的先验概率估计,即该试验显示 mortality 效应等于或大于其样本量计算所用效应的百分比概率。
- 次要结局包括:P=0.05水平显著结果代表真阳性的计算概率、临床医生认为可信的最大效应量、检测该中位最大可信效应所需的样本量。
- 真阳性概率按图1方法计算,计算中假定α=0.05,并使用各试验样本量计算时所用的相同β。
研究设计与关键结果
- 研究设计为临床试验注册库系统评价后开展临床医生调查;注册库检索返回656条结果,71项试验符合进一步向研究者索取信息的标准,收到28份回复并进一步排除8项,最终20项试验纳入分析。
- 因试点反馈调查过长,最终调查仅纳入推断效应量最小的10项试验;这10项试验的中位样本量为3575名受试者(IQR 725-7000),样本量计算所用中位基线死亡率为26.5%(IQR 25-33%),中位推断治疗效应为绝对死亡率降低5%(IQR 3.6-10%)。
- 6243名订阅者中收到166份完整应答(2.7%);37名(22.3%)来自美国,47名(28.3%)来自英国,29名(17.5%)来自澳大利亚和新西兰;101名(60.8%)为ICU专科医师,其中46名(45.5%)在该级别工作不足5年,26名(25.7%)超过10年。
- 临床医生对多数试验的先验概率个体估计为0%至100%,中位先验概率为15%(IQR 10-20%);据此推算每项试验P=0.05显著结果代表真阳性的概率中位为73.5%(IQR 64-82%),但按应答者先验概率的完整范围计算,每项试验的真阳性概率在0%至99%或100%之间。
- 临床医生认为可信的最大绝对死亡率降幅中位为4.5%(IQR 3.5-5%),样本量计算所用绝对死亡率降幅中位为5%(IQR 3.6-10%)(P=0.27)。
- 3项试验(ADJUST-SHOCK等)的实际样本量大于检测调查应答者认为可信的中位最大效应所需的样本量;6项试验的样本量不足以检测该中位最大效应,且常相差超过2000名受试者。
证据类型、等级与局限
- 证据类型为临床试验注册库系统评价结合临床医生调查(横断面调查);作者称这是首次在重症医学领域提供临床医生对先验概率和可信效应量看法的定量估计。
- 作者自述局限:试验样本量小,结果存在I类和II类错误的高风险,分析应视为假设生成性。
- 作者自述局限:仅纳入推断效应量最小的试验,结果不太可能代表所有正在招募的试验。
- 作者自述局限:依赖试验研究者回复样本量计算相关信息,对所评估试验存在额外选择偏倚;应答者未对试验研究者推断的效应量设盲,知晓这些效应量可能使应答产生偏倚。
- 作者自述局限:调查应答率低(2.7%);调查中要求应答者假定研究者所用的对照组死亡率估计准确,而重症试验中对照组死亡率常被高估。
- 作者自述局限:真阳性概率方法仅提供点估计,未考虑概率估计的真实分布;计算假定P=0.05,若观察到更低P值,真阳性概率会相应更高。
- 作者指出,调查应答者提供的先验概率和效应量估计的准确性未知;此类估计的准确性只能通过长期比较大量试验的先验概率与实际结果前瞻性确定。
对床旁实践的改变
- 作者认为,低先验概率下以P=0.05阈值拒绝原假设可能导致临床医生和研究者得出错误结论。
- 作者建议试验者在预先发表的统计分析计划中提供先验概率估计。
- 作者认为,未来以界标死亡率为主要终点的试验通常应按检测<5%的绝对死亡率差异进行把握度设计,未这样做的试验在证明并非如此之前,可能被临床医生视为把握度不足。
- 作者指出,某项试验真阳性概率应接受还是拒绝尚未确立,逻辑上应取决于所考虑的具体治疗;对于风险特征和费用相近的标准化疗间比较,改变实践的阈值可能应低于昂贵且风险特征不确定的新治疗。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译17 节 · 点击展开
背景
在特定时间点测量的死亡率(标志性死亡率)通常被视为重症医学随机对照试验的金标准结局[1]。然而,试验在为提高重症监护病房(ICU)患者生存率的干预措施提供证据方面的效用一直存在争议[2–4]。
许多重症试验的一个重要局限性在于,它们假设绝对死亡率会出现大幅且可能不合理的下降[5]。这在试验设计上是一个主要问题,原因有二。第一,它使II类错误(假阴性)更可能发生。第二,所假设的死亡率下降越不合理,具有统计学显著性的死亡率差异就越可能代表I类错误(假阳性)[6]。这是因为P值定义为在原假设为真的假设下,发现等于或比实际观察到的结果更极端的结果的概率。这意味着,试验前原假设正确的机会或先验概率越大,低于特定显著性阈值的P值代表真阳性的机会就越低。因此,基于先验知识估计试验假设的合理性有可能有助于结果的解读[7]。然而,对此类先验概率的评估存在问题且很少被讨论。这是因为它可能是主观的、基于有限数据的,并且可能值的范围很广。在重症医学领域,此前尚未尝试过系统报告临床医生对临床试验先验概率的估计。
因此,本研究的主要目的是为一些正在进行的、以标志性死亡率为主要终点的最大规模成人重症试验开发数据驱动的先验概率估计。我们假设,受调查临床医生对先验概率的估计会一致偏低,并且临床医生认为合理的效果量会小于研究者所假设的效果量。
方法
研究设计
我们对注册临床试验数据库进行了系统评价,随后进行了临床医生调查。
系统评价
于2015年9月在EudraCT、ClinicalTrials.gov和ANZCTR临床试验注册库中检索以标志性死亡率为主要结局的重症医学试验。排除标准为:非双侧优效性试验、整群或整群交叉试验;聚焦于儿科人群;与重症医学无关;或仅为外科技术研究。已完成招募的试验也被排除。在多个数据库注册的试验仅纳入一次。通过电子邮件联系试验研究者,请求提供用于其样本量计算的数据。因研究者回复而发现符合排除标准的任何试验(例如,不再招募的试验)均被排除。
我们从在线注册库中记录了以下试验特征:样本量、试验受试者的入选标准、干预措施详情、对照组详情(例如安慰剂或常规治疗策略)、试验原产国以及死亡率结局测量的标志时间点(例如28天)。我们从研究者回复中记录了以下内容:样本量计算中使用的检验效能、预期基线死亡率以及预期效应量(对照组与干预组之间的绝对死亡率差异)。
调查
我们系统评价中识别的每项试验均按照受试者、干预、对照、结局的标准进行呈现,临床医生被要求对每项试验回答两个问题。首先,要求他们估计特定试验中所研究治疗的實際效应等于或超过研究者所假设效应的百分比概率。其次,要求他们指明他们认为可合理归因于所研究各治疗的最大绝对死亡率降低幅度。例如,对于脓毒性休克危重患者辅助皮质类固醇治疗试验(ADjunctive coRticosteroid trEatment iN criticAlly ilL Patients with Septic Shock trial)[8],该试验纳入3800名受试者,研究者正在研究连续7天静脉输注氢化可的松200 mg/d对接受通气且已使用血管升压药/正性肌力药至少4小时的脓毒性休克成人患者第90天死亡率的影响,临床医生被问及以下问题:假设第90天基线死亡率为33%(研究者在检验效能计算中使用的基线死亡率[8]),您认为连续7天静脉输注氢化可的松200 mg/d使绝对死亡率降低5%或以上的可能性有多大?(允许回答0–100%。)
假设第90天基线死亡率为33%,您认为连续7天静脉输注氢化可的松200 mg/d所能导致的第90天死亡率最大绝对降低幅度是多少?(允许回答0%至33%。)
从调查受访者收集的人口学数据包括居住地区(澳大利亚和新西兰[ANZ]、英国[UK]、欧洲[英国以外]、美国[USA]、加拿大、中美洲或南美洲、亚洲、非洲)和培训背景(重症监护专科医师、其他专科医师、正在接受重症监护医学专科培训、正在接受重症监护以外医学领域的培训)。重症监护专科医师被问及他们作为重症监护专科医师的工作年限(<5年、5–10年、>10年)。
该调查由来自澳新地区、美国、欧洲和英国的20名临床医生进行预试验,他们就易用性、界面和调查时长提供了反馈。预试验阶段后,由于反馈表明原版调查过长,调查长度被缩短。附加文件1显示了调查的最终版本,该版本随每周《重症医学评论》通讯连续4周分发[9]。在这4周期间结束时,该通讯有6243名订阅者。未从列表订阅者中收集人口学数据;然而,该列表可在世界任何地方免费订阅,且对注册不设限制。在调查运行的4周中的每一周,包含调查的电子邮件被2788至2889人打开。我们选择从对重症监护有兴趣的临床医生中“众包”回答,以向我们提供“真实世界”的意见。
结局
主要结局是临床医生对每项试验的先验概率的看法,其定义为每项试验显示出等于或大于该试验样本量计算中所用效应的死亡效应的百分比机会。
以下为次要结局:每项试验在P = 0.05水平上具有统计学显著性的结果代表真阳性的计算机会
被调查临床医生认为每项试验可信的最大效应量
每项试验检测临床医生认为可信的最大效应量中位数所需的样本量
统计分析
连续变量以中位数和IQR或均值 ± SD报告,分类变量以计数和百分比报告。临床医生对每项试验感知的先验概率用于使用图1所述方法估计在P = 0.05水平上具有统计学显著性的结果代表真阳性的可能性。具体而言,如附加文件2所述,真阳性的机会计算如下[10]:
每项试验检测临床医生认为可信的最大效应量中位数所需的样本量使用用于比较两个二项 proportion 的试验的标准方法计算。我们在这些计算中使用了与研究者在其初始样本量计算中所使用的相同β,并假定α为0.05。方差分析用于分析调查结果按地点和专科的差异。Mann-Whitney U检验用于比较临床医生对效应量的估计与用于为样本量计算提供信息的治疗效应量。P值<0.05被认为表示统计学显著性。统计分析使用Real Statistics Resource Pack 3.8版软件(英国伦敦)进行。
结果
检索结果
试验注册库检索返回656条结果,71项试验符合我们向研究者索取进一步信息的标准。收到28份回复,进一步排除8项,最终纳入20项试验进行分析。所有20项符合条件的试验均纳入预调查,但反馈表明调查过长;因此,我们决定最终调查仅纳入推测效应量最小的10项试验[8, 11–19](图2)。
纳入调查试验的特征
纳入临床医生调查的试验中位样本量为3575名参与者(IQR 725–7000),样本量计算中使用的中位基线死亡率为26.5%(IQR 25–33%),中位推测治疗效应量为绝对死亡率降低5%(IQR 3.6–10%)(表1)。
调查结果
回复
收到6243名Critical Care Reviews订阅者中166名(2.7%)的完整回复。
人口学特征
在所有受访者中,37名(22.3%)来自美国,47名(28.3%)来自英国,29名(17.5%)来自澳大利亚和新西兰(ANZ)。大多数(101名[60.8%])为ICU专科医生,其中46名(45.5%)在此级别经验不足5年,26名(25.7%)在此级别经验超过10年(见附加文件2:表S1)。
概率、效应量和样本量
临床医生对先验概率的估计差异非常大,大多数试验从0%到100%不等,试验先验概率中位数为15%(IQR 10–20%)(表2和附加文件2:图S1)。基于这些估计,每项试验真阳性结果概率的中位估计值为73.5%(IQR 64–82%)(真阳性结果概率按图1推导);然而,对于每项试验,当考虑调查受访者提供的感知先验概率估计的全部范围时,估计的真阳性概率在0%至99%或100%之间(表2和附加文件2:图S1)。
被认为可能的最大绝对死亡率降低中位数为4.5%(IQR,3.5%至5%),而样本量计算中使用的绝对死亡率降低中位数为5%(IQR,3.6%至10%)(P = 0.27)(表3及附加文件2:图S2,在线数据补充)。对于三项试验[8, 11, 12],实际试验样本量大于检测调查受访者认为可能的最大效应量中位数所需的样本量。对于六项试验[14–17, 19],样本量过小,无法检测认为可能的最大效应量中位数,通常差距超过2000名参与者。
讨论
主要发现陈述
我们对试验注册库进行了系统评价,以识别重症医学领域中研究人员将住院死亡率作为主要结局报告的正在进行中的试验。随后我们开展了一项临床医生调查,以确立对其中十项试验中干预措施将至少达到研究者假设的死亡率降低幅度的先验概率的看法。此外,我们还试图确立临床医生对每种研究干预措施可能归因的最大可能死亡率降低的估计。我们发现,总体而言,受访者的先验概率估计较低,但我们也发现,对于大多数试验,个体估计差异很大,从0%到100%不等。我们还发现,对于所有研究干预措施,被认为可能的最大绝对死亡率降低中位数≤5%。尽管有些试验的效能足以检测这样的效应量,但许多试验的效能不足,与检测这种量级的效应相比差距超过2000名参与者。
研究意义
本研究首次尝试对重症医学领域正在进行的试验,就临床医生对先验概率和合理效应量的认知提供定量估计。既往多项研究已系统评估了以死亡率为终点的危重症患者试验中报告阳性结果的比例。在一项研究中,研究者报告在2006年8月前发表的72项以死亡率为主要终点的多中心随机对照试验中,有10项(14%)报告阳性结果[20];在第二项研究中,研究者报告1999年至2009年间发表于5种主要医学期刊的38项试验中,有7项(18%)显示阳性结果[5];在第三项研究中,在评估2007年1月至2013年5月间发表于16种高影响力综合或重症医学期刊的基于ICU的试验时,研究者发现34项中有3项(9%)为阳性[21]。一项更近期的系统评价作者发现,862项多中心重症医学试验中有44项(5%)报告了死亡率的显著差异[22]。这些数据证实,以死亡率为终点的基于ICU的试验经常为阴性,并表明本研究中调查受访者所提供的先验概率中位数预测与重症医学文献中观察到的阳性试验频率大致一致。然而,这些数据并不必然支持为本调查所纳入的十项大型试验所提供的低先验概率估计的准确性。从逻辑上讲,此类估计的准确性只能通过随时间推移比较大量试验的先验概率与实际试验结果来进行前瞻性确定。
我们通过临床医生调查获取先验概率的方法与其他获取先验概率的方式有重要不同,因为它是一种务实的“真实世界”方法,采用的是待评估试验的实际最终使用者,他们的信念最终将决定这些试验对其临床实践的影响。既往工作使用了抽象建模或“专家”(即研究的产生者而非最终使用者)[23, 24]。
估计值的极端变异性,加上一些明显不合理的回答(例如,提示特定治疗可能将死亡率降低100%),可被解释为我们的估计缺乏有效性的迹象。然而,离群回答对基于中位数的估计影响有限,而启动试验所需的临床均势[25]合理地可能导致临床社区成员给出一定范围的估计值。尽管如此,我们发现研究者所假设的效应量往往似乎大于临床医生认为合理的中位效应量,这与既往文献一致,后者提示用于指导样本量计算的效应量往往被夸大[5, 21]。对于本调查中各研究正在测试的干预措施范围,在近期一项对高影响力重症监护试验的系统评价[21]所识别的40项以死亡率为主要终点的试验中,绝大多数试验的95% CI并不会排除被认为合理的最大治疗相关死亡率差异。该系统的评价中仅六项优效性试验具有≥80%的把握度来检测≤5%的治疗相关死亡率降低[21]。
优势与不足
我们研究的关键优势在于,我们使用了正在进行的重症监护试验的样本量计算数据来评估临床医生对先验概率和合理性的估计,这种方式此前未曾尝试过。系统检索试验注册库的方法确保了相关且重要的试验被纳入。由于我们的试验样本较小,我们的结果存在较高的I类和II类错误风险,因此我们的分析应被视为假设生成性的。此外,由于我们在调查中仅纳入了假定效应量最小的试验,我们的结果不太可能代表如果考虑所有当前正在招募的试验时会发现的情况。我们以这种方式选择样本,是为了评估那些具有最合理(或可实现)表面效应量的试验,从而为我们提供一组“最佳”重症监护试验模型的结果。由于我们依赖试验者回应我们关于其样本量计算的询问,我们所评估的试验存在额外的选择偏倚。受访者未对试验者假定的效应量设盲,了解这些效应量可能使他们的回答产生偏倚。
尽管我们的调查应答率较低(2.7%),但获得了足够数量的应答,使受访者在广泛地域上具有代表性。在我们调查所使用的试验描述中,我们要求受访者假设研究者所使用的对照组死亡率估计是准确的。然而,在重症监护医学试验中,对照组死亡率似乎常被高估[21]。我们选择在调查中不改变对照组死亡率,因为这样做会大幅增加所考虑情景的复杂性。一方面,随着对照组死亡率下降,可潜在挽救患者的比例预计会下降,使得相同的绝对死亡率降低更难以实现。然而,另一方面,当对照组死亡率偏离50%时,检测给定绝对差异的把握度会增加。
我们确定每项试验真阳性概率的方法仅提供点估计,并未考虑概率估计的真实分布[26]。在我们的计算中,我们假定P值为0.05。如果观察到更低的P值,这将导致相应的真阳性结果概率更高。我们选择该方法是因为它提供的估计值可能易于临床医生理解。对于某项给定试验应接受或拒绝的真阳性结果概率尚未确定,但从逻辑上讲,这应取决于所考虑的具体治疗。对于具有相似已知风险特征和相似成本的标准治疗之间的比较,实践改变的阈值可能应低于昂贵的新治疗,后者的风险特征更不确定。
对临床实践的意义
我们结果所提示的低感知先验概率和夸大的效应量可能引起临床医生的关注,他们在这些试验完成后将需要解读其结果。在低先验概率的情况下,基于P值阈值0.05拒绝原假设以支持实验假设,有可能导致临床医生和研究者得出错误结论[26, 27]。如果临床医生对低先验概率的感知是正确的,那么所评估假设中低先验概率占主导地位可能解释为何在重症监护医学试验[28]和其他学科试验[29]中阳性结果频繁无法重复。然而,正如我们所强调的,我们调查受访者提供的先验概率和效应量估计的准确性尚不清楚。尽管如此,我们的研究是未来开发更稳健的先验概率评估方法的重要第一步。
结论
我们的研究是首次尝试对重症监护医学领域试验中临床医生关于先验概率和效应量合理性的意见提供定量估计。我们的初步数据表明,即使对于目前正在招募的一些最大规模的试验,许多临床医生似乎也认为先验概率较低,并认为所研究治疗对绝对死亡率可能产生的合理影响≤5%。这一发现提示,未来以标志性死亡率为主要终点的试验一般应具备检测<5%绝对死亡率差异的把握度,而未达到这一标准的试验,在证明并非如此之前,很可能被临床医生认为把握度不足。
先验概率的估计对于正确解读试验结果至关重要。因此,我们建议试验者在预先发表的统计分析计划中考虑提供先验概率估计[30]。需要进一步研究以确定通过调查“众包”临床医生对感知先验概率的看法所获得的汇总估计,是否可提供一种可重复且准确的先验概率评估方法,或者是否更倾向于其他先验概率估计方法[31]。
附加文件
附加文件1:Survey.pdf(调查最终版)。(PDF 113 kb)
在线数据补充。(DOCX 473 kb)
参考来源
- Ridgeon EE, Bellomo R, Aberegg SK, et al. Effect sizes in ongoing randomized controlled critical care trials. Crit Care. 2017. PMID: 28583149. doi:10.1186/s13054-017-1726-x
- 全文:PMC5460326(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5460326/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。