肺栓塞结果预测模型(PERFORM)的开发与性能:用于CT临床决策支持
本研究开发了机器学习模型PERFORM,利用患者电子病历中的纵向临床数据(人口学、生命体征、诊断、药物、实验室检查)生成肺栓塞(PE)风险评分,作为CT检查的临床决策支持。模型在斯坦福大学医院3214例患者(3397次标注CT检查)上训练和验证,在杜克大学医学中心240例患者(244次CT检查)上外部验证。最佳模型在内部保留数据上AUROC为0.90(95%CI 0.87-0.91),外部验证AUROC为0.71(95%CI 0.69-0.72);门诊人群中内部和外部AUROC均为0.81。采用保守阈值(<0.2)时,斯坦福340次检查中可避免67次,杜克244次检查中可避免147次,阳性CT产出率分别提高78%和40.2%。作者认为该模型可能作为自动化临床决策支持工具,改善转诊行CT肺栓塞成像患者的使用。
要点
- PERFORM模型在斯坦福内部保留数据上AUROC为0.90(95%CI 0.87-0.91),在杜克外部数据上AUROC为0.71(95%CI 0.69-0.72)。
- 在门诊人群中,模型在内部和外部数据上AUROC均为0.81(95%CI分别为0.77-0.87和0.73-0.82)。
- 采用保守阈值(预测概率<0.2)时,斯坦福340次检查中可避免67次,杜克244次检查中可避免147次,阳性CT产出率分别提高78%和40.2%。
- PERFORM可能考虑大量患者特异性危险因素和依赖关系,可能泛化到新的人群分布,作者认为可能作为自动化临床决策支持工具。
- 模型设计为在CT检查医嘱时自动运行于结构化电子病历数据,提供患者特异性PE风险评分,而非初始分诊步骤。
适用人群与场景
- 转诊行CT肺栓塞成像的成人患者,来自住院、急诊和门诊场景。
- 研究纳入斯坦福大学医院和诊所3214例患者(3397次标注CT检查)及杜克大学医学中心240例患者(244次CT检查)。
- 研究排除慢性肺栓塞患者;所有纳入患者均接受了CT成像,包括那些按年龄调整D-二聚体水平在多数评分系统中可排除成像的患者。
- 未转诊行成像的患者被排除,因为研究设计不是取代现有排除标准,而是减少转诊行CT肺栓塞成像患者中不必要的PE成像。
研究设计与关键结果
- 诊断研究:开发机器学习模型PERFORM,将电子病历原始数据转化为时间特征向量,在斯坦福大学医院和诊所3214例患者(3397次标注CT检查)上训练和验证,在杜克大学医学中心240例患者(244次CT检查)上外部验证。
- 最佳模型在内部保留数据上预测PE阳性检查的AUROC为0.90(95%CI 0.87-0.91),在杜克外部数据上AUROC为0.71(95%CI 0.69-0.72)。
- 在门诊保留人群中,内部和外部数据的AUROC分别为0.81(95%CI 0.77-0.87)和0.81(95%CI 0.73-0.82)。
- 内部保留数据中,ElasticNet模型AUROC为0.93,PE神经网络模型为0.85,ElasticNet显著优于PE神经网络(P=0.01)。
- 外部杜克数据中,ElasticNet模型AUROC为0.70,PE神经网络模型为0.72,两者表现相当(P=0.17)。
- 采用保守阈值(预测概率<0.2)时,斯坦福340次检查中可避免67次,杜克244次检查中可避免147次,阳性CT产出率分别提高78%和40.2%。
- 在斯坦福140次阴性CT检查中,ElasticNet模型以<0.2阈值可减少44次(31.4%)检查,漏诊2例PE;PE神经网络模型可减少67次(47.9%)检查,漏诊4例PE。
- 在杜克244次CT检查中,205次(84.0%)为PE阴性;ElasticNet模型以<0.2阈值可减少148次(60.7%)检查,漏诊15例PE;PE神经网络模型可减少147次(60.2%)检查,漏诊14例PE。
证据类型、等级与局限
- 证据类型:诊断研究,遵循STARD报告规范。
- 局限:本研究为回顾性分析,存在已知挑战;所有纳入患者均接受了CT成像,包括那些按年龄调整D-二聚体水平在多数评分系统中可排除成像的患者;未转诊行成像的患者被排除。
对床旁实践的改变
- 作者认为PERFORM可能作为自动化临床决策支持工具,在CT检查医嘱时自动运行于结构化电子病历数据,提供患者特异性PE风险评分,以改善转诊患者中CT肺栓塞成像的使用。
- 作者提出将PERFORM整合到临床工作流中理想地是智能PE成像临床决策支持,而非初始分诊步骤;即如果初始临床实践分诊(如Wells、rGeneva等工具)不能排除PE并随后开具CT成像医嘱,PERFORM将自动触发运行。
- 作者认为客观预测评分输出可能允许对高阳性PE预测评分患者更早治疗PE,可能改善这些患者的临床结局。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译19 节 · 点击展开
引言
肺栓塞(PE)是一种常见的危及生命的临床问题,计算机断层扫描(CT)成像是诊断的标准。1,2 过去20年来,用于PE评估的CT成像检查数量增加,而影像阳性率下降;在接受CT成像检查以排查PE的患者中,约10%或更少为阳性3,最近一篇文献报道PE的CT阳性率低于1%。4 成像存在辐射、静脉造影剂以及发现低概率偶然影像学所见等风险,这些偶然发现使患者进一步接受不必要的操作和检查。5 据估计,所有针对PE的CT血管造影成像检查中约三分之一是可避免的,每年给医疗系统造成超过1亿美元的损失。6
为提高阳性率并减少不必要的CT检查,推荐将PE风险评分(即Wells评分或修订版日内瓦评分[rGeneva])的系统性使用作为临床决策支持(CDS),但据报道仅有少数临床医生依从。7,8,9 《保护医疗保险准入法》中的截止期限将更强有力地强制要求在开具PE的CT检查前咨询CDS工具,以至于最终未使用CDS工具而开具的检查将不予支付。10 然而,当前CDS工具存在局限性,使其效用受到质疑;一项大型荟萃分析发现,基于PE风险评分实施CDS后,CT成像的使用总体上并无改善。11 当前CDS工具的局限性部分原因可能在于纳入了主观标准,以及许多已知的临床PE危险因素或风险修饰因素未纳入当前PE风险评分,这可能迫使临床医生违背指南开具CT成像。12,13 因此,如果没有能够更好地利用数据科学进展来为CDS工具提供信息的新评分系统,该立法可能导致现有PE风险评分及其伴随的已被充分描述的局限性被广泛采用。12,13
设计一种能够利用常规收集的患者医疗保健数据来得出患者特异性疾病结局预后判断的方法,如果成功,可能更好地为疑似PE患者的诊疗决策提供信息。现有的PE风险评分基于人工选择的临床变量(例如,预期心率升高和血氧饱和度下降作为症状性PE的躯体表现),而现代机器学习方法已被证明能够处理大量相对复杂的相互依赖数据,对错误具有容忍性,并纳入来自多种来源的变量,以提供更个性化且准确性更高的估计。14,15,16,17,18 PE可能性的估计可作为此类强大工具应用的有用案例,因为(1)确定性诊断可通过CT成像作出,(2)已知有许多因素促成PE风险,(3)已有许多现有的基于规则的预测工具可用于比较新方法的性能,(4)PE诊断中CT的过度使用受到临床医生、患者、支付方和监管机构的广泛关注。
本研究旨在设计并评估一种名为肺栓塞结果预测模型(Pulmonary Embolism Result Forecast Model,PERFORM)的机器学习建模方法,该方法基于患者电子病历(EMR)数据预测肺栓塞(PE)影像学结果,所用变量包括人口学特征、生命体征(绝对值及相对基线的变化)、诊断、用药和实验室检查结果,从而为因PE接受CT检查的患者提供个体化风险评分;我们使用机构内和机构外患者数据对该模型进行了评估,并将其与现有PE风险评分系统进行了比较。
方法
图1A展示了所提出的工作流程,该流程将按时间线排列的原始EMR数据转换为特征向量,并使用机器学习模型估计PE影像学结果以辅助机构的临床决策。为训练模型,我们遵循诊断准确性报告标准(STARD)报告指南,并使用受试者工作特征曲线下面积(AUROC)值报告性能。训练后的模型在斯坦福大学医院及诊所(SHC)和杜克大学医学中心(Duke)的留出测试集上进行验证,并在独立的SHC和Duke门诊人群中进行测试。我们将传统机器学习模型和一种新的深度学习模型与3种常用临床评分系统进行比较:Wells、肺栓塞排除标准(PERC)和rGeneva。作为主要指标,预测准确性通过AUROC曲线评估,AUROC是一种被广泛接受的单一性能指标,用于显示真阳性与假阳性预测率之间的权衡。杜克大学机构审查委员会和斯坦福大学机构审查委员会因使用去标识化数据而批准了本研究并豁免知情同意。
所用数据
SHC数据集
经斯坦福大学机构审查委员会批准,我们检索了1998年1月1日至2016年1月1日期间在SHC进行的137 834例对比增强胸部CT检查,包括住院、急诊科和门诊扫描。从电子病历(EMR)中,我们还提取了带有时间戳的临床数据和CT影像报告文本。为创建用于肺栓塞(PE)预测模型训练和测试的标注数据集,从成年患者(2008年之后)的内部数据集中选取了4512例采用PE方案(PE-CT)检查的CT图像;这些数据是从研究人群中选取的分层随机样本(PE阳性和PE阴性之间大致平衡),以捕获PE阳性和PE阴性标签的等量分布,从而获得用于训练模型的平衡数据集。为与临床评分进行有效比较,我们通过从SHC PE-CT数据集中选取100例连续门诊样本创建了一个数据集,以生成用于计算检验前概率评分的独立人群(补充材料中的eFigure 1)。
每个病例由3名经验丰富的放射科医师手动标注,赋予2个二分类标签(PE存在或不存在,以及PE急性或慢性),评分者之间一致性良好,κ评分分别为0.959和0.969。19,20 由于我们设计的模型用于识别急性PE,我们仅使用标注为PE阴性(PE-negative)和急性阳性(PE-positive)的检查来生成队列的最终标注。一名高级放射科医师(M.P.L.)手动解决了病例中所有冲突的发现,以准备真实标签。
Duke数据集
经Duke机构审查委员会批准,作为外部数据集,我们收集了2013年1月1日至2017年8月31日期间在Duke进行的227 809例对比增强胸部CT检查,包括住院、急诊科和门诊扫描。我们检索了这些患者的临床数据集,与SHC的临床数据类似,并包含就诊时间戳详细信息。为创建用于验证的外部标注数据集,我们从Duke随机抽取了300例PE-CT检查,并由同一组放射科医师进行手动标注。与SHC一样,我们创建了一个仅包含Duke连续门诊样本(101例患者)的独立数据集,以与临床评分系统进行比较。
排除所有慢性PE患者后,来自SHC的3214名唯一患者的3397例标注PE-CT检查被整理为内部标注数据集,来自Duke的240名唯一患者的244例标注PE-CT检查被整理为外部数据集。此外,我们为SHC(100例连续患者)和Duke(101例连续患者)创建了独立的门诊数据集,这些病例独立于内部SHC和Duke留出数据集。队列组装以流程图形式呈现于补充材料中的eFigure 1,患者特征呈现于表1。
时间特征工程
对于所有患者,我们将观察窗口定义为预测日期(CT检查前一天)之前的12个月。在观察窗口内,我们构建了一个特征工程流程,通过考虑记录内的时间序列来计算每位患者EMR快照的向量表示(图1B和补充材料中的eAppendix提供了详细信息)。鉴于EMR数据的复杂性以及保持时间性的要求,我们设计该流程以解析不同类型的EMR:(1)所有诊断代码(当前就诊除外);(2)所有住院和门诊药物;(3)实验室检查的所有原始数据值;(4)所有生命体征数据;(5)所有人口统计学数据。该特征工程方法对EMR进行整理,并可容忍稀疏记录(常见局限性)(补充材料中的eAppendix、eTable 2和eTable 3)。我们通过去除均值并缩放至单位方差来标准化特征。中心化和缩放独立地对每个特征进行,通过在训练集样本上计算相关统计量来实现。随后将均值(SD)应用于后续数据(即内部留出测试集和外部测试集),使用相同的变换函数。
传统机器学习:ElasticNet模型
我们基于ElasticNet正则化回归21创建了一个预测模型,该模型结合了lasso的L1惩罚和ridge的L2惩罚,以克服在样本量相对较小的情况下纳入高维特征的局限性。我们对大型的、经定量缩放的特征矩阵进行收缩,同时保持特征之间的两两相关性,并选择了一组用于区分PE阳性和PE阴性发现的判别性特征(补充材料中的eFigure 3)。超参数的最优值通过分析在SHC训练数据上进行10折交叉验证所计算的特征系数得出。除ElasticNet外,我们还尝试了其他传统机器学习模型(逻辑回归、随机森林和自适应提升),并将结果总结在补充材料的eAppendix中。
深度学习:PE神经模型
我们开发了一个人工神经网络模型,以自动对患者级别的PE可能性进行分类,其中神经网络模型的第一层以时间特征矩阵作为输入。第一层的输出随后通过多个隐藏层,在模型中选择隐藏层的数量需要在捕获复杂数据表示与过拟合(方差与偏差)之间取得平衡(补充材料中的eFigure 4)。使用从SHC训练数据中选取的10%验证数据进行网格搜索以确定超参数,我们尝试了不同设置的隐藏层数量、学习率、激活函数、优化器、训练轮数和丢弃率。模型在验证数据上的前50项性能呈现于补充材料的eTable 5中。该网络还在非线性隐藏层与输出层之间包含一个丢弃层,输出层使用sigmoid激活,以防止对训练数据过拟合。模型的最终分类层包含隐藏层和一个sigmoid层,其目的是将最终概率预测为可微输出。
统计分析
我们选择AUROC作为我们的主要评价指标。除AUROC外,我们还进行了敏感性分析,以更好地评估顶级模型的潜在临床效用。为了验证过拟合和过于乐观的性能声明(这是机器学习模型常见的担忧),我们在4种不同设置下评估了模型。
设置1:内部留出
我们从SHC病例中随机选取340例CT检查(10.6%)用于测试,其余数据用于训练机器学习模型。我们验证了训练集和测试集之间没有患者重复。我们在SHC训练数据上训练了两个模型,其中10%的数据用作验证以调整机器学习超参数:ElasticNet参数λ和α;以及PE神经网络模型的参数,包括神经元数量和隐藏层数,以及dropout率。
设置2:外部数据
我们使用仅使用SHC患者训练的模型(设置1),并在来自Duke的244例标注CT检查上进行测试,该数据集被整理为外部数据集,在预测模型开发时不可用。此设置使我们能够在来自完全不同的医疗机构(Duke)的独立样本集上测试模型的可重复性。
设置3:连续门诊数据
由于临床评分系统用于计算检验前概率的可用性标准,我们连续选取了SHC的100例门诊数据和Duke的101例门诊数据,并从这两个数据集中分离出另一个留出队列。我们使用SHC患者训练的模型(设置1),并在门诊数据上分别进行测试,以判断模型在门诊病例中的性能。与机器学习模型并行,按照回顾性评分的标准流程,21,22,23,24,25,26我们通过人工病历审查对3种检验前临床评分——Wells、PERC和rGeneva——进行了评分,其中一位专家(M.P.L.)根据可用的EMR数据(包括病历记录)计算评分值。
设置4:交叉验证
为了估计模型对新SHC患者的泛化能力,我们在SHS训练数据(排除340例CT检查的留出测试集)上进行了10折交叉验证(附录和补充材料中的e图2)。共3057例标注CT检查被划分为10个等大小的子样本,其中训练折和测试折之间没有患者混合。在10个子样本中,保留一个约305例CT检查的单一子样本作为验证数据用于测试模型,其余2752个子样本用作训练数据。然后交叉验证过程重复10次,每个子样本仅一次用作验证数据。
结果
参与者
在来自SHC纳入研究的3214例患者中,1704例(53.0%)为女性;平均(SD)年龄为60.53(19.43)岁。用于验证的240例Duke患者包括132例女性(55.0%);平均(SD)年龄为70.2(14.2)岁。在临床评分系统比较的样本中,来自SHS的100例门诊患者包括67例女性(67.0%);平均(SD)年龄为57.74(19.87)岁,来自Duke的101例患者包括59例女性(58.4%);平均(SD)年龄为73.06(15.3)岁(表1)。
设置1:SHC留出
结果以AUROC总结于表2和图2;两种机器学习模型均评分较高(PE神经网络模型,0.85;ElasticNet,0.93),其中ElasticNet模型在内部数据集上的表现显著优于PE神经网络模型(P = .01)。为测试实际可用性,我们还绘制了预测概率值十分位数中阳性和阴性病例的分布以及阴性CT检查数量(图3)。图3显示,在SHC进行的140次阴性CT检查中,采用更保守的截断水平时,ElasticNet模型在截断概率低于0.2的情况下本可排除140次阴性检查中的44次(31.4%),仅遗漏2例PE。PE神经网络模型在截断概率低于0.2的情况下本可排除140次阴性CT检查中的67次(47.9%),遗漏4例PE。
设置2:来自Duke的外部患者数据
如表2和图2所示,与内部留出SHC测试集相比,两种机器学习模型在外部Duke数据集上的性能均有所下降(PE神经网络模型,0.72;ElasticNet,0.70)。然而,AUROC评分仍大于0.7,且两种模型在外部数据上的表现相当(Duke AUROC:ElasticNet,0.70;PE神经网络模型,0.72;P = .17),这表明即使模型仅在SHC患者上训练,它们也可推广至Duke患者人群。我们还绘制了Duke测试集上预测概率值十分位数中阳性和阴性病例的分布以及阴性CT检查数量(图3)。该图显示,在Duke进行的超过244次CT检查中,205次CT结果(84.0%)为PE阴性。采用更保守的截断值时,ElasticNet模型在截断概率低于0.2的情况下本可排除244次检查中的148次(60.7%),遗漏15例PE;PE神经网络模型在截断概率低于0.2的情况下本可排除244次阴性CT检查中的147次(60.2%),遗漏14例PE检查。
设置3:与临床评分系统的比较
对于头对头比较,结果在图2中以AUROC值展示评分标准和机器学习模型的差异,并总结于表2。PE神经模型在SHC和Duke留出门诊数据上的表现显著优于所有其他模型和标准(AUROC,0.81),包括Duke数据上的ElasticNet模型(0.74 vs 0.81;P = .01)。表2还展示了来自SHC和Duke的d-二聚体检测阴性结果的病例,其中机器学习模型在PE可能性检测方面相比临床评分和d-二聚体检测具有高灵敏度和特异性。
总体而言,最佳 performing 模型在机构内留出数据上预测PE阳性检查的AUROC性能达到0.90(95% CI,0.87-0.91),在来自Duke的外部数据集上AUROC为0.71(95% CI,0.69-0.72);在来自机构内和机构外数据的留出门诊人群中,分别观察到该模型优越的AUROC性能和跨机构泛化能力,分别为0.81(95% CI,0.77-0.87)和0.81(95% CI,0.73-0.82)。使用保守的截断分数(<0.2),我们本可避免Stanford的340项检查中的67项和Duke的244项检查中的147项,分别将阳性CT产出率提高78%和40.2%。
讨论
本研究的目的是设计和评估能够利用大量回顾性EMR数据来为转诊进行CT成像的患者实现准确、患者特异性PE诊断风险评分的机器学习模型。本工作的核心贡献包括开源(1)特征工程流程,用于捕获和保留EMR数据的时间性,(2)机器学习模型,可使用EMR数据预测转诊进行CT成像患者的PE风险,以及(3)从转诊进行PE CT成像患者的EMR数据中提取的带有结局标签的纵向数据。
旨在遏制PE评估中不必要成像的系统性尝试集中于使用现有的预测性PE风险评分工具,如Wells或rGeneva,作为CDS工具来为进行高级成像的决策提供信息,但在实践中对CT成像产出率或使用的影响令人失望。27 设计现有的PE风险评分工具依赖于领域专家指定纳入开发的具体相关临床变量。28,29 早期研究报告的AUCROC性能范围在0.63至0.75之间;具体而言,rGeneva评分系统被许多人认为是最广泛适用、一致且最不主观的可用预测模型,最初报告内部和外部验证数据的AUROC均为0.74。30 在我们的门诊人群中,预测性PE风险评分的性能更接近0.5,原因在于该人群由转诊进行CT的患者组成。然而,鉴于转诊进行PE CT成像的患者阳性检查的总体产出率较低,传统风险评分的性能,即使已被系统性应用,也可能受到基于规则方法的固有局限性的限制。
与传统的风险评分工具相比,较新的数据驱动机器学习方法(如本研究所使用的方法)有望克服先前方法的局限性,通过自动识别复杂电子病历(EMR)数据中的模式和依赖关系,从而更容易地自动提取有用信息,在本例中即为肺栓塞(PE)预测。10,28 在本研究中,我们重点介绍了两种技术——ElasticNet和PE神经模型——应用于回顾性结构化EMR数据,在内部留出数据上分别实现了0.93和0.85的AUROC值(其他技术的性能可见补充材料中的eTable 4)。ElasticNet在内部留出数据上的优异结果及对外部数据泛化能力较差,可能反映了该模型对训练数据中依赖关系的依赖以及过拟合。相比之下,神经模型PERFORM的固有灵活性在我们的结果中得以体现:在对住院患者和门诊患者的外部验证中,对外部数据集的性能损失不那么明显,且尽管外部数据集的人群在人口统计学特征和疾病患病率等因素方面存在显著差异,门诊数据在内部和外部门诊数据集上均达到了0.81的AUROC。
我们将PERFORM设计为无需主观输入即可自动生成可解释的PE风险客观量化评分,以帮助指导CT影像检查决策。在我们使用保守截断值的分析中,我们本可避免斯坦福340项检查中的67项和杜克244项检查中的147项,分别将CT阳性检出率提高了78%和40.2%;使用该截断值时出现的假阴性,其发生频率低于当前最佳实践(d-二聚体检测阴性且传统风险评分低概率的患者)(补充材料中的eTable 1)。此外,客观预测评分输出可能使高阳性PE预测评分患者能够更早接受PE治疗,这可能改善这些患者的临床结局,因为它可能允许快速、早期治疗。31 将PERFORM整合到临床工作流程中,理想情况下应作为智能PE影像临床决策支持(CDS)而非初始分诊步骤;也就是说,如果初始临床实践分诊使用Wells、rGeneva等工具的风险评分无法排除PE,随后开具了CT影像检查,PERFORM将被触发,自动运行于患者的结构化EMR数据,提供患者特异性PE风险评分信息,作为知情干预以改善开单时的使用(图1A)。尽管外部杜克数据集的人群在人口统计学特征和疾病患病率等变量方面存在差异,但其上的良好表现提示了PERFORM模型的可重复性。
局限性
本研究存在局限性。这是一项回顾性分析,具有众所周知的挑战。7 我们使用CT影像报告来精确、按时间特定地生成队列,以避免依赖容易出错且缺乏确切诊断时间信息的索赔数据。32,33,34,35 我们研究中的所有患者均接受了CT影像检查,即使是那些在大多数评分系统中按年龄调整的d-二聚体水平本可排除影像检查的患者。此外,未转诊进行影像检查的患者被排除,因为本研究的设计并非要取代现有的排除标准,而是要为因PE转诊进行CT影像检查的患者减少不必要的PE影像检查。
结论
神经网络模型PERFORM可能可以考虑回顾性结构化EMR数据中大量患者特定的风险因素和依赖关系,从而得出针对影像检查的PE可能性建议,并可能准确推广到新的人群分布。本研究的发现表明,该模型可作为自动化CDS工具,以改善转诊患者中PE-CT影像检查的使用。
参考来源
- Banerjee I, Sofela M, Yang J, et al. Development and Performance of the Pulmonary Embolism Result Forecast Model (PERFORM) for Computed Tomography Clinical Decision Support. JAMA Netw Open. 2019. PMID: 31390040. doi:10.1001/jamanetworkopen.2019.8719
- 全文:PMC6686780(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6686780/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。