两种自然语言处理方法在重症患者出血识别中的比较
该诊断研究使用MIMIC-III数据库2001至2012年ICU临床笔记,随机选取990条训练集和660条测试集,由医生标注临床相关出血(定义为需要治疗的症状性出血,或临床处理发生改变)。研究开发并比较了基于规则(pyConText)和三种机器学习模型(支持向量机、极端随机树、卷积神经网络)识别出血的性能,机器学习模型分别在完整训练集和出血阳性/阴性各半的450条降采样集上训练。测试集出血患病率22.1%。规则法与极端随机树降采样模型敏感性相似(91.1% vs 93.8%,差异2.7%,95%CI −3.8%至7.9%,P=0.44),但规则法特异性84.6%、阳性预测值62.7%、阴性预测值97.1%,总体表现最佳。作者认为规则法自然语言处理在识别出血方面表现最佳,具有高敏感性和阴性预测值。
要点
- 测试集660条笔记中出血患病率22.1%(146/660),规则法敏感性91.1%、特异性84.6%、阳性预测值62.7%、阴性预测值97.1%。
- 极端随机树降采样模型敏感性93.8%,与规则法差异2.7%(95%CI −3.8%至7.9%,P=0.44),但阳性预测值仅48.6%。
- 规则法采用「存在1个及以上出血阳性提及即判为笔记阳性」的规则,训练集C统计量最高为出血阳性提及数(C=0.934)。
- 作者认为规则法自然语言处理总体表现最佳,若作为安全监测工具可使70%的笔记(694条判为无出血)免于人工复核。
- 事后错误分析中,规则法误分类92条笔记,其中79条(85.9%)为假阳性;重新归类26条后规则法敏感性95.8%、特异性89.1%、阳性预测值74.5%、阴性预测值98.4%。
适用人群与场景
- MIMIC-III数据库中2001至2012年三级学术中心成人ICU住院患者的临床笔记,包括主治医师签署的病史与体格检查、病程记录和出院小结。
- 训练集990条笔记代表769例患者(女性296例,38.5%;平均年龄67.42岁,SD 14.7),测试集660条笔记代表527例患者(女性211例,40.0%;平均年龄67.86岁,SD 14.7)。
- 不依赖ICD-9编码随机选取笔记,代表一般成人ICU人群。
诊断标准与关键阈值
- 临床相关出血定义为需要治疗的症状性出血;较轻病例若临床处理发生改变也判为存在,例如中心静脉导管出血时停用肝素则判为出血阳性。
- 笔记层面分类:出血阳性指笔记提及临床相关出血,出血阴性指笔记未提及临床相关出血。
- 提及层面分类:出血阴性可包括否定提及(患者否认出血)、历史提及(消化性溃疡出血史)或假设性提及(若患者出血则输血)。
- 规则法笔记层面判定规则:pyConText识别到1个及以上出血阳性提及即将该笔记判为阳性。
研究设计与关键结果
- 诊断研究,使用MIMIC-III数据库2001至2012年数据,训练集990条笔记、测试集660条笔记,出血患病率训练集22.5%、测试集22.1%(146/660)。
- 规则法在测试集敏感性91.1%、特异性84.6%、阳性预测值62.7%、阴性预测值97.1%;极端随机树降采样模型敏感性93.8%、特异性71.8%、阳性预测值48.6%、阴性预测值97.6%。
- 规则法与极端随机树降采样模型敏感性差异2.7%(95%CI −3.8%至7.9%,P=0.44),未达统计学显著。
- 训练集中极端随机树降采样模型敏感性99.6%,极端随机树模型97.8%,卷积神经网络降采样模型92.9%,卷积神经网络模型72.4%。
- 事后错误分析:规则法误分类92条笔记中79条(85.9%)为假阳性;重新归类26条后规则法敏感性95.8%、特异性89.1%、阳性预测值74.5%、阴性预测值98.4%,极端随机树降采样模型相应为敏感性96.3%、特异性82.4%、阳性预测值60.8%、阴性预测值93.2%。
- 事后分析限制于自然语言处理识别出血的患者(n=146),仅54.1%具有313种可能出血ICD-9编码之一。
证据类型、等级与局限
- 证据类型:诊断研究。
- 局限:笔记常不合语法且格式不一致,歧义常见(如MS可指二尖瓣狭窄或多发性硬化)。
- 局限:规则法仅能捕捉自然语言复杂性的一部分,例如未纳入识别出血部位(如胃肠道出血或鼻出血)的规则。
- 局限:机器学习模型表现不佳的主要原因是训练集小。
- 局限:算法在单一机构ICU患者中开发和测试,需在其他患者场景和其他机构验证。
- 局限:MIMIC中种族/民族信息不易获得。
- 局限:采用二分类(出血存在或不存在),未来工作可结合结构化数据(如血红蛋白或输血)按严重程度分类。
- 局限:数据代表真实世界患者但来自单一机构。
对床旁实践的改变
- 作者认为规则法自然语言处理总体表现最佳,若作为安全监测工具,694条判为无出血的笔记无需复核,复核任务减少70%。
- 作者认为规则法和极端随机树降采样模型的高敏感性和阴性预测值可显著减少识别健康事件所需的病历复核负担。
- 作者认为不同模型可能最适合不同任务,例如规则法因F分数最高,可能最适合无需人工复核即可识别临床相关出血的系统。
- 作者认为自然语言处理算法发现了人工复核者遗漏的出血事件,提示由人设计的计算机系统可能比人单独识别出血事件更合适。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译12 节 · 点击展开
引言
出血是医疗保健中的常见并发症,并与发病率、死亡率和医疗费用的增加相关。1,2 整合遗传、社会人口学、医学和环境暴露因素的大数据方法,为创建强有力的模型来预测哪些患者可能发生出血提供了机会。挑战在于要在数千甚至数百万患者中查找出血事件——这是创建预测出血的大数据模型所需的患者结局。一种准确、高通量的出血识别方法是开发减少伤害新方法所缺失的前提条件。
目前识别出血事件的方法依赖于计费代码,而计费代码缺乏准确性,3,4 或依赖于人工病历审查,而后者无法规模化。临床记录现在通常以电子形式存在,是一种未得到充分利用的数据来源。病程记录、病史和体格检查记录以及出院小结作为常规临床诊疗的一部分生成,通常包含对出血事件的叙述性描述,例如右股部血肿,或明确提及无出血,例如患者否认出血。本研究的目标是开发并比较不同的自然语言处理(NLP)算法,以准确识别临床记录中的出血事件。自然语言处理是一组基于计算机的方法,用于自动定位此类短语并对其进行解释,以产生有意义的、可计算的数据。换言之,临床医生阅读病历以了解其患者是否出血,但这种方法不易在整个医疗保健系统中规模化。借助NLP,计算机可以“阅读”记录并以可计算的形式提取出血事件,用于预测模型、质量和安全监测以及临床决策支持系统。
一种常见的NLP方法称为基于规则(RB)的方法,它使用由医师提供的关键词列表和一组预先确定的规则来定位记录中的相关文本,并将其标记为存在出血或不存在出血。这个关键词列表通常称为知识库,包括文本中表示出血的术语(bleeding或hemorrhage)以及创建上下文的修饰词术语(denies或history of)。例如,1条规则可能是,如果计算机在文本中定位到单词BRBPR(bright red blood per rectum,便血),它会将文本标记为存在出血,除非该词在同一句子中前面有单词no。在后一种情况下,文本将被标记为不存在出血。
识别临床文本中相关健康事件的另一种方法是利用机器学习(ML)技术。使用这种方法,研究者生成一组由医师标记为存在出血或不存在出血的记录。然后使用ML算法分析这些记录,以训练一个能够准确地将存在出血或不存在出血标签应用于新记录的模型。本研究的目标是开发并比较RB和ML NLP算法以检测出血事件。
方法
人群
本研究使用重症监护医学信息库(MIMIC-III)数据库中的临床记录。该数据库是一个公开可用的、综合性的、匿名化的临床数据集,涵盖某三级学术中心重症监护病房(ICU)的住院信息。5该数据库包含2001年至2012年间发生的ICU就诊信息,代表真实世界患者和真实世界临床实践。我们的目标是创建一个记录层面的分类器,能够识别临床相关的出血病例。我们随机选取了990份记录作为训练集,660份记录作为测试集,不考虑国际疾病分类第九版(ICD-9)编码。这些记录代表普通成人ICU人群,所审阅记录的数量基于时间限制确定。每份记录被分类为存在出血,即记录中提及了临床相关出血,或不存在出血,即记录中未提及临床相关出血。临床相关出血定义为需要治疗的症状性出血。6对于较轻的病例,如果临床管理发生了改变,我们选择将其分类为存在出血。例如,如果记录中提及中心静脉导管相关出血,且肝素被停用,则该记录被标记为存在出血。我们纳入了由主治医师签署的病史和体格检查记录、病程记录和出院小结。本研究使用公开可用的去标识化数据,作者认定本研究无需机构审查委员会审查或患者知情同意。所有直接访问数据的研究人员均完成了MIMIC数据使用协议。
两名医师(S.R.和A.P.-W.)独立地将每份记录分类为住院期间临床相关出血事件的阳性或阴性。第三名医师(R.U.S.)裁定分歧。医师分类作为金标准,用于与自然语言处理(NLP)生成的记录层面分类进行比较。在完成120份记录后,评审者间一致性为93%,因此我们转为每份记录由单一评审者审阅。
我们创建了记录层面的出血检测算法,而非多记录或就诊层面的算法。出血检测算法的开发在660份测试记录完成标注之前进行,以避免测试数据信息对开发过程产生偏倚。
基于规则的分类器开发与评估
为构建基于规则(RB)方法的知识库,我们聚焦于一组富含出血相关提及的笔记(与训练集和测试集分开),其方法是筛选包含提示出血的ICD-9编码(例如431,脑出血)的住院记录。来自具有出血ICD-9编码的住院记录的笔记语料库被随机解析为每批30份,使用可扩展人类 oracle 工具套件(Extensible Human Oracle Suite of Tools,一种便于文档审查流程的软件工具)进行专家审查。7 两名医生(R.U.S.和B.A.S.)审查各批笔记,第三名医生(B.T.B.)对不一致的标注进行裁定。笔记中每一处特定的出血提及被分类为出血存在或出血不存在(提及级标注)。出血存在意味着该提及代表患者在住院期间经历的临床相关出血事件。出血不存在意味着该出血提及旨在排除临床相关出血。不存在分类可包括否定提及(患者否认出血)、历史性提及(消化性溃疡出血史)或假设性提及(若患者出血则输血)。提及级标注的目的是提供一组代表性示例,说明临床相关和非相关出血病例在临床笔记中如何表达。这一步对于RB自然语言处理(NLP)系统中的规则开发是必要的。
我们使用pyConText——一个基于ConText算法的免费可用软件包——用于RB NLP任务。8,9 其他开源NLP软件包也存在10,11,12(例如cTAKES11[临床文本分析与知识提取系统]),但更为复杂,包括词性标注、章节划分和其他功能。我们的目标是构建一个简单、轻量的系统,使临床医生能够理解,用于单一任务。pyConText软件包采用用户定义的目标词(出血、溢血等)和修饰词(否认、报告等)来确定提及级分类。例如,用户会提供知识即出血是目标词、否认是否定修饰词。如果这两个词位于同一跨度内,如患者否认出血,pyConText将使用规则将该提及分类为出血不存在。我们迭代更新NLP规则,以改善算法在训练集中的测试特征(灵敏度、特异度、阳性预测值[PPV]和阴性预测值[NPV])。
pyConText软件包提供临床笔记中出血提及的提及级分类,但我们的目标是使用NLP建立笔记级分类。为此,我们使用受试者工作特征曲线来评估将pyConText产生的提及级分类转换为可与金标准比较的单一文档级分类的启发式方法。从pyConText的输出中,使用3个量来创建分类启发式:(1)出血存在提及的数量,(2)出血不存在提及的数量,(3)提及的总数。我们确定了产生最高灵敏度的启发式方法,并用它为每份笔记生成文档级分类。
机器学习分类器的开发与评估
本研究采用的机器学习策略称为监督学习。在监督学习范式下,使用金标准(例如医师审核)对数据进行标注,然后对这些数据执行机器学习算法,以识别可用于准确标注未来数据的模式。我们首先将文本转换为特征空间,即一种可由机器学习算法处理的数值表示。本研究使用了两种转换方法,分别称为词袋表示和词嵌入13表示。
本研究训练了3个机器学习模型:支持向量机(SVM)、极端随机树(ET)分类器和卷积神经网络(CNN)模型。SVM和ET模型均使用词袋特征表示。每份记录被转换为一个高维词袋向量,其中每个维度是记录中所有1元、2元和3元语法(n-gram)的词频-逆文档频率(TF-IDF)评分。14然后我们使用χ2特征选择来筛选与出血强相关的特征。这导致每份记录被表示为100维向量,其中每个维度代表100个最具判别力的n-gram之一。SVM和ET的超参数通过10折交叉验证的网格搜索进行选择。就传统多变量预测模型而言,SVM和ET模型的变量实际上是前100个最具特征性的n-gram的IDF加权频率。
为训练CNN,我们使用了词表示的全局向量。记录被表示为词表示的全局向量词嵌入序列,而非TF-IDF值的100维向量。15CNN的超参数通过固定的80/20训练-验证划分进行选择。CNN构建有4个隐藏层,由1维卷积层和最大池化层交替组成。卷积层使用线性整流单元激活函数。输出层为具有单个单元的稠密层和sigmoid激活。损失使用二元交叉熵计算。
为提高机器学习模型的灵敏度,我们还在降采样数据集上训练了每个模型的另一个实例。在该数据集中,有出血和无出血记录的数量相等,产生了一个450份记录的降采样训练集。总之,共训练和评估了6个机器学习模型:3个在全数据集上,3个在降采样数据集上。
统计分析
训练后,6个机器学习模型和RB模型在660份记录的测试集上进行评估。我们计算了每个模型与参考标准相比的灵敏度、特异度、PPV、F评分和NPV。我们选择了灵敏度最高的机器学习模型,并使用McNemar检验将其与RB模型进行比较。双侧P值.05被认为具有显著性。该检验计算2种诊断检验产生等效结果的可能性。在本例中,它用于比较表现最佳的机器学习模型的预测与RB模型的预测。它产生一个P值,类似于传统χ2检验。我们选择优先考虑灵敏度,因为住院期间的出血事件会导致不良结局,如死亡率、住院时间延长和更高的医疗费用。
我们使用Python开发了RB和机器学习算法。代码可在https://github.com/MaxTaggart/NLPBleedingDetection找到。
结果
我们人工审阅了训练集的990份记录和测试集的660份记录。训练集代表769例患者,其中38.5%(296例)为女性。平均(SD)年龄为67.42(14.7)岁。测试集代表527例患者,其中40.0%(211例)为女性。平均(SD)年龄为67.86(14.7)岁。临床相关出血的患病率在训练集中为22.5%,在测试集中为22.1%(660份中的146份)(表1)。
基于规则的结果
在知识生成阶段,我们审阅了120份记录(与训练集和测试集不同),并使用76个不同术语共识别出406处出血提及。我们将这些术语归纳为16个共同词干(例如,hemorr用于hemorrhagic和hemorrhage),这些词干占全部406处提及的90%。最常见的术语是bleed,其次是hemorrhage(图1)。我们从知识开发阶段选择了目标术语和修饰词术语,用于pyConText。
我们将知识生成阶段的术语和修饰词应用于训练集中的990份记录。在第一次运行中,pyConText在990份记录中识别出1139处出血存在提及和614处出血不存在提及。我们进行了错误分析,迭代修订规则,并重新运行pyConText算法。经过3个周期后,我们得出了最终算法;目标术语和修饰词术语及程序中使用的正则表达式见补充材料中的e表1和e表2。C统计量在出血存在提及数方面最高(C = 0.934)(图2B),其次是提及总数(C = 0.918)(图2A)和出血不存在提及总数(C = 0.702)(图2C)。基于这些结果,我们制定了以下规则:如果pyConText识别出1处或以上的出血存在提及,则将记录分类为阳性。使用该规则在训练集中进行记录分类的测试特征为灵敏度92.4%、特异度88.5%、PPV 70.3%和NPV 97.6%(图3A)。
机器学习结果
在训练集中,存在243 870个词袋特征。经过特征选择后,我们将100个与出血相关的特征纳入模型。与出血相关和不相关的前20个特征列于补充材料的e表3中。每个模型首先在训练数据上进行评估。在降采样数据集上训练的模型在本文中以-DS后缀表示。ET-DS模型在训练集上表现最佳,敏感度为99.6%,其次是ET模型(敏感度97.8%)和CNN-DS模型(敏感度92.9%)。CNN模型表现最差,在训练集中的敏感度为72.4%。在PPV方面,SVM-DS模型表现最佳(图3A;表2)。
基于规则的算法与机器学习
在训练数据上最终确定模型后,我们使用660条记录的测试集对模型进行了测试。ET-DS和RB模型产生了最高的敏感度,分别为93.8%和91.1%(差值,2.7%;95% CI,−3.8%至7.9%;P = .44)。ET-DS模型在分类临床相关出血方面达到了71.8%的特异度、48.6%的PPV和97.6%的NPV。相比之下,RB方法达到了84.6%的特异度、62.7%的PPV和97.1%的NPV(图3B;表2)。ET模型的计算时间最快,RB模型最慢(补充材料的e表4)。
在一项事后错误分析中,我们审查了92条被RB算法错误分类的记录;鉴于模型PPV较低,我们重点关注假阳性。在92条记录中,与病历审查金标准相比,79条(85.9%)为假阳性。我们审查了被RB方法错误分类为阳性的记录,发现其中26条在初始病历审查中应被分类为存在出血。RB算法发现但医师审查者未发现的示例短语列于补充材料的e表5中。其他错误来源包括病史和过敏记录部分中的出血相关提及被错误分类为存在出血。在对26条错误分类的记录重新分类后,RB方法在测试集上的性能特征为敏感度95.8%、特异度89.1%、PPV 74.5%和NPV 98.4%。ET-DS方法的相应值为敏感度96.3%、特异度82.4%、PPV 60.8%和NPV 93.2%。
讨论
出血在医疗保健中很常见,且具有致病性、费用高昂,并且在大型临床数据集中往往难以捕捉。在本研究中,我们开发了机器学习的和基于规则的的自然语言处理系统,其识别危重患者出血的灵敏度超过90%。这些结果凸显了高通量自然语言处理算法识别出血病例的可行性,这是制定预测和降低出血发生率策略的必要前提。事实上,该自然语言处理算法发现了人工审查者遗漏的出血事件,这强调由人类设计的计算机系统可能比单独依靠人类更适合识别出血事件。
我们比较了基于规则的和机器学习的方法,发现基于规则的和ET-DS方法具有相似的高灵敏度,但基于规则的方法具有更好的阳性预测值。所有模型的阳性预测值均不理想,意味着仍存在若干假阳性结果。鉴于模型性能的差异,不同模型可能最适合不同的任务。例如,基于规则的方法可能是用于在无需任何人工审查的情况下识别临床相关出血的系统的最佳候选方案,因为它获得了最高的F分数。基于规则的和ET-DS方法的高灵敏度和阴性预测值表明,本研究中开发的算法可以显著减轻识别健康事件所需的病历审查负担。例如,如果该算法作为安全监测工具实施,694份被分类为无出血的记录将不需要审查,审查任务将减少70%。
出血是医疗过程中的一个主要问题,可由抗凝药或抗血小板药治疗以及侵入性操作和手术引起。例如,重症监护病房中伴有胃肠道出血的患者与非出血患者相比,死亡风险高达4倍,并且在重症监护病房中多住8天。2 数据分析方法或大数据有潜力结合基因组、社会人口学、医学、移动传感器和环境暴露数据来识别出血高风险的患者集群。然而,这些数据驱动的方法需要一种自动化、可扩展的方法来识别出血事件。我们的研究和既往工作表明,自然语言处理可用于从电子病历中 readily available 的数据中发现出血事件。Lee等16开发了一种自然语言处理工具来发现接受氯吡格雷治疗的患者中的出血事件,其灵敏度与我们的结果相似。他们的工作纳入了具有出血计费代码的患者,导致训练集和测试集中的出血患病率为85%,而我们纳入了出血患病率更低的更真实人群。
局限性
自然语言处理在医疗保健中的应用具有挑战性;记录经常不合语法,且格式往往不一致。歧义很常见:例如,MS可以指二尖瓣狭窄或多发性硬化。使用基于规则的方法,自然语言只有一部分复杂性可以被一小套规则所捕获。例如,我们没有纳入识别出血部位(如胃肠道出血或鼻出血)的规则。
本研究中机器学习模型表现不佳的主要原因是训练集较小。机器学习的一个固有挑战是它依赖于大量训练样本来学习有用的模式。从头创建训练数据既耗时又昂贵,尤其是在医疗环境中,通常需要临床专业知识才能产生高质量数据。基于规则的系统仍然主导着临床自然语言处理(NLP)领域,17 且具有合理的性能。18 尽管如此,深度学习领域的最新进展可能应对这些挑战,并为医疗相关NLP的未来工作提供有前景的方向。19,20
我们选择开发一种工具来识别单份临床记录中的出血,而非在整个就诊过程或患者生命周期中识别。我们选择记录级分类,是因为该方法可以近实时实施,因为临床记录的签署和关闭比就诊更及时。近实时实施也是NLP相对于结构化计费代码的另一优势。每个独特患者的所有记录并未全部出现在数据集中,因此无法进行NLP与ICD-9出血代码之间的比较。然而,在一项事后分析中,我们将测试集限制为NLP识别出血的患者(n = 146)。在这些患者中,仅有54.1%具有313个可能ICD-9出血代码中的1个,这与基于ICD-9的方法敏感性较低相一致。
该算法是使用单一机构ICU的患者开发和测试的,需要在其他患者环境和其他机构中进行验证。MIMIC中不易获得种族/民族信息。此外,我们使用了二分类:出血存在或不存在。未来的工作可以将NLP与结构化数据(例如血红蛋白或输血)相结合,根据严重程度对出血进行分类。最后,这些数据代表真实世界患者,但来自单一机构。这些模型的代码可在线获取,欢迎读者对外部验证这些算法。
结论
治疗相关伤害,包括出血,是医疗保健中的一个严重问题。随着侵入性治疗和技术的发展,医疗系统和临床医生需要知道谁从这些干预中获益、谁受到伤害。NLP方法可用于识别出血并发症(即谁受到伤害),且该算法可应用于数千或数百万患者,而无需增加另一个电子健康记录(EHR)复选框或问题列表。该方法将使数据驱动的比较安全性分析成为可能,以确定适合患者的正确治疗。
参考来源
- Taggart M, Chapman WW, Steinberg BA, et al. Comparison of 2 Natural Language Processing Methods for Identification of Bleeding Among Critically Ill Patients. JAMA Netw Open. 2018. PMID: 30646240. doi:10.1001/jamanetworkopen.2018.3451
- 全文:PMC6324448(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6324448/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。