机器学习和自然语言处理用于以地理位置为中心的阿片类药物相关社交媒体 chatter 监测与特征分析
这项横断面、基于人群的研究于2017年12月1日至2019年8月31日开展,使用2012年1月1日至2015年10月31日公开的、地理定位在宾夕法尼亚州的推特帖子,提取提及处方和非法阿片类药物的帖子(含街头名称和拼写错误)。共手动标注9006条帖子,分为滥用/误用、信息分享、无关和非英语四类,训练并评估多种机器学习算法。最佳集成分类器的微平均F1为0.726(95%CI 0.708-0.743)。滥用指示帖年率与县级阿片过量死亡率(n=75)显著相关(Pearson r=0.451,P<.001;Spearman r=0.331,P=.004),并与4项NSDUH指标呈一致高相关但部分未达统计学显著。作者认为,基于监督机器学习的社交媒体方法可能适用于以地理位置为中心的美国阿片危机近实时监测。
要点
- 共标注9006条阿片相关推特,其中滥用/误用1748条(19.4%)、信息分享2001条(22.2%)、无关4830条(53.6%)、非英语427条(4.7%)。
- 最佳分类策略为4个分类器的简单多数投票集成,微平均F1为0.726(95%CI 0.708-0.743),与人工一致性相当。
- 滥用指示帖年率与县级阿片过量死亡率(n=75)显著相关:Pearson r=0.451(P<.001),Spearman r=0.331(P=.004)。
- 仅纳入死亡数≥50例的县时Pearson r升至0.54,≥100例时升至0.67。
- 滥用指示帖率与4项NSDUH指标(n=13)呈一致高相关,但因样本量小部分未达统计学显著。
适用人群与场景
- 地理定位在宾夕法尼亚州的公开推特帖子,时间范围为2012年1月1日至2015年10月31日。
- 研究为横断面、基于人群的设计,数据收集与分析时间为2017年12月1日至2019年8月31日。
诊断标准与关键阈值
- 帖子分类为4类:自我报告的滥用或误用(A)、信息分享(I)、无关(U)、非英语(E)。
- 使用56种非法和处方阿片类药物的表达,共213个关键词或短语(含拼写变体)提取帖子。
- 排除4个关键词(dope、tar、skunk、smack)及其拼写变体,因其在超过80%的推文中出现且几乎均指非阿片内容。
研究设计与关键结果
- 研究为横断面、基于人群的研究,标注9006条帖子(训练6304条、验证900条、测试1802条),两名标注者间一致性κ=0.75(中等)。
- 支持向量机F1=0.700(95%CI 0.681-0.718)与随机森林F1=0.701(95%CI 0.683-0.718)性能相似;深度卷积神经网络F1=0.720(95%CI 0.699-0.735)优于所有传统分类器。
- 简单多数投票集成(Ensemble_1)获得最佳微平均F1=0.726(95%CI 0.708-0.743)。
- 最佳系统的主要错误为将帖子误分类为无关类(U):在原标签为A的183个错误分类中占145个(79.2%),在原标签为I的181个错误分类中占122个(67.4%),在原标签为N的4个错误分类中占4个(100%)。
- 滥用指示帖年率与县级阿片过量死亡率(n=75)显著相关:Pearson r=0.451(P<.001),Spearman r=0.331(P=.004)。
- 仅纳入死亡数≥50例的县时Pearson r=0.54;≥100例时Pearson r=0.67。
- 与NSDUH指标(n=13)的相关:非医疗处方阿片使用Pearson r=0.683(P=.01)、Spearman r=0.346(P=.25);非法药物使用Pearson r=0.850(P<.001)、Spearman r=0.341(P=.25);非法药物依赖Pearson r=0.937(P<.001)、Spearman r=0.495(P=.09);非法药物依赖或滥用Pearson r=0.935(P<.001)、Spearman r=0.401(P=.17),因样本量小未能确立统计学显著性。
证据类型、等级与局限
- 证据类型:横断面、基于人群的研究。
- 局限:研究仅纳入源自宾夕法尼亚州的社交媒体帖子,机器学习在不同地理位置可能因内容差异而性能下降,除非添加额外训练数据;社交媒体 chatter 不断演变,用特定时期和地理位置数据训练的系统在其他时期可能表现不佳。
- 局限:研究中的标注者间一致性为中等,为机器学习分类器性能提供了相对较低的上限。
- 局限:获得的 correlation 不一定表明滥用相关社交媒体帖子与过量死亡率/调查响应之间存在更高层级的关联。
对床旁实践的改变
- 作者认为,基于监督机器学习的社交媒体方法可能适用于以地理位置为中心的美国阿片危机近实时监测。
- 作者指出,当前监测策略存在显著时间滞后,而社交媒体大数据或可提供近实时洞察。
- 作者认为,与纯关键词或无监督模型不同,本方法似乎能稳健处理社交媒体 chatter 量的波动。
- 作者指出,推特分类在人口更多、用户数更多的县或地理位置可能更可靠。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译11 节 · 点击展开
引言
药物成瘾和过量用药问题在美国已达到流行病的程度,并且主要由阿片类药物驱动,包括处方药和非法药物。1据估计,2017年美国发生了超过72 000例与过量用药相关的死亡,其中超过47 000例(约68%)涉及阿片类药物,2这意味着平均每天有超过130人死于阿片类药物过量,其中约46例死亡与处方阿片类药物相关。3根据美国疾病控制与预防中心的数据,阿片类药物危机对一些美国州的打击比其他州更为严重,西弗吉尼亚州、俄亥俄州和宾夕法尼亚州2017年的死亡率超过每10万人40例,且死亡率逐年呈统计学显著上升。4研究表明,各州之间阿片类药物过量相关死亡的差异是多因素的,但可能与州级关于阿片类药物处方实践的政策和法律差异以及人群层面对阿片类药物使用风险和益处的认识或教育差异有关。5尽管地理差异现已明确,但监测这场危机的策略严重不足。6,7当前的监测策略存在巨大的时间滞后,这意味着近期政策变化、努力和实施的成效8,9,10无法接近实时地评估。Kolodny和Frieden11讨论了当前监测策略的一些缺陷,并提出了扭转阿片类药物流行的10项联邦层面措施,其中改进监测或监控被列为最高优先事项。
近年来,社交媒体已成为开展公共卫生监测的宝贵资源,12,13,14,15包括用于药物滥用监测。16,17,18社交媒体的使用率处于历史最高水平19并持续增长。因此,社交媒体言论富含健康相关信息,如果加以适当挖掘,可能提供前所未有的洞察。研究表明,提及阿片类药物和其他易滥用物质的社交媒体帖子包含可检测的滥用或误用信号,20,21,22一些用户公开分享此类信息,而这些信息他们可能不会与医生分享或通过任何其他方式分享。13,17,23,24人工分析确立了社交媒体用于药物滥用研究的潜力,但需要自动化的、以数据为中心的处理流程才能充分发挥社交媒体的研究潜力。然而,从自然语言处理和机器学习的角度来看,社交媒体数据的特征对自动处理提出了诸多挑战,包括拼写错误、口语化表达、数据不平衡和噪声的存在。一些研究通过提出基于规则的分类、22监督分类17和无监督方法5等方法,实现了该任务的社交媒体自动化挖掘。比较阿片类药物相关言论及其与阿片类药物危机关联的研究本质上属于无监督研究,它们要么未过滤掉与个人滥用无关的信息,5要么未定量评估其过滤策略的性能。21然而,这些及类似研究已确立了社交媒体数据对毒物监测的重要性,并为接近实时利用社交媒体信息的端到端自动化流程奠定了基础。
在这项横断面研究中,我们开发并评估了基于自然语言处理和机器学习的构建模块,用于构建一个基于社交媒体的自动化毒物监测流程。所提出的方法依赖于监督式机器学习来自动表征与阿片类药物相关的言论,并将数据处理流程的输出与来自Twitter的时间和地理空间信息相结合,以分析特定时间和地点的阿片类药物危机。我们认为这种基于监督学习的模型比无监督方法更为稳健,因为它不依赖于整体言论的数量,而该数量会因各种因素(如媒体报道)而随时间波动。这项以宾夕法尼亚州为重点的研究表明,Twitter上与个人阿片类药物滥用相关的言论率反映了来自美国疾病控制与预防中心WONDER数据库的阿片类药物过量死亡数据以及来自全国药物使用与健康调查(NSDUH)的4项指标在3年期间的情况。
方法
数据收集、精炼与标注
这项横断面研究于2017年12月1日至2019年8月31日进行。宾夕法尼亚大学机构审查委员会认定该研究免于审查,因为所使用的所有数据均为公开可用数据。因此无需知情同意。本研究遵循加强流行病学观察性研究报告(STROBE)报告指南。
作为一项更广泛项目的一部分,通过公共流式API(应用程序编程接口)收集了2012年1月1日至2015年10月31日期间Twitter上公开可用的社交媒体帖子。25该API提供对约1%数据的代表性随机样本的近实时访问。26来自宾夕法尼亚州的社交媒体帖子(推文)通过地理定位检测流程进行识别,如Schwartz等27所述。为仅纳入与阿片类药物相关的帖子,我们的研究团队在医学毒理学家(J.P.)的领导下确定了关键词,包括代表处方类和非法类阿片类药物的街头名称(相关的明确街头名称选自美国缉毒局网站28)。由于据报道社交媒体帖子包含大量拼写错误,29且药物名称经常被拼错,我们对所选关键词使用了自动拼写变体生成器。30我们观察到,当将这些拼写错误与原始关键词组合时,某些关键词的检索率有所增加(示例见补充材料eFigure 1)。
我们希望在进行人工标注阶段之前排除信噪比低的噪声术语。我们人工分析了约16 000条社交媒体帖子的随机样本以识别此类噪声术语。我们发现4个关键词(dope、tar、skunk和smack)及其拼写变体出现在超过80%的推文中(补充材料eFigure 2)。由我们中的一人(A.S.)和标注者进行的人工审查表明,这些关键词检索到的几乎所有社交媒体帖子都涉及非阿片类药物内容。例如,术语dope在社交媒体中通常用于表示某事物很好(例如,“that song is dope”)。我们删除了所有提及这些关键词的帖子,将数据集从超过350 000条减少至约131 000条,降幅超过50%。
我们采用扎根理论方法制定了标注指南。31 首先,我们将推文按主题分组,然后归入广泛的类别。我们选择了四个标注类别或类:自我报告的滥用或误用(A)、信息共享(I)、无关(U)和非英语(E)。通过对较小的550条帖子集进行迭代标注,用于制定指南并提高标注者之间的一致性。对于最终标注集,分歧由第三名标注者解决。关于标注的更多细节可见于试点出版物32和补充材料中的eTable 1。
机器学习模型与分类
我们使用已标注的帖子来训练和评估几种监督学习算法,并比较它们的性能。我们实验了6种分类器:朴素贝叶斯、决策树、k近邻、随机森林、支持向量机和深度卷积神经网络。在训练或评估之前,推文通过转换为小写进行预处理。对于6种分类器中的前5种(即传统分类器),我们使用Porter词干提取器33作为预处理步骤对词项进行词干提取。作为传统分类器的特征,我们使用了词n元语法(连续的词序列)以及2个额外的工程化特征(词聚类和滥用指示词项的存在及计数),我们发现这些特征在我们相关的过去工作中是有用的。17 第六种分类器是深度卷积神经网络,由3层组成,并使用词的稠密向量表示,通常称为词嵌入,34 这些表示是从一个大型社交媒体数据集中学习得到的。35 由于我们使用的词嵌入是从社交媒体中与毒品相关的闲聊中学习得到的,它们捕获了毒品相关关键词的语义表示。
我们将已标注的帖子随机分为3组:训练集、验证集和测试集。对于传统分类器的参数优化,我们合并训练集和验证集,并通过使用10折交叉验证来确定最优参数值(补充材料中的eTable 2)。对于深度卷积神经网络,我们在训练时使用验证集来寻找最优参数值,因为对神经网络进行10折交叉验证以优化参数耗时且因此不可行。每个分类器在训练集上取得的最佳性能见补充材料中的eTable 3。为解决类别之间的数据不平衡问题,我们通过使用SMOTE(合成少数类过采样技术36)对多数类(U)进行随机欠采样并对相关的较小类别(A和I)进行过采样,来评估每个单独分类器。
此外,我们使用集成策略来组合各分类器的分类结果。第一种集成方法基于多数投票;由分类器子集中出现最频繁的分类标签被选为最终分类。在票数相同的情况下,使用表现最佳的单分类器的分类结果。对于第二种集成方法,我们尝试提高2个非多数类(A和I)的召回率,这两个类别代表内容丰富的帖子。对于该系统中变体,如果任何帖子被至少2个分类器分类为A或I,则该帖子被标记为相应类别。否则,应用多数规则。
我们对数据集中所有未标记的帖子使用了性能最佳的分类策略。我们的目标是研究涉滥用和涉信息的社交媒体 chatter 随时间和地理位置的分布,因为过去的研究表明此类分析可能揭示有意义的趋势。5,21,37
统计分析
我们使用精确率、召回率以及微平均 F1 或准确率分数比较了分类器的性能。指标计算公式如下,其中 tp 表示真阳性;fn 表示假阴性;fp 表示假阳性:
为计算微平均 F1 分数,在计算精确率和召回率之前,先对所有类别的 tp、fp 和 fn 值求和。形式上,其中 F 是计算该指标的函数,c 是一个标签,M 是所有标签的集合。对于此类多分类问题,微平均 F1 分数与准确率相等。我们使用 bootstrap 重采样技术38(1000 次重采样)计算了 F1 分数的 95% CI。
对于地理空间分析,我们将宾夕法尼亚州提示滥用的社交媒体帖子率与同期 2 个参考数据集的相关指标进行了比较:WONDER 数据库39 和 NSDUH。40 我们从 WONDER 获得了县级年度阿片类药物过量死亡率,并从 NSDUH 获得了 4 项相关次州级指标的百分比(过去一个月非法药物使用[不含大麻]、过去一年非医疗使用止痛药、过去一年非法药物依赖或滥用,以及过去一年非法药物依赖)。所收集的所有数据均为 2012 年至 2015 年。对于 NSDUH 指标,获取了 3 年年度均值的百分比值。我们研究了已知指标与自动检测到的提示滥用的推文率之间可能的相关性(Pearson 和 Spearman),然后使用地理空间热图和散点图进行可视化比较。
对于 Pearson 和 Spearman 相关分析,我们使用了 Python 库 SciPy 1.3.1 版。双侧 P < .05 被解释为具有统计学显著性。
结果
我们使用 56 个非法和处方阿片类药物表达进行数据收集,共包含 213 个关键词或短语,包括拼写变体(补充材料中的 eTable 4)。注释最终得到 9006 条社交媒体帖子(6304 条[70.0%]用于训练,900 条[10.0%]用于验证,1802 条[20.0%]用于测试)。2 名注释者之间有 550 条重叠帖子,注释者间一致性为中等,κ = 0.75(Cohen κ41)。在 9006 条帖子中,4830 条(53.6%)与阿片类药物无关,427 条(4.7%)不是英语语言,涉滥用(1748 条[19.4%])和涉信息(2001 条[22.2%])帖子的比例相近(补充材料中的 eTable 5)。
为了实时捕捉帖子分布的自然变化,我们在划分训练集或测试集时并未按类别对数据集进行分层。因此,测试集中提示滥用的帖子比例(17.7%)略低于训练集(19.8%)。提及处方类(2257条[25.1%])和非法阿片类(7038条[78.1%])的帖子分布存在统计学显著差异,比例约为3:1。处方阿片类帖文中A类和I类推文的比例明显更高(A类:24.7% vs 18.0%;I类:30.4% vs 20.9%),而非法阿片类帖子中U类推文的比例(55.1% vs 44.5%)明显更高(各类别帖子分布见补充材料e表5)。
模型性能
表1展示了分类算法的性能,包括召回率、精确率、微平均F1分数及95%置信区间(CI)。在传统分类器中,支持向量机(F1分数=0.700;95% CI,0.681-0.718)和随机森林(F1分数=0.701;95% CI,0.683-0.718)表现相似,F1分数优于其他分类器。深度卷积神经网络优于所有传统分类器(F1分数=0.720;95% CI,0.699-0.735)。重采样实验未改善各单独分类器的性能。表1中所示的两组集成分类策略均优于单独分类器,其中4个分类器的简单多数投票集成(Ensemble_1)产生了最佳的微平均F1分数(0.726;95% CI,0.708-0.743)。分类器对U类和N类的性能较高,对A类的性能较低。
性能最佳系统(Ensemble_1)最常见的错误是将帖子错误分类为U类,占原始标记为A类的帖子183次错误分类中的145次(79.2%),占标记为I类的帖子181次错误分类中的122次(67.4%),以及标记为N类的帖子全部4次错误分类(100%)(补充材料e表7)。
时间与地理空间分析
图1显示了A类和I类帖子的月度频率及比例分布。两类帖子的频率均随时间增加,鉴于研究3年间Twitter日活跃用户数量的增长以及对阿片类药物危机认识的提高,这一结果并不令人意外。认识水平的提高或许也反映在信息相关推文的增长趋势中。然而,尽管滥用相关 chatter 的数量增加,其在所有阿片类相关 chatter 中的总体比例却随时间下降,从约0.055降至约0.042。随着对阿片类药物危机认识的提高,来自社交媒体的阿片类药物滥用真实信号很可能隐藏在其他类型的大量信息之中。
图2显示了2组县级热图的相似性,分别对应人口调整后的过量相关死亡率与提示滥用的帖子率,并附有一张散点图,说明这两个变量之间的正相关关系。我们发现,在3年间(n = 75),县级过量死亡率与提示滥用的社交媒体帖子之间存在统计学显著相关(Pearson r = 0.451,P < .001;Spearman r = 0.331,P = .004)。相比之下,Graves等5的开拓性研究——或许是与我们的研究最相似的研究——报告了某一特定阿片类相关社交媒体主题与县级过量死亡率之间的最高Pearson相关系数(在50个主题中)为0.331。此外,我们发现,当提高纳入县的最低死亡数阈值时,Pearson相关系数随之增大。若仅纳入死亡数至少为50的县,Pearson相关系数增至0.54;若为100例死亡,相关系数增至0.67。
图3显示了同一3年期间提示滥用的社交媒体帖子与4项NSDUH指标的次州级热图,以及这两组变量的散点图。所有计算得到的相关性及其显著性汇总于表2(次州级信息见补充材料中的e表6)。表2显示,在同一3年期间(n = 13),提示滥用的社交媒体帖子率与NSDUH调查指标之间始终呈高相关:非医疗处方阿片类药物使用(Pearson r = 0.683,P = .01;Spearman r = 0.346,P = .25)、非法药物使用(Pearson r = 0.850,P < .001;Spearman r = 0.341,P = .25)、非法药物依赖(Pearson r = 0.937,P < .001;Spearman r = 0.495,P = .09)以及非法药物依赖或滥用(Pearson r = 0.935,P < .001;Spearman r = 0.401,P = .17)。然而,由于样本量较小,我们无法确立统计学显著性。
讨论
阿片类药物误用或滥用及成瘾是美国最具后果且可预防的公共卫生威胁之一。42 社交媒体大数据,加之数据科学的进步,为近实时监测该问题提供了独特机会。20,37,43,44,45 由于通用社交媒体数据中存在不同程度的噪声,我们认为阿片类药物毒物监测需要满足的首要条件是开发能够自动收集和整理数据的智能、以数据为中心的系统,这是本横断面研究所解决的需求。我们探索了基于关键词的数据收集方法,并通过实证评估提出了用于自动分类Twitter上社交媒体言论的监督机器学习方法。达到的最佳F1分数为0.726,与人工一致性相当。
近期研究探讨了社交媒体数据与其他来源之间的潜在相关性,如过量死亡 rates5 和NSDUH调查指标。21 当前工作与过去研究的主要区别在于,我们通过纳入拼写变体采用了更全面的数据收集策略,并且我们将监督机器学习用作预处理步骤。与纯基于关键词或无监督的模型不同,5,46,47 我们使用的方法在处理不同数量的社交媒体言论方面似乎具有稳健性,这在使用社交媒体数据进行监测和预测时很重要,因为数据量可能与电影或新闻文章等因素相关,如Figure 1所示。Figure 2和Figure 3中的热图显示,在人口更多的宾夕法尼亚州县(例如Philadelphia和Allegheny),滥用相关言论的率要高得多,这可能与社交媒体用户群偏向大城市有关。用于调整或标准化大城市数据的更先进方法可能进一步改善相关性。
我们还发现,当仅纳入死亡率较高的县时,相关系数往往增加。这一发现表明,基于Twitter的分类对于人口较多、因此用户数量较多的县或地理位置可能更可靠。如果这一论断成立,近年来社交媒体的日益普及,特别是Twitter,可能有助于所提出的方法。社交媒体帖子率与NSDUH指标之间的相关性始终很高,但由于样本量较小,无法确定统计学显著性。
我们在本研究中提出的模型能够自动整理社交媒体中与阿片类药物误用相关的言论,尽管帖子数量随时间波动。所提出方法的输出与其他来源的相关指标相关,因此可用于获得对阿片类药物危机的近实时洞察,或用于执行与阿片类药物误用或滥用相关的其他分析。
分类错误分析
如前所述,表现最佳的分类器(Ensemble_1)最常犯的错误是将社交媒体帖子误分类为类别U,而误分类为其他3个类别的频率则低得多(补充材料中的eTable 7)。我们审查了其他分类器的混淆矩阵,发现了类似的趋势。由于类别U是多数类别,且优势明显,它是分类器倾向于将缺乏足够上下文的帖子归入的类别。某些帖子长度较短以及存在拼写错误或罕见非标准表达,增加了分类器解读上下文线索的难度,这是分类错误的主要原因。
帖子中缺乏上下文也阻碍了人工标注,使得分类依赖于标注者的主观评估。尽管标注者之间的最终一致性水平高于初始迭代时的水平,但仍有改进空间。我们之前的工作表明,为基于社交媒体的研究准备详尽的标注指南和精细的标注策略,有助于获得相对较高的标注者一致性水平,并最终改善系统性能。48,49 我们计划在未来的研究中解决这一问题。
影响分类器在类别A和类别I上性能的另一个因素是数据不平衡;这些类别的标注实例数量相对较少,使得算法难以最优地学习。重采样实验与性能改善无关,这与过去研究的发现一致。49,50 标注更多数据可能会改善这些类别的性能。鉴于最近有几项研究从Twitter获取了关于阿片类药物使用或滥用的知识,在远程监督框架中整合所有可用数据可能是有价值的。51 我们还将探索使用句子级上下文嵌入,其已被证明优于过去的文本分类方法。52
在未来的研究中,我们计划将这项工作扩展到其他类别的药物和处方药物,如兴奋剂和苯二氮䓬类药物。结合机器学习和可用的元数据,我们将基于之前的工作,估计药物消费和滥用随时间及跨地理位置的模式,并分析队列级数据。53
局限性
这项横断面研究存在若干局限性。首先,我们纳入的是源自宾夕法尼亚州的社交媒体帖子。机器学习相对于基于规则的方法的优势在于可移植性,但不同地理位置的社交媒体 chatter 内容可能不同,除非添加额外的训练数据,否则可能会降低机器学习性能。社交媒体 chatter 也始终在演变,新表达不断出现。因此,用特定时期和地理位置的数据训练的系统在其他时期可能无法达到最佳性能。使用基于稠密向量的文本表示可能解决这一问题,因为新兴术语的语义表示可以从大型未标注数据集中学习,而无需人工标注。
其次,本研究中中等程度的标注者间一致性为机器学习分类器的性能提供了一个相对较低的上限。更详细的标注指南和策略可能通过使标注过程更加客观来缓解这一问题。此外,我们获得的相关性并不一定表明滥用相关社交媒体帖子与过量死亡率和/或调查回复之间存在任何更高层次的关联。
结论
来自Twitter等社交媒体的大数据为近实时开展阿片类药物危机的局部监测提供了机会。在这项横断面研究中,我们通过提出采用自然语言处理和机器学习的数据收集与分类策略,呈现了此类基于社交媒体的监测的基本构建模块。
参考来源
- Sarker A, Gonzalez-Hernandez G, Ruan Y, et al. Machine Learning and Natural Language Processing for Geolocation-Centric Monitoring and Characterization of Opioid-Related Social Media Chatter. JAMA Netw Open. 2019. PMID: 31693125. doi:10.1001/jamanetworkopen.2019.14672
- 全文:PMC6865282(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6865282/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。