文献速递骨肌技术与安全DR

自然语言处理分析放射学报告探究COVID-19疫情对骨折发生率与年龄分布的影响

Natural language processing of radiology reports to investigate the effects of the COVID-19 pandemic on the incidence and age distribution of fractures.
PubMed 文献 · Skeletal Radiol · 2021-04-13

该回顾性单中心对照研究利用预训练商业NLP引擎自动分析2015-2020年3月18日至4月30日期间5397份手/腕、肘、肩、踝、膝、骨盆/髋关节X线报告,将报告分为「骨折确认」与「骨折未确认」。结果显示2020年骨折总数较2015-2019年均值显著下降(233 vs 295,p<0.001),儿童青少年及65岁以下成人骨折显著减少,而65岁以上老年人骨折数无显著变化。

要点

  • NLP引擎自动分类骨折报告的F1分数为0.81,与人工标注一致性较高。
  • 2020年骨折总数较前5年均值显著下降,以手/腕和肘部骨折减少为主。
  • 65岁以上老年人骨折数及检查数在疫情期间无显著变化。

核心结论

  • NLP可自动识别骨折报告数量的时间变化,2020年总体骨折、儿童青少年及65岁以下成人骨折显著减少,老年人骨折数不变。

研究设计与样本

  • 回顾性单中心对照研究,纳入2015-2020年每年3月18日至4月30日共5397份门诊X线报告(手/腕、肘、肩、踝、膝、骨盆/髋),排除住院患者。
  • 使用预训练商业NLP引擎(Empolis HAS)自动分类报告为「骨折确认」或「骨折未确认」,并与两名医学生人工标注(分歧由委员会认证放射科医师裁决)比较,计算F1分数和Cohen kappa。

诊断标准与关键数值

  • NLP引擎检测「骨折确认」的总体F1分数为0.81;2019年F1为0.82,2020年F1为0.79。
  • 两名标注者间Cohen kappa系数2019年为0.909,2020年为0.854。
  • 2020年骨折总数233例,2015-2019年均值294.8例(p<0.001);2020年检查总数651例,2015-2019年均值949.2例(p<0.001)。
  • 儿童青少年(<18岁)骨折减少p<0.001,18-65岁成人骨折减少p=0.006,>65岁老年人骨折变化p=0.15。
  • 手/腕骨折减少p<0.001,肘部骨折减少p<0.001;踝和膝检查数显著减少但骨折数无差异。

临床应用与阅片要点

  • NLP可用于自动监测放射学报告中骨折等病变数量的时间趋势,辅助实时流行病学监测和根因分析。
  • 阅片时注意疫情等公共卫生事件可能改变骨折的就诊分布,儿童及青壮年骨折报告量可能下降,而老年人骨折量相对稳定。

局限性

  • NLP引擎内容识别不完美,F1分数0.81,通过更多训练和人工输入可能进一步提高。
  • 仅分析确认骨折,未分析疑似或否定骨折的报告,此类报告解读更困难。
  • 部分报告可能为术后或保守治疗随访,但每年分析方式相同,该偏倚可能可忽略。
  • 回顾性单中心设计,结果外推需谨慎。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Skeletal Radiol. 2021 Apr 13;51(2):375–80. doi: 10.1007/s00256-021-03760-5

背景

COVID-19大流行导致卫生保健系统发生了深刻变化。在中国,COVID-19大流行期间骨科和创伤服务的择期及急诊手术均有所减少[1]。在欧洲,骨科和创伤外科诊所在COVID-19大流行的最初几周也受到影响,住院人数减少,因而收入减少[2]。对于放射科而言,这将导致骨科和创伤影像检查显著减少。在巴黎和伦敦,COVID-19大流行封锁期间手部和上肢急诊数量下降[3, 4]。大流行期间骨折的绝对数量并未改变[3]。住院人数减少是否与骨折减少相关尚不清楚。分析X线检查的绝对数量很简单,因为信息可从放射信息系统(RIS)中检索。然而,要将这些放射学检查进行分类,例如分为“骨折”与“无骨折”,必须由医学专家对自由文本报告进行人工评估。自然语言处理(NLP)是一种基于计算机的自由文本分析方法[5]。NLP能够将非结构化临床信息结构化,例如大多数放射学自由文本报告中可用的信息[6, 7]。诸如RadLex等医学本体通过使用具有各种同义词或相关术语的概念,促进非结构化信息的分类[8]。基于NLP的算法在从放射学报告中自动识别假体周围股骨骨折和骨质疏松相关骨骼部位特异性骨折方面显示出良好前景[9, 10]。与放射学报告的人工标注相比,NLP能够更高效地自动标注数据。

本研究的目的是使用NLP自动分析COVID-19大流行期间及大流行前5年骨折的数量和分布。本研究旨在基于X线放射学自由文本报告,探讨COVID-19大流行对三级医疗中心不同类型骨折的影响。

方法

根据州医院法,这项回顾性、单中心、对照研究无需机构审查委员会的专业法律意见或患者的知情同意。所有自由文本报告均已完全去标识化。

放射学报告

我们回顾性检索了2015年至2020年每年3月18日至4月30日期间手/腕、肘、肩、踝、膝和骨盆/髋部X线摄影的所有放射学自由文本报告。我们选择这一时间段是因为德国全国宵禁于3月18日生效并于4月30日放宽。我们将2015年至2019年的5年期间定义为对照组。我们在放射信息系统(RIS)中查询了所有从骨科和创伤科门诊以及儿科门诊(包括急诊室环境)转诊的门诊患者。住院患者被排除在本研究之外,因为我们意图避免在分析中纳入接受手术治疗的损伤患者的随访检查。我们总共分析了5397份放射学自由文本报告。为进行分析,我们根据患者年龄将报告分为三组(< 18岁、18–65岁和> 65岁)。2015–2019年患者的平均年龄为39.81岁(标准差25.62岁),2020年为47.97岁(标准差25.41岁)。2015–2019年,男女比例为1.12(男:2506;女:2240),而2020年为1.09(男:339;女:312)。所有报告均以德语书写。

自然语言处理

我们使用预训练的商业可用自然语言处理(NLP)引擎对X线摄影的放射学报告进行自动分类。使用Empolis Healthcare Analytics Services(HAS;Empolis Information Management GmbH)分析匿名化报告。HAS将NLP流水线投入运行。该流水线包括不同步骤,如清洗、语境化、使用RadLex进行概念识别和否定检测[7]。

HAS使用神经语言模型和在超过100,000份放射学报告(德语)上通过NLP库spaCy [11]预训练的词嵌入。对于否定检测,使用了基于NegEx [12]和spaCy [11]的深度学习方法,该方法在超过2000份人工标注报告上进行了预训练。

NLP模型的微调在既往研究中被证明是有用的[7]。为尽量减少进一步的人工标注工作并严格将训练数据与测试数据分离,Empolis的医学生对2018年随机选择的215份报告进行了人工检查以查找骨折的同义词,并人工标注了否定信息。在本研究中,结果接受了骨折(RID4650)的二元标注:1表示“骨折确认”,0表示“骨折未确认”。我们未对报告进行分析以查找疑似或否定的骨折。

为衡量NLP引擎的性能,两名医学生将2019年和2020年所有放射学自由文本报告人工分类为“骨折确认”或“骨折未确认”。标注者仅需计入骨折被确定确认的“骨折确认”病例。推荐进一步检查(CT、MRI)的报告未被计入。对于共识判读,由一名委员会认证的放射科医师审查标注者1和标注者2结果不一致的病例。将这些人工标注结果与NLP引擎自动生成的结果进行比较。

统计分析

为衡量NLP引擎的性能,我们使用F1分数作为系统性能的总体指标[13]。Cohen kappa系数[κ]用于衡量标注者1和标注者2之间的评估者间一致性。

我们分别分析了2015-2020年的自由文本报告。我们将2015-2019年与2020年的平均骨折数以及平均X线摄影数进行了比较。此外,我们分析了在疫情期间确诊骨折患者的年龄或骨折部位与前5年相比是否有所不同。分析使用R进行[14]。假设泊松分布用于监测2015-2019年5年中每一年的固定时间间隔内的事件数λ_i(检查数和骨折数)(n = 5),我们使用最大似然估计量λ ® = 1/n ∑(i = 1)^n λ_i来估计泊松分布的基础参数。保守地,随后使用λ ®(= λ ®_low)的渐近95%置信区间下限来计算p值,以观察2020年发生的事件数是否等于或少于该值。

结果

表1展示了自然语言处理(NLP)引擎对概念“骨折确诊”(RID4650)的性能,总体F1评分为0.81。标注者1与标注者2之间的评分者间一致性(Cohen kappa系数[κ])在2019年为0.909,在2020年为0.854,表明几乎完全一致[15]。与共识判读相比,NLP引擎的F1评分在2019年为0.82,在2020年为0.79。

图1展示了本研究中分析的确认骨折的放射学报告数量以及放射学报告总数。2015-2019年的平均骨折数为294.8(949.2次检查),而2020年骨折数为233(651次检查)。与2015-2019年的平均值相比,2020年进行的检查数显著减少(p < 0.001),报告的骨折数也显著减少(p < 0.001)。

2020年,与前5年平均水平相比,儿童和青少年以及65岁以下的成人在显著减少的检查次数中呈现出显著减少的骨折数(表2)。然而,与往年相比,65岁以上患者的检查数和骨折数在COVID-19疫情期间均未发生变化。

与2015-2019年的平均值相比,2020年腕部/手部骨折和肘部骨折的数量显著降低(表3)。2020年踝部和膝部的检查数显著降低,而踝部和膝部骨折数在2015-2019年平均值与2020年之间无差异。

表1 NLP引擎在骨折检测中的性能 查看原表 ↗
图1 2015-2020年含骨折的报告数量及放射学报告总数 查看原图 ↗
表2 2015-2019年不同年龄组的平均检查数和骨折数(n)及2020年的检查数和骨折数 查看原表 ↗
表3 2015-2019年六个研究解剖区域的平均检查数和骨折数(n)及2020年的检查数和骨折数 查看原表 ↗

讨论

在本研究中,我们展示了自然语言处理(NLP)在分析放射学报告以识别病理数量随时间变化的相关变化方面的能力。超过5000份报告被自动分类为骨折或无骨折。因此,我们能够研究COVID-19大流行与前5年相比对骨折发生率的影响。我们能够证明,COVID-19大流行导致骨折总体显著减少,尤其是在儿童和青少年以及65岁以下的成人中。据我们所知,我们是首次使用NLP来分析病理频率的时间波动。

关于骨折,我们的研究结果与先前研究COVID-19大流行对上肢、下肢或骨盆骨折影响的研究一致[2, 3]。与往年相比,总体而言,德国骨科和创伤外科诊所的住院入院人数有所减少[2, 4, 16–20]。在巴黎,与2019年相比,COVID-19暴发期间报告的手部和上肢关节损伤及骨折的就诊次数减少[3]。在伦敦,与2019年相比,2020年上肢和下肢损伤的转诊有所下降,而髋部损伤的数量在COVID-19大流行期间没有变化[4]。这与我们的研究结果一致。在比较骨盆/髋部骨折数量时,我们没有发现2015–2019年平均值与2020年之间存在差异。在中国,COVID-19大流行期间大多数骨折发生在家中且为老年患者[16]。这些患者因低能量创伤而发生骨折,通常在家中或养老院,因此在全国宵禁期间也是如此。

在伦敦,与2019年相比,2020年COVID-19大流行期间急性儿科创伤转诊数量显著下降[17]。我们的结果显示,2020年18岁以下患者的放射学检查数量和骨折数量显著下降,而65岁以上患者的骨折数量保持不变。与COVID大流行前的患者相比,COVID-19大流行期间的髋部骨折患者合并症更多且活动更少[18]。

与先前研究[4, 19, 20]相比,我们没有发现COVID-19大流行期间踝部骨折数量下降。尽管如此,我们能够显示踝部X线和膝关节X线的数量显著减少。

NLP此前已被用于检测放射学报告或电子健康记录中提及的骨折[9, 21, 22]。我们的研究分析了超过5000份涉及不同身体部位和所有年龄段的放射学报告。本研究中使用的NLP引擎达到了0.81的F1分数,略低于先前研究报告的略高于0.9的分数[21]。与先前研究相比,我们纳入了所有年龄段患者和多个骨折部位(从手到踝)的报告[21]。分析多个关节和不同年龄组中骨折的存在可能更为困难,因为放射科医生在不同解剖区域和不同骨折类型中使用的词语和短语可能有所不同。此外,我们分析了相当大数量的放射学报告。

并非所有影像学报告都能被清晰归类,即使使用相对简单的分类如骨折确认:“是”或“否”。为定义金标准,一位委员会认证的放射科医生担任第三审阅者,检查标注者1和标注者2结果不一致的病例(Cohen's kappa > 0.85)。这些结果用于衡量NLP性能。

本研究存在若干局限性。首先,本工作中使用的预训练商用NLP引擎的内容识别并不完美。通过更多训练和更多人工输入,可能进一步提高F1分数。目前,我们正在改进NLP识别并实施定期自动评估。

我们使用NLP引擎对5379份报告逐一分类。通过这种方式,我们避免了由多名标注者分析报告时可能出现的系统性误差。即使单一标注者也可能在不同日子对报告做出不同解读。其次,我们仅检索确认的骨折。我们未分析报告中的疑似或否定骨折。在这些情况下,解读要困难得多,因为在特定的影像学报告中,不同解剖部位可能同时存在确认和排除的骨折。最后但同样重要的是,部分影像学报告描述了术后或保守治疗期间的骨折。因此,一定数量的报告可能为随访研究。由于我们每年以相同方式分析,这种偏倚似乎可以忽略不计。

在本研究中,我们能够证明NLP有能力自动识别病理发生率的 relevant 变化。作为一个用例,我们展示了其在COVID-19大流行之前和期间影像学报告中骨折检测的潜力。这种方法可以轻松迁移至其他病理和其他检查,以收集流行病学信息。此外,我们的方法还可用于实时自动可视化病理发生率的时间波动,或可触发根因分析。

引用

  1. Jungmann F, Kämpgen B, Hahn F, et al. Natural language processing of radiology reports to investigate the effects of the COVID-19 pandemic on the incidence and age distribution of fractures. Skeletal Radiol. 2021. PMID: 33851252. doi:10.1007/s00256-021-03760-5
  2. 全文:PMC8043440(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8043440/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。