文献速递神经技术与安全CTMR

利用影像报告自然语言处理分析COVID-19疫情期间卒中检出情况

Analysis of Stroke Detection during the COVID-19 Pandemic Using Natural Language Processing of Radiology Reports.
PubMed 文献 · AJNR Am J Neuroradiol · 2020-12-17

本研究回顾性分析一家综合卒中中心2017至2020年每年3月1日至4月30日的32,555份脑CT和MRI报告,涉及20,414例患者,训练随机森林自然语言处理分类器识别急性或亚急性缺血性卒中。分类器交叉验证准确率0.97、F1分数0.74,估计2020年3至4月急性或亚急性缺血性卒中患者数较2017-2019年同期平均值下降24%;卒中相关申请指征患者中检出急性或亚急性缺血性卒中的比例从2017-2019年的16%升至2020年的21%(P=0.01)。

要点

  • 自然语言处理分类器可自动追踪影像报告中的急性或亚急性缺血性卒中,交叉验证准确率0.97、F1分数0.74。
  • 2020年3至4月CT或MRI报告的急性或亚急性缺血性卒中患者数较2017-2019年同期平均值估计下降24%。
  • 卒中相关申请指征患者中检出急性或亚急性缺血性卒中的比例从2017-2019年16%升至2020年21%(P=0.01)。

核心结论

  • COVID-19疫情期间神经影像检出的急性或亚急性缺血性卒中病例减少,但为卒中而申请检查的研究中急性或亚急性缺血性卒中阳性比例更高。
  • 自然语言处理方法有助于自动追踪急性或亚急性缺血性卒中数量以用于流行病学研究,但因放射科医生报告风格差异,本地分类器训练很重要。

研究设计与样本

  • 回顾性分析一家综合卒中中心2017至2020年每年3月1日至4月30日的32,555份脑CT和MRI报告,涉及20,414例独特患者。
  • 使用1987份随机抽样并人工标注的影像报告训练随机森林自然语言处理分类器,以检测自由文本报告中的急性或亚急性缺血性卒中。
  • 使用外部数据集的1974份影像报告评估自然语言处理分类器的泛化能力。

诊断标准与关键数值

  • 自然语言处理分类器5折交叉验证分类准确率为0.97,F1分数为0.74,交叉验证中对急性或亚急性缺血性卒中的实际数量略有低估(-5%)。
  • 按年份分层的交叉验证性能相似。
  • 应用分类器于完整研究队列,2020年3至4月CT或MRI报告的急性或亚急性缺血性卒中患者数较2017-2019年同期平均值估计下降24%。
  • 卒中相关申请指征患者中,接受神经影像检查并检出急性或亚急性缺血性卒中的估计比例从2017-2019年的16%显著增至2020年的21%(P=0.01)。
  • 自然语言处理分类器在外部数据上表现更差。

临床应用与阅片要点

  • 自然语言处理分类器可用于自动追踪影像报告中的急性或亚急性缺血性卒中数量,服务于流行病学研究。
  • 因放射科医生报告风格差异,本地分类器训练对自然语言处理应用很重要。

局限性

  • 自然语言处理分类器在外部数据上表现更差。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

英文原文(摘要)· 点击展开

BACKGROUND AND PURPOSE: The coronavirus disease 2019 (COVID-19) pandemic has led to decreases in neuroimaging volume. Our aim was to quantify the change in acute or subacute ischemic strokes detected on CT or MR imaging during the pandemic using natural language processing of radiology reports.

MATERIALS AND METHODS: We retrospectively analyzed 32,555 radiology reports from brain CTs and MRIs from a comprehensive stroke center, performed from March 1 to April 30 each year from 2017 to 2020, involving 20,414 unique patients. To detect acute or subacute ischemic stroke in free-text reports, we trained a random forest natural language processing classifier using 1987 randomly sampled radiology reports with manual annotation. Natural language processing classifier generalizability was evaluated using 1974 imaging reports from an external dataset.

RESULTS: The natural language processing classifier achieved a 5-fold cross-validation classification accuracy of 0.97 and an F1 score of 0.74, with a slight underestimation (-5%) of actual numbers of acute or subacute ischemic strokes in cross-validation. Importantly, cross-validation performance stratified by year was similar. Applying the classifier to the complete study cohort, we found an estimated 24% decrease in patients with acute or subacute ischemic strokes reported on CT or MR imaging from March to April 2020 compared with the average from those months in 2017-2019. Among patients with stroke-related order indications, the estimated proportion who underwent neuroimaging with acute or subacute ischemic stroke detection significantly increased from 16% during 2017-2019 to 21% in 2020 (P = .01). The natural language processing classifier performed worse on external data.

CONCLUSIONS: Acute or subacute ischemic stroke cases detected by neuroimaging decreased during the COVID-19 pandemic, though a higher proportion of studies ordered for stroke were positive for acute or subacute ischemic strokes. Natural language processing approaches can help automatically track acute or subacute ischemic stroke numbers for epidemiologic studies, though local classifier training is important due to radiologist reporting style differences.

来源:AJNR Am J Neuroradiol,查看原文。版权归原作者所有。

引用

  1. Li MD, Lang M, Deng F, et al. Analysis of Stroke Detection during the COVID-19 Pandemic Using Natural Language Processing of Radiology Reports. AJNR Am J Neuroradiol. 2020. PMID: 33334851. doi:10.3174/ajnr.A6961

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。