文献速递神经技术与安全CT

自动化审核放射学转诊单:自然语言处理与传统机器学习方法探索

Automated vetting of radiology referrals: exploring natural language processing and traditional machine learning approaches.
PubMed 文献 · Insights Imaging · 2022-08-04

该回顾性研究由两名专家依据xRefer平台对375份成人脑CT转诊单进行合理性审核,并用自然语言处理结合传统机器学习预测转诊合理性。结果显示BOW+CSW+SC+SVM模型在测试集上加权准确率92%、敏感度91%、特异度93%、AUC 0.948,提示传统机器学习可较准确预测脑CT转诊合理性。

要点

  • BOW+CSW+SC+SVM模型预测脑CT转诊合理性的AUC达0.948。
  • 审核中67.5%转诊合理,20.0%不合理,12.5%可能合理。
  • 两名标注者间一致性较强,κ=0.835。

核心结论

  • 传统机器学习模型可较准确预测非结构化脑CT转诊单的合理性,为临床科室自动化合理性分析提供潜力。

研究设计与样本

  • 回顾性研究,纳入爱尔兰一家三级转诊医院2019年全年375份成人脑CT转诊单。
  • 由一名神经放射学顾问和一名放射技师使用基于ESR/ACR标准的xRefer云平台独立审核转诊合理性。
  • 采用BOW和TF-IDF文本表示,结合自定义停用词与拼写纠正,使用逻辑回归、随机森林和SVM进行二分类预测。
  • 数据集按80/20随机分为训练集300份和测试集75份,计算加权准确率、敏感度、特异度和AUC。

诊断标准与关键数值

  • 合理性分级依据ACR评分系统:合理(7–9分)、可能合理(4–6分)、不合理(0–3分)。
  • BOW+CSW+SC+SVM模型在测试集上加权准确率92%、敏感度91%、特异度93%、AUC 0.948。
  • BOW+DSW+SVM模型AUC为0.942。
  • 两名标注者间一致性κ=0.835。

临床应用与阅片要点

  • 模型可利用转诊单中的临床指征文本预测脑CT合理性,辅助减少不必要辐射暴露。
  • 拼写纠正算法受限于编辑距离≤2,可能错误纠正医学术语(如将prostate cancer纠正为prostate sancerre),需人工复核。
  • 包含「fall」「headstrike」等同时出现于合理与不合理转诊中的术语可能降低模型性能,阅片时需结合完整临床背景判断。

局限性

  • CDS与非CDS转诊组样本量差异显著,CDS审核获益未充分证明。
  • 数据来自单一临床中心,模型泛化能力尚不明确。
  • 数据集较小且类别不平衡,将「可能合理」归为「不合理」处理。
  • 模型未纳入患者性别、年龄、紧急程度和既往影像信息。
  • 超参数未优化,结果可能未反映真实预测能力。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Aug 4;13:127. doi: 10.1186/s13244-022-01267-8

要点

• 无正当理由的CT扫描暴露会增加 stochastic 效应的终生辐射风险。

• 除了预算需求外,审计放射学转诊的正当性耗时费力。

• CDS确保审计一致性,并减少人类专家之间的差异。

• 机器学习算法利用放射学转诊的临床指征部分进行分类。

• 机器学习算法能够准确预测脑部CT转诊的正当性。

背景

计算机断层扫描(CT)检查与相对较高的辐射剂量相关,因此,患者一生中发生辐射诱发癌症的风险可能更高[1]。许多患者接受多次CT扫描;因此,其发生辐射诱发癌症的累积风险显著更高[2]。自2009年以来,爱尔兰进行的CT检查数量几乎翻了一番[3]。英国也出现了类似趋势,2012年[4]至2019年[5]间CT扫描频率增加了约74%,而美国在2006–2016年期间增长了20%[6]。CT频率增加带来了额外的人群剂量负担,因为CT是最大的剂量贡献来源[7]。来自北爱尔兰[8]、瑞典[9]和卢森堡[10]的国家审计分别报告了6%、19%和39%的不正当CT检查。此外,欧洲各地的个别地方审计表明正当性实践不佳,不正当CT检查率在7%至30%之间[11–14]。为改善欧盟CT检查的正当性,欧盟委员会最近资助了一个为期3年的项目,以协调CT检查正当性审计,并制定审计CT转诊正当性的通用方法[15]。避免不必要的电离辐射暴露是降低癌症风险的主要循证干预措施[1, 2]。放射学转诊中包含的信息在正当性判断过程中被手动使用,以评估其是否符合临床影像指南,这些指南旨在通过放射学资源的循证建议改善患者照护。临床决策支持(CDS)系统尚未在放射学中普遍使用,而电子放射学转诊的非结构化形式需要进行预处理。

自然语言处理(NLP)是指一套用于准备文本数据并将其转换为适合后续机器学习的结构化形式的技术[16, 17]。在NLP和机器学习研究中,通常将自然文本表示为词频-逆文档频率(TF-IDF)模型,或词袋(BOW)模型,其中特征值对应于文档中的词频。BOW模型将每个文本文档转换为一个n维向量,其中n是唯一词项的数量或词汇表大小,向量值为这些词项的出现次数或词频(TF)。通常使用逆文档频率(IDF)项来校正常见词的计数,两者的组合TF-IDF是表示文本语料库中词语重要性的合理模型[18]。机器学习是自动检测数据中潜在模式的过程。在预测性数据分析中,构建分类模型,在回顾性收集的数据上识别一组描述性特征与目标特征之间的关系。当真实标签已知时,模型属于监督机器学习类别[19]。尽管传统机器学习(ML)技术常被深度学习方法超越,但它们在较小的文本数据集上确实提供了高性能,在实时临床决策支持(CDS)方面具有巨大潜力[20–22]。放射学NLP领域的既往研究主要集中于放射学报告[16, 17, 23, 24]。目前似乎缺乏关于放射学NLP在转诊实践中的应用研究;因此,本研究旨在通过将基于NLP的模型应用于全国最常见的CT转诊——脑部CT[25]——来探索CDS在放射学中的潜力,以根据审核结果预测检查申请的合理性。对于放射学转诊中非结构化临床文本的最佳文本预处理流程尚不清楚。我们开发了针对非结构化脑部CT转诊的不同文本预处理流程。随后,评估了机器学习方法在根据审核结果对来自单一三级转诊医院的CT转诊进行分类方面的表现。

方法

本回顾性研究经过了当地数据保护影响评估,并免于完整伦理审查。该研究获得了伦理豁免(REERN:LS E-21-82-Potocnik-Stowe)。所有匿名化数据均被加密,并以逗号分隔值格式存储在大学云存储中。数据科学任务使用Python(版本3.7.11)完成。

数据收集

本研究纳入了爱尔兰都柏林一家三级转诊医院在一个日历年度(2019年)内获取的所有成人脑部CT检查。从放射学信息系统(Carestream Vue,Rochester,NY,USA)中提取了匿名化转诊单。这些包括门诊、住院和急诊转诊,各类别转诊数量不同。对于每份转诊单,记录了患者性别、患者年龄、扫描优先级和非结构化临床指征。该临床中心的转诊单为手写,因此被手动转录至加密的Excel电子表格中,未对非结构化文本的语法结构进行任何改动。

数据标注

该数据集由一名顾问神经放射科医师(10年经验)和一名放射技师(5年经验)进行人工检查并独立标注。两名标注者均使用xRefer(xWave,都柏林,爱尔兰),这是一种基于云的临床决策支持(CDS)工具,用于结构化转诊(版本1.12.1-uat)[26],该工具基于欧洲放射学会[27]与美国放射学会(ACR)[28]合作制定的影像学转诊标准,用于审核转诊的合理性。鉴于患者基线特征,xRefer针对所选结构化临床指征输出与成像方式和检查类型相关的合理性评分。按照ACR评分系统,每次转诊可归入以下三类之一:合理(评分:7–9)、可能合理(评分:4–6)和不合理(评分:0–3)。使用xRefer进行半自动审核的这一过程包括四个步骤。首先,79例(17.4%)转诊因临床信息不充分而被剔除。如果由于表述简短或解释差异过大而无法从非结构化临床文本中提取结构化临床指征,则信息被视为不充分。为获得每次转诊的合理性评分,患者的性别和年龄也被纳入。其次,在人工解读非结构化临床文本并识别出一个或多个结构化临床指征后,通过平台的搜索引擎在其数据库中查找所识别的结构化指征。确认所关注的结构化指征以生成合理性评分。第三,如果在xRefer数据库中未找到所识别的结构化指征,或所选结构化指征的CDS评分不可用,则此类转诊根据顾问的意见进行标注。当单次转诊中识别出两个或以上结构化指征时,仅将评分最高的指征纳入合理性判断考虑。如适用,提出一种替代的、更合适的成像方法。最后,使用xRefer的CDS系统获得的标注差异由两名标注者分别处理,并通过共识做出最终标注决定。审核流程总结于图1。标注后的转诊根据信息充分性和xRefer CDS可用性分为五类:(1)所有转诊,(2)信息充分的转诊,(3)信息充分且有CDS评分的转诊,(4)信息充分但无CDS评分的转诊,(5)信息充分但无匹配结构化指征的转诊。对每组计算Cohen's kappa(κ)以确定评估者间一致性。

图1 脑CT转诊的半自动审核流程 查看原图 ↗

分类任务

考虑到欧洲各国国家审计中对转诊的分类[8–10],以及非结构化书写和非代表性多类数据集的性质,合理性存疑的转诊被视为不合理。新数据集作为二分类的实验数据集。

文本预处理

每次转诊中的非结构化临床指征代表特征,因为它们包含了对检查合理性论证贡献最大的信息。文本使用Python的自然语言工具包(NLTK,版本3.6.5)库进行预处理。所有句子均转换为小写,并使用NLTK WordTokenizer进行分词。应用包含NLTK停用词和标点符号的默认停用词列表来过滤冗余词元。此外,通过人工检查每份转诊单和带计数的词元列表来识别自定义停用词。为减少噪声,文档频率等于1的单元词被忽略。拼写错误的词元使用Pyspellchecker(版本0.6.2)结合自定义医学词典进行纠正,该词典包含在我们词汇表中识别出的442个临床术语。罕见临床术语被其同义词之一替换。特征分别使用Scikit-learn库中的CountVectorizer表示为词袋(BoW)模型,使用TfidfVectorizer表示为TF-IDF模型。

模型评估

用于二分类的实验数据集被随机划分(80/20)为训练集和测试集。训练集包含300份(占整个数据集的80%)转诊单,用于以默认超参数设置和平衡类别权重训练预测模型,以惩罚少数类的误分类错误。测试集包含75份(占整个数据集的20%)转诊单,用于展示分类器在新的、先前未见过的转诊单上的性能。对每个分类器计算加权准确率得分、灵敏度、特异度和曲线下面积(AUC)。使用Scikit-learn(sklearn,版本1.0.1)评估不同文本预处理技术与分类器的组合。

结果

合理性审计

表1展示了kappa评分,以及与信息充分性和xRefer的CDS可用性相关的各组转诊单数量。归属于CDS的转诊单与无CDS的转诊单之间的评分者间一致性存在显著差异(p < 0.01)。

总共253次(67.5%)检查被认为合理,75次(20.0%)不合理,47次(12.5%)可能合理。总共96次(25.6%)CT扫描本可由磁共振成像(MRI)替代。头晕、晕厥/昏倒、视力改变、慢性头痛、癌症患者头痛、颌面部头痛、硬膜下出血、耳鸣和痴呆的症状可能提示需要进行MRI检查。所有肿瘤科转诊(6次)均不恰当,因为它们要求进行脑部CT扫描以用于非小细胞肺癌(NSCLC)或前列腺癌治疗后周期分期的目的。iGuide影像指南建议,仅在MRI禁忌且存在神经系统症状的情况下,NSCLC分期时脑部CT才是合理的;然而,转诊者未提供此类信息。前列腺癌诊断和分期缺乏CDS评分,意味着此类申请由顾问医师意见决定,该意见与iGuide关于NSCLC影像学的建议一致。5名(1.3%)患者需要进行面部骨骼CT扫描,而非脑部CT扫描:4名患者遭受面部创伤,但不伴有脑内和/或颅内并发症的怀疑。1名患者在腰椎减压术后出现脑脊液漏症状,CT脑池造影更为合适。另1名声带麻痹12周的患者,根据iGuide,应进行脑部和颈部CT而非脑部CT。375次CT检查中有3次(0.8%)本可由超声(US)替代。出现恶心和/或呕吐且无已知头部损伤的患者应首先接受腹部US扫描。在合理性存疑的转诊申请中所标注的所有指征,除视力改变外,均提示需要进行头部MRI。视力改变的症状提示眼眶MRI是首选检查。

表1 转诊分组及两名人类专家之间的相关评分者间一致性 查看原表 ↗

机器学习算法

表2显示了在二分类数据集上分类器结合不同文本预处理流程的性能。词袋(BOW)表示与支持向量机(SVM)的组合优于其余模型。表现最佳的模型为BOW + DSW + SVM和BOW + CSW + SC + SVM,其AUC分别高达0.942和0.948。

表2 测试集上的二分类器评估指标 查看原表 ↗

讨论

基于Kappa评分,与不使用CDS审核放射学转诊相比,我们使用xRefer审核放射学转诊合理性的方法在两名标注者之间显示出更好的一致性和更少的差异,无论临床专业知识和知识水平的差距如何。由于预测模型的性能在很大程度上取决于标注质量,审核结果表明xRefer可用于对CT转诊进行回顾性、半自动化、基于证据的合理性分析,尽管该平台主要创建用于结构化转诊。

不合理检查的比例(20.0%)和合理性存疑的比例(12.5%)表明,临床影像指南尚未在临床实践中得到充分采纳和实施。若干因素,如对临床影像指南缺乏认识、时间、患者压力,以及医疗保健私有化和优先考虑经济收益[29],可能影响合理性判断决策。这与我们的发现相一致,例如两份不合理转诊单上注明的临床指征为“检查”和“头晕/左耳鸣”。

定期进行合理性审核对于确保更好地实施临床影像指南、避免患者接受不必要的辐射剂量、限制资源的浪费性使用以及改善患者照护是必要的。回顾性审核成本高、耗时且往往不可行。在本研究中,开发了一种iGuide解释器,用于对脑部CT转诊单上注明的临床指征进行自动化合理性分析。该自然语言处理(NLP)模型可以自动预测脑部CT转诊的合理性,从而为自动化临床文本分析提供了潜力,可用作临床决策支持(CDS)工具,协助转诊医生和执业医师在回顾性和实时情况下判断脑部CT转诊的合理性。这将允许更频繁、无成本的合理性审核,并在临床实践中更好地实施影像转诊指南以确保适当的合理性判断。据我们所知,这是第一项评估机器学习(ML)方法预测放射科转诊合理性判断的研究。类似的工作已将NLP和ML方法应用于CT报告结论部分,以自动预测接受肝细胞癌监测患者的下游放射科资源利用情况[21]。该研究表明,即使进行最少的文本预处理,线性模型也能达到92.2%的准确率。相比之下,我们的研究涉及CT转诊单和更多的数据预处理,这可能会或可能不会改善分类器性能。我们的线性模型在最少数据预处理下达到了92.8%的加权准确率,在引入自定义停用词和使用Pyspellchecker进行拼写纠正后为92.2%,但第二个模型具有更高的灵敏度和AUC。有三个重要的数据预处理要素影响分类器性能:数据表示——作为一个类别,词袋(BOW)模型往往优于TF-IDF模型。我们注意到,与不合理转诊相关的术语也出现在合理转诊中,反之亦然(表3)。在某些情况下,合理和不合理的术语同时出现在同一份转诊单中。所有这些都中和了TF-IDF方法的效果。

分类器可能认为临床无关术语对CT转诊分类很重要,而当这些术语被忽略时,分类器的性能可能会下降。这也对机器学习伦理提出了挑战,即是否应纳入临床无关术语以达到更好的准确率。

拼写纠正 我们使用 Pyspellchecker 对拼写错误的临床术语进行了纠正。该拼写检查算法使用 Levenshtein 距离,编辑距离限制为二;因此,如果需要超过两次置换才能纠正,该算法无法纠正拼写错误的术语。在某些情况下,拼写错误的术语被错误纠正,因此该算法的输出要么因产生噪声而被忽略,要么被接受为虚假术语。例如,一份转诊单写着:“prostate cancer-re staging”,而算法将该句纠正为“prostate sancerre staging”。另一方面,拼写错误的“eposide”被替换为“epoxide”而不是“episode”。我们注意到有些情况下算法未做出任何纠正,因为真实单词被拼写错误,但考虑到上下文,其在语法上仍然正确:“head ache”本应合并为单个单词“headache”。

实施自定义停用词列表和拼写检查算法可能会提高分类器性能。在我们的训练集中,43.5%的转诊是不合理的。我们的测试集包含45份合理转诊和30份不合理转诊。这属于轻度不平衡。支持向量机(SVM)模型往往对类别不平衡较不敏感,因为它们试图定义一个在高维空间中分隔属于每个类别样本的超平面,从而与其他力求最小化错误率的模型相比实现更高的准确率[30]。

就错误预测而言,词袋模型(BOW)+ CSW + SC + SVM 做出了两个假阳性和四个假阴性预测。对假阳性的分析显示,某些术语,如“fall”和“headstrike”,降低了模型性能,因为它们与两个类别均相关,且更常见于阳性类别。当转诊者提供临床指征时,需要包含理由。相当常见的情况是,理由不恰当或缺失。例如:跌倒,头部撞击,服用阿司匹林。

头颅CT——跌倒头部撞击,使用NOAC。

跌倒伴头部撞击——左前额瘀伤。

前两份转诊背后的理由支持进行脑部CT扫描,因为由于抗凝治疗,高度怀疑脑内出血。相反,仅前额瘀伤不足以支持跌倒后进行脑部CT扫描;然而,第三份转诊被错误分类为假阳性。

就假阴性而言,CT转诊包含与两个类别均相关的术语,但更频繁地出现在不合理转诊中。持续性头痛。

从楼梯跌倒 头部损伤 头痛。

持续性头痛超过12/12。头痛倾向于从后颈部放射。?头痛病因。鉴别诊断(DDX)包括紧张型头痛,但发作性视物模糊和共济失调的病史使诊断更加困难。

第一份转诊读起来像是慢性头痛,且没有任何进一步的理由,因此被视为不合理。第二份转诊引起了对与创伤性脑损伤相关的创伤后头痛的担忧[28],这支持进行脑部CT扫描。第三份转诊被错误分类为假阴性,其包含局灶性神经系统症状并伴有慢性头痛;因此,有指征进行CT成像。

我们的研究存在一定局限性。第一,CDS 在使用 xRefer 审核 CT 转诊合理性方面的获益未得到充分证明,因为 CDS 转诊组与非 CDS 转诊组的样本量差异显著。第二,我们的数据来源于单一临床中心;因此,尚不能过早假设基于 NLP 的模型能够推广到未见数据集。第三,由于我们的数据集较小且类别不平衡,合理性存疑的转诊被视为不合理。尽管这是可接受的 [8–10],但理想情况下 iGuide 解释器应按照 iGuide 分类将转诊分为三种可能类别之一。第四,训练后的模型未考虑患者性别、年龄、紧急程度和既往影像检查。最后,由于超参数未经过优化,本研究结果可能无法反映真实的预测能力。尽管如此,无论数据集存在哪些局限性,这些模型仍达到了较高准确率。

表 3 与合理转诊和不合理转诊相关术语的文档频率 查看原表 ↗

结论

不必要的 CT 扫描暴露是一个全球性问题,会增加随机效应的终生辐射风险、资源浪费和 CT 等待名单。我们基于 NLP 的模型能够准确预测脑部 CT 转诊的合理性,因此为这一耗时且往往成本高昂的流程提供了自动化潜力。需要更多 NLP 研究来处理其他类型 CT 扫描和不同影像模态的合理性分析,以探索自动化合理性分析在临床科室中的潜力。

引用

  1. Potočnik, Thomas, Killeen, et al. Automated vetting of radiology referrals: exploring natural language processing and traditional machine learning approaches. Insights Imaging. 2022. PMID: 35925429. doi:10.1186/s13244-022-01267-8
  2. 全文:PMC9352827(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9352827/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。