机器学习和深度学习用于脑CT转诊合理性分类
该研究回顾性收集爱尔兰三个CT中心2020至2021年成人脑CT转诊单,由两名放射技师和两名放射科顾问医师依据iGuide进行合理性标注,并训练机器学习与深度学习模型对非结构化临床指征进行多分类。最佳模型为基于词袋的梯度提升分类器,测试集准确率94.4%、宏F1为0.94,优于深度学习模型及人类专家的一致性。
要点
- 基于词袋的梯度提升分类器测试集准确率94.4%、宏F1为0.94,为最佳模型。
- 放射技师间一致性κ=0.268,低于放射科顾问医师的κ=0.460。
- 深度学习模型Bi-LSTM准确率92.3%、宏F1为0.92,优于多层感知机。
核心结论
- 解释非结构化临床指征具有挑战性,需要临床决策支持,机器学习和深度学习可在多中心间泛化并优于人类专家,可作为基于人工智能的iGuide解释器用于回顾性审核放射转诊。
研究设计与样本
- 回顾性收集爱尔兰三个CT中心(两个私立、一个公立)2020年和2021年成人脑CT转诊单,初始收集11090份,排除42份后分析2958份。
- 两名放射技师(经验6年和8年)依据iGuide分析3000份随机抽取的转诊单,两名放射科顾问医师(经验11年和15年)分析技师意见不一致的转诊单。
- 将欠采样后的数据集按4:1随机分层分为训练集和测试集,使用词袋、TF-IDF和Word2vec进行特征提取,训练支持向量机、逻辑回归、梯度提升、多层感知机和双向长短期记忆网络进行三分类。
诊断标准与关键数值
- 最终合理性标注由多数投票决定,平局或无临床证据时通过共识确定。
- 1909份(64.5%)转诊为合理,811份(27.4%)为可能合理,238份(8.1%)为不合理。
- 最佳机器学习模型为基于词袋的梯度提升分类器,测试集准确率94.4%、宏F1为0.94。
- 双向长短期记忆网络测试集准确率92.3%、宏F1为0.92;多层感知机准确率90%、宏F1在0.90至0.91之间。
- 基于TF-IDF的支持向量机测试集准确率93.7%、宏F1为0.94。
临床应用与阅片要点
- 机器学习与深度学习可自动化依据iGuide分类的转诊合理性分析,并跨多个临床中心泛化。
- 在测试集中,放射技师对69份(48.3%)转诊存在分歧,而最佳分类器仅做出8份(5.6%)错误预测。
- 作者认为机器学习和深度学习可作为人工智能iGuide解释器用于回顾性审核放射转诊,并可能用于前瞻性审核。
- 医疗供应商和临床机构应考虑开发和利用人工智能系统来论证医疗照射的合理性。
局限性
- 数据集因欠采样而规模受限,Word2vec和深度学习模型更易过拟合。
- 研究将少数类欠采样至238份不合理转诊,其余两类随机欠采样至与少数类匹配。
- 数据集缺乏转诊来源信息,无法进行上下文比较。
- 临床中心对相关转诊申请通用脑CT,具体扫描方案由放射团队审核临床信息后决定,因此无法针对特定类型脑CT训练单独预测模型。
- 作者指出研究本可从更大、均衡的真实数据集中受益,以展示深度学习和迁移学习的优势。
全文中译7 节 · 点击展开
引言
诊断成像在当前医疗保健中起着关键作用,能够对各种疾病进行快速准确的诊断、治疗和监测。然而,成像的过度使用司空见惯,导致更多成像的下游级联效应、更高的医疗费用、患者辐射暴露增加以及潜在伤害[1, 2]。全球诊断成像量,特别是计算机断层扫描(CT)和磁共振成像(MRI),已显著增加,导致不合理、低价值检查的比例上升[3–7]。此外,美国食品药品监督管理局估计,美国20–50%的CT扫描是不必要的[8]。这引发了担忧,因为尽管CT仅占所有操作的不到10%,却贡献了成像检查集体有效剂量的60%以上[9]。
目前,解决CT过度使用的可用方法包括引入诊断成像路径、提供替代成像、专科医生参与、成像后审计以及反馈——将每位转诊者的开单频率与科室平均值进行比较[10]。多种障碍削弱了临床成像指南对低价值扫描频率的影响。这些障碍包括经济原因、设备可用性、对指南不熟悉、工作场所文化、害怕“漏掉什么”、自我转诊、患者期望,以及最值得注意的是实施效率低下[11–13]。
定期回顾性合理性审计[14]可以解决指南依从性问题并监测质量改进的影响。然而,许多机构发现由于时间、人员和预算的限制,难以进行定期回顾性审计。一种更可靠的实时合理性评估流程和用于在临床常规中实施指南的临床决策支持(CDS)[15]是可取的。
两项研究通过对非结构化临床指征应用自然语言处理(NLP)、机器学习(ML)和深度学习(DL)技术进行二分类——合理或不合理——证明了放射科转诊自动化合理性分析的可行性。在第一项研究[16]中,研究人员使用iGuide对375例脑部CT转诊进行了手动回顾性合理性审计,并因数据集限制将不合理和可能合理的转诊合并。第二项研究[17]涉及来自两个临床站点的1020例腰椎MRI转诊的合理性分析,其中数据基于临床经验进行标注。
考虑到诊断成像利用率的上升趋势和不适当CT成像的持续问题,以及既往研究的局限性,我们研究的一个重要方面是开发基于人工智能(AI)的iGuide(Quality and Safety in Imaging GmbH,奥地利维也纳)解释器,基于真实世界数据,以实现在放射学实践中高效实施合理性标准。我们旨在确定其在多个临床站点对全国最常见的CT扫描——脑部CT[18]——的泛化能力,并将人类专家与预测模型进行比较。
方法
本研究获得我们机构研究伦理委员会的伦理豁免(REERN: LS-E-21-216-Potocnik-Foley)。每个参与临床中心均进行了数据保护影响评估,并使本研究免于完整的伦理审查。匿名化、加密的数据以Excel格式存储于大学云存储中。使用Python(版本3.8.16)执行数据科学任务。
数据来源与标注
三家三级转诊医院(两家私立、一家公立)提供了2020年和2021年对成年患者进行的所有脑CT扫描的匿名转诊单。电子提取的转诊单包括患者性别、年龄和非结构化临床指征等信息。
每个临床中心的转诊单被随机打乱并分为多组,每组约1000份转诊单。随后从每个中心随机选取一组。排除重复转诊单以及无临床指征的不合格转诊单。两名放射技师(分别有6年和8年经验)分析了所选转诊单的合理性。随后,由两名顾问放射科医师(分别有11年和15年经验)对两名放射技师意见不一致的转诊单进行分析。每个临床中心在数据集中所占比例相等。标注者在人工判定转诊单合理性时使用iGuide临床影像指南辅助决策。具体而言,一个基于云的结构化转诊平台xWave CDS [19]使人工识别的特定临床指征能够无缝获取iGuide建议。利用xWave CDS(xRefer)的审核流程在我们之前的研究中已有描述 [16]。每份转诊单的最终合理性标签由多数投票决定,在票数相同或缺乏临床证据的情况下通过共识达成。
对于被判定为不合理或可能合理的转诊单,基于iGuide提出了替代影像学方法。计算放射技师和顾问医师之间的评估者间一致性,以确定在解读非结构化临床指征方面是否存在显著差异。
数据预处理与学习
非结构化临床指征使用自然语言工具包平台的词分词器进行分词。随后对词元进行规范化处理,除“#”以外的特殊字符均被忽略。下一步使用Enchant算法结合自定义医学词典进行拼写检查,该词典由我们数据集中出现的医学术语组成。拼写检查输出中的任何错误均映射至正确术语。除否定词外,英语停用词和非临床停用词也被过滤。常见缩写被展开为完整拼写。我们的数据清洗旨在开发一个能够处理质量参差不齐的真实世界临床文本的自然语言处理器。选择此方法而非创建“理想实验室数据”,后者可能对原始数据质量产生负面影响,并在医疗器械法规背景下带来法律挑战 [20]。最后,我们使用Scikit-learn库中的词袋(BoW)和词频-逆文档频率(TF-IDF)向量化器对自由文本进行向量化。此外,使用预训练的临床Word2vec模型 [21],通过对每份转诊单中出现的词的词向量取平均值来生成句子级向量。
在文本预处理和特征提取之前,对多类别数据集按少数类进行随机欠采样。将欠采样后的数据集按4:1随机分层划分为训练集和测试集。在考虑最小文档频率为2至5以忽略低频词并提高模型有效性和效率的情况下,通过网格搜索结合10折交叉验证在训练集上对每个预测模型的超参数进行调优。纳入的机器学习算法包括支持向量机、逻辑回归和梯度提升集成。每种类型中训练准确率最高的模型在测试集上进行评估。使用Keras和Tensorflow库训练多层感知机(MLP)和双向长短期记忆(Bi-LSTM)网络。将表现最佳的分类器的输出与放射技师合理性分析的一致性进行比较(使用测试集)。
选择Bi-LSTM作为本研究中唯一的深度学习模型,是因为与卷积神经网络相比,其在自由文本放射学转诊分类方面表现优越且数据效率更高[17]。其嵌入层将每个词转换为128维向量。输入序列经过填充使输入长度为50。该模型包含一个具有100个LSTM单元的双向长短期记忆层。当训练集上的损失不再下降时训练过程停止——耐心值=2。训练轮数设为50。多层感知机模型有一个包含16个神经元的隐藏层。Bi-LSTM和MLP的输出层均包含三个神经元,采用softmax激活函数。MLP的单个隐藏层使用sigmoid或修正线性单元。每个MLP模型经过30轮手动优化。Bi-LSTM和MLP训练采用较小的批次大小16。Bi-LSTM和MLP模型使用Adam优化器和分类交叉熵进行编译。对每个分类器计算准确率以及每个标签的精确率和召回率的未加权调和平均值(F1)。数据分析方法总结于图1。单个实例通过我们的自然语言处理流程的预处理流程及相关输出如图2所示。
结果
回顾性合理性审计
最初收集了11,090份转诊:A站点2651份,B站点4351份,C站点4088份。由于42份转诊被排除,合理性分析纳入了2958份转诊。两名放射技师对946份(32.0%,κ=0.268)转诊存在分歧,随后由两名顾问进行分析。839份(88.7%)转诊基于多数投票进行标注。对于其余转诊(n=107,11.3%),达成了共识。在分析的946份转诊中,放射科医师对274份(29.0%,κ=0.460)存在分歧。
合理性比率的详细分解见图3。A站点为一家私立机构,其合理扫描比率最低(n = 448,45.0%),其次是B站点(n = 707,69.8%)和公立站点C(n = 754,79.4%)。总体而言,238例(8.1%)转诊不合理,其中A站点和B站点分别占140例(58.8%)和72例(30.3%)。811例(27.4%)转诊被认为可能合理,其中大多数(n = 641,79.0%)来自A站点和B站点。
在我们的数据集中发现的不适合进行CT成像的常见临床指征包括头晕/眩晕、无新发特征的持续性头痛、耳鸣和反复跌倒。可能适当的转诊包括偏头痛样症状、肿瘤相关指征、占位性病变、短暂意识丧失发作或晕厥/昏倒,以及缓慢进展的共济失调。临床表现符合卒中/短暂性脑缺血发作、头部损伤、头痛或创伤后硬膜下血肿、突发雷击样/“一生中最剧烈”头痛以及颅内/脑内出血的患者,有理由进行脑CT检查[22]。所确定的最常见替代成像方式为MRI,其本可替代157例(66.0%)不合理和450例(55.5%)可能合理的CT检查。对于8例(3.4%)查询恶心和/或呕吐来源但未提供任何超声相关发现信息的不合理转诊,腹部超声本应更为合适。总计只有3例转诊包含关于MRI可用性或禁忌证的信息。对于其余不合理和可能合理的转诊,MRI评分低于或等于CT,或者没有可用的iGuide建议。
机器学习和深度学习
少数类包括238例不合理转诊,因此对剩余两个类别进行随机欠采样以匹配少数类的规模。在测试集上评估了特征提取技术与多类分类器的不同组合。各分类器的性能指标见表1。梯度提升分类器结合词袋(BoW)嵌入取得了优越性能,准确率达94.4%,宏F1为0.94,预测结果可视化见图4。就测试集而言,放射技师在69例(48.3%)转诊上存在分歧,而最优分类器仅做出8例(5.6%)错误预测。样本中模糊和误分类的转诊示例见表2。
表现第二好的模型是基于TF-IDF的支持向量机,准确率达93.7%,宏F1评分相同。深度学习方法效果较差,Bi-LSTM准确率达92.3%,宏F1为0.92,性能高于MLP模型(无论采用何种文本预处理方法,准确率均为90%,宏F1在0.90至0.91之间)。
讨论
正当性论证是辐射防护的基石,在许多国家是法律强制要求的[4],但同样对于合理使用宝贵的医疗资源、同时优化患者诊断和治疗路径至关重要。当前证据,包括我们正当性审计的结果,表明不适当影像检查的比例相当高,需要进一步努力,尤其是CT,因为其对人群剂量的贡献很大。站点A和站点B是我们正当性分析中纳入的两家私立机构,与公立站点C相比,其正当扫描的比例较低。这引发了对审核流程的质疑,尤其是在站点A,并支持了以下说法:私立机构可能出于经济原因优先安排更多门诊扫描量,导致更多不正当影像检查[23]。总体而言,研究结果表明,我们基于机器学习和深度学习的方法可以自动化iGuide对CT转诊申请的正当性分析,并可泛化到多机构数据。预测模型使用非结构化临床指征作为输入,以正当性结果作为多分类的目标特征。更高效的方法,包括基于机器学习和深度学习的自然语言处理,可以帮助简化当前的手工、高度非结构化、成本高昂且最重要的是效率低下的转诊审核流程。此外,由于预测模型可以在数秒内分析数千份转诊申请,大规模回顾性审计对大多数利益相关方而言将变得可行。值得注意的是,我们研究中纳入的转诊申请涉及已经执行的CT扫描,并已由转诊临床医生和放射技师审核。机器学习和深度学习在审核转诊申请方面优于临床工作人员和人类专家,这一事实表明,在人工判读非结构化患者表现时,“第二双眼睛”可能是有益的。因此,利用自然语言处理和预测模型可以协助论证医学照射的正当性,以及判读非结构化临床指征。因此,实施回顾性以及潜在的前瞻性临床决策支持(CDS)将使转诊指南(如iGuide)更好地整合到临床实践中,确保不同临床站点之间的一致性。
放射学转诊申请的结构、风格和质量在转诊医生和机构之间差异显著[16, 24]。它们可能包含俚语、不常见的缩写、拼写错误,以及非常简短或过于详细的临床病史。表达疑虑或不确定性以及询问多种病理的表述也存在,使其含义模糊且难以判读。这种变异性在回顾性正当性审计中得到了体现,放射技师和顾问医生对所分析转诊申请中具有统计学显著性的部分存在分歧。表2中的模糊转诊申请说明了其复杂性和可能的判读方式。首先应考虑确定“collapse”对应的是伴或不伴短暂或完全意识丧失的晕厥/昏倒。此外,头痛与collapse的组合使判读更具挑战性。iGuide包含三个与患者表现一致的结构化指征:因collapse及随后头部外伤导致的头痛——正当。
偏头痛(基底型)——无推荐意见,可能合理。
意识水平改变且原因不明——合理。
同样,在第二例转诊中,尚不清楚CT扫描是因眩晕、晕厥前发作还是主观的面部感觉异常而申请的。临床病史表明该患者患有高血压和高脂血症,提示可能存在潜在卒中。有趣的是,在两例中,放射技师均持不同意见,会诊医师亦然。
数据集不平衡问题在分类任务中较为显著,因为它会降低分类性能[25]。有观点认为基于词袋(BoW)和TF-IDF的模型优于Word2Vec和深度学习(DL)方法。鉴于我们的数据集因欠采样而规模有限,我们的Word2Vec和DL模型更容易过拟合,但在测试集上仍达到了> 90%的准确率。隐藏层超过三层的多层感知机(MLP)在训练数据上出现了显著过拟合。在构建深层架构时,双向长短期记忆(Bi-LSTM)分类器也观察到了类似现象,表明我们的数据集存在固有局限性。最初,在由2958份转诊构成的不平衡数据集上开发模型时,需要解决对多数类的偏倚问题。初步欠采样至第二大类未能产生显著更好的结果。进一步欠采样至少数类有助于克服偏倚。尽管解决类别不平衡的一种合理方法是合成过采样,但在临床文本分类中,对于最佳、最有效和最具代表性的技术尚无一致意见。例如,有研究使用词替换技术生成合成放射科转诊单[17],但其缺乏语境且不够真实。该研究的作者报告,在将MRI腰椎转诊分类为合理或不合理时,训练和测试准确率接近100%,这在真实数据上难以实现。同样,合成少数类过采样技术(SMOTE)可通过在原始样本的文本特征与其随机k近邻之间进行插值来生成合成样本[26]。当各类别的特征分布重叠时,SMOTE往往效率较低,而如下文所述,在非结构化转诊实践中正是这种情况。还有其他几种合成过采样技术展示了有前景的结果,包括生成对抗网络[27]。然而,其在转诊情境中的可用性以及与真实数据的输出相似性仍需进一步研究。
基于词袋(BoW)的梯度提升分类器将三条有正当理由的转诊归类为无正当理由。在我们的欠采样数据集中,只有两条被认为有正当理由的转诊包含“复视”一词。这两条转诊被纳入测试集。此外,只有六条转诊包含“癫痫发作”一词,该词与所有三个类别均相关,使其区分度较低。其中四条被纳入训练集。这表明模型对第一条转诊随机分配了标签。其余两条转诊也观察到相同模式,它们具有模糊特征的组合,凸显了上下文预测的必要性。例如,跌倒造成的瘀伤通常不需要影像学检查。然而,如果患者正在接受抗凝治疗,考虑颅内出血的可能性是合理的。
预测模型将一条无正当理由的转诊归类为可能有正当理由。在我们的数据集中,“头痛”一词常被提示长期、偏头痛样特征的词语所包围,这些特征可能为CT成像提供正当理由。在这一特定病例中,未提供额外信息,导致人工评分者假定患者经历的是无新发特征的慢性头痛,这不值得进行影像学检查。
有一条无正当理由的转诊被归类为有正当理由。“血肿”一词在我们的数据集中与“脑”和“硬膜下”强相关,在几乎所有病例中均为CT成像提供正当理由。然而,由于词嵌入缺乏上下文,模型未能区分血肿的性质。“浅表”一词在我们的欠采样数据集中仅出现一次。
总体而言,我们的研究本会受益于更大、平衡的真实数据集,以展示深度学习和迁移学习的优势。理想情况下,模型调优应在验证集上进行,以防止过拟合并确保稳健性。尽管如此,所有分类器均表现出令人满意的总体准确率和强大的iGuide泛化能力。由于影像转诊通常仅包含患者临床信息的简要摘要,在不全面审查患者健康记录的情况下,很难理解医生的决策过程。由于我们的数据集缺乏转诊来源信息,进行上下文比较是不可行的。此处涉及的临床站点对相关转诊申请通用脑CT,具体扫描方案(即平扫、增强、血管造影等)由放射科团队在审查所提供的临床信息时执行,因此为特定类型的脑CT训练单独的预测模型是不可行的。
需要进一步开展工作,以更详细地探索迁移学习,并训练一个针对转诊语言的大型语言模型,以展示上下文嵌入的优越性。大规模预测模型训练将弥补目前存在的空白。未来的研究应考虑探究自然语言处理(NLP)在解读非结构化临床指征中的价值。这将增强人类放射科医生与人工智能之间的协作,前者贡献内容知识和找到接近最优解的能力,后者基于可用的训练样本提供知识。理想情况下,这些样本应数量众多且多样,以覆盖所有变异类型,目标是更好地增强而非取代人类专家[28]。在临床实施之前,解决实用原则至关重要,以克服与此类应用相关的伦理和法律问题[29]。纳入其他类型的CT扫描和模态将是下一步合理考虑的方向。
总之,诊断影像的过度使用,尤其是CT,正在导致大量不必要的检查。机器学习和深度学习有潜力简化合理性论证流程、跨多个临床站点泛化,并协助转诊医生选择合适的诊断影像。因此,这使得对放射科转诊进行大规模回顾性和前瞻性审查变得可行。 consequently,现有支持工具(如临床转诊指南)的效率和利用率可以通过人工智能方法得到改善。
引用
- Potočnik J, Thomas E, Lawlor A, et al. Machine learning and deep learning for classifying the justification of brain CT referrals. Eur Radiol. 2024. PMID: 38913244. doi:10.1007/s00330-024-10851-z
- 全文:PMC11557633(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11557633/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。