文献速递儿科与产科急症重症综合管理与镇静镇痛

人工智能驱动的儿科急诊损伤报告

AI-Driven Injury Reporting in Pediatric Emergency Departments.
PubMed 文献 · JAMA Netw Open · 2025-07-01
一句话结论在儿科急诊,两种自然语言处理Transformer模型以约90%灵敏度自动识别需上报的损伤病例,将人工病历审查量从100%降至约16%–17%。

该预后研究基于加拿大某三级儿科转诊中心2017年1月1日至2023年12月31日的217 173次儿科急诊就诊记录,微调DistilBERT-base-uncased(模型1)与BERT-large-uncased(模型2)用于分类病历是否需CHIRPP损伤上报。在保留测试集13 548次就诊(2175次,16%为CHIRPP阳性)中,两模型AUROC均为0.983,AUPRC分别为0.932与0.931,真阳性率均为0.90,真阴性率均为0.99。为捕获90%损伤病例,模型1仅需人工审查17%的急诊病历,模型2仅需16%,而此前需审查100%。作者结论认为NLP Transformer模型可准确自动识别急诊病历中的损伤病例,有望实现实时损伤监测。

要点

  • 在13 548次保留测试集就诊中,模型1与模型2的AUROC均为0.983,AUPRC分别为0.932与0.931。
  • 两模型真阳性率均为0.90、真阴性率均为0.99;模型1假阳性率0.014、假阴性率0.10,模型2假阳性率0.012、假阴性率0.09。
  • 为捕获90%损伤病例,模型1需人工审查17%的急诊病历,模型2需16%,此前为100%,人工审查工作量减少约83%。
  • 作者报告2019年共77 677次急诊就诊、37 037例CHIRPP患者,按每份病历约20秒计算,减少64 472份病历审查可每年节省逾358小时(超过10周全职工作)。
  • 作者指出该NLP算法最初基于横断面数据训练,需定期重新训练以应对数据漂移和新出现的损伤趋势。

适用人群与场景

  • 加拿大某高流量三级儿科转诊中心(多伦多)急诊科2017年1月1日至2023年12月31日的儿科急诊就诊者,覆盖所有年龄组。
  • 所有病历均被标记为需要或不需要CHIRPP上报,无排除病例。

诊断标准与关键阈值

  • 以人工标注的病历是否符合CHIRPP损伤上报标准作为参考标签(CHIRPP阳性 vs CHIRPP阴性)。
  • 模型运行阈值设定为使真阳性率达到0.90,并据此生成其他阈值依赖指标。

处置流程与药物剂量

  • 第一步:用spaCy与medspacy提取病历中高预测性段落(如现病史、诊断、医师评估),排除实验室结果与生命体征等段落,使病历中位字数由752降至292、平均字数由802降至322,控制在模型单次可处理的512个token以内。
  • 第二步:将常见医学缩写经人工词典转换为完整文本。
  • 第三步:在本地高性能计算集群用单块NVIDIA A100 GPU训练10个epoch,批大小120,学习率1e-5,AdamW优化器,梯度累积4步;按70:30划分训练与验证集,依验证集AUROC自动选最佳模型。
  • 第四步:用微调后的模型1(DistilBERT-base-uncased)或模型2(BERT-large-uncased)对急诊病历分类,仅将模型判定为阳性的病历交由人工审查。

研究设计与关键结果

  • 预后研究,单中心,共217 173次儿科急诊就诊;训练与验证集203 625次就诊,其中50 488次(24.8%)为CHIRPP阳性;保留测试集13 548次就诊,其中2175次(16%)为CHIRPP阳性。
  • 测试集上模型1:AUROC 0.983,AUPRC 0.932,真阳性率0.90,真阴性率0.99,假阳性率0.014,假阴性率0.10。
  • 测试集上模型2:AUROC 0.983,AUPRC 0.931,真阳性率0.90,真阴性率0.99,假阳性率0.012,假阴性率0.09。
  • 为捕获90%损伤病例,模型1需人工审查17%的急诊病历,模型2需16%;此前需审查100%,人工筛查工作量减少约83%。
  • 按2019年77 677次急诊就诊、37 037例CHIRPP患者、每份病历约20秒计算,减少64 472份病历审查每年节省逾358小时(超过10周全职工作,按每周35小时计)。

证据类型、等级与局限

  • 预后研究(预测模型研究),按TRIPOD-AI报告规范报告,经研究伦理委员会批准并豁免知情同意,回顾性、去标识化二次使用数据。
  • 局限:NLP算法最初基于横断面数据训练,数据漂移和模型性能需定期重新评估并规律间隔重新训练,以检测未来新出现的损伤趋势;需建立有效的机器学习运维框架持续监测模型性能并自动检测性能下降;随着新产品进入市场(如悬浮滑板、电动自行车等),模型将需要重新训练以跟上新的损伤趋势。

对床旁实践的改变

  • 作者认为,对参与CHIRPP项目的高流量急诊科,可在工作流程中加入此自动化步骤,先由模型排除被判定为阴性的病历,仅对剩余病历进行人工审查。
  • 作者指出该结果对其他寻求按一组标准对患者分类的监测项目也有应用前景。
  • 作者认为计算成本高的大语言模型并非此类预测任务所必需,较小的Transformer模型可在本地网络安全托管和微调。
  • 作者提出模型可用于实时识别符合研究纳入标准的患者并将信息直接提供给研究协调员,以改善入组。

提炼说明

  • 原文未涉及「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者(PMC Open Access),按 CC BY 许可使用,本译文为翻译改编。出处:JAMA Netw Open. 2025 Jul 31;8(7):e2524154. doi: 10.1001/jamanetworkopen.2025.24154

引言

损伤是新生儿期之后儿童发病和死亡最常见的原因。1 在世界范围内,损伤预防举措依赖于可靠的数据收集、解读和报告,以便能够解决根本原因并在未来加以预防。2 如果没有及时、准确且可操作的数据,就无法识别威胁、监测进展或衡量成效。世界各地存在多种损伤监测系统,例如美国的国家电子损伤监测系统(National Electronic Injury Surveillance System),或英国的全威尔士损伤监测系统(All Wales Injury Surveillance System)。3,4 历史上,这些系统在很大程度上依赖人工数据录入和解读。在本研究中,我们描述一个基于加拿大哨兵事件的损伤监测系统,以及本地使用自然语言处理来自动化数据收集和解读的情况。

加拿大医院损伤报告与预防项目(Canadian Hospitals Injury Reporting and Prevention Program,CHIRPP)是一项全国性损伤和中毒监测举措,追踪在加拿大各地急诊科(EDs)就诊的患者。CHIRPP 旨在早期发现损伤的流行病学趋势,以指导公共卫生决策,因为大多数损伤和中毒是可预防的。5 符合 CHIRPP 条件的患者就诊记录会被去标识化,并将围绕损伤情况的信息上传至加拿大公共卫生情报网络(Canadian Network for Public Health Intelligence)上的安全在线数据库。为使 CHIRPP 最佳地改善公共安全,需要快速报告损伤数据,而这取决于有效的患者筛查和后续数据处理方法。

自2010年以来,安大略省急诊科患者量的增长速度超过人口增长速度的两倍以上。6 儿科急诊科在过去几年中也出现了类似的患者量增长速度。7,8 因此,诸如 CHIRPP 这样的全国性卫生监测举措一直面临日益增加的工作量和病例报告延迟。多伦多病童医院(The Hospital for Sick Children,SickKids)的急诊科是一个 CHIRPP 中心,拥有加拿大最高的儿科患者量之一,每年接诊超过80 000名儿童。这构成了一个挑战,增加了患者就诊记录的积压,由于延长了患者受伤时间与报告和/或分析之间的时间间隔,导致损伤报告出现显著延迟。SickKids 此前用于 CHIRPP 的工作流程涉及人工工作人员手动阅读电子病历中的所有医生或护理记录,以识别符合损伤报告条件的患者就诊记录。患者人口学信息、受伤地理位置、先前事件以及相关既往病史等数据被填入数据录入表,随后报告给加拿大公共卫生署(Public Health Agency of Canada)。COVID 大流行增加了数据录入的重大障碍,因为由于感染控制措施,先前提供给家庭的纸质表格被取消。总体而言,由于患者人群不断增加、损伤和就诊表现的复杂性以及与大流行相关的限制,数据录入积压约为3年,削弱了公共卫生干预的有效性并限制了所收集数据的效用。为应对这些挑战,创建了一种新的人工智能(AI)增强工作流程,并在本研究中对其性能进行了评估。

自然语言处理(NLP)是一种分析自由文本(非结构化)数据的机器学习技术,在急诊科背景下已被证明能够基于分诊护理记录有效预测患者处置。9 Deleger等10表明,基于分诊记录、医生记录、实验室检查和生命体征的NLP决策在风险分层就诊于儿科急诊科的阑尾炎患者诊断中与医生的诊断等效。10 NLP在使用自由文本放射学报告和定量数据识别儿科急诊就诊中的虐待方面也显示出有效性。11虽然现有文献已有效应用NLP识别特定损伤和诊断,但通过NLP进行大规模损伤筛查此前尚未得到充分记录。在本研究中,我们展示了NLP transformer模型在基于三级护理中心儿科急诊科执业人员自由文本记录来估计患者损伤及纳入CHIRPP国家损伤监测项目方面的应用。我们假设NLP的实施将简化SickKids的CHIRPP工作流程中的患者筛查步骤。我们的目标不是让人工手动审查急诊科100%的患者病历,而是使用NLP自动化患者病历筛查,大幅减少需要人工审查的病历数量,并减少与传统损伤报告项目相关的时间延迟。

方法

本工作经SickKids研究伦理委员会批准完成,并获豁免知情同意,允许回顾性、去标识化、数据的二次使用。报告按照个体预后或诊断多变量预测模型的透明报告-人工智能(TRIPOD-AI)预测模型研究报告指南完成。12

数据集与标注

获取了2018年10月至2023年1月期间在SickKids所有急诊就诊的电子健康记录数据。数据元素包括以下内容:自由文本临床记录、主诉、急诊诊断和到达日期。这些数据由人工标注患者是否符合CHIRPP的损伤报告标准(即CHIRPP阳性 vs CHIRPP阴性)。我们的数据集由我们的CHIRPP协调员(E.W.J.Z.)编制。该人员拥有数据分析和解释方向的研究生学位,负责审查所有急诊损伤和中毒数据。其在该岗位任职已超过10年。我们的总数据集包含217 173次SickKids急诊个体患者就诊。我们的训练和验证集包含203 625次患者就诊,其中50 488例(24.8%)为CHIRPP阳性。我们的留出测试集包含13 548次患者就诊,其中2175例(16%)为CHIRPP阳性(图1)。

图1. 急诊科(ED)患者就诊的年龄和生理性别分布。加拿大医院损伤报告和预防项目(CHIRPP)阳性和CHIRPP阴性病例在训练、验证和留出测试数据集中按健康记录中指定的年龄和性别的分布。 查看原图 ↗

数据预处理

数据处理及随后的机器学习模型开发与验证于2022年1月至2024年11月进行。大多数Transformer模型使用固定的文档大小,通常在数百到低数千的范围内。13,14 我们拼接后的急诊科记录通常超过此限制,导致记录被截断以供模型使用。为克服此限制,我们使用spaCy15和medspacy16搜索并提取自由文本临床记录中具有高预测性的部分,如患者现病史、诊断和医师评估。我们使用相同方法排除实验室结果和生命体征等部分。此预处理步骤将记录大小的中位数和均值分别从752词降至292词、从802词降至322词,完全在我们所选模型单次可处理的512个token范围内(图2)。这也通过减少计算能力和时间提高了模型训练和迭代改进的可行性。为进一步处理我们的临床记录,我们手动生成了一个常见缩写词典,将医学缩写转换为较长的文本形式。

图2. 临床记录预处理前后的记录长度。本图展示了靶向预处理技术后记录长度的显著缩短。完整的急诊科医师记录(深蓝色)包含对损伤病例高效分类不需要的信息。以上下文感知的方式自动移除这些部分可保留所有相关信息,同时减小记录大小。这使最重要的信息能够适应Transformer模型的token限制,减少数据中的噪声,并在大规模运行模型时增加计算和成本效率。箱体代表数据分布的第50百分位数(中间50%)。须线代表第5百分位数至第95百分位数。水平线显示第50百分位数。 查看原图 ↗

用于分类的模型微调

对于我们的二分类模型,我们从Hugging Face模型库中选择了几个Transformer模型进行初步测试。17 我们主要关注基于编码器的Transformer模型,因为我们的任务侧重于模型嵌入的解释,不需要文本或图像生成。与包含数十亿参数、训练和托管成本高昂、且在公共云上托管时可能涉及数据隐私和安全问题的大型语言模型相比,我们的模型选择也瞄准了相对精简的模型。我们的模型训练在SickKids本地使用高性能计算集群和单个NVIDIA A100 GPU进行,共10个epoch,批大小为120,学习率为1e-5,使用AdamW优化器。为进一步减少小批次引入的噪声,我们使用了4个梯度累积步骤。在模型训练之前,所有训练和验证数据分别对阳性病例和阴性病例进行随机化,并在训练和验证拆分前重新打乱。我们使用70:30的训练和验证拆分,最佳模型根据验证集上的受试者工作特征曲线下面积(AUROC)自动选择。在所选模型中,DistilBERT-base-uncased(模型1)14和BERT-base-large-uncased(模型2)13表现出最佳性能。为生成最终结局指标,我们使用了最近手动标注记录(13 548条记录)的留出测试集。

统计分析

使用 scikit-learn 1.6.0 版评估模型性能,计算以下结局指标:AUROC、精确率-召回率曲线下面积(AUPRC)、真阳性率、真阴性率、假阳性率和假阴性率。所有可视化均使用 R 4.4.3 版(R Project for Statistical Computing)及 ggplot2 3.5.1 版和 patchwork 1.2.0 版软件包完成。对于大多数监测系统,期望具有较高的真阳性率(灵敏度),因为漏诊病例可能使监测低频事件的目的落空。因此,我们通过选择使真阳性率达到 0.90 的模型操作阈值来调整算法,并随后生成所有其他依赖于阈值的结局指标。

结果

经过数据预处理,我们的总数据集包含 217 173 次患者至 SickKids 急诊科的个体就诊记录。我们的训练集和验证集由 203 625 次患者就诊组成,其中 50 488 例(24.8%)为 CHIRPP 阳性。我们的留出测试集包含 13 548 次患者就诊,其中 2175 次(16%)为 CHIRPP 阳性,并附有相关人口学详细信息(图 1)。

两个模型均表现出色,模型 1 和模型 2 的真阳性率均为 0.9,真阴性率均为 0.99。假阳性率分别为 0.014(模型 1)和 0.012(模型 2),假阴性率分别为 0.1(模型 1)和 0.09(模型 2),详见表中所列。在留出测试集上,模型 1 和模型 2 的 AUROC 和 AUPRC 分别为 0.983、0.932 和 0.983、0.931,见图 3。

该模型的主要目标是在仍能捕获大量损伤病例用于报告的同时,减少需要人工审查的患者病历总数。为此,为捕获 90% 的损伤病例(即真阳性率为 0.90),我们的团队对于模型 1 仅需处理急诊科患者病历总数的 17%,对于模型 2 仅需处理患者病历总数的 16%。此前,全部 100% 的患者病历均需要人工审查。使用我们的模型,与患者病历筛查相关的人工工作量可减少约 83%。这显著减少了与人工劳动相关的时间。图 4 展示了模型在可捕获的阳性损伤病例比例与需要人工审查的急诊科病历总数之间的权衡。

例如,2019 年,在总共 77 677 次急诊就诊中,有 37 037 名 CHIRPP 患者。由一位非常有经验的协调员手动筛查每份病历以确定 CHIRPP 资格,每份病历约需 20 秒(约 432 小时工作量),因此通过将筛查病历数减少 64 472 份,我们的团队每年节省了超过 358 小时的筛查时间,即超过 10 周的全职工作(按每周 35 小时工作制计算),从而节省了时间。这尚未考虑人体自然疲劳和工作日中的休息,这些因素将进一步增加时间节省的估计值。

表。使用留出测试集生成的结局指标 查看原表 ↗
图 3。模型性能A,模型 1 的受试者工作特征曲线下面积(AUROC)和精确率-召回率曲线下面积(AUPRC)。B,模型 2 的 AUROC 和 AUPRC。 查看原图 ↗
图4. 模型真阳性率与人工病历审查之间的权衡。两种分类模型所能检出的阳性损伤病例数量,与人工审查所需急诊科病历占总病历相应比例之间的权衡。 查看原图 ↗

讨论

急诊科(ED)年度患者量的不断增加,使得识别哪些患者符合特定纳入标准以进入CHIRPP等项目(监测与报告项目)变得极为困难。7,8 如我们在图3中经过微调的模型所示,凭借高灵敏度和高特异度,CHIRPP及其他公共卫生监测项目的人工工作量及相关报告延迟有望大幅减少。与人工手动筛查自由文本临床记录以判断患者是否符合损伤报告纳入标准的传统方法相比,变换器模型可以自动化这一过程,并通过剔除算法排除的患者来加快报告,从而减少需人工审查的患者病历数量。

近期研究已证明机器学习和自然语言处理(NLP)在处理自由文本临床记录、自动化急诊环境中的损伤分类与监测方面的实用性。18,19,20 本研究通过将基于变换器的模型应用于损伤分类,推动了该领域的发展,并且由于能够直接从原始文本中学习上下文语言模式、减少对人工特征工程的依赖,因此在大规模应用中具有更高的泛化潜力。

虽然参与CHIRPP项目的高流量急诊科可以通过将这一自动化步骤加入其工作流程而获益,但本研究展示的结果表明,该方案在许多其他旨在根据一组标准对患者进行分类的监测项目中也有应用前景。此外,还有机会为整个报告流程增加更多自动化,例如自动化病例摘要。新兴的大语言模型在促进自动化摘要方面展现出巨大前景,这代表了我们团队正在探索的积极研究方向,作为利用人工智能改进监测项目的下一步。我们的最终目标是建立一条完全自动化的路径——从数据采集到摘要和可视化——使数据能够近实时地收集、汇总和呈现。这在监测领域曾经是一种理论上的可能性;然而,随着NLP和人工智能的进步,这在未来几年内很可能可行。凭借这种高保真度的数据报告,公共卫生组织将既有机会也有挑战来制定能够转化为临床影响的公共卫生干预措施。此外,这种由人工智能驱动的报告系统可能有助于产品 and 药品的上市后监测,使相关问题能够更快被发现,同时减少对公众的危害。

随着基于人工智能的自动化开始进入学术医学及其他领域,必须考虑其对工作和任务的影响。如本研究所述,机器学习能够缩短完成先前由人类完成的各项任务所需的时间。在我们的案例中,自动化CHIRPP病历筛查减少了人工工作量,使协调员能够腾出精力专注于更高价值的任务,例如趋势分析、伤害预防倡导以及公共卫生干预措施的制定。这凸显了人工智能如何能够减轻耗时的工作,使人类得以从事更有意义和更具战略性的活动。

使用Transformer模型对患者病历进行分类也显示出在其他潜在应用场景中分析分诊数据的前景。例如,尝试在急诊科为研究目的识别特定的患者亚组。如果该算法能够实时识别符合某项特定研究条件的患者,该信息可直接提供给研究协调员,从而提高患者入组率。

我们的研究还表明,诸如我们这类预测任务并不需要计算成本高昂的大语言模型。使用相对较小的Transformer模型使研究团队和伤害监测项目能够在本地网络上微调并安全托管高效的NLP模型。鉴于自由文本临床患者病历的敏感性,能够在安全的本地网络上运行这些算法是一个有吸引力的选择。

局限性

本研究的局限性之一在于,该NLP算法最初是在横断面数据上训练的,这意味着数据漂移和模型性能需要通过定期再训练进行持续的重新评估,以检测未来新出现的伤害趋势。这强调了确保建立有效的机器学习运维框架以持续监测模型性能并自动检测性能下降的重要性。随着新产品进入市场(即悬浮滑板、电动自行车等),模型将需要再训练以跟上新的伤害趋势。

结论

伤害监测报告通常以手工方式完成,这削弱了伤害监测项目的真正潜在价值。在这项预后研究中,NLP Transformer模型自动化了我们的急诊科伤害和中毒病例监测报告的各个方面,对数据采集和灵敏度的牺牲极小,从而实现了巨大的效率提升。本研究为预测性应用奠定了基础,这些应用可以扩展到其他健康促进和监测系统。COVID-19大流行凸显了对实时监测数据的需求,扩展这项技术将使人工智能能够以前所未有的规模和速度赋能公共卫生研究、监测和倡导。

参考来源

  1. Singh D, Celik A, Zhang EWJ, et al. AI-Driven Injury Reporting in Pediatric Emergency Departments. JAMA Netw Open. 2025. PMID: 40742588. doi:10.1001/jamanetworkopen.2025.24154
  2. 全文:PMC12314733(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12314733/

供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。