人工智能骨折检测在儿科急诊真实临床环境中的实际获益
该回顾性研究纳入1672张儿童X线片,评估深度学习软件RBFracture独立检测骨折的效能及对经验不足住院医师诊断的影响。AI独立敏感度92%、特异度83%、准确率87%;辅助后住院医师敏感度由84%升至87%、准确率由88%升至90%,但2%病例出现正确诊断被错误推翻。
要点
- AI独立检测儿童骨折敏感度92%、特异度83%,假阳性多位于生长板周围骨突与骨骺。
- AI辅助使住院医师敏感度由84%升至87%、准确率由88%升至90%,但2%病例正确诊断被错误推翻。
- 对法律相关骨折,AI对胫骨近端骨折敏感度100%,对桡骨髁骨折仅68%。
核心结论
- AI在儿科真实队列中独立效能良好,可有限提升经验不足医师的诊断准确率,但经济效益需与患者安全获益权衡。
研究设计与样本
- 回顾性研究,纳入1672张2至18岁以下儿童X线片,包括连续真实队列与选择性法律相关骨折队列,来自一家三级儿科急诊中心。
- 参考标准为两名具有10年以上儿科创伤经验的儿科放射科医师的影像学所见、随访影像、临床随访及适用时的术中所见。
- 所有X线片使用Siemens Axiom Aristos FX采集,经PACS传输至独立服务器由RBFracture 1.8.1离线分析。
- 三名住院医师(两名儿科外科住院医师分别有3个月和6个月阅片经验,一名放射科值班住院医师有2年经验)在AI辅助前后独立判读。
关键影像表现/征象
- AI以矩形轮廓在DICOM图像上标出可疑骨折,低置信度骨折以问号标记,可疑AI所见保守视为骨折。
- 假阳性最常见于第五跖骨骨突(16%)和足趾正常变异(13%),生长板周围区域(骨骺、骨突及其他骨核)为假阳性最常见原因。
- 90%的假阳性被AI标记为低置信度;936处骨折中AI漏诊60处(6.4%),其中超过半数为小韧带撕脱(n=21)或环状骨折(n=10)。
诊断标准与关键数值
- 真实队列中AI独立敏感度92%、特异度83%、准确率87%;按身体部位敏感度74%至98%、特异度61%至100%、准确率80%至94%。
- 法律相关骨折中,胫骨近端干骺端骨折敏感度100%、特异度86%;内踝骨折敏感度96%、特异度95%;桡骨髁骨折敏感度68%。
- 读者判读:无AI辅助时患者层面敏感度83.7%、特异度90.7%;AI辅助后敏感度87.3%、特异度92.4%,均p<0.05。
临床应用与阅片要点
- AI可作为第二双眼睛辅助经验不足医师,但需注意其可能将正确诊断错误推翻(本研究中占2%)。
- 对生长板周围骨突、骨骺及足趾正常变异的AI假阳性需谨慎甄别。
局限性
- 本研究为回顾性、单中心研究。
- AI软件更新可能产生不同结果。
- 队列较大,读者可能存在学习效应。
- 真实设计为先无AI诊断后立即同一病例加AI,可能导致读者不愿改变初始诊断。
- 专家共识作为金标准并不完美。
全文中译16 节 · 点击展开
引言
肌肉骨骼损伤是儿科急诊入院最常见的原因[1]。影像学检查通常作为诊断过程的一部分,用于排除骨折。急诊科对X线片的初步评估经常由非放射科医师临时进行,与认证儿科放射科医师的最终评估相比,这可能导致假阴性和假阳性[2, 3]。人工智能(AI)支持的骨折检测软件旨在作为“第二双眼睛”,据称可提高一线医师的诊断性能,从而可能增强患者安全并减少复诊次数。
儿童骨折与成人骨折存在显著差异,取决于儿童年龄和骨骼成熟度。儿童期典型甚至特异性的骨折、类似撕脱的骨核以及模仿骨折线的生长板使正确诊断具有挑战性。儿童漏诊骨折的临床后果通常更为严重,可能导致长期并发症,如关节活动受限和生长障碍。这些结局还可能带来重大的医疗法律影响。
在欧洲,已有14种用于成人X线片骨折评估的深度学习算法通过“欧洲 conformity”(CE)认证获批为医疗器械。然而,由于儿童骨折的独特特征,不能假定在成人骨折上训练的AI模型在儿童中表现同样良好。仅有四个项目明确包含儿童诊断功能:Rayvolve(AZmed)、BoneView(Gleamer)、SmartUrgences(Milvue)和RBFracture(Radiobotics)[4]。迄今为止,尚无关于RBFracture在儿童骨折检测方面的独立验证。此类外部验证对于医学影像AI程序非常可取,因为厂商相关数据集通常与软件开发中使用的训练数据相似,从而限制了泛化性[4, 5]。此外,尚无更大病例数的研究在真实世界环境中证明AI软件对经验不足医师的附加价值。
因此,我们旨在评估AI软件RBFracture:(1)在儿科“真实生活”队列以及一组选定的、具有医疗法律相关性的骨折中的独立性能;(2)在“真实生活”队列中AI辅助对经验不足住院医师诊断性能的影响。
材料与方法
队列
本回顾性研究获得当地伦理委员会批准(357/23-EK)。纳入2023年3月至2023年10月期间转诊至本三级中心儿科外科急诊科的2至<18岁儿童的X线片(“真实生活”队列)。排除标准包括中轴骨骼或颅骨X线片(均超出AI软件的预期用途)、已知骨折的随访检查以及非创伤性X线片(例如骨髓炎病例)。
除“真实生活”队列外,还从机构放射信息系统中回顾性识别了2008年至2023年期间患有三种儿科特异性骨折类型之一的儿童X线片(“医疗法律”队列)。
根据van Laer的观点,桡骨髁、内踝和胫骨近端等部位的骨折如果未得到正确诊断和治疗,具有法医学意义。伴有≥3 mm移位的骨折被排除在第二组之外,因为如此明显的移位不太可能被忽视。
所有X线片均在研究医院的儿童放射学研究所使用Axiom Aristos FX(西门子)获取。
人工智能分析
所有X线片通过图像归档与通信系统(PACS)传输至运行RBFracture 1.8.1版本(Radiobotics)的独立服务器进行离线分析。RBFracture基于使用Detectron2架构[6]的深度卷积神经网络。结果以二次捕获DICOM文件的形式返回至PACS(图1)。疑似骨折在DICOM图像中以矩形轮廓标注,低置信度检测到的骨折由软件以问号标记。可疑的人工智能发现被保守地视为骨折。每个投照体位由人工智能独立分析,不受其他投照体位影响。在任一单一投照体位中检测到骨折即被认为足以诊断。评估主要以研究为单位进行。
诊断参考标准
诊断参考标准基于以下各项:(1)由两位具有超过10年儿童创伤学经验的委员会认证儿童放射科医师(D.G.和F.W.H.)提供的儿童放射学发现;(2)随访放射学图像;(3)临床随访;(4)适用时的术中发现。无随访X线片的不确定病例由另外两位儿童放射科医师通过共识进行审查。诊断不确定性持续存在的病例被排除在研究之外(n = 14)。X线片按以下解剖区域分类:肩部、上臂、肘部、前臂、腕部、手部、髋部、大腿、膝部、小腿、踝部和足部。
人类阅片者的表现
真实队列的所有X线片由在儿童外科急诊科工作的两名儿童外科住院医师(A.B.和T.K.,分别具有3个月和6个月的儿童X线片报告经验)和一名在普通放射科值班的放射科住院医师(J.P.,具有2年儿童X线片报告经验)在独立且分开的场次中独立审阅。阅片者对患者身份、任何初步和随访检查以及书面儿童放射学发现均设盲,但对患者当前病史和临床表现不设盲,以模拟真实临床环境。
所有病例均采用逐步分析。最初,读者仅可获得病史和常规X线片。要求读者判断潜在骨折的存在及其位置。随后,向读者呈现AI的自动评估结果。基于此信息,要求读者重新评估X线片。在揭盲AI结果后,不允许修改初始发现。此外,对于每个病例,读者分别在无AI支持和有AI支持的条件下对诊断信心进行评分,评分标准如下:1:不确定;2:有些不确定;3:有些确定;4:确定。诊断无时间限制,为保持表现一致性,读者在整个研究期间未收到关于其表现的反馈。
统计学
研究层面的真阳性定义为所有实际骨折及可能更多的骨折均被检出的研究。研究层面的真阴性定义为无骨折且未检出骨折的研究。研究层面的假阴性定义为至少存在一处骨折但未检出所有实际骨折的研究。研究层面的假阳性(FP)定义为无实际骨折但检出了骨折的研究。我们使用这些定义和常规公式来定义研究层面的灵敏度、特异度、准确率、阳性预测值(PPV)和阴性预测值(NPV)。此外,我们将骨折层面的灵敏度定义为在所有骨折中正确识别的骨折比例,每位患者的多处骨折均计入,并计算95%置信区间(CI)(统计学的详细描述见补充材料1)。统计分析使用RStudio(版本2023.06.2,PBC)进行。
结果
队列
对于真实生活队列,在机构放射信息系统中总共识别出4148项放射学研究,其中2453项因已知骨折的随访研究或非创伤研究而被排除。因此,共纳入1672项研究(表1,图2)。在1672项研究中,767项(46%)发现至少一处骨折,共计936处骨折。患者的中位年龄为10.9岁(四分位距,IQR 7.2–13.7,最小–最大 2.0–18.0)。59%的患者为男性。63%的X线片涉及上肢。
独立性能
根据不同身体部位,AI达到的患者层面灵敏度范围为74%至98%,特异度范围为61%至100%(表2)。准确率范围为80%至94%(图3)。在“真实生活”队列中,NPV为93%,显著高于PPV的82%(p < 0.05)。936处骨折中有60处(6.4%)被AI漏诊(补充表1)。这些漏诊骨折中超过半数为小的韧带撕脱骨折(n = 21)或环状骨折(n = 10)。AI在5岁以下幼儿中的性能与5岁以上相比无显著降低(补充表2)。
AI发现假阳性结果最常见的身体部位包括第五跖骨骨骺(16%)和脚趾的正常变异(13%)(表3)。假阳性结果最常见的原因涉及生长板周围区域,如骨骺、骨突和其他骨核(补充数据2和补充表3)。90%的假阳性结果被AI标记为“低置信度”。
在具有法医学意义的骨折队列中,AI在胫骨近端干骺端骨折中表现出最佳的灵敏度(100%)和特异度(86%)组合,其次是内踝骨折(灵敏度96%,特异度95%)(表4和图4)。相比之下,桡骨髁骨折的灵敏度倾向于较低,为68%(无统计学显著性)。
对一线医师的影响
非专家阅片者在无AI辅助下正确诊断了87.5%的患者(图5)。儿科外科第一年住院医师与放射科第一年住院医师之间无显著差异(p < 0.05)。AI使阅片者的平均漏诊骨折数从129例(占所有骨折的13.8%)降至100例(占所有骨折的10.7%),漏诊骨折减少了22%。
加入AI后,纠正了阅片者初始4.1%的患者层面错误诊断,而在1.5%的情况下,阅片者初始正确的诊断被错误地否定。这使得正确诊断净增2.6%(达到90.1%)(p < 0.05)。在AI辅助下,患者层面灵敏度从83.7%提高至87.3%,特异度从90.7%提高至92.4%(均p < 0.05)(表5)。
在揭盲AI结果后,诊断信心增加(阅片者平均变化0.18,p < 0.001)。当阅片者选择正确诊断时,无论有无AI辅助,诊断信心均较高(均值在3.24至3.84之间),而选择错误诊断时信心较低(均值在2.52至3.04之间)。在AI导致诊断改变的情况下,初始信心较低(均值在1.43至2.06之间),但当AI引导至正确决策时,3名阅片者中有2名的信心提高(平均变化:分别为0.40,p = 0.02;0.30,p = 0.03;−0.07,p = 1)。相反,当AI导致从正确诊断变为错误诊断时,2名阅片者的信心显著下降(平均变化:分别为−0.11,p = 0.29;−0.81,p = 0.02;−0.55,p = 0.04)。所有阅片者在无辅助和有辅助诊断均正确的情况下均表现出诊断信心增加(平均变化:0.23;0.08;0.36,均p < 0.001)。
讨论
本研究评估了一款市售人工智能辅助软件在儿童和青少年骨折检测中的表现,以及其在真实临床环境中对经验不足住院医师诊断准确性和信心的影响。迄今为止,这是同类研究中规模最大的一项。人工智能展现出良好的独立性能;然而,使用该人工智能辅助时,经验不足医师诊断准确性的提升有限。
独立性能
在我们的队列中,人工智能达到92%的敏感性、83%的特异性和87%的诊断准确性。在真实世界队列中,第5跖骨骨骺处发现的假阳性结果数量特别多。根据经验,该区域在儿童中区分骨折与骨骺常常具有挑战性,尤其对经验不足的医师而言。此外,脚趾常呈不规则形状,常被误判为骨折——根据我们的经验,这一区分对初学者尤其困难。正如预期,类似骨折线或撕脱的骺板间隙占所有假阳性结果的一半以上,显著导致了误诊。
本研究中人工智能的独立性能与少数经过同行评审的儿童(主要为其他)人工智能软件解决方案研究[7–12]所报告的结果相当。然而,不同软件工具和队列之间此类比较的有效性有限。例如,必须考虑队列是否包括多发伤患者,因为其缺失可能导致较严重(且通常更容易检出)骨折的代表性不足。此外,队列内的年龄分布至关重要,因为某些骨折类型具有年龄特异性(例如婴儿的幼儿骨折或青少年的三平面骨折)。
对于本研究中使用的人工智能软件RBFracture,迄今只有一篇经过同行评审的发表文章,且仅纳入少量儿童。在这项由Bachmann等人进行的与制造商相关的研究中,使用了98名儿童(宽泛定义为至21岁的个体)的分层队列[9]。他们报告了异常高的敏感性100%(95% CI:100–100%)和中等特异性79%。与我们的研究及其他基于人工智能的程序相比更高的敏感性,可能归因于其较小的样本量或可能更高的患者中位年龄,这可能导致了闭合生长板——儿童骨折检测中最常见的错误来源——的更高患病率。
具有特殊法医学意义的骨折
在一些国家,创伤相关并发症已被描述为针对小儿外科医生医疗事故诉讼的主要原因,占所有案件的27%[13]。Vinz等人的一项研究回顾性分析了189例在仲裁法院接受调查的儿童骨折潜在治疗差错案件[14]。他们发现67%涉及医疗事故,常因对X线片的误读所致,其中44%的患者因不当治疗而遭受永久性损伤。
根据van Laer的说法,已识别出五种在儿童中常被忽视的创伤后遗症,若未得到适当治疗,可能导致永久性损伤,如腿部外翻畸形或肘部生长障碍[15]。这些创伤后遗症包括三种骨折类型——无移位桡骨髁骨折、胫骨近端骨折和内踝骨折——以及两种对线不良,后者不属于本骨折研究的范围。
对于这三种以骨折形态细微但临床影响高为特征的骨折类型,实现尽可能高的AI敏感度至关重要。在我们的研究中,AI对胫骨近端骨折的敏感度为100%,对内踝骨折为96%,但对桡骨髁骨折仅为68%。后一发现令人担忧,因为根据Vinz等人的研究[14],肘部是儿童骨折中医源性差错的常见部位,占所有病例的77%。因此,针对儿童肘部骨折,特别是此类细微骨折,进行更密集的AI训练将大有裨益。
对经验不足医师的影响
根据Leeuwen等人提出的影像学AI软件分级效能模型,单纯的独立性能仅代表第二低的水平[16]。下一层次涉及软件对医师表现的影响,我们也对此进行了评估。据作者所知,这是首项在真实儿童队列中提供此类证据的研究。在我们的研究中,AI在4.1%的病例中改善了最初错误的诊断。然而,值得注意的是,在1.5%的病例中,AI导致对最初正确诊断的错误更改,从而使AI带来的阅片者准确度净改善为2.6%。
除了我们的研究外,仅有另外两项研究探讨了人工智能对人类阅片者的附加价值。这两项研究均非独立于制造商,且采用的是基于骨折部位的分层队列,而非真实世界队列。在前述Bachmann等人的研究中[9],使用人工智能软件RBFracture,评估的是漏诊骨折的比例而非准确率。在人工智能辅助下,漏诊骨折率下降了29%,高于我们研究的下降率(21%)。这一差异可能主要归因于该研究中阅片者多为辅助医务人员,其初始骨折检测能力可能低于医师。例如,高级创伤护士的漏诊骨折率为79.0%(而我们研究为14.3%),这在实际工作中是不可接受的高数值。可能导致该研究中漏诊骨折减少幅度更大的其他因素包括队列分层、阅片者缺乏临床病史、所用软件版本可能具有更高的灵敏度,以及分析队列中儿童比例极低。
在同样提到的Nguyen等人的研究中,整合人工智能软件BoneView使初级放射科医师的灵敏度提高了10.3%,特异度提高了0.7%(我们研究中分别为3.6%和1.7%)[17]。这一差异究竟是由于阅片者培训水平不同、分层患者数据集不同,还是所用软件性能不同,目前仍属推测。
虽然尚无进一步研究专门探讨人工智能对儿童和青少年人类阅片者表现的影响,但针对分层成人队列存在类似研究。Guermazi等人报道,加入BoneView软件使急诊医师的灵敏度提高了9.9%,特异度提高了3.4%[18]。在Duron等人的研究中,同一人工智能软件使灵敏度提高了7.5%,特异度提高了4.1%[19]。
购买骨折检测软件是否值得,不仅取决于其独立性能及其对人类阅片者的影响,还取决于一个无法明确回答的复杂问题:为确定程度的性能提升和患者安全的潜在改善,何种水平的经济投入是合理的?在临床实践中,基于人工智能的软件应致力于:(1)作为“第二双眼睛”(也称为增强人工智能[5])提高患者安全,帮助防止因未诊断骨折或不必要固定造成的伤害;(2)减少因初始误诊导致的复诊次数;(3)协助培训经验不足的初级医生;(4)实现患者自动分诊,以确保及时和适当的诊疗。尽管总体准确率提升有限,但根据我们使用骨折检测人工智能软件的经验,即使是经验丰富的儿科放射科医师也能从这“第二双眼睛”中获益,从而减少搜寻满足感错误。当骨折位于意外区域时尤其如此,例如上踝关节部分成像的骨韧带撕裂,即使前足是主要关注区域。
未来的研究,最好是前瞻性和多中心的,应旨在达到下一个最高证据级别:对治疗结果或随访检查的影响,对生活质量、发病率、生存率的影响,以及从质量调整生命年和每质量调整生命年增量成本方面的成本效益[16]。
局限性
除了其回顾性、单中心性质外,本研究还有一些其他局限性。例如,从研究开始到发表期间,所使用的AI软件可能已发布了更新,这可能会产生不同的结果。由于队列规模较大,尽管对金标准设盲,仍不能排除读者之间存在一定的学习效应。我们的真实世界设计——先在没有AI的情况下建立诊断,紧接着对同一病例使用AI——可能导致读者不太愿意改变其初始诊断。然而,这种方法最准确地反映了真实场景中的决策过程。此外,初始经验不足的医生在潜在的数月洗脱期内表现可能会急剧提高,而我们的研究设计在很大程度上规避了这一效应。最后,作为金标准的专家共识并不完美,这不仅适用于我们的研究,也适用于所有同类研究(以及AI训练数据)。此外,儿科放射科医生在评估儿科创伤病例方面已表现出较高的诊断准确性[10]。
结论
总之,该AI软件在儿科真实世界队列中表现出良好的独立性能。在我们三级中心大学医院的环境中,经验不足的住院医师在有限比例的病例中获益。这种获益必须与经济成本相权衡。
补充信息
电子补充材料
引用
- Ziegner M, Pape J, Lacher M, et al. Real-life benefit of artificial intelligence-based fracture detection in a pediatric emergency department. Eur Radiol. 2025. PMID: 40192806. doi:10.1007/s00330-025-11554-9
- 全文:PMC12417293(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12417293/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。