多厂商人工智能软件自动检测儿科患者骨折的多厂商比较研究
本研究回顾性纳入2014年1月至2024年1月期间3,013例2–17岁创伤患儿的3,414张X线片,比较三种商用人工智能软件对骨折、关节积液和脱位的检测性能。结果显示,小腿和前臂X线片的灵敏度、特异度较高,而肘关节X线片性能下降,且对特定骨折类型、肘关节积液(后脂肪垫征)和脱位的检测灵敏度明显降低。作者认为人工智能工具有望用于儿科骨折检测,但需认识其局限性以确保临床安全使用。
要点
- 小腿和前臂X线片:AI灵敏度88.4–94.7%,特异度93.6–99.2%,PPV 94.5–99.2%,NPV 91.6–95.6%。
- 肘关节X线片性能下降:灵敏度72.8–91.6%,特异度80.3–98.7%,最低PPV 86.1%、NPV 79.5%。
- 肘关节后脂肪垫征灵敏度仅40.6–82.3%,脱位灵敏度54.2–93.8%,不同AI软件间差异显著。
核心结论
- AI工具在儿科骨折检测中显示出前景,尤其对小腿和前臂X线片;认识其局限性对安全临床使用至关重要。
研究设计与样本
- 回顾性研究,纳入2014年1月至2024年1月(小腿)、2022年3月至2024年1月(前臂)、2019年7月至2024年1月(肘关节)连续X线片,共3,013例患者3,414张X线片。
- 参考标准由经验丰富的儿科放射科医生在获取临床资料和随访影像后达成共识诊断。
- 评估三种CE认证和/或FDA批准的AI软件:BoneView(BV)、RBfracture(RBf)、Milvue Suite(MS)。
- X线片来自两台X线机(Philips,Best,荷兰;Siemens Healthcare,Erlangen,德国),图像质量由儿科放射科医生验证。
- 对每个数据集分析两次:一次将「怀疑」病例视为阳性,一次视为阴性(除非另有说明,怀疑视为阳性)。
关键影像表现/征象
- 肘关节积液表现为前脂肪垫征和/或后脂肪垫征;后脂肪垫征检测灵敏度MS 82.3%、BV 40.6%。
- 肘关节脱位检测中,BV和RBf灵敏度低、PPV低,但两者特异度和NPV均>99%。
- 前臂脱位检测中,BV和RBf灵敏度及PPV低,特异度和NPV均>99%。
诊断标准与关键数值
- 小腿X线片:AI灵敏度88.4–94.7%,特异度93.6–99.2%,PPV 94.5–99.2%,NPV 91.6–95.6%。
- 前臂X线片:AI灵敏度≥92%,PPV≥92%,特异度和NPV>91%。
- 肘关节X线片:AI灵敏度72.8–91.6%,特异度80.3–98.7%,最低PPV 86.1%、NPV 79.5%。
- 肘关节后脂肪垫征灵敏度MS 82.3%至BV 40.6%,所有工具特异度高。
- 肘关节脱位灵敏度BV 54.2%、MS 64.4%、RBf 93.8%(仅RBf超过93%),BV特异度100%。
临床应用与阅片要点
- AI工具对小腿和前臂骨折检测性能高,但对肘关节骨折、特定骨折类型、肘关节积液(尤其后脂肪垫征)和脱位检测性能下降。
- 对AI报告的「怀疑」病例总体PPV低,通常应谨慎解读或视为阴性;但后脂肪垫征的怀疑病例主要为真阳性。
- RBf未获批准用于15岁以下儿童。
- 作者认为认识每种AI工具的优势和局限性对确保儿科安全有效使用至关重要。
局限性
- 分析仅限三个解剖部位,限制普遍性。
- 回顾性、单中心设计可能引入偏倚。
- 排除2岁以下儿童(因两种AI工具BV、RBf年龄限制)可能影响代表性。
- 较长纳入期和部位多样性可能引入图像质量异质性。
全文中译16 节 · 点击展开
引言
骨折是儿科急诊科(ED)就诊的主要原因之一 [1]。由于生长中骨骼的动态特性、骨成熟度的发育变异以及随年龄变化的骨折类型和损伤模式,儿童骨折在X线片上的检测比成人更具挑战性 [2, 3]。肘部骨折尤其难以诊断,因为它们常常是隐匿性的,可能仅能从关节积液等间接征象中推断 [4–6]。
已开发出众多基于人工智能(AI)的工具来辅助骨折检测,旨在提高一线临床医生在创伤环境中解读X线片的诊断准确性。然而,大多数工具是在成人患者中训练和验证的,用于儿童骨折的证据有限 [7–9]。现有关于在儿科患者中使用的研究在年龄组、解剖区域和样本量方面差异很大 [10, 11]。针对特定区域、骨折类型和间接骨折征象的大型试验仍然匮乏 [12]。此外,仅有少数AI工具经过了外部验证 [11],而在测试时,性能往往下降 [9]。缺乏评估儿科患者诊断准确性、间接骨折征象检测和关节脱位的对比试验,使医生在选择最合适的AI软件时缺乏指导。
本研究旨在通过评估和比较三种(共四种)市售AI工具来填补这些空白。性能在涵盖三个常见儿科骨折部位的大型数据集上进行评估:小腿、前臂和肘部,包括不同的骨折类型、肘部间接骨折征象和关节脱位。
方法
伦理批准
本研究经州研究伦理委员会根据世界医学会伦理准则(赫尔辛基宣言)批准(BASEC编号 2022-00816)。
数据获取与患者
回顾性纳入2014年1月至2024年1月(小腿)、2022年3月至2024年1月(前臂)和2019年7月至2024年1月(肘部)因急性创伤就诊于急诊科的2–17岁患者的连续X线片。初步筛选包括每个区域1,250张X线片,分别来自1,103例(小腿)、1,106例(前臂)和1,104例(肘部)患者,其中排除了176张(小腿)、108张(前臂)和52张(肘部)(图1)。
该目标基于使用二项模型进行的样本量估算(n=4p(1-p)/d2;d=0.05),该估算表明至少需要336张有骨折的X线片(灵敏度70%)和144张无骨折的X线片(特异度90%)。考虑到年龄变异性(2–17岁)和骨折类型,我们计划每个区域约1,000张X线片,并将此数量增加到1,250张以计入排除病例并保持检验效能。纳入标准为在急诊科就诊当天拍摄的前臂、小腿或肘部至少两个投照体位(按照我院方案为正位/侧位)的X线片,图像质量在纳入前由儿科放射科医师核实。排除标准包括AI分析失败、单投照体位X线片、非创伤性影像、亚急性创伤、高度提示非意外伤害的骨折以及既往已纳入研究 [12]。
小腿和前臂的成对骨骼以及多处创伤后表现作为独立病例分别进行分析。图像质量不足以评估肘关节积液的X线片被排除在分析之外。
X线片在两台X线设备上采集(Philips,Best,荷兰;Siemens Healthcare,Erlangen,德国)。
参考标准和阅片者
X线片最初由一名主治儿科放射科医师(经验水平不一)进行报告。一名认证儿科放射科医师(6年经验)在可获取临床数据和随访影像的情况下进行第二次阅片。分歧通过与第三名儿科放射科医师(>5年经验)协商一致解决。该共识诊断作为参考标准。当可用病例≥10例时,进一步分析骨折类型。图像在Sectra工作站(IDS7,Sectra AB,Linköping,瑞典)上审阅。研究设计和流程见图2。
人工智能软件应用
在四种获得CE(Conformité Européenne)认证和/或FDA(Food and Drug Administration)批准的用于儿科骨折检测的AI工具中,有三种(BoneView(BV)、RBfracture(RBf)和Milvue Suite(MS))参与了研究(表1)。一家供应商(Rayvolve,AZmed,Paris,法国)拒绝参与。
供应商提供其AI的最新试用版本,不允许修改。分析于2024年9月和10月同步进行。本机构自2023年起获得许可使用BV。对于既往已分析的病例,重复进行BV分析以验证一致性。
BoneView™(Gleamer,Paris,法国)是一种市售的基于AI的计算机辅助诊断工具。它采用基于Detectron2两阶段目标检测框架构建的深度卷积神经网络。该算法应用三个操作点:阴性(置信度<50%)、可疑(置信度50–90%)和阳性(置信度>90%)。操作点根据开发测试集的自由响应操作特征曲线确定,以平衡高灵敏度和特异度。对于积液和脱位评估,仅使用阴性和阳性输出。该算法在来自60多个放射科的>300,000张X线片(2011年1月至2023年5月)上训练,随机分为70%训练集、10%验证集和20%内部测试集,无重叠。
Milvue Suite™(Milvue,Paris,法国)及其TechCare Alert/Kids配置是一种CE标记的IIa类医疗器械;其衍生版本(TechCare Trauma,无脱位检测)已获FDA许可。其深度学习算法在来自法国放射中心的121,808组标注X线影像集上训练,涵盖所有解剖区域。标注由合格放射科医师共识产生。测试使用80,938张经共识标注的X线片,人口统计学特征均衡。输出分为三种状态:无(无可疑区域)、可疑(置信度>0.10,高灵敏度点)和是(置信度>0.90,高特异度点)。
RBfracture™ v. 2.2(Radiobotics,哥本哈根,丹麦)是一款获得CE认证的IIa类医疗器械。它使用基于Detectron目标检测框架构建的深度神经网络,专门针对放射图像中的骨折检测进行优化。该模型在来自全球超过1,300个放射科、超过160,000名患者的>450,000张放射图像上进行了训练。输出因诊断置信度而异:实线边界框的检测结果表示高置信度(阳性预测值(PPV)≥95%),而虚线框表示较低确定性(阴性预测值(NPV)95%)。阈值使用具有自然患病率的内部调优数据集进行优化,以实现具有临床意义的表现。
统计分析
统计分析使用R Studio(R版本4.4.2(2024-10-31))进行。计算骨折、脱位和肘关节积液的灵敏度、特异度、PPV和NPV及其95%置信区间(CI)。肘关节前部和后部积液(又称脂肪垫征)分别评估。每个数据集分析两次:一次将可疑病例视为阳性,一次视为阴性。除非另有说明,可疑解释为阳性。AI工具之间的比较使用卡方检验,或在适当情况下使用Fisher精确检验。事后两两分析使用比例检验或Fisher精确检验,并采用Holm校正进行多重检验。显著性阈值设为P<0.05。由于MS和RBf过滤关节视图,肘关节积液和脱位未被一致评估。仅对 all 应用程序均可获得的病例进行的分析已重复并单独报告。
结果
共纳入3,414名患者。前臂放射图像的平均年龄为7.4±3.6岁(54%为男性),肘关节为7.5±3.5岁(51%为男性),小腿放射图像为6.6±4.3岁(57%为男性)。详细的人群特征见表2。
小腿
共纳入1,074张放射图像(2,192个病例),包括680处骨折:502处(74%)为胫骨骨折,175处(26%)为腓骨骨折,3处(0.4%)为股骨骨折(表3),对应的频率分别为47%、16%和0.3%。
除RBf(灵敏度88.4%)外,所有AI工具的灵敏度和PPV均超过90%。所有工具的特异度和NPV均>95%。当可疑病例被归类为阴性时,所有AI的灵敏度均下降,其中最显著的是RBf(−8个百分点),同时NPV相应降低,特异度和PPV相应升高(表4)。
比较分析显示AI之间无显著差异(补充材料1)。
RBf检测到的可疑病例最多(BV 66;MS 7;RBf 78),其中超过三分之二被确认为真阳性(BV 40;MS 2;RBf 55)。因此,RBf获得了最高的PPV(95% CI):BV 60.6%(48.5–71.5),MS 28.6%(8.7–64.1),RBf 70.5%(59.6–79.5)。
最常见的骨折类型——胫骨干斜行骨折、胫骨近端扣带骨折和幼儿骨折——占所有骨折的45%。除胫骨近端扣带骨折、幼儿骨折、胫骨近端和远端Salter-Harris II型骨折以及胫骨远端Salter-Harris IV型骨折外,大多数类型的检出率超过90%。RBf在胫骨干斜行骨折和腓骨近端扣带骨折中也观察到检出率降低,BV在腓骨近端干骺端完全性骨折中检出率降低(补充材料2)。
前臂
共纳入1,142张X线片(2,424例),包括1,345处骨折:肱骨27处(2%)、桡骨768处(57%)和尺骨550处(41%)(表3),对应频率分别为2%、67%和48%。
所有AI工具的敏感度和PPV均≥92%,而特异度和NPV超过91%。当将疑似病例视为阴性时,所有AI的敏感度均下降,其中RBf下降最明显(−6个百分点),同时NPV相应降低,特异度和PPV升高(表5)。
MS和RBf的特异度显著高于BV(补充材料3)。
RBf和BV检出的疑似病例约为MS的三倍(BV 106;MS 31;RBf 111),其中RBf的真阳性率最高(BV 47;MS 18;RBf 84)。因此,疑似病例的PPV(95% CI)以RBf最高:BV 44.3%(35.2–53.8)、MS 58.1%(40.8–73.6)、RBf 75.7%(66.9–82.7)。
最常见的骨折类型为桡骨和尺骨远端干骺端扣带骨折,约占所有骨折的40%。除尺骨远端扣带骨折、尺骨茎突撕脱骨折、桡骨近端扣带骨折、尺骨近端干骺端完全骨折和桡骨近端Salter-Harris II型骨折外,大多数类型的检出率超过95%。桡骨和尺骨弯曲骨折未被所有AI工具一致检出(补充材料4)。
数据集包括23例肘关节脱位(14例Monteggia损伤)和1例尺骨远端脱位(Galeazzi骨折)。仅373例由MS评估了脱位。2例RBf输出缺失。BV和RBf的敏感度和PPV较低(95% CI):BV 21.7%(9.7–42.0)/45.5%(21.3–72.0),RBf 43.5%(25.6–63.2)/40.0%(23.4–59.3),两者的特异度和NPV均>99%。共检出21例假阳性脱位(腕关节:10例,肘关节:11例)(肘关节:BV 4、MS 3、RBf 6;腕关节:BV 1、MS 5、RBf 8)。对MS评估的373例重复分析后,BV和RBf的性能有所改善。MS达到100%敏感度,但PPV有限(38.5%)(表6)。该亚组内的比较分析未显示显著差异。
肘部
共纳入1,198张X线片(1,357例),包括654处骨折:肱骨469处(72%)、桡骨116处(18%)和尺骨69处(11%)(表3),对应频率分别为39%、10%和6%。
敏感度范围为87.5%(RBf)至91.6%(MS),略低于前臂X线片,而特异度在80.3%(BV)至86.8%(RBf)之间。当将疑似病例归类为假阳性时,敏感度和NPV降低,而特异度和PPV升高(表7)。
RBf对阴性病例的检出显著优于BV(补充材料5)。
RBf检出的疑似病例最多(BV 157;MS 64;RBf 179),其中>50%确认为真阳性(BV 44;MS 12;RBf 96),反映在PPV(95% CI)上:BV 28.0%(21.6–35.5)、MS 18.8%(11.1–30.0)、RBf 53.6%(46.3–60.8)。
肱骨髁上完全骨折占所有骨折的45%(补充材料6),所有AI的检出率>98%。肱骨髁上扣带骨折仅BV检出率>90%(RBf 57.7%)。肱骨小头骨折的检出率为89.2%(MS)至95.4%(BV)。内上髁撕脱骨折(所有AI工具)、尺骨鹰嘴完全骨折(BV、RBf)和桡骨近端干骺端扣带骨折(MS、RBf)的性能有限。
对于肱骨远端(BV),肘部X线片对近端干骺端扣带骨折的检出率(91.9%)高于前臂X线片(80.8%),尽管骨折频率相当(32对26)。同样的情况适用于所有AI对近端桡骨Salter-Harris II型骨折的检出,其中BV差异最大(95.5%对83.3%)。然而,前臂X线片上的骨折频率明显较低(12对44)。近端完全性干骺端尺骨骨折的检出率在MS中差异最大(90%对83.3%),同样前臂X线片上的频率较低(18对50)。
在48例脱位中,BV正确识别26例,MS识别31例,RBf识别45例。仅RBf的灵敏度超过93%,而BV和MS分别达到54.2%和64.4%。所有AI的特异度均较高(BV为100%)。PPV以BV最高,但RBf较低(53.6%),而所有工具的NPV均较高(表8)。
当将可疑病例视为阴性时,MS的灵敏度保持稳定,RBf显示较低的PPV(18.9%,7例真阳性/37例可疑病例)。总体而言,RBf在识别阳性病例方面表现最佳,BV在识别阴性病例方面表现最佳(补充材料5)。
716张X线片中存在肘关节积液:126张仅有前脂肪垫征,70张仅有后脂肪垫征,520张两者均有(表3),总体频率为60%。所有AI对前脂肪垫检出的灵敏度约为84%,BV和MS的特异度>92%,RBf为84%。PPV以MS最高(98.4%),其次为BV(93.5%)和RBf(87.7%)。NPV范围为80.1%(RBf)至82.6%(MS)。后脂肪垫检出的灵敏度范围为82.3%(MS)至40.6%(BV),所有工具均具有高特异度(表9)。
可疑病例中真阳性的比例较高,导致前脂肪垫征和后脂肪垫征的PPV均较高(补充材料7)。
RBf未对27张X线片进行积液评估。排除这些病例未对结果产生显著影响。
MS检测后脂肪垫的准确性高于其他AI,而RBf的特异度高于BV。MS检测前脂肪垫征最为准确(补充材料5)。
讨论
我们评估了三种经CE认证的AI工具在三个骨折高发解剖区域(小腿、前臂和肘部)中检测儿童骨折的诊断性能。小腿和前臂骨折的性能较高,但肘部骨折的性能降低。所有AI工具在识别特定骨折类型方面均表现出局限性。(肘关节)脱位的检测总体较差,除一个AI系统外,但该系统仍显示出较低的PPV。肘关节积液的检测为中等水平,AI工具之间存在较大差异,尤其是在识别后脂肪垫征方面。
小腿
所有人工智能工具对骨折检测的诊断性能均较高,与既往文献一致。尽管儿童小腿X线片尚未被专门研究,但已报道的下肢骨折灵敏度和特异度分别为73–100%和71–100%[13–17]。在本研究中,性能因骨折类型而异,并且在幼儿骨折、近端干骺端扣带骨折、近端和远端Salter-Harris II型骨折以及胫骨远端Salter-Harris IV型骨折中显著降低,这与Altmann-Schneider等人关于BV的研究结果一致[12]。然而,幼儿骨折通常在保守治疗下稳定,漏诊病例的临床影响较小[18, 19]。“蹦床骨折”常表现为细微的扣带骨折或近端胫骨骨骺前倾,容易被忽视[20, 21],尽管其长期意义——尤其是外翻畸形的风险——仍存在争议[22]。胫骨远端Salter-Harris-II型骨折由于存在骨骺过早闭合及随后生长障碍的风险,需要准确检测[23, 24]。
前臂
所有人工智能工具在骨折检测方面均表现出高灵敏度和特异度,其中RBf的特异度优于BV,与既往关于上肢骨折的研究一致[8, 13, 16]。然而,性能因骨折类型而存在显著差异。
桡骨和尺骨弯曲骨折的检测率明显较低,这与Altmann-Schneider等人关于BV的研究结果一致[12]。由于既往研究中弯曲骨折数量有限——例如Hayashi等人仅报告了1例,且人工智能未能检测到[16]——比较分析仍然受限。弯曲骨折是儿科诊断最具挑战性的骨折之一,原因在于生理性变异及相应的较高评定者间变异性[25]。许多病例通常仅在存在相关损伤或随访影像时才被识别。尽管复位所需的成角阈值仍存在争议,但及时诊断对于预防功能损害至关重要[26]。
肘部
肘部骨折的性能低于前臂和小腿骨折,其中内上髁撕脱骨折尤其具有挑战性。由于骨化程度随年龄变化、有时缺乏干骺端骨折块以及骨折块可能嵌入关节,这些骨折难以检测,且可能被其他结构遮挡[27]。准确诊断对于避免长期并发症至关重要[27, 28]。
多项研究评估了人工智能在儿童肘部损伤中的应用。Dupuis等人报告,在758张肘部X线片中,MS的灵敏度和特异度分别为92.9%和76.8%[29]。Rayvolve(AZmed)在294张肘部X线片队列中显示出相当的灵敏度(91.8%)和更高的特异度(87.3%)[13]。对于BV,三项研究报告的灵敏度范围为80.5–100%,特异度为84.7–90%,尽管骨折患病率较低[13, 30],而在一项更大型数据集中报告了较低的性能[12]。RBf在一项纳入180张儿童X线片的研究中进行了评估(灵敏度89%,特异度90%)[31],在一个混合年龄队列中(包括98名儿童,共334名患者),Bachmann等人报告灵敏度和特异度分别为90%和93%[32]。
在我们的研究中,RBf的特异性显著高于BV。Busson等人比较了MS、Rayvolve和BV [33],报告Rayvolve的总体性能较低。MS和BV的结果与我们的结果相当,但比较受限于年龄选择(≥15岁)和小样本量的特定区域样本。值得注意的是,BV和MS在前臂X线片上对桡骨和尺骨近端干骺端骨折的检出率低于肘部X线片,可能反映了模型训练或骨折患病率的差异。
我们的研究评估了间接骨折征象,因为相当比例的肘部骨折为隐匿性骨折,仅能通过提示肘关节积液的阳性脂肪垫征推断 [5]。由于隐匿性骨折需要与可见骨折相同的治疗,脂肪垫征的检出在临床上至关重要 [5, 6]。在我们的研究中,AI尤其在后方脂肪垫征方面表现不佳,MS表现最佳而BV最差(敏感度40.6%;阴性预测值60.2%)。此前一项使用深度卷积神经网络的研究报告了更高的性能(敏感度90.0%,特异度90.6%)[10],但未区分前方与后方脂肪垫,且使用的数据集较小。
BV和MS对肘关节脱位(包括Monteggia骨折-脱位)的检出效果较差(敏感度分别为54.2%和64.6%)。RBf检出了更多病例(敏感度93.8%),但阳性预测值较低(53.6%),且特异度低于BV和MS。需要注意的是,RBf未获批准用于<15岁儿童。总体而言,所测试的AI工具均未在肘关节脱位检出方面表现出可靠性能,尽管及时识别对于避免并发症至关重要 [34]。
我们的研究对存疑病例进行了详细分析,为临床医生解读AI生成的不确定报告提供了见解和指导。迄今为止,仅有Altmann-Schneider等人 [12] 在儿科影像中研究了存疑病例。BV和RBf产生的uncertain发现多于MS,但存疑病例的总体阳性预测值较低,表明一般应谨慎解读或视为阴性。一个例外是后方脂肪垫征,其存疑病例主要為真阳性。这既凸显了检出后方脂肪垫的难度,也反映了临床实践中解读存疑病例的更广泛挑战。
除了已讨论的所测试AI工具的厂商特异性局限性外,还必须考虑某些AI特有的局限性。AI性能高度依赖于训练数据集,而各AI工具的训练数据集在患者人群和参考标准质量方面存在差异。此外,算法设计、训练策略和存疑病例生成缺乏透明度,使临床医生难以识别潜在的错误来源 [35, 36]。
我们的研究为三个常见的儿科骨折部位提供了广泛的数据集,能够对人群特异性和区域特异性的骨折类型及间接骨折征象进行详细分析。参考标准由经验丰富的儿科放射科医生在可获取临床信息和随访研究的情况下确定,确保了高质量的参考标准。
尽管如此,必须承认若干局限性。分析仅限于三个解剖部位,限制了普遍适用性。回顾性、单中心设计可能引入了偏倚,且由于两种受测人工智能工具(BV、RBf)存在年龄限制而排除2岁以下儿童,可能影响代表性。最后,较长的纳入周期和部位多样性可能引入了图像质量的异质性。
结论
本研究为三种市售人工智能工具在儿童骨折检测(包括间接征象和关节脱位)中的诊断准确性提供了重要见解。研究明确了哪些创伤后改变可被可靠检出,并突出了需要谨慎解读或进一步培训的领域。了解每种人工智能工具的优势和局限性对于临床医生确保其在儿科实践中的安全有效使用至关重要。
补充信息
以下是电子补充材料的链接。ESM 1补充材料1(DOCX 49.0 KB)
引用
- Altmann-Schneider I, Geiger LS, Kellenberger CJ, et al. Multivendor comparison study of artificial intelligence software for automated fracture detection in paediatric patients. Pediatr Radiol. 2025. PMID: 41251696. doi:10.1007/s00247-025-06461-6
- 全文:PMC13546333(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13546333/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。