文献速递骨肌儿科影像技术与安全DR

基于人工智能的儿童四肢骨骼骨折检测:常见骨折类型和部位的诊断性能与局限性

Artificial intelligence-based detection of paediatric appendicular skeletal fractures: performance and limitations for common fracture types and locations.
PubMed 文献 · Pediatr Radiol · 2023-12-15

回顾性纳入苏黎世大学儿童医院急诊的前臂、小腿和肘关节X线片各1000例患者,以儿科放射学共识诊断为参考标准评估BoneView的诊断准确性。前臂和小腿骨折检测的敏感度、特异度、阳性预测值和阴性预测值均较高,但肘关节骨折敏感度和阴性预测值中等,关节积液检测中等,脱位检测敏感度和阳性预测值低;对弯曲骨折、幼儿骨折、蹦床骨折等特定类型检出率低。

要点

  • 前臂骨折检测敏感度92.9%、特异度98.1%,小腿骨折敏感度87.5%、特异度87.5%,均较高。
  • 肘关节骨折敏感度80.5%、阴性预测值84.7%为中等,脱位敏感度65.8%、阳性预测值50%为低。
  • 弯曲骨折检出率极低:11例桡骨弯曲骨折仅检出1例,7例尺骨弯曲骨折检出0例。

核心结论

  • BoneView对前臂和小腿骨折的诊断性能有前景,但对肘关节骨折、间接骨折征象和脱位的检测需改进后才能让临床医生完全依赖该软件进行儿童骨折检测。
  • 对弯曲骨折、幼儿骨折、蹦床骨折以及肘关节骨折、关节积液和脱位,在儿科 practitioners 或急诊医生能自信依赖AI骨折检测之前,改进是必须的。

研究设计与样本

  • 单中心回顾性研究,纳入苏黎世大学儿童医院急诊0-18岁急性创伤疑似骨折患者的连续X线片,每个部位1000例患者,前臂和小腿配对骨分别分析,肘关节每个关节计为一例。
  • 参考标准为儿科放射学共识诊断:原始报告由值班儿科放射科人员出具,再由具有3年(I.A-S.和S.P.)和7年(C.S.)经验的认证儿科放射科医生二次阅片,分歧经第三次共识阅片解决。
  • 使用BoneView(Gleamer, Paris, France)AI软件,基于Detectron 2两阶段目标检测深度卷积神经网络,工作点定义为置信评分50%-90%为可疑、超过90%为阳性、0%-50%为阴性。
  • 骨折按儿科AO分类,同一类型检测到10例及以上时进一步分析;图像解读使用Sectra工作站(IDS7)。
  • 统计分析使用SPSS 29.0,分别将可疑病例归类为骨折和不骨折计算敏感度、特异度、阳性预测值和阴性预测值;投影间分类不一致时按最高置信度发现分类。

关键影像表现/征象

  • 小腿X线片显示607例骨折,其中腓骨142例(23%)、胫骨465例(77%)。
  • 前臂X线片显示1137例骨折,其中桡骨673例(59%)、尺骨464例(41%)。
  • 肘关节X线片显示517例骨折,其中肱骨397例(77%)、桡骨69例(13%)、尺骨51例(10%)。
  • 图1展示小腿X线片真阳性、假阳性和假阴性示例,包括胫骨螺旋骨折检出、远端胫骨Salter-Harris-II骨折检出伴假阳性近端骨折、近端干骺端胫骨扣带骨折(蹦床骨折)未检出。
  • 图3展示肘关节X线片真阳性、假阳性和假阴性示例,包括完全性髁上骨折伴积液检出、正常X线片假阳性桡骨外上髁撕脱、孟氏骨折-脱位中尺骨鹰嘴完全骨折检出但相关桡骨近端脱位未检出。

诊断标准与关键数值

  • 小腿骨折检测:将可疑病例归类为骨折时敏感度、特异度、阳性预测值和阴性预测值均超过90%;归类为不骨折时敏感度略降至90%以下(87.5%),特异度87.5%、阳性预测值98.3%、阴性预测值98.3%。
  • 前臂骨折检测:将可疑病例归类为骨折或不骨折时敏感度和特异度、阳性预测值和阴性预测值均超过90%(敏感度92.9%、特异度98.1%、阳性预测值98.4%、阴性预测值91.7%)。
  • 肘关节骨折检测:将可疑病例归类为骨折时敏感度91.5%、阴性预测值89.5%为高,但特异度63.7%、阳性预测值69.0%为低;归类为不骨折时敏感度降至80.5%、特异度升至94.9%、阳性预测值升至93.3%、阴性预测值84.7%。
  • 肘关节积液检测:总体敏感度85.1%、特异度85.7%、阳性预测值89.5%、阴性预测值80%;无明显骨折亚组敏感度91.2%、特异度87.1%、阳性预测值78.8%、阴性预测值95.0%。
  • 肘关节脱位检测:敏感度65.8%、特异度97.7%、阳性预测值50%、阴性预测值98.8%。

临床应用与阅片要点

  • 前臂和小腿X线片骨折检测的敏感度、特异度和预测值均较高,可辅助检出常见骨折。
  • 对弯曲骨折(11例桡骨弯曲骨折仅检出1例,7例尺骨弯曲骨折检出0例)、幼儿骨折(检出率74%)、蹦床骨折(检出率66%)以及尺骨茎突撕脱、桡骨近端扣带骨折、尺骨近端完全骨折(检出率低于80%)需警惕漏诊。
  • 肘关节骨折检测中,可疑标注在肘关节相对常见(每个骨折部位可疑比例21.7%,前臂4.1%、小腿2.6%),将可疑归类为不骨折可提高特异度和阳性预测值但敏感度从91.5%降至80.5%。
  • 肘关节积液检测在无明显骨折病例中阳性预测值降至78.8%,但阴性预测值升至95.0%。
  • 肘关节脱位检测敏感度和阳性预测值低,对孟氏骨折-脱位中相关桡骨近端脱位未检出。

局限性

  • 评估仅限于三种最常见的儿童骨折部位,结果不能推广到儿童骨骼的其他部位。
  • 回顾性研究设计和单机构设置是其他局限性。
  • 仅评估了一种商业AI软件,结果不能推广到其他AI软件。
  • 需要进一步研究评估AI骨折检测在儿科急诊或儿科实践中的性能,以衡量其临床影响。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Pediatr Radiol. 2023 Dec 15;54(1):136–45. doi: 10.1007/s00247-023-05822-3

引言

近年来,基于人工智能(AI)的软件应用在各个亚专科的放射学领域迅速发展,并成为广泛研究的课题。常规X线片上的自动骨折检测是已开发出多个基于AI的软件包的应用之一,主要针对成人患者群体[1]。对于儿科群体,这方面的进展相对滞后。发育中骨骼的形态学变化、生长过程中的正常变异、独特的儿科骨折类型以及不断变化的骨折模式,给基于AI的软件研发带来了重大挑战。此外,较小的患者群体阻碍了大型数据库的建立,而大型数据库是充分训练软件所必需的。尽管对基于AI的儿科自动骨折检测软件应用的兴趣日益增长,但该领域的研究仍然匮乏[2]。大多数研究集中于某一特定身体部位,并在单中心环境中描述软件的开发和评估[3–5]。少数研究对AI辅助骨折检测进行了外部评估,但每个解剖区域的X线片数量相对较少。现有关于儿科患者群体中基于AI的骨折检测研究迄今为止忽略了间接骨折征象和脱位的检测。儿科骨折的检测往往具有挑战性,部分原因是它们可能是隐匿性的。这强调了检测间接骨折征象的至关重要性,尤其是在肘关节,关节积液可能是骨折的唯一指标。

本研究旨在使用一个大型数据集评估现有AI工具检测相关儿科创伤后效应(包括骨折、间接骨折征象和脱位)的诊断准确性,该数据集涵盖三种最常见的儿科骨折部位:小腿、前臂和肘部。

材料与方法

伦理批准

本研究按照世界医学协会伦理准则(赫尔辛基宣言)进行,研究已获得州研究伦理委员会批准(2022–00816)。

数据采集与研究对象

本研究回顾性纳入自2021年12月起连续就诊于苏黎世大学儿童医院急诊科、因急性创伤和疑似骨折就诊的0–18岁患者的X线片。纳入标准为前臂、小腿或肘部至少两个投照体位(正位和侧位)的X线片,且于就诊急诊科当日拍摄。对具有高度提示虐待儿童特异性的骨折(如干骺端角骨折)患者的X线片予以排除,因为AI软件未接受过检测此类骨折的训练。

每个身体部位共纳入1,000名患者(小腿X线片的纳入于2017年12月截止,前臂X线片于2020年5月截止,肘部X线片于2019年8月截止)。小腿和前臂图像中的成对骨骼分别进行分析,计为独立病例。若同一骨骼存在一处以上创伤后改变,则每项发现计为独立病例。每个肘关节计为一个病例。若肘部存在一处以上创伤后改变,则每项发现计为独立病例。

X线摄影在两种不同的X线摄影设备(Philips,Best,荷兰;Siemens Healthcare,Erlangen,德国)上获得。

参考标准与阅片者

所有X线摄影均包含来自具有不同程度经验的儿科放射科主治医师的原始报告。每张X线摄影均接受由具有3年(I.A-S.和S.P.)和7年(C.S.)经验的认证儿科放射科医师进行的第二阅片,该医师可获取临床信息。原始报告与第二阅片之间的分歧通过第三次共识阅片(I.A-S.、S.P.和C.S.)解决。该儿科放射学共识诊断被用作评估AI软件诊断准确性的参考标准。所有骨折均根据儿科AO(Arbeitsgemeinschaft für Osteosynthesefragen)分类[6]进行分类,并在检测到同一类型10例或更多病例时进一步分析。对于图像判读,使用Sectra工作站(IDS7)(Sectra AB,Linköping,瑞典)。

人工智能软件

BoneView™(Gleamer,Paris,法国)是一种市售的基于AI的计算机辅助诊断工具。它是一种带有CE标志的医疗器械,设计用于在全分辨率医学数字成像和通信(DICOM)图像上检测急性和亚急性骨折、积液、脱位和局灶性骨病变,并额外获得美国食品药品监督管理局(FDA)许可用于儿科骨折检测。该算法使用基于目标检测框架(“Detectron 2”)的深度卷积神经网络,作为两阶段目标检测器工作。该算法有两个工作点:当置信度评分介于50%和90%之间时为可疑,当置信度评分超过90%时为阳性。置信度评分介于0%和50%之间将标注为阴性。这些工作点基于开发测试集的自由响应操作特征曲线选择,以实现高灵敏度和高特异度工作点。该算法使用来自60多个放射科、于2011年1月至2023年5月收集的超过300,000张X线摄影的数据集开发。开发数据集被随机分为70%用于训练、10%用于验证、20%用于内部测试集,各子集之间患者或图像无任何重叠。

统计分析

使用Windows版社会科学统计软件包(IBM,版本29.0,Armonk,NY)进行统计分析。计算三个解剖区域中每个区域骨折检测的灵敏度、特异度、阳性预测值(PPV)和阴性预测值(NPV),以评估AI软件的诊断性能。这些值也针对肘部X线摄影上的关节积液和脱位进行计算。统计分析进行了两次,一次将标注为可疑的病例(两个投照体位上的置信度评分均介于50%和90%之间)视为真骨折,一次将其归类为无骨折。在投照体位之间分类不一致的情况下,该病例按置信度最高的发现进行分类。

结果

每个解剖部位的研究共纳入1,000例患者。前臂X线摄影的平均年龄为7.8 ± 3.9岁(60%为男性),肘部X线摄影的平均年龄为7.7 ± 3.7岁(55%为男性)。小腿X线摄影的平均年龄略低,为4.9 ± 4岁(58%为男性)。研究人群的详细特征见表1。

表1 患者特征 查看原表 ↗

小腿X线摄影

共纳入2,100例,其中607例确诊骨折,包括142例(23%)腓骨骨折和465例(77%)胫骨骨折。详情见表2。将可疑病例归类为骨折时,敏感性、特异性、PPV和NPV均超过90%。将可疑病例归类为无骨折时,仅观察到敏感性略有下降至90%以下(表3)。特定骨折类型的检出率见表4。胫骨干无移位螺旋形骨折(幼儿骨折)、胫骨近端嵌插骨折(蹦床骨折)和胫骨近端Salter-Harris-II型骨折的检出率低于80%。图1展示了真阳性、假阳性和假阴性病例的示例。

表2 各解剖区域的X线摄影特征 查看原表 ↗
表3 小腿X线摄影 查看原表 ↗
表4 小腿骨折类型的频率和检出率 查看原表 ↗
图1 小腿X线摄影示例,显示BoneView(Gleamer,巴黎,法国)做出的真阳性(a–d)、假阳性(e–h)和假阴性(i–k)诊断。a–d 一名5岁女孩左小腿的 anteroposterior(AP)和侧位X线片,分别为BoneView标注前(a,b)和标注后(c,d)。存在胫骨螺旋形骨折。该骨折以高于90%的置信度评分被检出(矩形/“FRACT”)。e–h 一名11个月女孩左小腿的AP和侧位X线片,分别为BoneView标注前(e,f)和标注后(g,h)。存在胫骨远端Salter-Harris-II型骨折。该骨折的真阳性发现以高于90%的置信度评分被检出(矩形/“FRACT”)。此外,BoneView在侧位X线片(h)上检出了一处假阳性近端骨折,置信度评分在50%至90%之间(虚线矩形/“FRACT”)。i–k 一名1岁男孩左小腿的AP和侧位X线片,分别为BoneView标注前(i,j)和标注后(k)。存在胫骨近端干骺端扣带骨折(蹦床骨折),仅在侧位X线片上可见(矩形)。BoneView未检出该骨折 查看原图 ↗

前臂X线摄影

共纳入2,051例,其中1,137例确诊骨折,包括673例(59%)桡骨骨折和464例(41%)尺骨骨折。详情见表2。将可疑病例归类为骨折或无骨折时,敏感性、特异性、PPV和NPV均超过90%(表5)。特定骨折类型的检出率总结于表6。弯曲骨折的检出率较差(11例桡骨弯曲骨折中检出1例,7例尺骨弯曲骨折中检出0例)。此外,茎突撕脱、桡骨近端扣带骨折和尺骨近端完全骨折的检出率低于80%。图2展示了真阳性、假阳性和假阴性病例的示例。

表5 前臂X线摄影 查看原表 ↗
表6 前臂骨折类型的频率和检出率 查看原表 ↗
图2 前臂X线片的示例,显示BoneView(Gleamer,巴黎,法国)作出的真阳性(a–d)、假阳性(e–h)和假阴性(i–k)诊断。a–d 一名5岁男孩左前臂的 anteroposterior(AP)和侧位X线片,分别为BoneView标注前(a,b)和标注后(c,d)。存在桡骨和尺骨远端干骺端扣带骨折。这些骨折被检测到,置信度评分高于90%(矩形/“FRACT”)。e–h 一名5岁男孩左前臂的AP和侧位X线片,分别为BoneView标注前(e,f)和标注后(g,h)。X线片正常。BoneView在侧位X线片上检测到一处假阳性的尺骨远端骨干骨折,置信度评分高于90%(矩形/“FRACT”)。此外,还检测到肘关节假阳性积液(矩形/“EFF”)。i–k 一名2岁男孩左前臂的AP和侧位X线片,分别为BoneView标注前(i,j)和标注后(k)。存在一处桡骨弯曲骨折,仅在侧位X线片上可见(矩形)。BoneView未检测到该骨折 查看原图 ↗

肘部X线片

共纳入1,104例,其中517例为确诊骨折,包括397例(77%)肱骨骨折、69例(13%)桡骨骨折和51例(10%)尺骨骨折。详见表2。将可疑病例归类为骨折时,敏感性和NPV较高(分别为91.5%、89.5%),但特异性和PPV较低(分别为63.7%、69.0%)。将可疑病例归类为无骨折时,则观察到敏感性显著下降(80.5%),特异性和PPV升高(94.9%和93.3%)。在存在明显关节积液的病例中(可能提示隐匿性骨折),BoneView频繁将肱骨识别为潜在骨折部位(可疑)。结果汇总见表7。在肘部病例中,仅对于完全性髁上骨折和桡骨颈完全性骨折,骨折检出率超过80%(表8)。

总体而言,关节积液检测的敏感性为85.1%,特异性为85.7%,PPV为89.5%,NPV为80%。在无 obvious fracture 的肘部病例亚组中,敏感性和特异性分别略有升高至91.2%和87.1%,而PPV降至78.8%,NPV升至95.0%。对于肘关节脱位的检测,敏感性为65.8%,特异性为97.7%,PPV为50%,NPV为98.8%。图3展示了真阳性、假阳性和假阴性病例的示例。

表7 肘部X线片 查看原表 ↗
表8 肘部骨折类型及其发生频率和检出率 查看原表 ↗
图3 肘部X线摄影示例,显示BoneView(Gleamer,巴黎,法国)作出的真阳性(a–d)、假阳性(e–h)和假阴性(i–k)诊断。a–d 4岁女孩左肘的前后位(AP)和侧位X线摄影,分别为BoneView标注前(a,b)和标注后(c,d)。存在完全性肱骨髁上骨折伴积液(阳性的前、后脂肪垫征)。该骨折被检出,置信度评分高于90%(矩形/“FRACT”)。积液被BoneView正确显示(矩形/“EFF”)。e–h 10岁女孩右肘的前后位和侧位X线摄影,分别为BoneView标注前(e,f)和标注后(g,h)。X线摄影为正常。BoneView检出了桡骨外上髁撕脱,置信度评分高于90%(矩形/“FRACT”)。i–l 6岁男孩右肘的前后位和侧位X线摄影,分别为BoneView标注前(i,j)和标注后(k)。存在Monteggia骨折-脱位。BoneView检出了尺骨鹰嘴真阳性完全性骨折,置信度评分高于90%(橙色矩形/“FRACT”)。相关的桡骨近端脱位被忽略(红色矩形) 查看原图 ↗

讨论

我们在一个大型儿科患者队列中评估了一种基于人工智能的软件用于自动骨折检测的诊断准确性,重点关注三种最常见的儿科骨折部位。

我们对面部骨折的评估得出了有希望的结果,与既往使用同一人工智能软件发表的数据一致,总体上表明该人工智能软件作为独立工具检测骨折具有高灵敏度、特异度、阳性预测值(PPV)和阴性预测值(NPV)[7, 8]。在我们的研究中,所有尺骨弯曲骨折(n=7)和11例桡骨弯曲骨折中的10例未被检出。弯曲骨折是最难检测的儿科骨折之一,研究显示即使在儿科放射科医师之间也存在较高的评分者间变异性,因为桡骨和尺骨的一定程度弯曲仍可能是生理性的[9]。此外,尺骨茎突撕脱、桡骨近端扣带骨折和尺骨近端(鹰嘴)完全性骨折的检出率低于80%。既往研究尚未如此详细地探讨每块骨的不同骨折类型和部位。这些特定骨折类型的较低性能可能部分归因于其低发生率,从而限制了训练算法的有效性。

对小腿骨折的评估总体上显示出有希望的结果,但也提示了需要改进的方面。我们注意到幼儿骨折(74%)和蹦床骨折(66%)的检出率相对较低,这两种都是相对常见的儿科骨折类型,发生于特定年龄组,并具有不同的临床特征。这两种骨折类型往往相当细微且难以检测[10, 11]。

在肘关节中,当所有置信评分在50%至90%之间(可疑)的病例均被视为阳性骨折检出时,骨折检出的阳性预测值(PPV)较低(69%)。相反,将可疑病例归类为阴性骨折检出会导致PPV升高(93%),但灵敏度显著下降,从91.5%降至80.5%。由于隐匿性骨折被定义为在常规X线片上不可见,可能仅通过间接骨折征象(如关节积液)或在随访影像上通过骨折愈合征象才能检出[12];考虑到该部位隐匿性骨折的发生频率相对较高,在肘部标注“可疑”尤其令人困惑。此前唯一一项在外部评估环境中评价BoneView的研究未报告置信评分[8]。在我们的研究中,肘部的检出率仅对完全性髁上骨折和完全性桡骨颈骨折较高,与前言(4.1%)和小腿(2.6%)骨折部位相比,每个骨折部位的可疑病例比例相对更高(21.7%)。

1954年,Norell首次描述了在侧位常规X线片上检测肘关节积液作为创伤后改变的可能性[13]。在常规X线片上检测关节积液对临床医生至关重要,因为它作为可能存在隐匿性骨折的指标,直接影响治疗决策[14]。在我们的研究中,AI软件对肘关节积液的总体检测为中等(PPV 89.5%),而在无明显骨折的病例中更低(PPV 78.8%)。此前一项研究使用深度学习算法评估儿童肘部积液的检测,结果令人鼓舞[4]。然而,该研究存在若干局限性,如训练数据集有限,以及将性能与儿科急诊临床医生而非儿科放射科医生进行比较。在我们的研究中,肘关节脱位的检测率较低。

此前有三项研究对骨折检测的AI辅助工具进行了外部评估。Nguyen等和Hayashi等使用BoneView软件回顾性评估了300张附肢骨骼X线片的数据集,导致每个解剖部位的X线片数量相对较少[6, 7]。该软件的性能分别以独立使用[7]以及与初级和高级放射科医生协作的方式进行了评估[8]。Gasmi等和Dupuis等评估了基于AI的软件Rayvolve(AZmed,巴黎,法国)的诊断准确性,一次在测试环境中[15],另一次纳入大量病例但分布于所有解剖区域[16]。所有这些研究仅关注骨折检测,而未考虑间接骨折征象和脱位。及时检测脱位在临床上至关重要,以避免功能受限和慢性疼痛等不良结局,这些结局可能需要切开复位和矫正手术[17]。

我们研究的优势之一是广泛的数据集,允许对不同骨折类型和部位进行全面评估。此外,建立参考标准的儿科放射科医生对临床信息未设盲,这提高了参考诊断的质量。

我们的研究存在一些局限性。由于我们对人工智能软件的评估仅限于三种最常见的儿童骨折部位,因此结果不能推广到儿童骨骼的其他部位。回顾性研究设计和单中心设置是其他局限性。此外,仅评估了一款商业人工智能软件,结果不能推广到其他人工智能软件。需要进一步研究人工智能骨折检测在儿科急诊科或儿科实践中的表现,以评估其临床影响。

总之,我们的研究强调了基于人工智能的软件应用在儿科患者自动骨折检测方面的潜力,在前臂和小腿X线片上取得了有希望的结果。然而,对于特定的儿童骨折类型,如弯曲骨折、幼儿骨折和蹦床骨折,以及肘部的骨折、间接骨折征象(关节积液)和脱位,在儿科医生或急诊医生能够在临床实践中自信地依赖基于人工智能的骨折检测之前,改进是必须的。

引用

  1. Altmann-Schneider I, Kellenberger CJ, Pistorius SM, et al. Artificial intelligence-based detection of paediatric appendicular skeletal fractures: performance and limitations for common fracture types and locations. Pediatr Radiol. 2023. PMID: 38099929. doi:10.1007/s00247-023-05822-3
  2. 全文:PMC10776701(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10776701/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。