儿科腕部初始X线的自动AI骨折检测:加入随访检查的效果与获益
基于公开GRAZPEDWRI-DX数据集20327张儿科腕部X线,比较仅初始X线与加入随访X线(含或不含石膏)训练对EfficientNet分类和YOLOv8目标检测性能的影响。EfficientNet分类性能无统计学显著改善;YOLOv8在加入随访后AP50(p=0.003)和F1评分(p=0.009)改善,结论认为随访数据不提高骨折检出率但可改善目标检测的定位。
要点
- 加入随访X线未提高EfficientNet对初始X线有无骨折的分类性能。
- YOLOv8加入随访X线后AP50(p=0.003)和F1评分(p=0.009)有统计学显著改善。
- 改善最明显的是同时加入含石膏和不含石膏随访X线的数据集。
核心结论
- 加入随访X线未提高初始X线的分类性能,但改善了目标检测任务的骨折定位。
- 随访数据对儿科腕部骨折检出率无相关改善,但可能改善AI目标检测应用。
研究设计与样本
- 研究论文,使用公开GRAZPEDWRI-DX数据集20327张儿科腕部X线(6091例患者,年龄0.2–19岁,2008–2018年于奥地利Graz大学医院采集)。
- 数据集分为初始(10859张)、不含石膏随访(3692张)和含石膏随访(5776张);分离500张初始X线作为测试集,其余19827张用于训练。
- 构建四种训练数据集:仅初始(10359张)、初始+不含石膏随访(14051张)、初始+含石膏随访(16135张)、初始+不含石膏+含石膏随访(19827张)。
- 训练EfficientNet B0–B7图像分类模型(共32个)和YOLOv8 Nano至X-Large目标检测模型(共20个),训练轮数均为50。
- 参考标准为经验丰富的儿科放射科医生审阅并预标注边界框的诊断骨折。
诊断标准与关键数值
- EfficientNet分类在500张初始X线测试集上,四种训练数据集的精确率(p=0.252)、召回率(p=0.185)、准确率(p=0.088)和F1评分(p=0.136)均无统计学显著差异。
- YOLOv8目标检测在AP50(p=0.003)、F1评分(p=0.009)和精确率(p=0.038)上四种训练数据集间有统计学显著差异;AP50-95(p=0.064)、AP75(p=0.122)和召回率(p=0.871)无统计学显著差异。
- 事后检验中,AP50在数据集1(仅初始)与数据集4(加入全部随访)间p=0.003;F1评分在数据集1与数据集2(加入含石膏随访)间p=0.047,在数据集1与数据集4间p=0.009。
- YOLOv8中差异最小的是数据集1(仅初始)与数据集3(加入不含石膏随访)之间。
临床应用与阅片要点
- 作者认为,在儿科腕部骨折分类检测场景下可省略随访图像标注工作。
- 作者认为,额外标注随访检查的努力应结合预期任务和标注资源仔细评估。
局限性
- 数据集仅来自单一机构,无法进一步分析结果的泛化性。
- 数据仅涉及一个身体区域。
- 数据集中图像组分布存在显著偏斜,初始、随访和石膏图像数量不均匀,由样本缺乏所致。
- 随访X线中的石膏可能因降低参考标准中边界框设置的准确性而使结果偏斜。
- 缺乏外部验证。
全文中译12 节 · 点击展开
引言
人工智能(AI)的应用在医学领域已取得令人瞩目的成果[1–3]。目前放射学中已有大量算法投入使用,有望改善转诊、图像采集、图像处理、后处理和报告[4, 5]。经过良好训练的AI算法,尤其是卷积神经网络,已在以高精确度、准确性和速度识别X线图像中的异常方面展现出显著能力[6–13]。AI在骨折检测和定位方面的能力仍是一个活跃的研究领域。
就自动骨折检测或定位而言,这具体意味着对患者首次就诊时的初始X线片进行评估[10, 13]。损伤确诊后的所有进一步检查均未纳入考虑,尽管事实上这些检查构成了所有可用相关X线片的相当一部分。这些随访检查可能经常包含临床相关发现,例如创伤愈合过程中的并发症,如继发性骨折脱位、骨痂形成延迟或缺失、金属植入物问题或感染[14, 15]。尽管具有上述相关性,但由于发生率相对较低,相关AI应用的开发并不十分迫切,实施前景也不被看好。尽管如此,该主题在未来仍将具有意义,值得进一步研究。
标注图像数据复杂且耗时。通常只有专家才能执行这些标注,或至少需要监督非专业人员或受训人员[16–18]。因此,估计哪些图像实际上需要标注,以便AI能够更精确地回答相应问题,具有很大的意义。尽管AI骨折检测领域已取得巨大进展[7, 19, 20],但是否有必要标注包括随访在内的整个可用数据集仍不清楚。文献中未找到相关信息,但机器学习工程师的通常做法是使用尽可能多的数据,忽略可能引入的偏倚。其主要原因是机器学习算法(尤其是深度卷积神经网络)受益于大规模数据集[21]。关于AI与X线片的纵向研究总体上相对少见[22],部分原因是时间维度增加了任务的复杂性。
为探讨加入随访检查对机器学习模型性能的影响,使用了GRAZPEDWRI-DX数据集。“GRAZPEDWRI-DX”是一个公开可用的数据集,专门为儿童腕部创伤的机器学习应用而设计。该数据集包含来自6091名儿童患者的20,327张腕部X线图像,包括腕部骨折以及骨质减少和软组织肿胀等其他情况。该数据集旨在支持用于儿童腕部骨折自动检测和诊断的机器学习模型的开发,满足儿科放射学对更好诊断工具的需求[23]。
我们的假设是,将随访检查的标注数据加入人工智能训练中,可能在初始就诊X线片的性能上带来益处。因此,我们使用四种不同的数据集变体(包含初始研究或初始与随访研究的组合)测试了两种用于图像分类和目标检测的标准神经网络。
材料与方法
数据集
所使用的数据集GRAZPEDWRI-DX可免费获取,由20,327张儿童腕部X线图像组成[23]。该数据集于2008年至2018年间在奥地利格拉茨大学医院采集,包含来自6091名年龄0.2–19岁的独特患者的16位数字儿童腕部X线图像。基础数据集包括有石膏和无石膏的初始及随访X线图像。所有X线图像均由经验丰富的儿童放射科医师审阅,诊断的骨折已预先用边界框标注,从而构成我们的真实基准数据。从基础数据集中分离出500张X线图像作为测试子集,不参与任何训练过程。其余19,827张X线图像可分组如下:初始(10,859张初次就诊时的X线图像)
随访无石膏(3692张无石膏的随访X线图像)
随访有石膏(5776张有石膏的随访X线图像)
随访无石膏与随访有石膏之间的比例为1–1.6(39–61%)。从我们的三个基础数据集中,我们创建了四个不同的模型数据集,见图1,用于训练我们的神经网络(YOLOv8 Nano至X-Large和EfficientNet B0–B7)并检验我们的假设。初始(10,359张X线图像)
初始+随访无石膏(14,051张X线图像)
初始+随访有石膏(16,135张X线图像)
初始+随访无石膏+随访有石膏(19,827张X线图像)
训练前,训练和验证子集(不含测试集中的n=500张图像)被分为两个子集:训练集(模型数据集中75%的X线图像)和验证集(其余25%)。对于EfficientNet,提供的参数valid pct设置为0.25,以25%的验证数据进行随机划分。对于YOLOv8,使用外部Python脚本将X线图像随机分为训练(75%)和验证(25%)子文件夹。
对于亚组分析,我们将数据集分为儿童和青少年。儿童小于13岁,青少年为13岁或以上。
神经网络
两种神经网络架构使用相同的真实基准数据进行训练。两者代表了解决视觉识别任务的不同方法。第一种架构EfficientNet[24]专为图像分类任务设计,侧重于准确性和计算资源方面的效率;而第二种YOLOv8[25]侧重于目标检测。对于这两种视觉识别任务,理解图像的视觉内容并提取有意义的特征以做出准确预测至关重要。图2展示了目标检测与图像分类之间的差异。
EfficientNet
EfficientNet包含一系列卷积神经网络模型,旨在图像分类任务中优化计算资源的利用。对于每张X射线图像,是否存在骨折的信息存储在一个CSV文件中。为了训练模型,算法遍历所有X射线图像,并将它们与CSV文件中的相关信息关联。与YOLOv8相同,测试子集用于评估训练后模型在未见真实标注数据上的最终性能。整个训练过程在补充材料中以示意图形式展示。
EfficientNet系列涵盖从EfficientNet-B0到EfficientNet-B7的变体。模型名称中的索引或字母表示应用于网络架构的缩放程度。
我们使用准确率指标来评估EfficientNet图像分类模型。准确率是指训练后的模型在正确识别X射线图像并为其分配标签方面的有效性。在我们的工作中,所有EfficientNet模型均被训练用于处理骨折与无骨折的二分类问题。共训练了32个不同的EfficientNet模型。总训练轮数为50,目标图像尺寸(像素)根据待训练的EfficientNet模型设定:B0 = 224、B1 = 240、B2 = 260、B3 = 300、B4 = 380、B5 = 456、B6 = 528、B7 = 600 px。
YOLOv8
YOLOv8(You Only Look Once version 8)是一种目标检测架构,其工作方式是将图像划分为网格,并预测每个网格单元内目标的边界框和类别概率。输出是一组包围图像中目标的边界框,以及每个框的类别标签和置信度分数。
该模型使用训练子集中所有预先标注的X射线图像来学习检测骨折。每张X射线图像配有一个标注文件,其中包含骨折边界框的坐标。在整个训练过程中,模型的性能定期在验证子集上评估,以指导训练过程并防止过拟合。最后,测试子集用于评估训练后模型在未见真实标注数据上的最终性能,提供其泛化能力的估计。整个训练过程在补充材料中以示意图形式展示。
YOLOv8的每个类别包含五个不同的模型。YOLOv8 Nano是最快、最紧凑的选项,而YOLOv8 X-Large则号称是该系列中最准确但相对较慢的模型。
我们使用AP50作为我们的主要性能参数,因为本研究的重点是检测骨折类别,但也使用AP75和AP50-95指标来评估我们的YOLOv8目标检测模型。它测量了IoU(交并比)阈值从0.5、0.75和0.5到0.95的平均精度均值,提供了对模型性能的全面评估。每个YOLOv8模型都从头开始训练以检测骨折类别。骨折类型或骨折位置未进一步区分。共训练了20个YOLOv8模型。每个YOLOv8模型的训练轮数为50,目标图像尺寸设置为640 px。其余参数使用标准超参数。
基础设施
两种神经网络架构及其变体的训练均在作者所在机构的Linux工作站上进行,该工作站配备两块Nvidia GeForce RTX 4090(显存大小24,209 MiB)。详细的系统配置如下所示。操作系统:Ubuntu 22.04(Linux-6.5.0–14-generic- × 86 64-with-glibc2.35)
框架:Python-3.10.12 torch-2.0.1 + cu117
神经网络:Ultralytics YOLOv8.0.207、EfficientNet FastAI v2.7.15
GPU:2 × NVIDIA GeForce RTX 4090,24.209MiB
CPU:16核 × 第13代Intel Core i7-13700 K
内存:2 × 32 GB DDR4 RAM
统计分析
我们进行了描述性统计和均值比较。由于可能存在正态分布缺失,我们使用了非参数检验,具体为Kruskal–Wallis检验来证明数据集变体之间的差异,以每个变体的性能值作为分析单位。P值低于0.05被认为具有统计学显著性。事后检验使用Dunn检验和Bonferroni校正进行多重性校正。使用Bonferroni校正方法校正后的α为0.008333。使用SPSS 27版(IBM Inc.,Armonk,NY USA)计算统计参数。
伦理声明
回顾性数据分析经格拉茨医科大学伦理委员会授权(IRB00002556,编号31-108 ex 18/19)。由于本研究的回顾性性质,无需知情同意。所有实验程序均符合当地指南和《赫尔辛基宣言》。
结果
分类指标(EfficientNet)
我们主要终点获得的测试结果,即ROC分析如图3所示,显示四个训练数据集之间没有视觉趋势或差异。我们通过非参数Kruskal–Wallis检验在由500张初始图像组成的测试集中,跨八个EfficientNet变体,未检测到四个训练数据集之间在精确率(p = 0.252)、召回率(p = 0.185)、准确率(p = 0.088)和F1分数(p = 0.136)方面存在统计学显著差异。因此,未进行进一步的事后检验。这意味着纳入额外随访X线片对于骨折存在与排除之间的分类没有可识别的益处。我们进一步将数据集分为儿童和青少年,其中儿童子集显示出略好的性能参数,见表1。
目标检测指标(YOLOv8)
目标检测算法 YOLOv8 及其五个变体 n、s、m、l 和 x 在独立样本 Kruskal–Wallis 检验中,使用 Bonferroni 校正 α 值为 0.0083 的事后 Dunn 检验,显示训练数据集之间存在统计学显著差异,即在 AP50(p = 0.003)、F1 分数(p = 0.009)和精确率(p = 0.038)方面。AP50-95、AP75 和召回率在训练数据集之间无统计学差异,p 分别为 0.064、0.122 和 0.871,图 5。相关混淆矩阵见图 4。
讨论
我们研究了额外随访检查对初诊时儿童腕部 X 线 AI 辅助骨折检测性能指标的可能影响。许多医院可获得大量随访检查,但其用于 AI 解决方案需要专家图像标注,这既耗时又费力。本文分析了将随访X线片(有石膏和无石膏)纳入 AI 训练的影响。我们旨在确定增加的标注工作及由此产生的更大数据库是否会影响初始骨折X线片的 AI 检测性能,而后者目前是儿童创伤学中唯一常见的应用场景。
进行了广泛的文献综述,但未发现涉及 AI 儿童骨折识别背景下使用随访影像的研究。与人工智能相关的儿童创伤纵向方面信息普遍匮乏。纳入额外的时间维度带来挑战,因此纵向研究在计算机视觉领域不常见。然而,一些近期研究聚焦于涉及胸部X线片的随访应用 [22, 26]。
当前基于X线片的自动骨折检测领域的 AI 应用和研究仅关注患者初诊 [10, 13],尽管随访影像具有临床相关性。因此,随访检查的整个范围被搁置一旁。这些随访研究对患者结局比首次图像更重要的情况并不罕见。当复位可能不充分、发生继发性脱位、出现内固定并发症或发生创伤后感染时即是如此。关于病理性骨折的研究也很少,因为其发生率低,削弱了当前深度学习算法对大量样本的需求。测试集中正确分类和检测骨折的示例见图 6。
我们在公开可用的GRAZPEDWRI-DX数据集[23]上训练了EfficientNet的全部八种变体作为图像分类算法,该数据集此前已由我们团队发表。虽然我们观察到随着模型复杂度增加,性能指标呈上升趋势,但我们在四种训练集和验证集变体之间几乎未注意到任何相关差异。这表明纳入随访图像在儿童骨折检测方面并未增加任何价值。反之,这也意味着在通过分类进行儿童腕部骨折检测的背景下,图像标注的工作可以省略。
有趣的是,YOLOv8变体在考虑随访图像时表现出改善的骨折定位。在对所有五种变体进行非参数Kruskal–Wallis分析的事后检验中,两个数据集之间的差异也具有统计学显著性,具体为:在AP50指标上,1)初始与4)全部随访之间(p = 0.003);在F1分数指标上,1)初始与2)随访石膏之间(p = 0.047)以及1)初始与4)全部随访之间(p = 0.009)。其他指标呈统计学显著趋势。YOLOv8中可观察到的最小差异在测试集1)初始与3)无石膏随访之间。与骨折分类相反,YOLOv8的骨折检测通过添加更多样化的随访样本数据,在初始X线片的测试集上有所改善。图6展示了一个测试集示例,其中分类失败但目标检测正常运作。
本研究存在若干局限性值得注意。首先,数据集完全来自单一机构,这阻碍了关于研究结果泛化性的进一步分析。其次,数据仅涉及一个身体区域。还应注意到,数据集中图像组分布的偏斜度显著,因为初始、随访和石膏图像的数量分布不均匀。这种分布是由样本缺乏所致。此外,随访X线片中的石膏可能通过降低真实标注中边界框设置的准确性而使结果产生偏倚。另一个局限性是缺乏外部验证。需要进一步的专项研究来阐明在人工智能和儿童创伤放射摄影领域中初始检查和随访检查的特征。
结论
自动骨折检测作为一种日益重要的人工智能应用,迄今为止几乎完全基于初始X线图像。随访X线并未改善初始X线图像的分类性能,但在目标检测任务中提高了边界框的定位性能。然而,该研究结果表明,纳入额外随访X线对儿童腕部骨折的检出率并无相关改善,但可显示目标检测的改善。因此,应针对预期任务和标注资源仔细评估在标注随访检查方面所付出的额外努力。
引用
- Scherkl M, Stranger N, Ciornei-Hoffman A, et al. Automated AI fracture detection in initial presentation pediatric wrist X-rays: effects and benefits of adding follow-up examinations. Radiol Med. 2025. PMID: 41231332. doi:10.1007/s11547-025-02153-1
- 全文:PMC12982319(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12982319/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。