文献速递儿科影像骨肌DR

两种不同人工智能方法评估腕骨骨龄与标准Greulich和Pyle方法的性能比较

Performance of two different artificial intelligence (AI) methods for assessing carpal bone age compared to the standard Greulich and Pyle method.
PubMed 文献 · Radiol Med · 2024-08-20

该回顾性研究纳入两家机构225例儿童左手腕X线片,由专家和住院医师按Greulich和Pyle(GP)法评估骨龄,并与16-bit AItm和BoneXpert®两种AI软件比较。结果显示GP与两种AI方法结果相关,但两种AI方法之间的一致性高于AI与GP之间的一致性,AI可缩短评估时间且结果与GP相当。

要点

  • 两种AI软件与GP法评估骨龄结果相关,但AI之间的一致性优于AI与GP之间。
  • GP法较BoneXpert®低估骨龄(平均差−0.95,95%CI −0.64至−0.42),较16-bit AItm低估骨龄(平均差−0.67,95%CI −0.94至−0.39)。
  • BoneXpert®与16-bit AItm之间无系统性差异(平均差−0.19,95%CI −0.45至0.08)。

核心结论

  • 两种AI方法和GP法提供相关的结果,但AI之间的测量值比AI与GP法之间更接近。
  • 使用AI系统可更快速地评估骨龄,结果与GP法相当,且不受操作者经验影响。

研究设计与样本

  • 回顾性研究,纳入225例连续患者(男120例、女105例),平均年龄8岁10个月(SD=3岁1个月),于2018年10月至2022年5月在两家机构行左手腕X线检查。
  • 由经验超过20年的专家和3名不同经验的放射科住院医师以盲法按GP表评估骨龄,另用BoneXpert® 3.2.2和免费版16-bit AItm软件评估。
  • 以实际年龄作为参考标准,采用Bland–Altman图比较GP、BoneXpert®和16-bit AItm的测量值。

诊断标准与关键数值

  • 16-bit AItm估计骨龄范围1岁1个月至15岁8个月,平均9岁5个月(SD=3岁3个月)。
  • BoneXpert®估计骨龄范围8个月至15岁7个月,平均8岁11个月(SD=3岁3个月)。
  • GP法平均骨龄范围11个月至14岁9个月,平均8岁4个月(SD=3岁3个月)。
  • 4名阅片者GP评估显著相关(Pearson r>0.80,p<0.001),阅片者间异质性无统计学意义(ANOVA p=0.952)。
  • 骨龄与实际年龄差值的SD:BoneXpert®为15个月,GP为16个月,16-bit AItm为22个月。

临床应用与阅片要点

  • 作者认为,使用AI系统可实现与人工GP法相当的可靠结果,同时减少操作者内变异并更快速。
  • 作者指出,16-bit AItm软件不能识别错误输入(如花朵照片或胸部X线片),强调操作者在管理AI中的重要性。
  • 欧洲儿科放射学会(ESPR)声明,不推荐单独使用手部骨龄作为确定实际年龄的工具。

局限性

  • 研究缺乏患者临床病史,实际年龄可能因各种临床状况而与骨龄不同。
  • 16-bit AItm软件不能识别错误输入,如花朵照片或胸部X线片,强调操作者在管理AI中的重要性。
  • 研究使用的是16-bit AItm软件的免费演示版,商业化授权版本可能更完善并与GP法和BoneXpert®相关性更高。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Radiol Med. 2024 Aug 20;129(10):1507–12. doi: 10.1007/s11547-024-01871-2

引言

骨骼生长包括骨骼大小、形状和矿物质密度的改变。这一过程通过初级和次级骨化中心的活动实现,由第一骨化中心形成的骨称为骨干,由第二骨化中心形成的骨称为骨骺。在这些骨化中心中,软骨逐渐转化为骨组织。只要生长板(也称为骨骺板)中仍存在软骨,这一进程就会持续。骨骼发育完成后,骨骺板发生骨化,表明骨干与骨骺之间融合 [1]。骨龄是骨骼成熟度的标志,因此其评估在儿科放射学中很常见。它有助于评估生长、成熟度,以及诊断和管理各种儿科疾病,包括内分泌、口腔正畸和骨科疾病。准确的评估依赖于对初级和次级骨化中心的形状和成熟水平及其融合时间的了解 [2, 3]。骨骼年龄评估的两个主要应用是识别生长障碍和估计最终成年身高。从法律角度来看,在官方文件缺失时,骨龄评估可用于判断个体是否为未成年人。然而,根据欧洲儿科放射学会(ESPR)的建议,不推荐仅通过评估手和腕部的骨龄来确定实际年龄,因为无法克服与腕部终点成熟相关的巨大生物学变异或统计学问题 [4]。

过去几十年来,人们使用了多种方法,包括Greulich–Pyle(GP)法、Gilsanz–Ratibin法和Tanner–Whitehouse(TW)法。GP法和Gilsanz–Ratibin法基于图谱,将患者的X线片与标准图谱X线片进行比较,并赋予最接近的骨龄 [1, 5, 6]。相反,TW采用评分法,对桡骨、尺骨和短骨特定的放射学感兴趣区域(ROI)进行分期,得出最终评分并转换为骨龄 [7]。Greulich和Pyle的《手和腕骨骼发育放射学图谱》(G&P)呈现了左手X线片,这些X线片被选为不同年龄段按性别划分的发育基准。该图谱包括按实际年龄和性别分类的平均骨骼年龄和标准差(SD)表,便于评估儿童的骨骼成熟度 [6]。Greulich和Pyle精心挑选了代表性X线片以对应图谱中的每个年龄组。通过将这些标准与数百名相似年龄的正常发育儿童的X线片进行比较,他们计算了每个年龄组的标准差。尽管GP图谱使用的是四十年代和五十年代的X线片创建,但它在临床实践中仍被广泛使用,尽管需要人工处理,并且适用于发达国家的多族裔人群 [8, 9]。G&P方法的人工操作方式包括查看图像和文本、查阅数据表以及进行基本计算,以对照实际年龄评估骨骼年龄。这一人工过程可能减慢诊断工作流程,并增加观察者误差和计算误差的风险 [8]。

BoneXpert®(Visiana,丹麦霍尔特)是一个全自动系统,无需专家人工验证即可运行,于2009年推出。该软件采用更为精细的方法,检查左手和腕部X线片以评估骨龄(BA)。它评估13块骨骼,包括尺骨、桡骨以及第1、3、5指中的11块短骨。骨形态、密度评分和纹理特征是该算法辨别和区分骨骼结构的关键参数。X线片分析分为三个连续层次。首先,软件通过应用主动外观模型识别感兴趣骨骼。随后,它确定并验证每块已识别骨骼的骨龄。在最后阶段,软件将计算出的BA值转换为GP或TW骨龄值[10]。最近,另一款名为Physis®的骨龄应用程序(由16-bit AI™开发,加拿大多伦多)已被推出[11]。它分析左手和腕部X线片,提供预测骨龄。该应用程序曾获2017年RSNA儿童骨龄挑战赛冠军,与放射科医师确定的地面真值相比,其一致性相关系数(CCC)达到0.991,平均绝对差异为4.265个月[12]。

在我们的研究中,我们旨在比较使用标准GP方法、16-bit AItm软件(2022年初的免费版本)和BoneXpert®系统获得的测量值之间的一致性。

材料与方法

患者选择

样本包括225例回顾性连续患者,年龄在11个月至16岁1个月之间,平均年龄8岁10个月(SD=3岁1个月),包括120例男性和105例女性。他们在2018年10月至2022年5月期间在两家机构接受了有临床指征的左手和腕部X线检查,并在盲法条件下进行。

骨龄评估

两位拥有20年以上经验的专家和三名经验水平不同的放射科住院医师分析了每张X线片。选择不同经验水平以评估阅片者内变异性。他们知道患者性别但不知道年龄,基于GP表估算骨龄。随后,我们使用了BoneXpert® 3.2.2最新可用版本的演示版。该软件直接从发送到AI软件服务器的医学数字成像和通信(DICOM)图像中自动提取13块骨骼(桡骨、尺骨以及第1、3、5指中的11块短骨)的BA。最初,它重建并验证骨边缘,计算每块骨骼的BA和总内在BA,然后将该值转换为GP或TW值。该软件还会自动剔除次优图像。随后,软件将一个新的带标签DICOM文件发送回图像归档和通信系统(PACS)[13]。接下来,我们将原始DICOM图像从PACS导出为允许的最高质量JPEG格式,并提交至16-bit AItm软件(16-bit,加拿大多伦多)的免费版本。

如网站上所述,该软件采用深度卷积神经网络(DCNN),据公司于2022年初声明,该网络在12,612张儿童X线片上进行了训练。它需要X线片和患者性别来评估估计骨龄,并需要实际年龄来评估标准差。将JPEG图像上传至服务器后,软件会自动将其调整为500×500像素再进行分析。几秒钟后,软件提供骨龄、标准差和推理时间[11, 12]。

统计分析

我们开展了一项重复测量研究,涉及四名阅片者(一名专家和三名放射科住院医师),对确定的X线片样本进行评估。在使用Shapiro–Wilks检验评估正态性后,我们计算了Pearson相关系数和单因素方差分析,以评估四名阅片者之间的可重复性。随后,我们将GP骨龄确定为四次重复的均值。在再次使用Shapiro–Wilks检验评估正态性后,将通过16-bit AItm、BoneXpert®和GP测得的实际年龄和骨龄以均值和标准差进行汇总。为比较从16-bit AItm、BoneXpert®和GP获得的测量值,我们构建了三幅Bland–Altman图。每对测量值在笛卡尔坐标系上以坐标表示,其差值位于y轴,均值位于x轴。y轴上的负差值(正差值)表示两次测量(16-bit AItm、BoneXpert®和GP)之间存在偏倚,即第一次测量系统性低于(高于)第二次测量。如果等同线(零差值)落在平均差值的95%置信区间(CI)之外,则认为偏倚具有统计学显著性。落在95%一致性界限之外的点表示一对测量值存在显著不一致。

结果

Shapiro–Wilks检验提示所有16-bit AItm骨龄(p = 0.1789)、GP骨龄(p = 0.1730)、BoneXpert®骨龄(p = 0.0956)和实际年龄(p = 0.5041)均呈高斯分布。16-bit AItm骨龄范围为1岁1个月至15岁8个月,平均骨龄为9岁5个月(SD = 3岁3个月)。BoneXpert®骨龄范围在8个月至15岁7个月之间,平均骨龄为8岁11个月(SD = 3岁3个月)。GP平均骨龄在11个月至14岁9个月之间,平均骨龄为8岁4个月(SD = 3岁3个月)(表1)。这些数值——均值、年龄范围和标准差(SD)——之间的变异性越小,评估系统之间的一致性就越高。此外,更明确且更窄的年龄范围和SD意味着骨龄评估的精确度更高。四名放射科医师的GP评估显著相关(Pearson r > 0.80,p < 0.001)。阅片者之间的异质性无统计学显著性(ANOVA p = 0.952)。

骨龄与实际年龄之间差值的SD在BoneXpert®中为15个月,在GP中为16个月,在16-bit AItm中为22个月。

与BoneXpert®相比,GP低估了骨龄(平均差值 = − 0.95,95%CI = (− 0.64;− 0.42)),平均差值为7个月,两次测量之间的一致性在− 2.16(95%CI = (− 2.36;− 1.99)至1.10(95%CI 0.93;1.30)之间变化(图1)。同样,与16位AItm相比,GP低估了骨龄(平均差值 = − 0.67,95%CI = (− 0.94;− 0.39)),平均差值为1年1个月,两次测量之间的一致性在− 4.06(95%CI = (− 4.58;− 3.63)至2.73(95%CI = 2.30;3.25)之间变化(图2)。BoneXpert®与16位AItm之间无系统性差异,平均差值为7个月(平均差值 = − 0.19,95%CI = (− 0.45;0.08)),两次测量之间的一致性在− 3.45(95%CI = (− 3.95;− 3.03)至3.07(95%CI − 3.03;3.57)之间变化(图3)。

表1 在225名儿童样本中,通过GP、BoneXpert®和16位AI估算的年龄和骨龄的描述性统计 查看原表 ↗
图1 用于评估GP与BoneXpert®准确性的Bland–Altman图。1 注1:x轴:GP与BoneXpert®的平均值,y轴:GP–BoneXpert®的差值。y零线表示无偏性。灰线表示偏倚(虚线)和两种方法之间的95%一致性界限(实线)。灰线右侧的灰色线段表示偏倚和一致性界限的95%置信区间。GP为四位阅片者的平均评估 查看原图 ↗
图2 用于评估GP与16位AI准确性的Bland–Altman图。1 注1:x轴:GP与16位AI的平均值,y轴:GP–16位AI的差值。y零线表示无偏性。灰线表示偏倚(虚线)和两种方法之间的95%一致性界限(实线)。灰线右侧的灰色线段表示偏倚和一致性界限的95%置信区间。GP为四位阅片者的平均评估 查看原图 ↗
图3 用于评估BoneXpert®与16位AI准确性的Bland–Altman图。1 注1:x轴:BoneXpert®与16位AI的平均值,y轴:BoneXpert®–16位AI的差值。y零线表示无偏性。灰线表示偏倚(虚线)和两种方法之间的95%一致性界限(实线)。灰线右侧的灰色线段表示偏倚和一致性界限的95%置信区间。GP为四位阅片者的平均评估 查看原图 ↗

讨论

首先,必须认识到基于手部和腕部X线片的骨龄评估的固有局限性,即通常观察到的标准差范围较宽,在4至6年或可能更高之间。营养、药物和种族差异等因素可影响骨骼成熟。这一局限性也解释了为何仅依靠此类评估来确定一个人是否小于或大于18岁是不可靠的,这是我们经常遇到的常见问题。事实上,欧洲儿科放射学会(ESPR)最近指出,不建议单独使用手部骨龄作为确定实际年龄的工具[4]。

尽管存在这一局限性,骨龄评估仍因医学原因被广泛用于各种临床目的,主要用于评估生长障碍。在我们的研究中,我们分析了两种不同的人工智能(AI)软件用于骨龄评估的准确性和效率,并将它们与GP方法进行比较以及相互比较。我们以实际年龄作为参考标准。

我们的分析显示,GP方法和AI方法均表现出平均差异,其中GP方法测量的变异性最高,这可能是由于与客观的计算机评估相比,操作者依赖性的评估所致,无论其经验如何。此外,如Kim等人[14]所证明,非AI读片所需时间更长,而诸如BoneXpert等AI系统大幅减少了骨龄测定报告所需的时间[15]。

使用两种AI系统均可显著降低读片者内部变异性[16],我们的结果与Gerges M等人的研究一致,该研究表明自动化算法(特别是16-bit AItm软件)产生的数值与GP方法一致,同时减少了分析时间[16]。另一项研究表明,BoneXpert®提供了高度准确的骨龄自动评估,与Greulich–Pyle方法相比,可在不损害准确性的情况下通过减少读片时间提高临床实践效率[13]。根据我们的经验,读片者内部变异性影响年轻和资深放射科医生,而使用两种AI系统均可降低这种变异性。使用AI系统可获得与人工GP方法相当的可靠结果,同时减少操作者内部变异性且速度更快。

我们的研究存在一些局限性:首先,我们无法获取患者的临床病史,这意味着由于各种临床状况,实际年龄可能与骨龄不同。然而,这对所使用的三种骨龄评估系统均适用。此外,Hi P.H.等人最近的一项研究强调,16-bit AItm软件无法识别错误输入,如花朵照片或胸部X线片,强调了操作者在管理AI中的重要性[17]。第三,我们使用的是16-bit AItm软件的免费演示版本,而目前由Health Canada®注册的市售授权版本可能更为完善,与GP方法和BoneXpert®显示出更好的相关性。

结论

两种AI方法和GP均提供相关的结果,尽管与GP方法相比,AI所做的测量彼此之间更为接近。使用AI系统可以更快速地评估骨龄,提供与GP方法相当的结果, regardless of the operator's experience.

引用

  1. Alaimo D, Terranova MC, Palizzolo E, et al. Performance of two different artificial intelligence (AI) methods for assessing carpal bone age compared to the standard Greulich and Pyle method. Radiol Med. 2024. PMID: 39162939. doi:10.1007/s11547-024-01871-2
  2. 全文:PMC11480116(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11480116/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。