文献速递儿科影像骨肌DR

三种AI辅助骨龄测定程序性能的关键性比较研究

A critical comparative study of the performance of three AI-assisted programs for bone age determination.
PubMed 文献 · Eur Radiol · 2024-11-05

该回顾性研究在306例中欧白人儿童中比较BoneXpert、PANDA和BoneView三种AI程序按Greulich和Pyle法测骨龄的性能,以三位专家均值为参考标准。主要年龄段内三者可靠性相似,但在儿童期边界(婴幼儿及接近成年者)差异显现。

要点

  • BoneXpert在1–18岁全年龄段误差最低(RMSE 0.62年),PANDA在常见年龄段(占本中心90%检查)RMSE最低(0.65年)。
  • BoneView因软件限制拒检20.3%的检查(CA<3岁或BA≥17岁),PANDA无拒检。
  • 三个AI程序间BA标准差低于三位人类读者间(0.52年 vs 0.62年,p<0.01)。

核心结论

  • 三种AI程序在主要年龄段内按G&P法估测骨龄均可靠且质量相似,差异出现在儿童期边界(婴幼儿和接近成年者)。

研究设计与样本

  • 回顾性研究,纳入2011–2020年单中心1–18岁儿童左手X线片306例(男153、女153),按性别和1岁龄组随机抽取。
  • 以三位人类专家(两名儿科放射科医师分别有7年和4年经验,一名儿科内分泌专家有30年经验)独立估测的G&P骨龄均值为参考标准。
  • 另设占本中心临床骨龄检查90%的常见年龄段亚组(女4.8–15.5岁、男4.9–17.0岁),共206例(男109例)。
  • 所有X线片用Axiom Aristos FX(Siemens Healthcare)拍摄,无散射线滤线栅,加0.1 mm铜滤过,左手含腕后前位。
  • 评估BoneXpert v3.2.2、PANDA v1.13.21和BoneView v2.3.1.1三种CE认证AI程序。

诊断标准与关键数值

  • 全队列中AI与专家读者骨龄估计相关性R²为0.976–0.987。
  • 全队列RMSE:BoneXpert 0.62年 vs BoneView 0.69年 vs PANDA 0.75年;拒检率分别为2.3%、20.3%和0%。
  • 常见年龄段亚组RMSE:PANDA 0.65年 vs BoneXpert 0.66年 vs BoneView 0.68年;拒检率分别为0%、1.5%和4.4%。
  • 常见年龄段亚组平均误差:PANDA 0.13年 vs BoneXpert 0.26年 vs BoneView −0.15年。
  • 三个AI程序间BA标准差平均0.52年 vs 三位人类读者间0.62年(p<0.01)。

临床应用与阅片要点

  • BoneView对CA<3岁及BA≥17岁拒检,阅片时需注意其参数不反映全队列性能。
  • PANDA不拒检且对非标准后前位投影较稳健,但近成年者因天花板效应结果需谨慎解读。
  • BoneXpert具内部质量控制,本数据中2.2%检查被拒。
  • BoneXpert和BoneView的平均误差随骨龄范围变化(p<0.001),PANDA变化不显著(p=0.09);未校正时BoneXpert在青春期前儿童倾向高估、BoneView倾向低估。
  • 作者指出约半年平均绝对偏差的临床意义尚不明确。

局限性

  • 研究人群为单中心疑似或确诊生长障碍患者,不同患者构成的中心可能获得不同结果。
  • 队列仅含白人,结果可能不推广至其他种族。
  • 未比较各程序的经济成本。
  • BoneView将骨龄四舍五入至G&P图集年龄类别,商业版仅提供四舍五入值,理论上不四舍五入时性能可能更高。
  • 金标准(三位专家均值)本身也可能存在缺陷,已用取均值减轻读者间和读者内变异。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Nov 5;35(3):1190–6. doi: 10.1007/s00330-024-11169-6

引言

Greulich 和 Pyle(G&P)法仍然是确定骨龄(BA)最常用的方法,该方法将左手 X 线图像与参考图像进行比较 [1, 2]。与其他骨龄测定方法相比,G&P 法易于在临床实践中实施,但它依赖于阅片者的经验、耗时,并且显示出相当大的观察者间和观察者内变异性 [1, 3, 4]。

近年来,若干基于深度学习的程序能够规避这些局限性,可在数秒内提供与专家阅片者相当的骨龄估计值,且无相关的观察者内变异性 [5–9]。人工智能(AI)辅助骨龄评估旨在减少对人类输入的依赖,并为传统的主观骨龄评估提供更好的替代方案 [10, 11]。

目前,欧洲通过欧盟 conformity 标志(CE)认证获准用于医疗用途的、采用 G&P 法测定骨龄的商业化程序有四种:BoneXpert(Visiana)——自 2009 年 3 月起;VUNO Med-BoneAge(Vuno)——自 2018 年 5 月起;IB Lab PANDA(ImageBiopsy Lab,奥地利维也纳)——自 2020 年 11 月起;以及 BoneView Bone Age(Gleamer)——自 2023 年 3 月起 [12]。作为首个获 CE 认证的用于自动骨龄测定的商业化 AI 软件,BoneXpert 于 2009 年推出 [9],通过分析形状、强度和纹理来测定手和腕部每一块骨的骨龄。总体骨龄通过汇总各单块骨的数值计算得出 [13]。BoneXpert 被开发为“自主阅片者”,完全取代人类阅片者。相比之下,获 CE 认证的 AI 软件 PANDA 和 BoneView 的开发目的是在临床实践中辅助人类阅片者。在实践中,图像和结果仍必须由人类阅片者使用 G&P 图谱进行核对。

除作为 CE 认证一部分的内部验证外,独立的外部验证对于评估基于 AI 的程序在真实环境中的性能尤为重要。据我们所知,所有 AI 支持的骨龄测定程序均已分别经过验证,仅有一项研究在同一数据上比较了两种程序 [14]。

每项已进行的验证研究均提供了质量参数,如骨龄估计的平均绝对偏差或均方根误差,潜在买家和用户可据此评估软件的性能。然而,这些验证研究在年龄、种族和人群规模方面的差异,以及代表参考标准的 G&P 专家阅片者专业水平的不同,使得不同程序之间的比较不够客观。

因此,本研究旨在在一个中欧高加索人种单一队列中比较三种 AI 支持的骨龄测定程序的性能。

材料与方法

患者队列与选择

本研究为回顾性研究,使用了另一文献中已描述的患者集合[15]。该集合包括2011年至2020年间因临床骨龄(BA)测定而接受左手X线检查的1–18岁患者。所有图像均拍摄于中欧一家三级中心的儿童放射学研究所。通过放射信息系统识别出5612张图像。将所有患者按1岁年龄段分组后,每组随机选取9名男性和9名女性患者,最终纳入153名男性和153名女性患者,如Gräfe等[15]所发表(补充图1)。当地伦理委员会对本研究图像的回顾性分析给予了正面伦理审查意见,且由于回顾性研究设计,患者知情同意被豁免(EK 46/2020)。

最常见年龄范围亚组

根据G&P,在婴幼儿和较大青少年中,日常临床实践中很少进行BA测定。部分原因是幼儿手部骨骼尚未充分骨化,而接近成人的青少年手部骨骼已过度骨化。因此,针对年龄百分位的中间90%按性别形成了亚组。为此所需的第5和第95年龄百分位通过分析同一中心2014年至2024年间每次BA检查的实足年龄(CA)计算得出(6183次检查,其中3178次为男性患者检查)。

骨龄测定

本研究使用的所有X线图像均使用Axiom Aristos FX(Siemens Healthcare)拍摄,无散射线滤线栅,使用0.1 mm铜滤过片。左手包括腕部始终以后前位投照进行检查。

所有四家根据G&P获得欧洲市场认证的人工智能辅助BA测定供应商均被邀请参与本研究:三家供应商同意参与研究(Visiana、ImageBiopsy Lab、Gleamer),第四家供应商(VUNO)未收到回复。

全部306张X线片由三名阅片者(两名儿童放射科医师D.G.和A.B.B.,分别具有7年和4年经验,以及一名儿童内分泌科医师R.P.,具有30年儿童BA测定经验)在独立 sessions 中进行检查以确定手动BA。BA使用G&P图谱测定[2]。如果腕骨和骨骺的年龄不同,则优先采用骨骺年龄[15, 16]。三名阅片者BA估计值的平均值作为进一步评估的参考(“金标准”)。

同样,全部306张图像被提交给纳入的AI程序进行BA测定评估:BoneXpert(v. 3.2.2)、PANDA(v 1.13.21)和BoneView(v. 2.3.1.1)。BoneXpert和PANDA作为本地独立应用程序使用,而BoneView评估基于云平台。BoneView对CA低于3岁的分析予以拒绝,并将所有17岁以上的BA返回为“≥ 17 y”。

统计学

评估使用RStudio 2023.06.2版本(PBC)进行。酌情给出均值及标准差(SD)或中位数及四分位距(IQR)。确定平均误差、平均绝对误差(MAE)和均方根误差(RMSE)作为性能参数。使用Bland–Altman图确定固定偏倚和一致性界限,作为AI与人类阅片者之间变异性的度量。三个AI程序之间及三位阅片者之间的平均SD确定为均方根,其中为第i位患者使用三个AI程序或由三位阅片者获得的三个骨龄值的标准差。AI程序的SD与人类阅片者的SD的比较采用双尾Wilcoxon符号秩检验。接下来,放松了方法之间差异恒定(即Bland–Altman图中斜率为零)的假设。将差异对均值进行回归,结果用于获得AI估计的BA与真实值之间差异的预测区间。此外,推导了给定AI测量值时真实值的预测方程和预测区间[17]。使用双尾Student t检验检验预测方程中的斜率是否等于1(等效于平均误差恒定或Bland-Altman图中无斜率)。使用R包“MethComp”进行这些计算。对AI估计的BA与真实值之间的平方差应用Friedman秩和检验,以比较不同AI方法的准确性。该队列中专家阅片者的阅片者间变异性已在文献中报道[15]。集中趋势的差异使用Student t检验确定,显著性水平设定为0.05。

结果

患者队列

纳入306例患者(153例女性)的手部X线片。男性中位年龄为9.4岁(IQR 5.2–13.5),女性为9.6岁(IQR 5.2–13.5)。最常见年龄范围亚组(CA的第5–95百分位数)女性年龄跨度为4.8–15.5岁,男性为4.9–17.0岁,共纳入206例患者(109例男性)。患者队列的人口学数据此前也已发表[15](补充表1)。

骨龄的测定

专家阅片者估计的G&P BA中位数男性为9.3岁(IQR 4.3–13.2),女性为9.6岁(IQR 4.5–13.0)。专家阅片者和PANDA均未将任何X线片视为不可读。同时,BoneXpert因软件内部质量控制拒绝了306次检查中的7次(2.3%),BoneView拒绝了62/306次(20.3%)超出软件批准CA范围的检查(35例CA < 3岁儿童和27例BA ≥ 17岁患者)。

全队列中的性能

在所有三个程序中,人工智能与专家阅片者关于BA估计的相关性在R2上都非常高,介于0.976至0.987之间(图1)。三个AI程序之间的标准差平均低于三个专家阅片者之间的标准差(0.52年 vs. 0.62年,p < 0.01)。在整个年龄范围内,BoneXpert的RMSE(0.62年)低于BoneView(0.69年)和PANDA(0.75年)(表1)。值得注意的是,BoneView拒绝分析CA低于3年的病例,因此BoneView的参数并不完全反映与BoneXpert和PANDA相同的队列。

图1 真实值(由专家阅片者确定)与三个基于AI的程序之间骨龄估计的相关性。虚线垂直线之间的区域对应于占研究中心骨龄测定90%的年龄集体。请注意:BoneView的估计排除了实际年龄低于3岁和骨龄高于17岁的儿童。因此,相关系数不反映BoneView分析整个队列的能力 查看原图 ↗
表1 三个软件程序在整个患者人群中的骨龄预测误差(BoneView见*) 查看原表 ↗

亚组中的性能

在包含研究中心常规研究人群90%的亚组中,PANDA的RMSE(0.65年)略低于BoneXpert(0.66年)和BoneView(0.68年)(表2和图2)。BoneXpert、BoneView和PANDA的脱落率分别为1.5%、4.4%和0%。PANDA的平均误差为0.13年,也低于BoneXpert(0.26年)和BoneView(−0.15年)。三个BA估计值的残差平方之间的差异不显著(p = 0.15)。

表2 在骨龄测定常见年龄范围亚组中骨龄预测误差的程度 查看原表 ↗
图2 Bland–Altman图显示三个程序在常见年龄范围亚组(年龄以年为单位)中用于人工智能(AI)辅助骨龄测定的估计准确性 查看原图 ↗

从AI到专家阅片者的转换

对于最常见年龄跨度内的亚组,计算了转换因子以调整AI估计的BA使其与专家阅片者的估计相匹配。BoneXpert和BoneView的平均误差在整个BA范围内并不保持恒定(两种方法均p < 0.001)。假设呈线性关系,BoneXpert的平均误差略有下降,而BoneView则有所增加(图3)。

这些平均误差的变化对PANDA不显著(p = 0.09)。使用表3所示的数据,真实值可通过BAexperts = 截距 + 斜率 * BAai进行估计,预测区间为此估计值周围± 2 *(预测标准差)。预测标准差(以及因此的预测限),即衡量真实值预测不确定性的指标,BoneView和BoneXpert相当(0.60年),PANDA略大(0.64年)。

图3 软件和专家阅片者测量骨龄的Bland–Altman图,假设测量偏差随均值增大呈线性依赖关系(年龄以年为单位) 查看原图 ↗
表3 将AI估计的骨龄(以年为单位)转换为专家阅片者估计的骨龄的参数(部分:“从AI到真实值的转换”) 查看原表 ↗

讨论

本研究首次比较了基于G&P图谱确定骨龄(BA)的四个项目中的三个,这些项目已作为医疗器械获批用于欧洲市场。

本研究分析的所有三个项目——BoneXpert、PANDA和BoneView——均能根据G&P可靠地预测骨龄,质量相似,平均绝对误差(MAE)为0.48–0.56岁。然而,需要指出的是,BoneView不分析实足年龄(CA)至3岁的年龄组,该年龄组评估尤为困难,但在临床实践中也很少使用。此外,出于法医学考量,BoneView将所有17岁以上的骨龄统一返回为“≥ 17岁”,导致整个队列中五分之一的检查被拒绝。

在包含主要年龄范围的亚组中,MAE甚至降至0.50至0.52岁之间。值得注意的是,三个人工智能程序间的平均标准差低于人工阅片者,这与文献中的发现一致,提示其为一种质量特征[18]。在此前的验证研究中,三个程序在人工智能与专家阅片者评估之间均表现出极好的一致性。此前研究中,所分析的程序在人工智能估算的骨龄与人工阅片者相比也表现出相似的偏差:BoneXpert的MAE为0.34岁,均方根误差(RMSE)为0.45岁[5],BoneView的MAE为0.49岁[19]。据作者所知,仅有一项近期研究同时评估了多个用于骨龄测定的人工智能支持程序:BoneXpert和Med-BoneAge[14]。该研究发现两个人工智能程序与专家阅片者之间无显著差异[14]。Med-BoneAge因供应商未予回复而未纳入本研究。

各人工智能程序之间的差异在细节上更为明显:虽然BoneXpert在1–18岁整个年龄范围内产生了最佳结果,但PANDA在主要年龄范围(我们将其定义为临床实践中全部骨龄检查的90%)内与专家阅片者评估的偏差更小。然而,在该年龄范围之外,PANDA的结果较差。因此,本研究确定的主要年龄范围与PANDA的预期使用年龄范围(女性> 3岁且< 16岁,男性< 17岁)基本吻合,这并不令人意外。BoneView在分析前拒绝超出推荐实足年龄的检查,而PANDA则分析每一位患者(原则上甚至包括非用于G&P骨龄分析的X线片,如胸部X线片),并由用户自行验证输入数据的正确性。这是PANDA和BoneView高接受率的权衡取舍。尽管如此,对于实足年龄超出预期使用范围的病例,PANDA会在结果报告中发出警告。考虑到骨龄超出推荐实足年龄后的天花板效应(图1),对PANDA在接近成年者中的结果必须谨慎解读。

此外,PANDA分析已被证明对非标准后前位手部投照具有相当的稳健性[20]。与BoneView和PANDA不同,BoneXpert对手部X线片具有内部质量控制。在研究数据集中,2.2%的检查被拒绝。

约半年的平均绝对偏差的临床相关性尚不明确。本研究及文献中的人类阅片者表现出相似的标准差[18],这一事实进一步强调了这一点。此外,在所研究的三个程序中所观察到的数周至数月的平均偏差,在这种高自然变异性的背景下对临床实践的意义有多大,仍属推测。如果不进行表3中描述的调整,BoneXpert中的比例偏倚将导致在青春期前儿童中倾向于高估,而BoneView则倾向于低估。

这些软件程序在对X射线图像选择和患者人群的要求方面也有所不同:在所分析的三个AI软件程序中,BoneXpert是使用最广泛、最成熟的软件,并已在许多研究以及不同种族和疾病中得到验证[13]。此外,BoneXpert在一个实际的白种人人群中得到了验证[21]。与其他软件不同,BoneXpert基于G&P和Tanner–Whitehouse两种方法进行骨龄(BA)测定的验证。它可以分析前后位视图的左手和右手X射线片[13]。BoneXpert的独特之处在于其预期用途不仅是作为AI辅助工具,还可作为AI替代工具。此外,还可选择测定“骨骼健康指数”,这扩展了AI软件单纯的骨龄测定功能(“AI-expand”)[13]。BoneView是最新的AI软件,可分析前后位视图以及左手或右手的X射线片[19]。

作者承认本研究存在若干局限性:研究人群由来自单一中心的疑似或确诊生长障碍患者组成。由于某些疾病不仅影响骨龄,还影响骨骼形态(如软骨发育不全),患者构成不同的中心可能会获得不同的结果。所研究的队列仅由白种人组成,因此结果可能无法推广至其他种族。

本研究未对程序的经济要求进行比较,因为定价取决于分析量和临床机构的谈判条件,例如同一提供商的其他程序是否已在现场运行。BoneView将每个骨龄四舍五入至G&P图谱中给定的年龄类别,而PANDA和BoneXpert则给出连续值。由于即使是金标准——三位专家阅片者的平均值——也不完全对应G&P分期,理论上BoneView在不四舍五入至G&P年龄类别时的性能可能更高(补充表2和表3)。然而,在商业版本中,仅可获得四舍五入后的值。最重要的是,“金标准”——专家阅片者——也可能存在缺陷。G&P图谱中阅片者间和阅片者内变异性——通过取三位专家阅片者骨龄估计值的平均值——被用于减轻这一局限性。

总之,所有三个AI支持的程序在测定G&P骨龄方面均表现出高度准确性。差异体现在细节上,尤其是在婴儿和接近成人的个体中。

补充信息

电子补充材料

引用

  1. Pape J, Rosolowski M, Pfäffle R, et al. A critical comparative study of the performance of three AI-assisted programs for bone age determination. Eur Radiol. 2024. PMID: 39499301. doi:10.1007/s00330-024-11169-6
  2. 全文:PMC11835896(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11835896/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。