文献速递儿科影像骨肌DR

德国儿科队列中人工智能软件与人工Greulich和Pyle法骨龄评估的一致性

Automated bone age assessment in a German pediatric cohort: agreement between an artificial intelligence software and the manual Greulich and Pyle method.
PubMed 文献 · Eur Radiol · 2023-12-28

该回顾性研究纳入306例1-18岁德国儿科患者手部X线片,由三位专家独立盲法按G&P法评估骨龄作为参考标准,并与AI软件IB Lab PANDA自动评估结果比较。全队列平均绝对差异为6.8个月,软件声明适用年龄亚组(243例)为6.0个月,等价指数γ<0提示AI与专家读者可互换。

要点

  • AI与三位专家平均骨龄的ICC为0.99,全队列平均绝对差异6.8个月。
  • 在软件声明适用年龄亚组中,平均差异1.73个月,平均绝对差异6.0个月。
  • 等价指数γ<0,提示AI软件与专家读者在骨龄评估上可互换。

核心结论

  • 在德国儿科队列中,该AI软件按G&P法评估骨龄与人类专家读者可互换,并能实现高准确度骨龄评估,且不受患者性别影响。

研究设计与样本

  • 回顾性研究,纳入2011至2020年德国一家机构306例1-18岁儿科患者手部X线片,男女各153例。
  • 采用分层随机抽样,每年每性别选9例;另设软件声明适用年龄亚组243例(女36-192月,男36-204月)。
  • 参考标准为三位专家(两位儿科放射科医师和一位儿科内分泌医师)独立盲法按G&P图谱评估骨龄的平均值。
  • 使用CE认证的AI软件IB Lab PANDA(版本1.99)自动评估骨龄,并与专家平均值比较一致性、准确性和可互换性。

关键影像表现/征象

  • AI软件自动分析所有影像,未拒绝任何一例。
  • 全队列AI与参考标准平均差异0.45个月,平均绝对差异6.8个月,均方根误差9.0个月。
  • 适用年龄亚组平均差异1.73个月(95%CI 0.8-2.7,p<0.001),平均绝对差异6.0个月,均方根误差7.8个月。
  • 回归分析显示恒定偏倚,斜率1.01(95%CI 0.99-1.02)。
  • 等价指数γ为-14.3(95%CI -27.6至-1.1),γ<0提示AI与专家读者可互换。

诊断标准与关键数值

  • 以三位专家G&P法评估的平均值作为参考标准(ground truth)。
  • 全队列AI与参考标准ICC 0.99(95%CI 0.98-0.99),三位读者间ICC 0.98(95%CI 0.97-0.98)。
  • Pearson相关系数r(304)=.98,p<.001。
  • 男孩平均绝对差异6.3个月,女孩5.6个月。
  • 等价指数γ≤0定义为AI与专家读者可互换。

临床应用与阅片要点

  • 作者结论认为该AI软件与专家读者可互换,可在骨龄评估中达到专家读者质量。
  • 作者指出AI软件为「黑箱」,输入X线图像质量必须由人工读者核验。
  • 作者指出3岁以下和16岁以上患者准确度下降,但G&P法本身最适用于3岁以上至青春期结束。

局限性

  • 由于回顾性设计,仅评估一家机构的X线片,仅分析306例患者。
  • 作者指出需多中心、更大患者队列研究以重新评估单中心结果和结论。
  • 回归图显示3岁以下和16岁以上患者准确度下降。
  • AI软件为「黑箱」,未明确解释影响骨龄估计的X线图像要素。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2023 Dec 28;34(7):4407–13. doi: 10.1007/s00330-023-10543-0

引言

骨龄(BA)是儿科内分泌学、口腔正畸学和骨科学中广泛使用的指标,用于定义骨骼成熟度。其定义为与个体实际年龄(CA)相比较,对应骨骼成熟水平的以年表示的年龄[1]。手部和腕部X射线获得的图像反映了该骨骼组中不同类型骨骼的发育情况[2, 3],这些信息结合骨成分形状和变化的特征描述,是个体生物学发育过程中的重要因素[4]。BA可能受患者性别、营养状况、代谢、遗传和社会因素以及急性或慢性疾病(包括内分泌功能障碍)的影响[2, 3, 5, 6]。

用于BA评估的最常用手工方法是Greulich和Pyle(G&P)法,因其简便快捷,评估约需1.4分钟[7, 8]。根据Martin等[8]的研究,该方法是76%的儿科内分泌学家和放射科医师首选的操作方法。遗憾的是,该方法及其他手工骨龄估计方法的缺陷在于,同一张手部X线片由一位或多位阅片者重复评级时缺乏一致性,已知的观察者内和观察者间误差即证明了这一点[9–11]。

随着数字成像的到来,人们进行了大量尝试以开发图像处理技术,自动提取骨骼骨化的关键形态学特征,从而为BA评估提供更有效、更客观的方法[12]。由于左手和腕部仅有单张图像且表现相对标准化[13, 14],快速发展的深度学习技术领域已在该领域展现出令人鼓舞的成果[15]。

近期,一种新型的、全自动的、获得欧盟CE认证的放射图像处理软件已被开发出来,旨在帮助医学专业人员根据G&P方法使用36至192月龄(女性)和204月龄(男性)儿童的手部X线片来估计儿科BA。迄今为止,尚未有任何文献发表该软件的临床验证研究。

本研究旨在独立于制造商,在德国人群患者队列中验证专家放射科阅片者与该新型人工智能(AI)软件之间的一致性,涵盖该软件的预期使用年龄范围以及整个儿科年龄范围。

材料与方法

患者选择与研究设计

当地伦理委员会批准了这项回顾性研究(EK 46/2020),伦理委员会因研究的回顾性性质而豁免了书面知情同意。所有方法和程序均按照相关指南和法规执行。此外,所有回顾性评估的检查均在一台Axiom Aristos FX(西门子)上完成,未使用散射滤线栅,并采用0.1 mm铜滤过。所有病例均采用左手后前位投照进行X线摄影。

放射学数据库系统中共有5612份1至18岁儿童(2812名女性)的检查资料(日期为2011–2020年)。采用分层随机抽样,按每一年龄和性别选取9名患者,最终研究样本为306名患者(153名女性和153名男性)。排除标准为图像质量或体位不佳,妨碍对G&P骨龄(BA)的人工评估。

基于临床相关性和人工智能软件IB Lab PANDA的预期用途,我们评估了骨龄(CA)为36至192个月(女性)和36至204个月(男性)的患者亚群的性别特异性性能。

用于自动骨龄评估的人工智能模型

用于从手部X线片估算骨龄(BA)的人工智能(AI)模型已整合到获得CE标志的商业化软件IB Lab PANDA(1.99版)中,该软件根据G&P方法自动评估手部X线片。由于迄今尚未发表关于该AI软件开发过程的科学文献,下文提供该软件的简要概述:AI的训练在由来自美国患者人群临床工作流程的12,000多张匿名手部X线片组成的数据集上进行(54%男性,46%女性,患者平均年龄127个月)。这些图像由儿科放射科医师解读,他们根据与G&P图谱的视觉比较,在放射学报告中记录骨骼年龄[3]。

IB Lab PANDA v1.13.21的预期使用人群基于女孩骨龄(CA)36至192个月和男孩36至204个月,CA基于X线片采集日期。IB Lab PANDA生成图形报告,骨龄(BA)精确到月,并提供输入X线片的二次捕获图像以供视觉检查,该图像标出了软件用于分析的图像区域(图1)。

通过内部临床流程,将软件安装在Docker容器内的专用独立PC上,并配置为图像归档与通信系统(PACS)的发送和接收节点,对X线图像进行自动AI分析。

图1 一名实际年龄为12.4岁女孩的PANDA报告文件。软件预测的骨龄为11.4岁,与专家读者应用的手工Greulich和Pyle法一致 查看原图 ↗

专家读者骨龄评估

所有X线片均由三名专业水平不同的医师在各自独立的场次中独立分析(D.G.,有7年经验的儿科放射科医师;A.B.,有4年经验的儿科放射科医师;R.P.,在儿科骨龄(BA)测定方面有30年经验的儿科内分泌科医师),使用G&P图谱[3]。当手部和腕部骨龄(BA)不一致时,优先采用前臂的成熟度[16]。参考标准(ground truth)采用三名专家的平均值确定。

统计分析

统计分析使用RStudio(2023.06.2版,PBC)进行。

自动人工智能评估与金标准之间的一致性通过平均绝对差值(MAD)和均方根误差(RMSE)进行量化。采用Bland-Altman分析计算平均差值和一致性界限。评估人工智能与金标准之间的Pearson积矩相关性。组内相关系数(ICC)评估三名读者之间以及人工智能与金标准之间的一致性。采用Pearson相关系数分析人工智能骨龄与专家读者之间的相关性。

此外,通过确定等效指数γ [17, 18]来评估人工智能与专家读者骨龄(BA)评估之间的可互换性。针对本研究中多位读者的使用情况,对计算方法进行了修改,使所有测量均来自同一位读者,该读者使用参考方法(G&P图谱)对每位患者的图像评分三次,使用新方法(人工智能软件)评分一次。置信区间(CI)通过抽取10,000个随机样本进行估计。等效指数γ > 0意味着人工智能与读者评估之间的偏差大于读者评估之间的偏差。γ ≤ 0表明人工智能与专家读者可互换。

结果

对5612次检查进行分层抽样后,所得306项研究均不符合排除标准。因此,最终研究队列共纳入2011年至2020年间拍摄的306张德国儿童X线片并进行分析。研究人群的人口学特征见表1。

该特定儿科队列的基础疾病和检查指征如下:84.3%(n = 258)患有内分泌、营养和代谢疾病,如身材矮小、身材高大或垂体功能减退。

5.2%(n = 16)患有染色体异常,如Turner综合征。

4.9%(n = 15)患有精神和神经系统疾病,如发育迟缓。

3.6%(n = 11)因药物副作用导致生长障碍。

2.0%(n = 6)患有围产期疾病,如宫内生长迟缓。

294名(96%)儿童为高加索人种,12名(4%)儿童的族裔背景无法回顾性获取。

自动人工智能软件分析了队列中所有X线图像,未拒绝任何图像。相关性分析显示,人工智能确定的BA与金标准之间存在强相关性(r (304) = .98,p < .001)。线性回归显示存在恒定偏倚(斜率1.01,95% CI 0.99–1.02)(图2)。队列中人工智能与金标准之间的平均差值为0.45个月,MAD为6.8个月,RMSE为9.0个月。

随后,根据人工智能软件预期使用的年龄范围,进一步将队列分析限制在36至192个月的女孩和36至204个月的男孩,共纳入243名患者(125名男孩和118名女孩)。Bland-Altman分析显示,两种方法骨龄测定平均差值之间存在一致的小偏倚,平均差值为1.73个月(95% CI 0.8–2.7,p < 0.001)(图3),且人工智能BA与金标准之间的残差呈正态分布(Shapiro-Wilk检验p = 0.34)。对于处于人工智能软件预期使用年龄范围内的队列,人工智能与金标准之间的差异为:平均误差1.7个月,MAD 6.0个月,RSME 7.8个月(表2)。

按ICC测量的评估者间一致性在三位阅片者之间极好(ICC 0.98 [CI 0.97–0.98]),在AI软件与金标准之间也极好(ICC 0.99 [0.98–0.99])。等效指数γ < 0,表明在男孩和女孩中人类阅片者与AI之间具有可互换性。

表1 研究人群的人口学数据 查看原表 ↗
图2 整个队列中金标准(阅片者平均评估值)与人工智能(AI)之间的回归分析。回归线(红线)斜率的95%置信区间(女性为0.99,男性为1.03)包含斜率为1.00的恒等函数(虚线)。点线:AI软件预期用途的年龄界限 查看原图 ↗
图3 Bland-Altman图显示,在限于AI软件预期用途的队列中,人工智能(AI)与观察者平均评估值之间具有极好的一致性。虚线:平均差值、一致性上限和一致性下限 查看原图 ↗
表2 在限于AI软件预期用途的队列中,AI模型与三位专家阅片者平均值的比较。负的等效指数表明AI与专家阅片者具有可互换性 查看原表 ↗

讨论

这项回顾性研究评估了一种新型AI软件与独立专家阅片者所使用的手工G&P方法之间的一致性,该软件为在德国儿科队列中自动评估骨龄(BA)而开发。本验证研究是该特定AI软件首次发表的验证研究。

结果表明,与G&P方法相比,该新型AI软件通过自动分析左手X线片,能够实现高度准确的BA评估。结果显示,基于AI的评估与作为本研究参考标准的经验丰富专家阅片者评估之间具有极好的一致性。重要的是,无论患者性别如何,均达到了这种一致性。

PANDA BA与金标准之间的偏差为MAD 6.0个月和RSME 7.8个月,处于近期报道的人类阅片者范围内[19]。我们采用Obuchowski[17]的个体等效指数发现PANDA BA与人类阅片者具有可互换性,这一结果支持了上述观点。

除IB Lab PANDA外,作者还已知另外三种市售、获CE认证的基于AI的骨龄测定解决方案:Visiana BoneXpert(Visiana)、VUNO的Vuno Med-BoneAge(VUNO)和Gleamer BoneView Bone age(Gleamer)。尽管对这些程序的性能进行基准比较并非本研究的目的,但PANDA的结果可首次与文献中报道的其他既往已建立的AI程序结果进行比较:

近期,Booz等报道了BoneXpert(存在时间最长的骨龄软件)的MAD为4.1个月,RSME为4.6个月[20]。Kim等报道VUNO与专家阅片者之间的RSME为7.2个月。对于Gleamer这一最新的AI软件,Nguyen等计算出MAD为5.9个月[21]。

值得注意的是,该软件能够自动分析所有X线片而无需任何剔除,这意味着其效率水平与其他在相似患者人群中研究BA自动化评估的研究所获得的效率相似,进一步强化了这种新型软件在临床常规中的可靠性和效率[20]。

G&P 方法是一种成熟、广泛可用且成本效益高的骨龄(BA)评估方法。然而,其固有缺点是高度依赖放射科医生或医师的专业知识,这导致评估者间和评估者内变异[10, 11, 19]。2019年,Dallora 等[12]进行了一项系统文献综述和荟萃分析。他们提供的证据表明,骨龄评估有向自动化发展的趋势,旨在减少对人的输入的依赖并降低传统骨龄评估方法的主观性[22]。

本研究存在若干局限性。由于试验的回顾性设计,仅评估了一家机构的X线片,仅分析了306名患者。因此,为了重新评估我们单中心研究的结果和结论,需要开展纳入更大患者队列的多中心研究。根据回归图(图2)中的结果,我们可以看到3岁以下和16岁以上患者的准确性有所下降。然而,已知G&P方法最适合3岁以上至青春期结束的儿童[1]。年龄较大组的不准确性可以用晚青春期青少年骨骼结构的相似性来解释,这导致骨龄评估出现差异。在这一阶段,大多数手部骨骼结构已完全发育,骨骼成熟度主要根据尺骨和桡骨骨骺融合的程度来评估[2]。

此外,人工智能软件的作用如同一个“黑箱”[23],这意味着影响骨龄估计的X线图像要素并未被明确解释。在实际应用中,对于性能正常的算法而言,这并不是问题。然而,输入X线图像的质量必须由人工阅片者进行适当验证。

最后,另一种人工智能辅助骨龄软件的验证研究的价值可能会受到质疑,因为市面上已经有合适的商业应用。然而,每个程序都有其优点和缺点。例如,对于某些机构而言,更具吸引力的定价模式可能比骨龄测定准确性提高1个月更为重要。然而,像本研究这样独立的、经同行评议的验证对于在一种或另一种软件之间做出知情决策是不可或缺的。

总之,本研究表明,与人工G&P方法相比,一种新型人工智能软件与人类专家阅片者可互换,并且在德国患者队列中能够实现高精度的骨龄评估,且不受患者性别影响。

引用

  1. Gräfe D, Beeskow AB, Pfäffle R, et al. Automated bone age assessment in a German pediatric cohort: agreement between an artificial intelligence software and the manual Greulich and Pyle method. Eur Radiol. 2023. PMID: 38151536. doi:10.1007/s00330-023-10543-0
  2. 全文:PMC11213793(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11213793/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。