基于膝关节X线片的儿童骨龄深度学习自动估算
本研究回顾性收集德国人群儿童膝关节正位X线片3816张训练深度神经网络,用于从膝关节X线片自动估算实足年龄,并在内部验证集423张及外部验证集197张上评估。模型在内部和外部验证集的平均绝对误差分别为0.86±0.72年和0.9±0.71年,区分<14岁与≥14岁及<18岁与≥18岁的AUC分别为0.97和0.94(内部验证集),结论认为深度学习可较准确从膝关节X线片估算儿童实足年龄。
要点
- 膝关节正位X线片可用于儿童实足年龄估算,模型内部验证集平均绝对误差0.86±0.72年。
- 模型区分<14岁与≥14岁的AUC为0.97,区分<18岁与≥18岁的AUC为0.94。
- 作者指出模型性能尚未达到法医应用所需的AUC≥0.99水平。
核心结论
- 儿童实足年龄可借助深度神经网络从膝关节X线片以较好准确度估算。
研究设计与样本
- 回顾性研究,训练集3816张膝关节正位X线片(2350例患者),内部验证集423张(327例),外部验证集197张(188例)。
- 训练集采集于2008年1月至2018年12月,内部验证集采集于2019年1月至2020年12月,外部验证集采集于2020年1月至2021年5月。
- 采用ResNet-34网络,输入为裁剪后的膝关节区域图像及患者性别,参考标准为出生日期与采集日期之差计算的实足年龄。
- 训练采用5折交叉验证,最终模型为快照集成(保存表现最好的5个模型取预测中位数),学习率10⁻⁴。
诊断标准与关键数值
- 内部验证集平均绝对误差0.86±0.72年,外部验证集0.9±0.71年。
- 内部验证集区分<14岁与≥14岁:准确度0.90、AUC 0.98、敏感度0.92、特异度0.92。
- 内部验证集区分<18岁与≥18岁:准确度0.90、AUC 0.96、敏感度0.96、特异度0.86。
- 外部验证集区分<14岁与≥14岁:准确度0.90、AUC 0.97、敏感度0.91、特异度0.90。
- 外部验证集区分<18岁与≥18岁:准确度0.90、AUC 0.94、敏感度0.90、特异度0.90。
临床应用与阅片要点
- 作者认为模型可用于辅助其他部位(如手、锁骨)的年龄预测以提高整体确定性。
- 作者指出模型性能尚未达到法医临床应用所需的AUC至少0.99的水平。
- 作者指出X线片涉及辐射暴露,在儿科应尽量避免。
局限性
- 两个验证队列来自两家不同但邻近的医院,均反映同一人群,衰老在不同人群间存在轻微差异。
- 研究人群的种族或社会经济状况信息不可获得,无法分析二者对网络的影响。
- 研究仅使用正位X线片,而Pyle and Hoerr图谱使用正位和侧位X线片。
- 作者认为加入侧位X线片将改善估算,需在另一项使用不同人群外部数据的研究中更广泛分析。
全文中译19 节 · 点击展开
引言
通过放射学方法进行年龄评估是通过评估扫描中的骨骼成熟度来完成的,并在许多不同场景中具有应用:在法医学中,目的是识别未知 deceased 人员的年龄[1],而在法律应用中,目标是确定出生日期存疑的青少年是否达到法定年龄[2]。在儿科内分泌学中,骨龄评估通常用于确定是否存在生长障碍[3]。
已提出多种放射学方法用于骨龄评估,范围从手部[4]、肘部[5, 6]、膝部[7]、骨盆[8]或足部[9]的X线摄影,牙齿[10]、锁骨[11]或肋骨[12]的计算机断层扫描(CT),到膝部[13]、手部[14]或髂嵴[15]的磁共振成像(MRI)。尽管毫无疑问,左手X线摄影的骨龄评估是临床常规中迄今为止最常用的方法,但该方法存在一些局限性:最常用的参考标准是Greulich和Pyle(G&P)图谱,该图谱基于100多年前从俄亥俄州克利夫兰人群拍摄的左手单次X线片,该人群主要由高社会经济地位的白人儿童组成,这引发了这些数据能否很好地推广至当前人群的问题。
另一种骨龄评估方法基于膝部X线摄影。膝部似乎非常适合年龄评估,原因有以下几点:第一,膝部可提供三个骨骺的信息(股骨远端、胫骨近端和腓骨近端);第二,膝部易于在明确体位下以低辐射暴露进行X线检查;最后但同样重要的是,膝部X线摄影的大型当前病例系列可以很容易地建立,因为膝部在日常临床实践中常因创伤而接受检查。Pyle和Hoerr创建了基于膝部X线摄影进行骨龄评估的参考图谱,其使用方式类似于著名的Greulich-Pyle图谱[7]。该图谱已在某些人群中得到验证,并已被证明相当精确,尽管可观察到小幅偏差[16–19]。O’Connor提出了一种更系统的方法来确定年龄,即引入十项成熟度指标,并对每个指标的估计年龄进行后续回归[20]。
由于年龄评估无论基于图谱还是基于成熟度指标都耗时,且容易受到评估者内和评估者间变异性的影响[21],因此自动化将是有意义的,因为这将减少时间投入,同时带来更高的标准化程度。相应地,基于人工神经网络的深度学习方法[22]已被用于基于手部X线摄影的年龄评估自动化[23]。目前尚缺乏基于膝部X线摄影进行年龄评估的类似自动化。因此,在本研究中,我们应用深度学习方法以证明这种自动化在德国人群中是可行的。
材料与方法
本回顾性研究已获得当地伦理委员会的伦理批准(埃森大学医院机构审查委员会;注册号21-10069-BO)。由于研究的回顾性性质,伦理委员会豁免了书面知情同意。所有方法和程序均按照相关指南和法规执行。
患者
利用我院(德国埃森大学医院)的放射信息系统,收集了2008年1月至2020年12月期间所有年龄小于21岁且拍摄了膝关节前后位X线片的患者。创建了两个队列,2008年1月至2018年12月期间接受检查的患者构成训练队列,而2019年1月至2020年12月期间的患者作为验证队列。由于同时出现在训练队列和验证队列中的患者可能引入阳性偏倚,训练队列中纳入的患者的扫描从验证队列中移除,以确保每位患者仅被纳入两个队列中的一个。如果扫描标注错误且显示为侧位,则予以排除。如果扫描未显示股骨远端骺板与腓骨近端骺板之间的完整膝关节(例如,如果扫描的主要采集兴趣区为股骨而腓骨因此不可见),或已行膝关节置换术,则也予以排除。带有螺钉或临时固定伪影的扫描未被排除,只要它们未遮挡膝关节的主要部分。此外,如果图像质量被认为过低,例如扫描曝光不足或过度曝光,或石膏对扫描遮挡过多,则该扫描被排除。若双侧膝关节均可见,则随机选取其中一个。
基于这些标准,训练集包含来自2350名患者的3816张X线片,而内部验证队列分别由327名患者的423张X线片组成(图1)。
此外,还获取了一个外部验证队列(德国埃森伊丽莎白医院)。年龄<21岁且在2020年1月至2021年5月期间拍摄了膝关节前后位X线片的患者按相同标准纳入外部验证队列。应用排除标准后,外部验证队列包含188名患者的197张X线片(图1)。
X线片采集
所有X线片主要在Siemens(Siemens Healthineers)、AGFA(AGFA Healthcare)和Canon(Canon Medical Systems)扫描仪上采集(表1)。平均而言,训练队列和内部验证队列中X线片的采集参数分别为65.7 kVp(范围:49.9–76.8)、64.8 kVp(范围:51.8–74.8)和5.1 mAs(范围:1–42)及5.2 mAs(范围:1–32)。对于外部验证队列,这些参数在DICOM标签中不可用。
收集的变量
对于每张X线片,实际年龄通过计算出生日期与采集日期之间的差值获得。此外,患者的性别从DICOM标签中提取,并作为神经网络的额外输入。所有患者的出生日期及性别信息均可获得。
膝关节区域的裁剪
由于X线片种类繁多,且通常只有部分扫描区域实际显示膝关节,为提高效率,图像应居中并大致裁剪至骨化中心,即主要围绕髁间区。虽然可以手动标注该区域,但为实现全自动化方案,该区域也应自动裁剪。据此,训练了一个网络,通过从训练队列中随机选择并标注1000张膝关节X线片来定位该区域,标注采用包围股骨下部、胫骨上部和腓骨上部的边界框。由于膝关节高度大于宽度,边界框的纵横比固定为2:3。随后训练了一个级联卷积神经网络(cascade-CNN)来定位该区域。网络及训练过程的详细信息见附录1。训练完成后,该网络被用作预处理工具,对所有X线片围绕髁间区进行图像裁剪。
预处理
随后将裁剪后图像的强度线性重缩放至0–255范围(图2)。通过复制灰度通道将图像从灰度转换为RGB。
神经网络
采用标准网络架构ResNet-34进行建模[24]。由于众所周知性别对骨骼成熟度有很大影响,性别作为特征被添加到网络中。ResNet-34在ImageNet数据集[25]上预训练,并使用L1损失和Adam优化器进行优化。训练过程中使用了多种数据增强,以正则化网络并帮助其泛化能力。批大小设为32。采用早停法以避免过拟合。网络的详细信息见附录2。
交叉验证
训练过程中使用5折交叉验证来优化学习率并估计网络的泛化性和性能。最终采用在交叉验证折上获得最低平均绝对误差(MAE)的学习率。交叉验证期间测试了两种建模策略:使用单一最佳性能模型或创建快照集成[26]。快照集成是一种简单的技术,实质上是保存在训练过程中出现的前k个最佳性能模型,并通过取这些模型预测的中位数来创建简单集成。为此,训练过程中保存了最佳的5个模型。
评估
最终模型是通过重复使用交叉验证期间训练的模型而创建的。采用这种方法的原因在于,它不像显式的测试队列那样浪费——后者必须从训练集中拆分出来,且不会直接用于最终建模。在我们的情况下,这样的测试集是必要的,因为网络训练使用了早停法,而早停法明确依赖于这样的数据集。此外,使用这种方法,每张放射照片可获得多个预测结果,可用作置信度度量。
在交叉验证中表现出更好结果的建模策略(最佳模型 vs. 快照集成)以及最佳学习率被选为最终模型。
此外,使用受试者工作特征(ROC)分析对模型进行了评估,以检验其区分< 14岁与≥ 14岁以及< 18岁与≥ 18岁年龄组的能力,这与法医学应用相关。
统计学
所有描述性统计量以均值 ± 标准差报告。为比较真实年龄与预测年龄之间的绝对平均差异,采用单侧t检验。该检验的原假设为绝对差异(对应于预测误差)平均大于1年;备择假设为误差平均小于或等于1年。采用ROC分析评估年龄组的区分度。统计显著性设定为p值低于0.05。相关系数使用Pearson方法计算。所有分析均使用Python 3.7和SciPy软件包进行。
结果
人口统计学
所有患者的平均年龄为14.0 ± 4.8岁(范围:0–21岁),其中女性1287例,男性1578例(表2和附录3)。各数据集之间年龄和性别分布未见较大偏差(图3)。
膝关节区域裁剪
膝关节区域裁剪具有高准确率;除3张放射照片外,所有膝关节均被检测到,其中2张来自较年幼的儿童(< 2岁),准确率超过99%。2例年幼患者的错误并不令人意外,因为训练集中年幼儿童相当少,且未尝试处理这种不平衡。
交叉验证
在交叉验证期间,测试了最佳学习率以及建模策略(最佳单一模型 vs. 快照集成)。最佳学习率为10−4并结合快照集成,产生的MAE为0.92 ± 0.76年,尽管与学习率9*10−5之间的差异不大(表3)。此外,快照集成显示出略好的结果,但相对于最佳单一最佳模型的改善(0.03年)仍然只是中等程度。
关于<14岁和≥14岁年龄组的预测,快照集成模型的准确率为0.92,AUC为0.98,灵敏度为0.92,特异度为0.92。对于<18岁和≥18岁年龄组,模型的准确率同样为0.92,AUC为0.96。模型的灵敏度为0.91,特异度为0.89。结果的详细信息见附录4。
内部验证
由于快照集成结合10−4的学习率显示出最佳结果,因此该组合被用于最终建模。随后在内部验证队列上对训练好的模型进行评估。模型的MAE为0.86 ± 0.72年(图4A、B)。与交叉验证期间的性能相比,MAE略低。单侧t检验表明,真实年龄与预测年龄之间绝对差异的均值小于1年(p < 0.001)。相应地,在比较真实年龄类别与预测年龄类别时,可以看到良好的一致性,尽管对于年龄较大的患者存在一个差距,网络对这些患者的年龄低估了。相关系数为R = 0.97。
年龄组的预测与交叉验证相当相似:对于区分14岁年龄组,模型显示出0.90的准确率、0.98的AUC以及0.92的灵敏度和特异度(图5A、B)。类似地,对于18岁年龄组,模型显示出0.90的准确率、0.96的AUC、0.96的灵敏度和0.86的特异度。
外部验证
在外部队列验证时,模型得出的MAE为0.9±0.71岁(图4C、D)。与内部验证队列相似,其表现略低于交叉验证时观察到的结果。真实年龄类别与预测年龄类别之间的对应关系也良好,在检验差异小于1.0岁(p=0.017)时未见统计学差异。与内部验证相似,也可观察到对年龄较大患者年龄的低估倾向。此外,8至11岁年龄类别似乎也存在轻度高估。相关系数为R=0.97。
年龄组的区分与验证组相似,但表现出更高的特异度:14岁年龄组的预测准确率为0.90,AUC表现值为0.97,敏感度为0.91,特异度为0.90(图5C、D)。对于18岁年龄组的预测,准确率同样为0.90,AUC为0.94,敏感度和特异度均为0.90。
讨论
基于骨骼成熟度对儿科患者进行年龄估计是法医、法医学或临床目的常用的做法。除使用手部X线片进行骨龄估计(这是临床常规中迄今最常用的方法)外,骨龄也可根据膝关节X线片进行估计。Pyle和Hoerr利用始于1926年的Cleveland研究,在一个美国儿童队列中开发了根据膝关节X线片确定骨龄的图谱[7]。此后,该图谱已成为广泛使用的参考标准,并随后在不同队列中得到了验证[16, 18, 19, 27]。然而,也已提出了更精细的估计方法,例如细微成熟度指标[20]。
由于根据膝关节X线片确定年龄相当耗时,且容易产生较高的观察者间和观察者内变异性,因此自动化具有临床意义。在本研究中,我们利用了一个简单且常用的深度网络,以从膝关节X线片完全自动化地估计实际年龄。该网络在内部验证队列中的平均绝对误差为0.86±0.72岁。它还能够在外部验证队列中达到0.9±0.71岁的MAE,表明其泛化能力可能较高。预测的最大差异分别为4.0岁和3.3岁。预测值与实际年龄的相关性较高,两个验证队列均得出R=0.97。这些结果与Hackman等人的研究[17]大致一致,后者在苏格兰人群中使用Pyle和Hoerr图谱,报告标准差为0.82(女性)和0.90(男性),最大差异为4.3岁,相关系数为R=0.95。
将预测年龄类别与真实年龄类别进行比较,总体拟合相当好,尽管尤其是对年龄较大的患者可观察到较大的偏差。我们认为这源于神经网络的输出呈正态分布。由于没有患者年龄大于21岁,均值约为21岁会比将其降低到较低均值产生更高的损失。类似效应也应存在于较年轻患者中,但由于两个队列中非常年轻的患者都很少,因此该效应在那里不可见。
在法医学应用中,14岁在一些国家至关重要,因为一个人在该年龄开始承担法律责任。同样,年满18岁后,成人法对其具有权威性。因此,我们划分了两个年龄组:<14岁和≥14岁,以及<18岁和≥18岁。两种划分效果都相当好,14岁年龄组的AUC约为0.97,18岁年龄组为0.94。尽管性能优异,该模型仍未达到临床背景下法医学应用所需的足够高水平,后者要求AUC至少为0.99。该模型可改为与其他身体部位(如手或锁骨)的预测结果联合使用,以提高整体确定性。
尽管结果令人鼓舞,但X线摄影伴随着对患者的辐射暴露,尤其在儿科背景下应尽量避免。X线摄影的一种有前景的替代方法是磁共振成像(MRI),因为其不涉及任何放射性暴露。相应地,Pennock等人以与Pyle和Hoerr类似的方式,定义了用于膝关节MRI年龄估计的图谱[28]。Dallora等人提出了基于膝关节MRI的年龄估计自动化方法[13]。他们采用了一个两步网络,首先选择给定MRI中信息量最大的图像切片,然后将其输入第二个网络以基于该切片回归年龄。队列包括402名14–21岁患者,5折交叉验证获得的MAE为男性0.793年、女性0.988年。这些MAE似乎与我们取得的MAE相当。在一项类似研究中,Auf der Mauer等人采用U-Net将MRI分割为与年龄相关的解剖部位,然后用于回归年龄[29]。他们报告在纳入研究的175名14–21岁患者上使用交叉验证的MAE为0.69 ± 0.49,准确率为90.6%。他们的MAE可被认为优于我们的,因为若限制在相同的14–21岁年龄段,我们的网络在内部和外部验证队列上分别达到MAE 0.94 ± 0.74年和1.09 ± 0.78年。尽管如此,他们报告其与年龄相关部位的分割有重大帮助,因为其将MAE从0.97 ± 0.84年改善至0.81 ± 0.65年(仅在交叉验证的单个折上测试)。因此,我们的方法也可能从膝关节分割中受益。我们的方法与Auf der Mauer等人方法之间的另一个显著差异在于人群:他们使用了小型、同质的研究人群,仅纳入中高社会经济地位、无慢性疾病或严重骨损伤的男性。相比之下,我们的研究人群相当异质,因为其包含了过去12年所有可用的膝关节X线片。尽管用于骨龄估计的MRI避免了辐射暴露,但必须指出MRI有两个主要缺点:图像采集时间长,这对非常年幼的患者尤其成问题,以及成本高。因此,提出了基于超声(US)的方法[30],Herrmann等人对膝关节MRI与超声用于年龄估计进行了直接比较[31]。在他们仅纳入39名14至19岁男性的初步研究中,他们表明MRI和US在骺板生长方面具有高的评分者间一致性。
如上所述,基于左手X线片的骨龄评估是临床常规中最常用的方法。因此,针对手部X线片的自动化工作已经开展,目前系统能够产生与专家放射科医师相当的结果,通常达到约4–5个月的误差水平[32],尽管最近Gong等人大幅提高了准确性,获得了小于2个月的平均绝对误差[33]。虽然这些结果令人印象深刻,但所使用的数据存在关键差异。手部X线片通常是为年龄评估任务而拍摄的,并且已投入大量工作来汇编代表正常生长的图谱。不能排除通过更多努力,从膝关节X线片中获得类似水平的准确性。
尽管当前研究表明基于膝关节X线片的自动年龄评估是可行的,但我们的研究显示了一些局限性。首先,众所周知衰老在不同人群之间存在轻微差异。虽然验证队列来自两家不同但相邻的医院,但它们都反映了同一人群。遗憾的是,我们的研究人群没有种族或社会经济地位的信息;因此,无法分析两者对网络的影响。
尽管Pyle和Hoerr图谱使用正位和侧位X线片进行年龄评估,但我们在研究中仅使用了正位视图的X线片。这样做的原因是保持网络简洁。我们相信添加侧位X线片将改善评估。这应在另一项使用来自不同人群的外部数据的研究中进行更广泛的分析。
尽管机器学习系统,特别是神经网络,已经显示出令人印象深刻的结果,但它们仍然是黑箱,其决策不易解释,当它们在沒有进一步监督的情况下被依赖时,使得在临床或法医学环境中的任何应用都存在争议[34, 35]。一种更具可解释性的方法将是,例如,在X线片中找出重要的骨骺区域,然后仅对这些区域应用回归。这将使网络决策更加透明。此外,我们使用了未经选择的病例系列,这一方面具有优势,但另一方面存在风险,即它也包括患有生长障碍的个体患者,这可能对网络的性能产生负面影响。最后但同样重要的是,我们使用了常见的网络架构ResNet-34,它对于当前任务可能并非完全最优,因此应进行更多研究以了解其他网络架构是否能提供更好的结果。
结论
儿科患者的实际年龄可以通过深度神经网络从膝关节X线片中以高精度估算。
补充信息
ESM 1(DOCX 20 kb)
(DOCX 51 kb)
(DOCX 706 kb)
(DOCX 691 kb)
引用
- Demircioğlu A, Quinsten AS, Forsting M, et al. Pediatric age estimation from radiographs of the knee using deep learning. Eur Radiol. 2022. PMID: 35233665. doi:10.1007/s00330-022-08582-0
- 全文:PMC9213267(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9213267/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。