深度学习算法可实现高精度的自动Cobb角测量
本研究回顾性验证了深度学习软件BoneMetrics在全脊柱X线片上自动测量Cobb角的准确性,以三位专家读者定义的基准值为参考。共纳入345例患者(179例儿童,166例成人),主弯Cobb角的平均绝对误差为2.6°(95%CI [2.0; 3.3]),儿童亚组为1.9°(95%CI [1.6; 2.2]),成人亚组为3.3°(95%CI [2.2; 4.8])。结论认为该算法预测脊柱侧凸患者Cobb角具有高准确性。
要点
- BoneMetrics自动测量主弯Cobb角的平均绝对误差为2.6°,与专家基准值的ICC为0.98。
- 儿童患者主弯平均绝对误差为1.9°,成人患者为3.3°,两组间无显著差异(p=0.09)。
- 测量误差随脊柱侧凸严重程度增加而增大,重度侧凸(≥40°)平均绝对误差为3.6°。
核心结论
- 深度学习算法BoneMetrics对脊柱侧凸患者的Cobb角预测具有高准确性,主弯和次弯的ICC均为0.98。
- 测量误差随脊柱侧凸严重程度增加而略有增加,重度侧凸(≥40°)平均绝对误差为3.6°。
研究设计与样本
- 回顾性验证研究,共纳入345例患者(年龄33±24岁,221例女性),其中179例儿童(<22岁)和166例成人(22至85岁)。
- 影像来自美国五个不同站点,时间跨度为2008年9月至2023年2月,包含至少5个制造商的全脊柱正位X线片。
- 基准值由两位资深肌骨放射科医生和一位资深脊柱骨科医生独立标注,若至少两位读者在角度数量、位置及可比角度差异<8°上一致,则取两者均值;否则经共识复核。
- 深度学习软件BoneMetrics(v2.3.1,Gleamer,巴黎,法国)为CE认证的全自动图像处理软件,自动触发于PACS中全脊柱X线采集,仅需DICOM中的患者年龄。
- 主要终点为主弯Cobb角的平均绝对误差,次要终点为次弯的平均绝对误差,接受标准为平均绝对误差≤6.34°(基于Gstoettner等报道的观察者间变异度6.34°)。
关键影像表现/征象
- 原文未涉及影像征象描述。
诊断标准与关键数值
- 主弯Cobb角平均绝对误差为2.6°(95%CI [2.0; 3.3]),ICC为0.98。
- 次弯Cobb角平均绝对误差为2.8°(95%CI [2.3; 3.3]),ICC为0.98。
- 儿童亚组主弯平均绝对误差为1.9°(95%CI [1.6; 2.2],ICC=0.99),成人亚组为3.3°(95%CI [2.2; 4.8],ICC=0.96),两组间无显著差异(p=0.09)。
- Cobb角7-10°者平均绝对误差为1.6°(95%CI [0.8; 2.8],ICC=0.92);轻度侧凸(10-20°)为2.0°(95%CI [1.6; 2.4],ICC=0.98);中度(20-40°)为3.6°(95%CI [2.0; 5.7],ICC=0.96);重度(≥40°)为3.6°(95%CI [2.6; 4.8],ICC=0.99)。
- 单弯患者平均绝对误差为1.8°(95%CI [1.2; 2.7],ICC=0.96),双弯为3.0°(95%CI [1.9; 4.5],ICC=0.96),三弯为2.6°(95%CI [2.1; 3.2],ICC=0.99);单弯与三弯比较差异显著(p=0.003)。
临床应用与阅片要点
- 该软件可自动测量全脊柱正位X线片上C7至L5之间的Cobb角,并返回三个最大弯曲角度,自动过滤低于7°的弯曲。
- 测量误差在重度侧凸(≥40°)和中度侧凸(20-40°)中均为3.6°,阅片时需注意严重侧凸病例的误差可能增大。
- 原文提及该算法可能作为胸部X线片上偶然发现脊柱侧凸的筛查工具,可能触发全脊柱侧凸系列X线检查。
局限性
- 一位读者持续低估脊柱侧凸的视觉范围,标注的弯曲数量少于其他两位读者。
- 在单一患者存在多个弯曲时,三位读者有时难以就弯曲顶点位置完全达成一致。
- 当所有读者无法就某一标注达成一致时,采用多数投票(两位读者一致)作为参考标准,但这一做法可能被认为是任意和主观的。
- 研究对象性别分布不对称(64%女性 vs 36%男性),这些人口学特征可能是性别和年龄特异性Cobb角测量的潜在偏倚来源。
- 需要对更大数量的老年患者进行额外验证以用于成人脊柱侧凸测量。
全文中译7 节 · 点击展开
引言
脊柱X线片上的Cobb角测量通常由放射科医师、骨科外科医师和治疗脊柱侧弯患者的儿科医师常规完成。尽管这是一项相对简单的任务,但在大量X线片上反复进行Cobb角测量对人类阅片者而言可能变得单调乏味且繁重。深度学习(DL)可通过半自动化角度测量在此类情况下提供帮助,前提是它能够准确、可靠地执行该任务。
近期文献中已描述了DL辅助的自动或半自动Cobb角测量。已有研究尝试使用DL在成人及儿科人群的正位脊柱X线片[1–6]和胸部X线片[7]上测量Cobb角。这些研究的研究者使用了不同的测量指标来评估DL算法相较于人类阅片者的可靠性和准确性,使得结果的直接比较变得困难。总体而言,这些研究报告DL算法相对于人类阅片者在组内相关系数方面具有极佳的可靠性(范围为0.78至0.98 [4–6]),Pearson相关系数为0.990 [3]。所报告的Cobb角测量误差均小于10° [2–7]。为帮助临床医师,理想的做法是开发基于DL的软件,通过提高操作效率和诊断准确性来辅助阅片者。此外,理想情况下,此类软件应适用于儿科和成人患者。本研究旨在评估DL算法BoneMetrics在脊柱X线片上测量Cobb角的性能。
材料与方法
数据特征
为回顾性验证目的创建了两个数据集,在此期间评估BoneMetrics的性能,并将其与为数据集中每幅图像定义的参考标准进行比较。
第一个数据集包含成人患者数据,由至少150幅来自美国的图像组成。第二个数据集包含儿童和青少年数据,同样由至少150幅来自美国的图像组成。这两个数据集的图像从美国数据提供方拥有的匿名临床数据集中随机抽样,时间跨度为2008年9月至2023年2月,来源于五个不同中心。“成人(22岁及以上)数据集”包含伴有或不伴有脊柱侧弯(可测量Cobb角)的匿名常规正位脊柱X线片。年龄在2至21岁之间患者的类似X线片纳入“儿童/青少年数据集”。这些数据集中X线图像的排除标准包括图像质量差、带有嵌入式测量标记以及放射体位错误的图像。我们纳入病例以达到至少150例儿科患者和150例成人患者、至少5家制造商以及至少60例具有0、1、2和3个测量角度的配额(图1)。
参考标准定义
Cobb角测量的参考标准由三位专家阅片者(两位资深肌肉骨骼放射科医师和一位资深脊柱骨科外科医师)确定(图1)。第一步,对于每张图像,阅片者独立确定以下内容:图像上标注的大于7°的Cobb角数量(每位患者从零到3个Cobb角);每个标注的Cobb角的值(如有);用于测量每个标注的Cobb角的、具有最大弯曲度的椎体类型(颈椎、胸椎或腰椎)(如有)。Cobb角测量使用专有软件(Kili)进行。使用以下脊柱侧凸分类:近端胸弯(顶椎位于T3、T4或T5);主胸弯(顶椎位于T6至T11之间);胸腰弯/腰弯(顶椎位于T12至L4之间)。
第一步之后,对所有参考标准阅片者提交的测量结果进行自动全局审查。当至少两位阅片者的Cobb角数量相同;并且(如有)在Cobb角数量上一致的至少两位阅片者中,用于测量每个Cobb角的、具有最大弯曲度的椎体类型(颈椎、胸椎或腰椎)相同;并且(如有)在Cobb角数量及其具有最大弯曲度的椎体类型(颈椎、胸椎或腰椎)上一致的至少两位阅片者中,阅片者所识别的Cobb角值差异在8°以内[8, 9]时,即确定每张图像的参考标准。然后,参考标准定义为阅片者中两个最一致标注所测量角度的平均值。如果所有3个标注均一致,则参考标准定义为三次角度测量的平均值。
在某些情况下,无法从3位阅片者的初始标注中确定参考标准,图像必须经过协调过程(第3步)。即,如果参考标准确定者之间Cobb角数量不同;或(如有)阅片者之间用于测量某一Cobb角的、具有最大弯曲度的椎体类型(颈椎、胸椎或腰椎)不同;或(如有)在Cobb角数量及其具有最大弯曲度的椎体类型上一致的至少两位阅片者中,阅片者所识别的Cobb角值差异超过8°。在协调过程中(第3步),所选图像由三位阅片者反复审阅,以就Cobb角数量、(如有)每个标注的Cobb角的值以及(如有)用于测量Cobb角的椎体类型(颈椎、胸椎或腰椎)达成共识(图2)。
深度学习算法(BoneMetrics)
BoneMetrics(v2.3.1,Gleamer,巴黎,法国)是一款获得CE认证的全自动放射图像处理软件,适用于传统X线摄影和EOSX线摄影。该软件包含基于姿态估计和关键点检测模型的多个卷积神经网络的深度学习(DL)算法。该算法采用了多种架构,包括基于Mask-RCNN架构、使用Detectron2实现的自上而下模型、轻量级HRNet(liteHRNet)以及自下而上的方法。该算法还结合了图像增强技术,如水平翻转、裁剪、缩放和旋转,以提高训练过程中的鲁棒性和泛化能力。该算法对每个预测关键点给出0至100的置信度评分,仅置信度评分超过阈值50的关键点被用于计算一组测量值。当图像归档和通信系统(PACS)中获取全脊柱X线摄影图像时,人工智能即被自动触发,且仅需要DICOM字段中的一项关键信息,即患者年龄。
该算法计算C7至L5之间的Cobb角,然后在二次捕获中返回三个最大弯曲度。该算法过滤掉小于7°的弯曲度,以排除无临床意义的测量值。为确保模型的准确性和泛化能力,该模型在来自20多个公立和私立机构、涵盖多种患者人群和地理区域的5000多张标注X线摄影图像的数据集上进行了训练。开发数据集中的数据选自多样化来源,并在不同标准之间保持平衡:X线摄影系统制造商、病理情况(如严重脊柱侧凸、椎体终板骨折)、X线采集类型、质量(包括次优图像)、患者年龄和体重指数。
开发数据集由10名经过培训的放射科医生和放射技师组成的团队进行标注,标注质量由一位拥有14年经验的资深肌肉骨骼放射科医生监督。研究数据集与人工智能开发数据集之间不存在患者或图像的交叉重叠。
在确定金标准后,两个数据集中的每张图像均由BoneMetrics算法进行处理。对于每张图像,将BoneMetrics算法的结果与金标准进行比较。
统计分析
为描述数据集,计算了患者特征(如性别、年龄和畸形)的汇总统计量。为评估BoneMetrics的性能,采用平均绝对误差(MAE)作为终点指标。MAE是表达同一现象的配对观测值之间误差的度量,即在本研究中,MAE是深度学习(DL)算法提供的Cobb角值与金标准之间的平均差异。MAE值以95% bootstrap置信区间(CI)报告。主要终点为主要脊柱侧弯曲线(即患者中曲度最大的Cobb角)的Cobb角值的MAE。次要终点为次要曲线(即除代表主要终点的最大曲度外的所有Cobb角)的Cobb角值的MAE。关于主要终点,根据Gstoettner等人[10]的研究结果选择了接受标准,其研究记录了观察者间平均变异度为6.34°。因此,我们决定将两个终点的接受标准设定为MAE 6.34°。达到该阈值意味着BoneMetrics是一种可用于临床环境中Cobb角测量的工具。亚组间差异采用Mann–Whitney U检验评估,统计显著性设定为p < 0.05。还使用双向随机效应模型及绝对一致性计算了ICC以评估金标准与DL算法之间的一致性[11]。根据ICC值的分类定义了四个信度水平:优秀,ICC ≥ 0.9;良好,0.9 > ICC ≥ 0.75;中等,0.75 > ICC ≥ 0.5;差,ICC < 0.5。
结果
本研究共纳入345例患者(年龄33 ± 24岁,221例女性),排除274例患者,原因包括达到至少150例成人和150例儿童、5家不同X线摄影系统制造商的配额,以及各60例分别具有0、1、2和3个角度的患者。数据集最终包括179例儿童患者(< 22岁)和166例成人患者(22至85岁)。对于Cobb角标注和测量,分布如下:67例(19%)无Cobb角 > 7°的曲度,74例(21%)有一个Cobb角 > 7°的单一曲度,118例(34%)有两个曲度,86例(25%)有三个曲度。大多数患者无脊柱侧弯(38%)或为轻度(10至20°)脊柱侧弯(34%),其余为中度(20至40°)(20%)和重度(≥ 40°)(7%)脊柱侧弯。纳入患者的人口学特征总结于表1。在金标准确定过程之后,共有53例病例经共识审查(图3)。
DL算法对主曲度的MAE为2.6°(95% CI [2.0; 3.3]),金标准与DL之间的ICC为0.98,显示优秀的一致性。对于次要曲线,MAE为2.8°(95% CI [2.3; 3.3]),ICC同样高达0.98。在儿童患者亚组中,MAE为1.9°(95% CI [1.6; 2.2],ICC = 0.99),而成人为3.3°(95% CI [2.2; 4.8],ICC = 0.96)(表2)。统计分析显示,成人与儿童患者之间主曲度的MAE无显著差异(p = 0.09)。然而,次要曲线的MAE观察到显著差异(p = 0.04)。
对于有1个角度的患者,MAE为1.8°(95% CI [1.2; 2.7],ICC = 0.96);有2个角度的患者为3.0°(95% CI [1.9; 4.5],ICC = 0.96);有3个角度的患者为2.6°(95% CI [2.1; 3.2],ICC = 0.99)。将有1个角度的患者与有3个角度的患者进行比较时,观察到MAE存在显著差异(p = 0.003)。分析结果总结于表3。对于Cobb角在7至10°之间(已标注但不视为脊柱侧凸)的患者,MAE为1.6°(95% CI [0.8; 2.8],ICC = 0.92)。对于轻度脊柱侧凸(10至20°)患者,MAE增至2.0°(95% CI [1.6; 2.4],ICC = 0.98,p = 0.008)。中度脊柱侧凸(20至40°)患者的MAE较高,为3.6°(95% CI [2.0; 5.7],ICC = 0.96),与轻度脊柱侧凸患者相比无显著差异(p = 0.19)。重度脊柱侧凸(≥ 40°)患者的MAE保持不变,为3.6°(95% CI [2.6; 4.8],ICC = 0.99),表明随着脊柱侧凸严重程度的增加,测量误差程度也更高。共识病例(N = 53)的MAE为1.4°(95% CI [0.8; 2.2]),非共识病例(N = 292)的MAE为2.6°(95% CI [2.0; 3.3]),两组之间无统计学显著差异(p = 0.29)。
图4显示了Bland–Altman图,用于评估深度学习(DL)算法自动Cobb角测量值与真实值之间在全部患者(图4A)、儿童患者(图4B)和成人患者(图4C)中的一致性。
为进一步深入了解DL算法的性能,图5展示了在各种临床场景下(如儿童患者、重度脊柱侧凸病例以及涉及椎弓根螺钉的病例)全脊柱X线片上自动Cobb角测量的示例。
讨论
在我们的研究中,使用深度学习模型(BoneMetrics)进行自动Cobb角测量,在成人及儿童患者中均显示出与专家人类阅片者之间极佳的准确性和一致性。随着脊柱侧凸严重程度增加,测量误差略有增大。在具有1至3个脊柱侧凸弯的患者中,平均绝对误差(MAE)值为1.8至3.0°。
专家阅片者与BoneMetrics之间的一致性极佳,主弯和小弯的组内相关系数(ICC)均为0.98。这一致性水平与既往报道的两项研究相似,即Horng等报道专家阅片者与其深度学习算法之间的ICC为0.97[1],Sun等报道ICC为0.994[3]。我们的结果显示准确性高于Berlin等的研究,其中三名人类阅片者与人工智能相比,ICC根据脊柱节段不同在0.78至0.93之间变化[4]。我们的研究中MAE最高达3.6°(用于最重度脊柱侧凸),低于既往研究报道的4.7至7.34°[2, 4],但高于其他研究报道的1.7至2.2°[3, 5]。与其他两款用于测量Cobb角的商业人工智能软件相比,Chen等[12]报道MAE为2.47°,接近我们的总体MAE 2.6°,而Zerouali等[13]在其以儿童为主的数据集中报道MAE较高,为2.9°,相比之下我们在类似人群中MAE为1.9°。我们基于深度学习的工具的一个优势在于,即使存在多个弯曲及不同程度的脊柱侧凸严重性,它也能以持续的高准确性和可靠性自动测量Cobb角。
我们的研究使用全脊柱正位X线片测量Cobb角。虽然许多研究使用类似的全脊柱X线片[1–6],但其他研究使用胸部正位X线片仅测量胸段脊柱侧凸弯[7, 14]。虽然全脊柱X线片是全面评估脊柱侧凸所必需的,但深度学习算法可能是一种有用的筛查工具,用于在因其他目的获取的胸部X线片中偶然发现脊柱侧凸,从而可能提示需要进行全脊柱脊柱侧凸系列X线检查。
在将本研究的 dataset 纳入标准与其他评估 Cobb 角测量的类似研究进行比较时,我们注意到在人群人口学特征、样本量和数据来源方面存在若干差异。关于样本量,本研究纳入了345例患者,样本量相当大,而 Chen 等[12]在其研究中纳入了108幅图像,Zerouali 等[13]纳入了100幅图像。此外,在 Chen 等[12]的系列研究中,他们研究了来自101例患者的108幅图像,导致同一患者有多幅图像,这可能引入个体数据采集不均衡和测量偏倚。关于人口学特征,本研究覆盖的患者年龄范围更广,为4至85岁,而 Chen 等排除了幼儿和老年患者(年龄范围为11至64岁)。另一方面,Zerouali 等纳入的患者年龄为3至64岁,但仅有9名18岁以上成人。在数据采集方面,Chen 等使用了来自两个中心和三种 X 线摄影系统的图像,而 Zerouali 等从四个中心和两种 X 线摄影系统采集数据,其中91%的图像来自单一中心。相比之下,本研究使用了来自5个中心和五种不同 X 线摄影系统的数据,提高了数据的代表性以及结果的普适性。尽管本研究的性别分布偏斜(64%为女性),但这种不均衡在 Chen 等中更为明显(75%为女性),并与 Zerouali 等相似(65%为女性)。此外,关于脊柱侧弯严重程度,Zerouali 等仅纳入7例重度脊柱侧弯患者,而本研究纳入了24例,为亚组分析提供了统计学上更稳健的样本。然而,值得注意的是,Zerouali 等纳入了冠状位和矢状位视图,这对于全面评估脊柱参数很重要。各研究之间的 ground truth 定义也有所不同。在本研究中,我们纳入了两名专家型肌肉骨骼放射科医生和一名骨科脊柱外科医生,他们是参与 Cobb 角测量的主要专业人员,也是 BoneMetrics 软件的预期使用者。相比之下,Chen 等和 Zerouali 等仅依赖放射科医生进行 ground truth 定义。虽然 Chen 等纳入了更多标注者以进一步减轻阅片者内变异性,但他们缺乏共识流程,可能排除了最具挑战性和最复杂的病例。在 Zerouali 等中,ground truth 最初由一名初级放射科医生的测量结果定义,随后由一名高级放射科医生审核并校正。
在由人类专家阅片者进行手动Cobb角测量及随后的共识阅片过程中,有一些关于我们研究局限性的观察。一位阅片者始终低估脊柱侧凸的视觉范围,并标注了比另外两位阅片者更少的弯曲数量。当单一患者存在多个弯曲时,三位阅片者有时难以就这些弯曲顶点的位置完全达成一致。有少数情况下,三位阅片者彼此之间均不一致(图3)。当所有阅片者无法就某一标注达成一致时,采用多数投票(两位阅片者一致)作为参考标准。然而,有人可能会认为这是任意和主观的。此外,受试者的性别分布不对称(64%女性对36%男性)。纳入受试者的这些人口学特征是Cobb角性别和年龄特异性测量中潜在偏倚的来源。可使用更大数量的老年患者进行额外验证,以用于成人患者的脊柱侧凸测量。未来的工作还可能包括在侧位X线片上自动测量矢状面平衡和腰骨盆对线,以及在正位X线片上自动测量骨盆倾斜。
无论如何,我们的研究结果表明,与人类专家阅片者相比,基于深度学习(DL)的自动Cobb角测量工具可以以高准确性和可靠性运行。如果将其整合到临床图像归档与通信系统(PACS)中,可在繁忙的临床环境中为医生提供前瞻性支持。未来研究应调查对BoneMetrics运行效率和报告时间的影响,以评估其在临床工作流程中的实际益处。
引用
- Hayashi D, Regnard NE, Ventre J, et al. Deep learning algorithm enables automated Cobb angle measurements with high accuracy. Skeletal Radiol. 2024. PMID: 39688663. doi:10.1007/s00256-024-04853-7
- 全文:PMC12078391(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12078391/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。