文献速递骨肌DR

基于深度学习的X线技术在膝关节骨关节炎K-L分级检测与分类中的价值:系统评价与Meta分析

The value of deep learning-based X-ray techniques in detecting and classifying K-L grades of knee osteoarthritis: a systematic review and meta-analysis.
PubMed 文献 · Eur Radiol · 2024-07-12

该系统评价与Meta分析纳入19项研究共62,158张X线图像,评估深度学习多分类方法诊断K-L 0–4级的敏感度;K-L0为86.74%、K-L1为64.00%、K-L2为75.03%、K-L3为84.76%、K-L4为90.32%,早期K-L1–2敏感度仍需提高。

要点

  • 深度学习对K-L4的敏感度达90.32%,对K-L3为84.76%,中晚期分级诊断效能较高。
  • K-L1敏感度仅64.00%、K-L2为75.03%,早期骨关节炎识别仍是薄弱环节。
  • K-L0与K-L1间存在相互误分类,阅片时需注意早期骨赘与关节间隙改变的判读。

核心结论

  • 基于X线的深度学习多分类方法区分K-L0–K-L4的敏感度总体超过50%,其中K-L4敏感度高达90.32%,但K-L1–2敏感度仍需提高。
  • 深度学习在评估X线对膝关节骨关节炎的有效性方面已有一定作用,但作者指出仍需进一步研究和可靠数据才能为临床实践提供具体建议。

研究设计与样本

  • 系统评价与Meta分析,检索PubMed、Cochrane、Embase、Web of Science和IEEE至2023年7月11日,最终纳入19项研究共62,158张图像。
  • 纳入研究类型包括病例对照研究15项、回顾性队列研究3项、前瞻性研究1项;6项研究将深度学习与临床医生进行了比较。
  • 数据来源包括OAI(8项)、MOST(1项)、OAI与MOST(1项)、医院PACS系统(6项)、既往研究(1项),2项未说明数据来源。
  • 采用QUADAS-2工具评估偏倚风险,以K-L分级系统为参考标准,对独立验证集和测试集数据分别进行Meta分析。

诊断标准与关键数值

  • K-L0级:29个深度学习模型、19,745张图像,合并敏感度86.74%(95%CI 80.01%–92.28%),误分类为K-L1、K-L2、K-L3、K-L4的比例分别为7.680%(95%CI 4.32%–11.88%)、3.60%(95%CI 2.12%–5.43%)、0.17%(95%CI 0%–0.51%)、0.00%(95%CI 0.00%–0.00%)。
  • K-L1级:30个深度学习模型、8221张图像,合并敏感度64.00%(95%CI 51.81%–75.35%),误分类为K-L0、K-L2、K-L3、K-L4的比例分别为19.80%(95%CI 12.48%–28.30%)、11.24%(95%CI 7.36%–15.80%)、1.13%(95%CI 0.60%–1.79%)、0.00%(95%CI 0.00%–0.03%)。
  • K-L2级:30个深度学习模型、11,057张图像,合并敏感度75.03%(95%CI 66.00%–83.09%),误分类为K-L0、K-L1、K-L3、K-L4的比例分别为6.91%(95%CI 4.26%–10.11%)、9.95%(95%CI 5.86%–14.95%)、4.57%(95%CI 2.51%–7.18%)、0.01%(95%CI 0.00%–0.06%)。
  • K-L3级:29个深度学习模型、6,349张图像,合并敏感度84.76%(95%CI 78.34%–90.25%),误分类为K-L0、K-L1、K-L2、K-L4的比例分别为0.38%(95%CI 0.01%–1.04%)、1.55%(95%CI 0.55%–2.96%)、7.51%(95%CI 4.33%–11.45%)、2.76%(95%CI 1.38%–4.52%)。
  • K-L4级:29个深度学习模型、2,630张图像,合并敏感度90.32%(95%CI 85.39%–94.40%),误分类为K-L0、K-L1、K-L2、K-L3的比例分别为0.00%(95%CI 0.00%–0.01%)、0.00%(95%CI 0.00%–0.00%)、0.04%(95%CI 0.00%–0.38%)、8.05%(95%CI 4.49%–12.39%)。

临床应用与阅片要点

  • 原文指出深度学习方法在一定程度上可用于评估X线对膝关节骨关节炎的有效性,但作者认为尚需进一步研究和可靠数据才能为临床实践提供具体建议。
  • 原文强调多分类深度学习方法比二分类结果更贴合K-L分级的临床实际,阅片报告可关注模型对K-L3、K-L4的高敏感度及对K-L1–2的较低敏感度。
  • 原文分析K-L1与K-L2在影像特征(关节线高度、骨赘、软骨下硬化、骨变形)上存在重叠,是误分类和模型参数设置困难的来源之一。

局限性

  • 纳入的原始研究聚焦于基于放射学图像的建模变量,未讨论实际临床和患者情况,可能导致影像数据与临床表现不一致。
  • Meta分析过程中存在相当大的异质性,其来源似乎与图像分割或图像设置参数有关,难以进一步探究。
  • 大多数纳入研究未直接将深度学习与临床医生比较,因此无法说明深度学习是否劣于临床医生。
  • 仅K-L4存在显著发表偏倚(Egger检验P=0.048)。
全文中译21 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Jul 12;35(1):327–40. doi: 10.1007/s00330-024-10928-9

引言

膝骨关节炎(KOA)是一种常见的骨科疾病,主要引起疼痛、僵硬、关节活动度下降和步态障碍。这些症状不仅会加重疾病本身,还会导致老年人身体功能受限和残疾[1, 2]。临床上,KOA的特征是骨端关节软骨逐渐退变以及关节组织结构改变,包括骨和软骨变形[3]。放射学征象包括骨赘形成、关节间隙狭窄(JSN)和软骨下硬化。目前,KOA尚无治愈性治疗方法。尽管非甾体抗炎药和中枢性镇痛药等药物选择可以缓解疼痛和改善功能,但其显著的不良反应值得注意,尤其是在长期使用时。Jonathon Charlesworth等强调了长期使用这些药物相关的潜在风险和病情加重[4]。因此,KOA的早期诊断至关重要。

X线成像是KOA的重要诊断工具,因其安全性、高效性、成本效益和广泛使用而受到重视[5]。Kellgren-Lawrence分级系统(K-L)自1961年起被世界卫生组织认可为评估KOA严重程度的金标准[6],将该疾病分为五个等级(0至4级),数字越高表示损伤越严重(表1)。

然而,目前分级在很大程度上取决于临床医生的经验和判断。这种分级方法具有主观性,可能受到其他混杂因素的影响,可能导致错误分类,从而影响临床决策和患者康复。

随着计算机技术的不断进步和统计理论的完善,深度学习(DL)已越来越多地应用于临床实践。DL直接从数据中学习特征,改变了医学图像分析。在此背景下,一些研究构建了基于影像组学的DL用于KOA的诊断和分级[7, 8]。然而,这些DL模型得出的结果不一致,人工智能的敏感性和诊断价值仍不明确,这无疑阻碍了人工智能在该领域的研究。因此,本研究旨在评估基于X线的人工智能在KOA无创检测和分类中的效能。

表1 K-L分级系统 查看原表 ↗

方法

研究注册

本研究按照系统评价和荟萃分析指南进行,并在PROSPERO上进行了前瞻性注册(ID:CRD42023450313)。

纳入标准

纳入标准涉及KOA患者的研究。

已完全构建基于X线图像识别KOA的K-L分级的DL的研究。

使用不同DL方法但发表于同一数据集的研究纳入本系统评价。

本系统评价纳入的研究类型为病例对照研究、横断面研究和队列研究。

以英文报告的研究。

排除标准在KOA的诊断和严重程度定义方面存在显著问题的研究。

构建DL模型并非基于X线图像的研究。

所采用的模型不是DL的研究。

样本量少于20例的研究,或缺乏独立验证集或测试集的研究。

未经同行评审即公开发布的会议摘要。

数据来源与检索策略

系统检索覆盖PubMed、Cochrane、Embase、Web of Science和IEEE等数据库。检索式由主题词和文本词组成。未对地区或发表年份施加限制。检索完成至2023年7月11日。详细检索策略见表S1。

研究选择与数据提取

检索到的文献导入EndNote。去除重复后,筛选标题和摘要以识别初步符合条件的研究。随后下载其全文。通过全面阅读这些全文,确定最终符合本系统评价要求的研究。在提取数据之前,准备了标准化电子模板。提取项目包括标题、第一作者、发表年份、作者所在国家、研究类型、患者来源、图像来源、严重程度测量标准、每个严重程度的病例数、总病例数、训练集总病例数、验证集和测试集的生成方法、外部验证、验证集病例数、测试集病例数、所用模型类型,以及是否与临床医生进行了比较。上述文献筛选和数据提取由两名研究人员Le Zhang和Ziming Zhang独立进行,并在完成后进行交叉核对。如有分歧,咨询第三名研究人员Liang Ou。

研究质量评估

QUADAS-2 [9, 10]作为诊断准确性研究质量评估(QUADAS)工具的改良版本,由四个组成部分构成:患者选择、索引试验、参考标准和流程与时机。每个组成部分包含若干具体问题。每个问题的答案为“是”、“否”或“不清楚”,分别表示“低”、“高”或“不清楚”的偏倚风险。如果一个领域内的所有关键问题均获得“是”的回答,偏倚风险可评估为低。

然而,如果一个信息性领域内即使有一个问题被回答为“否”,则存在偏倚的可能性,需要评估者根据预先建立的标准评估偏倚风险。如果纳入的研究缺乏足够细节使评估者无法做出明确判断,则偏倚风险被认为不清楚。

综合方法

来自独立验证集和测试集的数据分别进行荟萃分析。鉴于KOA的K-L分级有五个级别,我们总结了深度学习(DL)对每个单独级别的敏感性。

对于敏感性的荟萃分析,数据将根据以下情形进行转换:i. 如果所有样本的敏感性率在20%至80%之间,则无需转换。

当率小于20%或大于80%时,应用logit转换。

在大量数值为0%或/和100%的情况下,使用双反正弦转换 [11, 12]。

采用基于异质性指数(I2)的方法选择荟萃分析模型。当I2超过50%时采用随机效应模型,而当I2小于50%时采用固定效应模型。漏斗图直观展示了各研究内不同指标的发表偏倚。采用Egger检验对发表偏倚进行统计学检验。若p < 0.05则认为差异具有统计学意义。生成了各分级的森林图以及不同分级误诊率的森林图(图S2–图S21)。所有荟萃分析结果均与R软件(版本4.2.3)的“metafor”和“meta”包相关。

结果

研究选择

从数据库中共检索到2890篇文章。其中,752篇被识别为重复研究,698篇被参考文献管理软件自动标记为重复。在审阅标题和摘要后,剩余2138篇文章。根据纳入排除标准,进一步排除了2084篇不符合条件的文章。54篇文章初步入选进行全文阅读。经详细审阅,以下35项研究被排除:①公开发表的、未经同行评审的会议摘要(n = 9);②KOA严重程度分级定义存在严重缺陷的研究(n = 9);③仅关注图像分割而未开发完整深度学习(DL)模型的文章(n = 8);④采用非DL模型的研究(n = 7);⑤综述(n = 1);⑥干预措施非针对KOA的研究(n = 1)。最终,19篇文章[2, 7, 13–29]符合条件并被纳入(见图1)。

图1 文献筛选流程图 查看原图 ↗

研究特征

全部19篇纳入文章均聚焦于多分类DL,共包含62,158张图像。具体而言,K-L0有22,388张图像,K-L1有13,415张,K-L2有15,597张,K-L3有1168张,K-L4有2990张。四项研究分别发表于中国[7, 13, 28, 29]和美国[2, 14–16]。三篇文章发表于巴基斯坦[17–19],而各有两篇分别发表于沙特阿拉伯[20, 21]、印度[22, 23]和韩国[24, 25]。同时,各有一项研究发表于摩洛哥[26]和伊拉克[27]。其中,15项为病例对照研究[2, 14–24, 27–29],三项为回顾性队列研究[7, 13, 25],一项为前瞻性研究[26]。六项研究[7, 13–16, 22]将DL与临床医师进行了比较。八项研究的数据来自OAI[2, 14, 15, 18, 20, 23, 27, 28],一项来自MOST[16],一项同时来自OAI和MOST[26],六项来自医院PACS系统[7, 13, 17, 22, 25, 29],一项来自既往研究[24],两项未说明其数据来源[19, 21]。纳入研究的详细特征见表2。

表2 纳入研究的基本特征 查看原表 ↗

研究质量评估

鉴于本研究是基于X线DL的荟萃分析,部分纳入研究为病例对照研究,从参与者角度来看可能存在显著偏倚。所幸该分类是自动化的,从而限制了对结果的潜在影响。评估前未设定阈值。评估过程中采用了国际公认的K-L分级系统,该系统是评估KOA严重程度的金标准。这有助于对KOA严重程度进行分级。详细评估结果见图S1。

荟萃分析

识别K-L0

共纳入29个用于识别K-L0级的深度学习模型,涵盖19,745张K-L0级图像。采用随机效应模型,发现这些模型对K-L0的合并诊断灵敏度为86.74%(95% CI:80.01%–92.28%)(图2和表3)。这些模型将7.680%(95% CI:4.32%–11.88%)的图像错误分类为K-L1级(图S2),3.60%(95% CI:2.12%–5.43%)错误分类为K-L2级(图S3),0.17%(95% CI:0%–0.51%)错误分类为K-L3级(图S4),0.00%(95% CI:0.00%–0.00%)错误分类为K-L4级(图S5)。

图2 基于X线的深度学习对K-L0级诊断灵敏度的森林图 查看原图 ↗
表3 深度学习对KOA的K-L分级混淆矩阵(%) 查看原表 ↗

识别K-L1

共纳入30个用于识别K-L1级的深度学习模型,包含8221张K-L1级图像。采用随机效应模型,这些模型对K-L1级的诊断灵敏度为64.00%(95% CI:51.81%–75.35%)(图3和表3)。误诊率如下:19.80%(95% CI:12.48%–28.30%)被错误分类为K-L0级(图S6),11.24%(95% CI:7.36%–15.80%)为K-L2级(图S7),1.13%(95% CI:0.60%-1.79%)为K-L3级(图S8),0.00%(95% CI:0.00%–0.03%)为K-L4级(图S9)。

图3 基于X线使用深度学习对K-L1级诊断灵敏度的森林图 查看原图 ↗

识别K-L2

共纳入30个用于识别K-L2级的深度学习模型,包含11,057张K-L2级图像。通过采用随机效应模型,发现这些模型对K-L2的汇总诊断灵敏度为75.03%(95% CI:66.00%–83.09%)(图4和表3)。误分类率确定如下:6.91%(95% CI:4.26%–10.11%)被错误归类为K-L0级(图S10),9.95%(95% CI:5.86%–14.95%)为K-L1级(图S11),4.57%(95% CI:2.51%–7.18%)为K-L3级(图S12),0.01%(95% CI:0.00%–0.06%)为K-L4级(图S13)。

图4 展示基于X线使用深度学习对K-L2级诊断灵敏度的森林图 查看原图 ↗

识别K-L3

共使用29个深度学习模型识别K-L3级,包含6,349张K-L3图像。采用随机效应模型进行数据合成,这些模型对K-L3级的合并诊断灵敏度确定为84.76%(95% CI:78.34%–90.25%)(图5和表3)。该级别的误分类率如下:K-L0级为0.38%(95% CI:0.01%–1.04%)(图S14),K-L1级为1.55%(95% CI:0.55%–2.96%)(图S15),K-L2级为7.51%(95% CI:4.33%–11.45%)(图S16),K-L4级为2.76%(95% CI:1.38%–4.52%)(图S17)。

图5 表示基于X线影像通过深度学习对K-L3级诊断灵敏度的森林图 查看原图 ↗

识别K-L4

共使用29个深度学习模型识别K-L4级,涵盖2630张K-L4图像。采用随机效应模型进行数据合成,这些模型对K-L4级的合并诊断灵敏度确定为90.32%(95% CI:85.39%–94.40%)(图6)(表3)。K-L4级的误分类率确定如下:K-L0级为0.00%(95% CI:0.00%–0.01%)(图S18),K-L1级为0.00%(95% CI:0.00%–0.00%)(图S19),K-L2级为0.04%(95% CI:0.00%–0.38%)(图S20),K-L3级为8.05%(95% CI:4.49%–12.39%)(图S21)。

图6 表示基于X线影像使用深度学习对K-L4级诊断灵敏度的森林图 查看原图 ↗

发表偏倚

对每个级别的发表偏倚进行了检验,结果显示仅K-L4存在显著发表偏倚(Egger检验 p = 0.048)(图S22–图26)。

讨论

主要发现总结

使用X射线成像的深度学习(DL)多分类方法在区分膝骨关节炎(KOA)K-L 0至4级方面表现出良好的敏感性(超过50%)。值得注意的是,K-L4级的敏感性极高,达90.32%,而1级和2级的敏感性较低,提示需要改进。

与既往研究的比较

DL越来越多地应用于KOA诊断。Somayeh Ebrahimkhani等[30]发现,DL模型在膝关节软骨分割方面优于传统模型,Dice相似系数在85.8%至90%之间。Pauline Shan Qing Yeoh等[31]观察到,DL,尤其是先进的三维卷积神经网络(3D CNN)模型[32, 33],在早期KOA诊断中提供了更多的便利和效率,能够在多个平面上进行评估,从而全面了解疾病进展。

尽管DL在诊断KOA方面显示出前景,但其在严重程度分级中的应用仍是一个讨论话题。大多数研究利用K-L分级系统构建分类模型[2, 14, 34, 35]。Kevin Leung等[36]开发了一个DL模型(AUC = 0.87;95% CI:0.85–0.90),其表现优于基线K-L分级模型(AUC = 0.74;95% CI:0.71–0.77;p < 0.001)。同样,Hirvasniemi等[37]基于MRI的弹性网络模型显示出优于协变量模型(AUC = 0.68)的结果(AUC = 0.80)。

然而,将这些发现转化为临床实践面临挑战。患者KOA严重程度的复杂性超出了二分类结果,需要与临床分级诊断一致的多分类结果。因此,本系统综述聚焦于多分类DL方法。

DL在早期KOA(K-L1-2)诊断中的敏感性需要提高。有三个主要因素导致了这一需求。首先,基于骨赘数量和关节间隙狭窄(JSN)[38]的K-L分级系统,常常导致K-L1级与K-L2级之间的放射学判读重叠。这种重叠不仅使放射科医生困惑,也妨碍了DL模型中准确的参数设置。其次,K-L1级和2级之间X射线特征的相似性,如关节线高度、骨赘、软骨下硬化和骨变形[39],引入了影响结果判读的混杂因素。当前的DL模型,尤其是CNN,难以处理这些因素,常常在小数据集上过拟合,无法泛化到新数据。为提高这些模型在基于K-L分级的KOA诊断中的效力,未来研究中更大的样本量至关重要。此外,K-L分级系统的主观性[40]导致不同研究之间判读的不一致性。Mark D. Kohn[41]强调了K-L 2级定义的变化——从“明确骨赘伴轻微关节间隙狭窄”[42]到“明确骨赘无关节间隙受损”[43]。此类有争议的定义导致研究结果出现偏倚。尽管存在这些挑战,K-L分级系统仍是评估KOA严重程度的重要工具。未来研究应解决这些诊断差异和混杂因素,以提高早期KOA诊断的敏感性。

本研究的优势与局限性

我们首次从系统综述的角度探讨了基于X线的深度学习(DL)用于膝骨关节炎(KOA)K-L分级的效能。然而,本研究存在若干局限性。第一,纳入的原始研究侧重于基于放射学图像构建建模变量,未讨论实际临床和患者情况,这可能导致影像数据与临床表现不一致。第二,荟萃分析过程中存在相当大的异质性,这是当前DL面临的重大挑战。该异质性的来源似乎与图像分割或图像设置参数有关,难以进一步探讨。第三,大多数纳入的研究未直接将DL与临床医生进行比较,因此我们无法描述DL是否劣于临床医生。

结论

利用X线成像的DL多分类方法在区分K-L 0至4级方面显示出有前景的敏感性,总体敏感率高于50%。具体而言,这些方法对K-L4级达到90.32%的显著高敏感性。然而,K-L1-2级的敏感性有待进一步提高。

补充信息

补充材料

引用

  1. Zhao H, Ou L, Zhang Z, et al. The value of deep learning-based X-ray techniques in detecting and classifying K-L grades of knee osteoarthritis: a systematic review and meta-analysis. Eur Radiol. 2024. PMID: 38997539. doi:10.1007/s00330-024-10928-9
  2. 全文:PMC11631813(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11631813/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。