文献速递脊柱关节炎

机器学习算法在MRI上判别骶髂关节炎特征的表现:一项系统综述

Performances of machine learning algorithms in discriminating sacroiliitis features on MRI: a systematic review.
PubMed 文献 · RMD Open · 2023-11-23

该系统综述检索了2008年至2023年6月4日多个数据库及会议摘要库,从2381项研究中纳入10项研究,总结机器学习算法在MRI上判别骶髂关节炎特征的表现并与人类医师准确性比较。所有研究报告曲线下面积(AUC)范围为0.76至0.99,敏感度范围为0.56至1.00,特异度范围为0.67至1.00。结论指出机器学习算法表现因研究间高异质性、样本量小、过拟合及报告不足等问题而存在差异,需要进一步设计良好且透明的研究。

要点

  • 10项研究中超过半数使用深度学习模型,以ASAS骶髂关节炎标准为参考标准。
  • 所有研究报告AUC范围为0.76至0.99,敏感度0.56至1.00,特异度0.67至1.00。
  • 超过半数研究在质量评价分析域存在高偏倚风险,原因包括样本量小或过拟合问题。

核心结论

  • 机器学习算法在MRI上判别骶髂关节炎特征的表现因研究间高异质性、样本量小、过拟合及个体研究报告不足而存在差异。
  • 需要进一步设计良好且透明的研究。

研究设计与样本

  • 系统综述检索MEDLINE、EMBASE、CIHNAL、Web of Science、IEEE、美国风湿病学会及欧洲风湿病协会联盟摘要档案库,纳入2008年至2023年6月4日发表的研究。
  • 从2381项研究中纳入10项研究,两名作者独立筛选并提取变量,结果以表格和森林图呈现。

主要发现

  • 超过半数研究使用深度学习模型,以国际脊柱关节炎评估协会(ASAS)骶髂关节炎标准为参考标准,并手动提取感兴趣区。
  • 所有研究报告曲线下面积(AUC)作为性能指标,范围为0.76至0.99。
  • 敏感度和特异度是第二常用的报告指标,敏感度范围为0.56至1.00,特异度范围为0.67至1.00。
  • 上述结果与同一队列中放射科医师的敏感度0.67-1.00和特异度0.78-1.00相当。
  • 超过半数研究在质量评价分析域显示高偏倚风险,原因包括样本量小或过拟合问题。

关键数值与推荐

  • AUC范围为0.76至0.99。
  • 敏感度范围为0.56至1.00,特异度范围为0.67至1.00。
  • 放射科医师在同一队列中的敏感度为0.67-1.00,特异度为0.78-1.00。

局限性

  • 研究间存在高异质性。
  • 样本量小。
  • 过拟合问题。
  • 个体研究报告不足。
  • 需要进一步设计良好且透明的研究。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

OBJECTIVES: Summarise the evidence of the performance of the machine learning algorithm in discriminating sacroiliitis features on MRI and compare it with the accuracy of human physicians. METHODS: MEDLINE, EMBASE, CIHNAL, Web of Science, IEEE, American College of Rheumatology and European Alliance of Associations for Rheumatology abstract archives were searched for studies published between 2008 and 4 June 2023. Two authors independently screened and extracted the variables, and the results are presented using tables and forest plots. RESULTS: Ten studies were selected from 2381. Over half of the studies used deep learning models, using Assessment of Spondyloarthritis International Society sacroiliitis criteria as the ground truth, and manually extracted the regions of interest. All studies reported the area under the curve as a performance index, ranging from 0.76 to 0.99. Sensitivity and specificity were the second-most commonly reported indices, with sensitivity ranging from 0.56 to 1.00 and specificity ranging from 0.67 to 1.00; these results are comparable to a radiologist's sensitivity of 0.67-1.00 and specificity of 0.78-1.00 in the same cohort. More than half of the studies showed a high risk of bias in the analysis domain of quality appraisal owing to the small sample size or overfitting issues. CONCLUSION: The performance of machine learning algorithms in discriminating sacroiliitis features on MRI varied owing to the high heterogeneity between studies and the small sample sizes, overfitting, and under-reporting issues of individual studies. Further well-designed and transparent studies are required.

来源:RMD Open,查看原文。版权归原作者所有。

引用

  1. Moon SJ, Lee S, Hwang J, et al. Performances of machine learning algorithms in discriminating sacroiliitis features on MRI: a systematic review. RMD Open. 2023. PMID: 37996126. doi:10.1136/rmdopen-2023-003783

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。