文献速递胸部骨肌技术与安全CT

深度学习在CT数据中检测急性肋骨骨折的系统综述与Meta分析

Deep learning for acute rib fracture detection in CT data: a systematic review and meta-analysis.
PubMed 文献 · Br J Radiol · 2024-01-01

该系统综述纳入27项使用深度学习模型对CT数据进行肋骨骨折分类、检测或分割的研究,约75%的研究因未报告患者选择标准等存在偏倚风险。Meta分析显示低偏倚风险研究的急性肋骨骨折检测敏感度为89.60%(95%CI,86.31%-92.90%),F1评分为86.66%(95%CI,84.62%-88.71%),亚组差异检验提示偏倚风险影响F1评分。

要点

  • 低偏倚风险研究的急性肋骨骨折检测敏感度为89.60%(95%CI,86.31%-92.90%),精确率为84.89%(95%CI,81.59%-88.18%)。
  • 低偏倚风险研究F1评分为86.66%(95%CI,84.62%-88.71%),高于偏倚风险组的81.14%(95%CI,72.25%-90.03%),亚组差异检验P值低于0.1。
  • 约75%的研究因未报告患者选择标准(包括对照患者或使用5mm层厚CT)存在偏倚风险。

核心结论

  • 研究偏倚风险主要源于不适当的患者与数据选择,低偏倚风险研究在深度学习模型检测急性肋骨骨折时具有更好的F1评分。

研究设计与样本

  • 系统综述与Meta分析,检索PubMed、Embase和Web of Science(2023年4月3日至5日),最终纳入27项研究。
  • 纳入标准为使用深度学习模型对来自人类的CT数据进行肋骨骨折分类、检测或分割,模型训练数据来自CT扫描,包括死后CT(PMCT)研究。
  • 采用诊断准确性研究质量评估工具(QUADAS)评估偏倚风险与适用性关注,Meta分析仅纳入报告急性肋骨骨折检测性能且提供敏感度和精确率95%CI的研究,共7项研究。
  • 异质性采用I²统计量并以随机效应模型的τ²补充,亚组差异检验的显著性阈值设为0.1。

关键影像表现/征象

  • 多数模型使用中高分辨率CT扫描训练,层厚范围为1至5mm。
  • 大多数研究设计中女性患者比例为30%至40%,患者平均年龄范围为50至60岁。
  • 除一项使用PMCT扫描的研究外,所有研究均使用临床CT扫描,该PMCT研究排除了晚期分解状态或严重创伤的尸体病例。

诊断标准与关键数值

  • 低偏倚风险研究的急性肋骨骨折检测敏感度为89.60%(95%CI,86.31%-92.90%),偏倚风险组为84.00%(95%CI,71.37%-96.63%),亚组差异检验P值为0.23。
  • 低偏倚风险研究的精确率为84.89%(95%CI,81.59%-88.18%),偏倚风险组为80.26%(95%CI,68.21%-92.32%),亚组差异检验P值为0.35。
  • 低偏倚风险研究的F1评分为86.66%(95%CI,84.62%-88.71%),偏倚风险组为81.14%(95%CI,72.25%-90.03%),亚组差异检验P值低于0.1。
  • 两个亚组的I²统计量均高于95%,低偏倚风险亚组的τ²远低于偏倚风险亚组。

临床应用与阅片要点

  • 作者建议未来研究者详细报告患者选择标准,认为肋骨骨折检测模型的合适队列为钝性胸部创伤患者(即疑似肋骨骨折的患者),无需健康对照组。
  • 作者建议若纳入愈合期和陈旧性肋骨骨折患者,应相应标注此类病变,并将模型性能按骨折类型分别报告。
  • 作者建议不要使用5mm层厚的CT数据进行模型训练,因纵向部分容积效应可能模糊和隐藏肋骨骨折特征。
  • 作者提醒开发的深度学习模型应作为开源项目共享,以便在不同数据集上复现结果。
  • 作者认为肋骨骨折检测模型应具备区分急性、愈合期和陈旧性肋骨骨折的能力,否则在既往有肋骨骨折的患者中可能产生更多假阳性。

局限性

  • Meta分析的主要局限性是纳入研究数量少,原因是本系统综述中多数研究未报告结果的95%CI。
  • 偏倚风险亚组在每个森林图中仅有四个数据点,且F1评分森林图中一个数据点必须采用模拟。
  • 作者认为性能指标应与其对应的标准差或95%CI一同报告。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2024 Jan 13;97(1155):535–43. doi: 10.1093/bjr/tqae014

引言

肋骨骨折是钝性胸部创伤患者中最常见的损伤。1 尽管胸部X线片可能足以诊断移位性骨折,但推荐进行多层探测器CT(MDCT,或简称CT)扫描以确保更敏感的报告中。然而,由于CT扫描的复杂性,25%至35%的非移位性肋骨骨折在诊断中被遗漏。2

深度学习(DL)模型及其他人工智能模型可以提高诊断准确性、减少阅片者间变异并缩短阅片时间。3,4 深度学习模型由具有多层的人工神经网络组成,以从数据中捕获不同层次的抽象特征。神经网络的一种特定配置是卷积神经网络,由于使用小型参数核来捕获局部特征,其在计算机视觉中强大且高效。5

深度学习模型已被用于医学影像分析的三类主要应用:分类(例如,良性 vs 恶性病变)、检测(例如,病变定位)和分割(例如,器官轮廓勾画)。6 特别是,深度学习模型已在许多研究中用于检测骨科骨折,包括肋骨骨折,其准确性接近经验丰富的放射科医师。7 同样,深度学习模型已被应用于尸检CT(PMCT)扫描的分析,以执行诸如器官自动分割、大规模灾难遇难者身份识别或不明遗骸调查中的性别和年龄估计等任务。8

尽管深度学习模型取得了令人鼓舞的结果,但由于其强烈依赖数据数量和质量,更不用说其低可解释性,它们仍然面临若干挑战。9,10

本系统综述的目的是研究深度学习模型在临床和尸检(PM)病例中对CT数据中肋骨骨折的分类、检测和分割。此外,评估所选研究的偏倚风险(ROB)和适用性关注(CAA),并分析ROB对急性肋骨骨折检测性能的影响。本综述将作为放射科医师和未来研究项目的参考。

方法

本系统综述已在PROSPERO国际前瞻性系统综述注册库中注册,并遵循系统综述和荟萃分析优先报告条目(PRISMA)2020声明的指南。11

方法的所有步骤均由第一作者执行,其在医学影像人工智能方面拥有一年的研究经验。对于ROB和CAA评估,进一步审查了文章以平衡每个信号问题的答案。

文献检索

文章于2023年4月3日至5日期间从PubMed、Embase和Web of Science检索,使用关键词查询((深度学习)OR(卷积网络))AND(肋骨骨折)。

仅符合以下标准的研究被纳入系统综述:(1)以英文撰写,(2)作为期刊文章或会议论文发表,(3)使用了深度学习模型,(4)深度学习模型用于分类、检测或分割肋骨骨折,(5)深度学习模型在来自CT扫描的数据上进行训练,(6)CT扫描取自人类。

使用PMCT扫描训练模型的研究也被考虑。此外,涉及愈合期和陈旧性肋骨骨折患者的研究也被纳入系统综述。

数据提取

研究特征和模型性能指标在未使用自动化工具的情况下提取。为补全未报告的数据,在三周内两次联系通讯作者。所有数据均收集在Excel电子表格中。

对于分类和检测模型,提取的性能指标为灵敏度(或召回率)、精确率(或阳性预测值)和F1分数,均在病灶水平(except for two studies on rib fracture classification, which only reported performance at scan level)。对于分割模型,提取的性能指标为Dice分数和交并比。这些性能指标的计算公式见补充材料。

在比较不同模型在同一测试数据集上性能的研究中,仅考虑性能最佳的模型。

偏倚风险评估

使用诊断准确性研究质量评估12工具评估纳入研究的偏倚风险(ROB)和适用性关注(CAA)。对建议的信号问题清单进行了修改,以适应本系统评价的目标。各领域使用的完整信号问题清单见补充材料。

对于每项研究,每个信号问题均予以回答并分类为以下四个类别之一,按风险水平排序:低、无信息、一些关注和高。然后,对每个领域也进行分类,赋予该领域中信号问题所获得的最高风险水平类别。最后,按照相同程序对每项研究给出总体评估。

这些评估结果以交通信号灯图(见补充材料)和汇总图的形式呈现,均使用robvis工具生成。13

荟萃分析

对于肋骨骨折检测研究,其模型的灵敏度、精确率和F1分数通过森林图进行分析。这些森林图的目的是可视化和比较所选模型的结果,并计算深度学习模型检测肋骨骨折的总体性能。然而,我们提醒读者,每项研究使用了不同的数据集和不同的深度学习模型来获得结果。因此,我们无法就这些算法中哪一个最适合该任务得出强有力的结论。

仅报告急性肋骨骨折检测性能指标的研究被纳入荟萃分析。也就是说,使用急性、愈合中和陈旧性肋骨骨折标注训练模型且仅报告总体性能的研究被排除。此外,仅选择提供了灵敏度和精确率95%置信区间(CI)的研究。如果F1分数未报告95% CI,则采用蒙特卡罗方法进行模拟。

异质性通过I2统计量计算,并辅以随机效应(RE)模型方差τ2的结果,选择随机效应模型而非固定效应模型是因为不能认为这些研究来自同一总体。14

荟萃分析在急性肋骨骨折检测研究的两个亚组中重复进行:判定为低偏倚风险的研究和判定为较高偏倚风险水平(即无信息、一些关注或高)的研究。亚组差异检验中用于确定显著性的p值为0.1。15

所有图形和统计分析均使用 R(版本 4.2.3)包 metafor16(版本 4.0.0)完成。可在 https://github.com/manellopez13/dl4rf_meta_analysis 找到生成森林图的数据和脚本。

结果

文献检索

使用方法部分所述的检索策略,共从数据库中检索到 132 条记录。其中,68 条记录因重复而未被纳入,10 条因非英文撰写、非期刊论文或会议论文、或无法在线获取而被排除。随后,对剩余记录的报告进行了评估,导致以下 27 项排除:8 项研究未使用深度学习(DL),10 项研究记录未以肋骨骨折分类、检测或分割为目标,9 项研究使用胸部X线片而非 CT 数据来训练其模型。

纳入系统综述的研究总数为 n = 27。17–43 图 1 的 PRISMA 流程图展示了研究排除过程。

图 1. 纳入文章的 PRISMA 流程图。DL:深度学习。 查看原图 ↗

数据提取

纳入的研究发表于 2020 年至 2023 年之间。三项研究的模型仅对肋骨骨折进行分类,一项研究的模型仅执行肋骨骨折分割。其余 23 项研究训练的模型检测肋骨骨折。大多数模型使用中高分辨率 CT 扫描训练,层厚范围为 1 至 5 mm。在大多数研究设计中,女性患者比例范围为 30% 至 40%,患者平均年龄在 50-60 岁范围内。其余研究特征汇总于表 1。有关患者选择标准的更多信息,请参阅补充材料。

除一项使用 PMCT 扫描的研究外,所有研究均使用临床 CT 扫描。23 该研究应用了特定的选择标准,例如排除处于晚期腐败状态的遗体病例或严重创伤遗体病例。

表 2-4 分别包含模型在急性肋骨骨折分类、检测和分割方面的平均性能指标。一些研究未报告模型仅针对急性肋骨骨折的性能,而是报告了模型在急性、愈合中和陈旧性肋骨骨折方面的整体性能。这些在表中突出显示的病例被排除在急性肋骨骨折检测的荟萃分析之外。

表 1. 纳入研究的特征。 查看原表 ↗
表 2. 模型在急性肋骨骨折分类方面的平均性能。 查看原表 ↗
表 3. 模型在急性肋骨骨折检测方面的平均性能。 查看原表 ↗
表 4. 模型在急性肋骨骨折分割方面的平均性能。 查看原表 ↗

偏倚风险评估

图 2 和图 3 分别展示了 ROB 评估和 CAA 评估的汇总图。

在 ROB 评估中,患者选择领域受影响最大。约四分之一的研究未报告用于选择患者的纳入和排除标准。一些关于肋骨骨折检测的研究通过在测试数据集中纳入对照患者,在其精确率和 F1 分数的报告中引入了 ROB。此外,四分之一的研究采集的 CT 扫描层厚为 5 mm。

在索引测试领域,大多数研究的 ROB 较低,但四分之三的研究具有较高的 CAA,因为其模型既未以商业形式也未作为开源工具公开可用。

关于参考标准领域,大多数研究的偏倚风险(ROB)较低,但有一项研究使用了并非100%敏感的标注,还有一项研究如果所有专家都未标注的病灶标签被移除。用这些数据训练的模型可能学会忽略病灶,这会增加假阴性(FN)的数量。

最后,在流程和时间领域,未检测到偏倚风险(ROB)。

显示偏倚风险(ROB)和适用性关注(CAA)评估详细结果的交通灯图可在补充材料中找到。

图2. 研究偏倚风险总结图。 查看原图 ↗
图3. 研究适用性关注总结图。 查看原图 ↗

荟萃分析

仅7项研究被选入荟萃分析。由于一些研究将其模型应用于多个测试数据集,敏感性荟萃分析包含15个数据点,精确度和F1分数的荟萃分析各包含14个数据点。

图4和图5分别显示了敏感性和精确度的森林图。乍看之下可以看出,虽然低偏倚风险(ROB)组的模型同时具有高敏感性和高精确度,但一些存在偏倚风险(ROB)的研究其敏感性或精确度显著低于总随机效应(RE)模型平均值。事实上,S10具有较好的精确度但敏感性较差,而S14具有显著的敏感性但精确度有待提高。这种权衡关系在图6中不再观察到,该图为F1分数的森林图,将S10和S14这两项研究与其他研究区分开来。然而,偏倚风险(ROB)组中的两个模型S24-1和S24-3呈现出高敏感性、高精确度和高F1分数。

亚组分析得出,低偏倚风险(ROB)研究的平均敏感性为89.60%(95%CI,86.31%-92.90%),而存在偏倚风险(ROB)的研究为84.00%(95%CI,71.37%-96.63%)。两个亚组的I2统计量均高于95%,表明两种情况均存在相当大的异质性。然而,低偏倚风险(ROB)亚组的异质性低于偏倚风险(ROB)亚组,因为低偏倚风险(ROB)亚组的方差τ2远低于偏倚风险(ROB)研究。亚组差异检验的p值为0.23,高于显著性阈值0.1,意味着没有证据表明偏倚风险(ROB)对肋骨骨折检测敏感性有影响。

精确度分析获得了类似结果,低偏倚风险(ROB)研究亚组的精确度为84.89%(95%CI,81.59%-88.18%),而偏倚风险(ROB)亚组为80.26%(95%CI,68.21%-92.32%)。同样,低偏倚风险(ROB)亚组的异质性低于偏倚风险(ROB)亚组,低偏倚风险(ROB)亚组的I2和τ2更低。亚组差异检验的p值为0.35,高于显著性阈值0.1。因此,未发现偏倚风险(ROB)对肋骨骨折检测精确度有影响的证据。

最后,F1分数分析得到了异质性最低的结果,低偏倚风险(ROB)亚组和偏倚风险(ROB)亚组的估计值分别为86.66%(95%CI,84.62%-88.71%)和81.14%(95%CI,72.25%-90.03%)。在这种情况下,亚组差异检验得出的p值低于0.1,指向偏倚风险(ROB)对急性肋骨骨折检测的F1分数有影响的结论。

图4. 急性肋骨骨折检测敏感性的森林图。缩写:ROB = 偏倚风险,RE = 随机效应。 查看原图 ↗
图5. 急性肋骨骨折检测精确度的森林图。缩写:ROB = 偏倚风险,RE = 随机效应。 查看原图 ↗
图6. 急性肋骨骨折检测F1评分的森林图。缩写:ROB=偏倚风险,RE=随机效应。*蒙特卡洛模拟数据。 查看原图 ↗

讨论与建议

尽管肋骨骨折的治疗多为保守治疗,但这些病变在超过90%的患者中是相关损伤的指示因素,且约10%的病例中相关损伤是致命的。44患者年龄和肋骨骨折数量会增加损伤的发病率和死亡率,45,46但单根肋骨骨折也可能在20%的病例中导致不良结局。47通过缩短诊断时间并实现高于放射科医师的敏感性,用于肋骨骨折检测的深度学习(DL)模型只能改善医疗保健。

本系统综述中纳入的研究具有异质性,数据和模型各不相同。每项研究的患者纳入标准也各不相同。因此,难以在所呈现的工具中做出任何推荐,因为每种工具在特定应用中各有其优势。例如,虽然大多数研究侧重于急性肋骨骨折检测,但一些模型可以区分急性、愈合中和陈旧性肋骨骨折。18,29,32,36,38,40–42在其他研究中,模型还可以将急性肋骨骨折分类为移位性、非移位性和扣带(或不完全性)肋骨骨折。17,27,29,30,32,34,36,38,42一项研究根据CT扫描中肋骨骨折的数量分析了肋骨骨折检测模型的性能。27

作为DL工具质量的证明,许多研究已将模型的肋骨骨折检测性能与经验丰富的放射科医师进行了比较。在DL模型的辅助下,放射科医师的敏感性(60%-80%)可提高多达20个百分点,同时保持相似的精确度水平(70%-90%),并显著减少阅片时间。17,18,21,24–27,29,32,35-38,40-42

最常见的DL模型架构——每种约被10项研究使用——是U-Net48和Faster R-CNN。49关于如何通过不同路径解决肋骨骨折检测的一个良好示例是U-Net的使用——尽管该模型设计用于执行目标分割,但其结果可经后处理以输出围绕预测目标定位的边界框。

在输入图像尺寸的选择方面也存在相当大的异质性。虽然大多数研究决定从CT扫描中提取3D patch来训练其模型,但一些研究将2D模型应用于每个单独的轴位切片。其他研究者将2D模型扩展为聚合相邻切片组的结果,我们将其称为2.5D模型。

未发现特定架构选择和输入图像尺寸选择在性能上优于其他选择的显著改善。此外,我们未观察到在自然图像数据集(如ImageNet50和COCO51)上预训练的模型与其他模型的性能之间存在任何显著差异。

根据ROB评估的结果,我们建议未来该领域的研究者确保详细报告患者选择标准。我们认为,肋骨骨折检测模型的合适队列是钝性胸部创伤患者,即疑似肋骨骨折的患者。在这样的队列中,不需要健康患者作为对照组(这可能导致更高的FP数量以及精确率和F1分数的低估)。如果纳入愈合期和陈旧性肋骨骨折患者,则应相应标注此类病变,并将模型性能按每种骨折类型分别报告。此外,我们建议不要使用5 mm层厚的CT数据来训练模型,因为此类图像可能因纵向部分容积效应而模糊和掩盖肋骨骨折特征。52,53 通过CAA评估,我们提醒所开发的DL模型应作为开源项目共享,以便结果可在不同数据集上重现。

我们的荟萃分析关注的是急性肋骨骨折检测,这是急诊科肋骨骨折检测DL模型的主要目标。然而,从我们的角度来看,此类模型还应具备区分急性、愈合期和陈旧性肋骨骨折的能力。否则,模型在既往有肋骨骨折的患者上可能产生更多的FP。同样,如果模型使用呈现急性、愈合期和陈旧性肋骨骨折的CT扫描进行训练,但仅标注了急性肋骨骨折,模型则容易产生更多的FN。

我们的荟萃分析的主要局限性是纳入研究数量较少,这是由于本系统综述中的大多数研究未报告其结果的95% CI。特别是,存在ROB的研究亚组在每个森林图中仅有四个数据点,而在F1分数森林图中,其中一个数据点不得不进行模拟。我们认为,性能指标应与其相应的标准差或95% CI一同报告。

最后,我们团队特别关注的是突出临床与PM病例之间迁移学习的机会。PMCT扫描的一个优势是不存在因呼吸和身体运动造成的成像伪影。然而,放射学改变指数(RA指数)54较高的PM病例应排除在训练数据集之外。这是因为RA指数较高的身体呈现分解迹象,其CT扫描显示许多器官和腔隙内出现气泡,包括骨髓。通过去除此类病例,经过适当标注的PMCT数据集可用于训练临床背景下肋骨骨折检测的DL模型,反之亦然。我们提醒,如果目标是训练用于疑似钝性胸部创伤患者肋骨骨折检测的DL模型,则此类PMCT数据集应仅包含来自钝性创伤的伴有肋骨骨折的PM病例。

通过本系统综述,我们研究了用于CT扫描中肋骨骨折分类、检测和分割的DL模型。我们发现许多研究未 properly 报告患者纳入标准,且仅有少数模型可商业获得或作为开源工具使用。此外,通过我们的荟萃分析,我们得出结论:低ROB研究在DL模型急性肋骨骨折检测中具有显著更好的性能。

补充材料

引用

  1. Lopez-Melia M, Magnin V, Marchand-Maillet S, et al. Deep learning for acute rib fracture detection in CT data: a systematic review and meta-analysis. Br J Radiol. 2024. PMID: 38323515. doi:10.1093/bjr/tqae014
  2. 全文:PMC11027249(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11027249/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。