评估深度学习分割工具辅助多发性硬化患者基于T2与STIR联合采集检测脊髓病灶
基于法国OFSEP登记库回顾性数据开发深度学习工具,用于在矢状位T2和STIR序列上检测多发性硬化脊髓病灶;20名临床医师对50例患者进行有无工具辅助的交叉阅片,使用工具后平均敏感度从74.3%升至79.2%(p<0.0001),精确度无显著差异。
要点
- 使用深度学习工具后,临床医师检测脊髓多发性硬化病灶的平均敏感度由74.3%提高至79.2%,精确度无显著下降。
- 该工具单独使用时采集层面敏感度为88.6%、精确度为54.4%,敏感度显著高于医师单独阅片。
- 工具对小于100 mm³和大于等于100 mm³的病灶均提高阅片者病灶层面敏感度,但每例阅片时间中位数增加约7秒。
核心结论
- 在矢状位T2和STIR联合采集上同时使用该深度学习工具,可提高放射科和神经科医师检测多发性硬化脊髓病灶的敏感度而不降低精确度,并改善阅片舒适度。
研究设计与样本
- 基于OFSEP登记库40台扫描仪回顾性数据开发五层U-net分割模型,训练集140例、后处理优化集21例、测试集40例;多阅片者多病例回顾性研究纳入50例患者、20名临床医师,以三名专家共识结果为参考标准。
关键影像表现/征象
- 工具单独使用时采集层面平均敏感度88.6%(95%CI 83.8–93.1%)、精确度54.4%(95%CI 46.0–62.8%)。
- 工具单独使用时病灶层面真阳性175个、假阳性103个,病灶层面敏感度85.4%、精确度62.9%。
- 工具单独使用时对小病灶(<100 mm³)病灶层面敏感度79.5%、精确度50.8%,对大病灶(≥100 mm³)敏感度89.3%、精确度94.9%。
- 图3展示三个示例病灶,使用工具后分别多出8名、7名和6名阅片者检出。
诊断标准与关键数值
- 参考标准共206个病灶,其中上段脊髓148个、下段脊髓58个;两名专家初始检测170个病灶,对46个病灶不一致,其中36个经第三专家共识确认后纳入。
- 使用工具后采集层面平均敏感度79.2%(95%CI 73.5–85.0%),高于无工具时的74.3%(95%CI 67.8–80.6%),p<0.0001。
- 使用工具后采集层面平均精确度70.1%(95%CI 64.3–75.9%),无工具时为69.0%(95%CI 62.8–75.2%),p=0.08。
- 使用工具后病灶层面敏感度73.9%(95%CI 68.0–79.8%),高于无工具时的70.7%(95%CI 64.3–77.0%),p=0.0003;病灶层面精确度69.8%(95%CI 64.3–75.3%)vs 69.1%(95%CI 63.1–75.0%),p=0.47。
- 使用工具后每名阅片者平均真阳性病灶数为152个,无工具时为145个(p=0.0004);假阳性数使用工具时75个、无工具时74个(p=0.67)。
临床应用与阅片要点
- 工具设计偏向高敏感度、较低精确度,医师需对工具提示的病灶行使批判性判断以排除假阳性。
- 使用工具后每例脊髓MRI阅片时间中位数为64.9秒(IQR 36.0–108.2),无工具时为58.1秒(IQR 32.3–103.2),p=0.001。
- 使用工具后阅片者间Light’s kappa为0.60,无工具时为0.55,差异无统计学意义(p=0.056)。
- 使用工具后报告病灶数的合并阅片者间标准差为1.39,无工具时为1.54(p=0.056)。
局限性
- 放射科医师在临床情境下解读检查的表现与回顾性研究情境不同,需进一步实验在常规使用中验证模型。
- 脊髓病灶检测任务本身变异大且困难,本研究中阅片者间一致性仅为中等,也可能影响专家构建参考标准。
- 未要求阅片者对每个病灶进行分割,只要点击参考标准病灶掩膜内任意体素即视为正确识别,可能高估敏感度并低估精确度。
- 该工具仅设计用于横断面MRI检测多发性硬化脊髓病灶,不能鉴别脊髓多发性硬化病灶与髓内肿瘤或视神经脊髓炎谱系疾病等鉴别诊断。
- 尚需开发并测试纵向工具以辅助检测两次MRI之间的新发脊髓病灶。
全文中译29 节 · 点击展开
引言
多达80%的多发性硬化患者(pwMS)可见脊髓(SC)病变[1],这些病变被纳入诊断标准[2],并具有重要的预后价值[3]。因此,在疾病的初始评估中,脊髓MRI会被非常系统地进行,尽管由于图像采集困难(如组织体积小、搏动伪影),其判读比脑MRI更具挑战性。鉴于伪影风险,国际建议对多发性硬化患者至少采集两个脊髓MRI序列,从T2加权序列、质子密度加权序列或短tau反转恢复(STIR)序列中选择[4]。
深度学习模型已广泛应用于多发性硬化患者的脑MRI分析[5, 6]。一些模型能够在给定的脑MRI上分割MS病变[7],另一些则致力于区分MS病变与非特异性白质病变[8],还有一些能够检测两次纵向脑MRI扫描之间的新发MS病变[9, 10]。类似工具用于脊髓MRI分析的潜在附加价值在很大程度上尚未被探索。基于深度学习(DL)的脊髓病变分割工具已在研究背景下开发,并已被纳入开源脊髓工具箱[11, 12],但尚未在临床背景下作为放射科医师检测脊髓病变的辅助工具进行评估。近期有研究提出了一种鉴别肿瘤性与炎性脊髓病变的诊断工具[13]。目前,尚无帮助放射科医师在临床实践中检测多发性硬化患者脊髓病变的工具。此外,尚无结合两个脊髓序列分析(如临床常规所推荐)的工具被提出和评估。
在本研究中,我们的主要目标是评估分割工具作为辅助手段,基于T2和STIR两个序列检测脊髓MS病变对临床医师敏感度和精确度的影响。我们的次要目标是评估其对判读时间和阅片者间变异性的影响。
材料与方法
我们开发了一种用于检测脊髓MS病变的深度学习工具,并开展了一项多阅片者、多病例的回顾性研究,采用完全交叉设计。该研究经当地伦理咨询委员会批准(编号24.100)。所有数据于2023年10月从法国MS登记处提取(去标识化)(www.ofsep.org),包括来自38个MS专家中心在患者常规随访期间收集的临床和影像数据[14, 15](NCT02889965)。
分割模型的特征
分割模型的详细信息见补充材料。简言之,该模型基于五级U-net架构[16],两个目标序列各有一个输入通道,单一输出通道。模型在来自40台扫描仪的140例标注数据集上训练,采用骰子系数与交叉熵联合损失函数(应用了深度监督),该数据集包含从OFSEP数据库中提取的多种病变表现形式。模型输出后处理在21例数据集上针对本研究所评估的任务进行了优化(倾向于良好的敏感度,但存在精确度下降的风险)。最终模型在40例测试集上实现了病变水平的敏感度0.89和精确度0.64。
多阅片者研究设计
多读者研究于2023年12月至2024年6月期间进行(图1)。二十名临床医生在矢状位短时反转恢复序列(STIR)的系统性辅助下,对50名多发性硬化症患者(pwMS)的颈段和胸段脊髓(SC)矢状位T2采集图像进行了标注。使用了一种类似于标准图像归档和通信系统的基于网络的标注工具,通过在每个病灶上单击一次来标注病灶(补充图1)。每位读者均接受了标准化培训方案,包括20分钟的演示和书面教程。计时器记录了每位读者在每个MRI volume上花费的时间。每位患者由每位读者分析两次,分别在使用和不使用该工具的情况下进行,两次会话间隔至少15天,顺序随机。实验结束时,我们要求每位读者完成一份问卷,内容涉及他们对一种辅助临床实践中检测脊髓多发性硬化病灶的工具的潜在期望。每个条目评分为1至5分,从“完全不同意”到“完全同意”。
数据集
脊髓MRI采集图像提取自OFSEP数据库。纳入标准为2017年及以后采集的图像,颈段和胸段脊髓水平均有矢状位T2和STIR采集图像可用,且至少还有另一个脊髓MRI时间点可用。非纳入标准为已被纳入训练数据集的患者。排除标准为除多发性硬化症以外的脊髓病理状况以及图像质量不佳。初始选取55名患者,其中5名因图像质量不佳被排除,最终队列为50名患者。
读者
招募了专业水平各异且未参与工具开发过程的放射科医生和神经科医生参与实验。资深神经放射科医生和神经科医生在OFSEP影像组会议上招募,来自法国多发性硬化症专家中心。初级放射科医生和神经科医生为同一中心的住院医师。普通放射科医生没有多发性硬化症患者随访方面的特定专业方向。
参考标准
参考标准分割由一名具有10年多发性硬化症脊髓MRI判读经验的神经科医生(A.K.)和一名放射科住院医师(B.L.)使用ITK-SNAP软件(版本4.0.1)独立建立。他们比读者拥有更多可用数据(至少另一个时间点的脊髓MRI数据和轴位采集图像)。两人之间的分歧通过第三位专家——一名具有六年经验的神经放射科医生(N.L.)——的裁决来解决。
其次,将20位读者的标注在每个MRI volume上汇总,并由B.L.和A.K.独立审阅,以构建修订版参考标准,从而有可能重新纳入初始参考标准中可能遗漏的病灶。我们认为,如果读者点击了参考标准病灶掩模内的任何体素,即为正确识别了该病灶。
统计分析
统计分析使用R软件(版本4.2.2)进行。
主要结局
评估在有或无该工具的情况下,读者检测SC病灶的平均敏感度和/或精确度是否存在差异。在研究开始前,我们通过模拟确定,在简化假设下,对于I型错误0.05、II型错误0.20,以及该工具使敏感度提高10%(基于专家单独的平均性能为0.60),一组50例患者且至少7名专家是足够的。对每种条件(有或无该工具)计算个体平均敏感度及其95%置信区间(CI)。使用包含条件、采集和读者固定效应的回归检验两种条件之间总体平均敏感度是否相等。对平均精确度进行相同的分析。
次要结局
我们作为探索性分析研究了补充指标。提供了与无效应相关的相应p值,未进行多重比较校正。
平均敏感度和精确度差异的补充评估
根据读者经验(< 10年和≥ 10年)、读者专业(具有MS专业知识的神经科医生、放射科医生和神经放射科医生)、采集覆盖范围(上段和下段SC)、MRI磁场、层厚和图像平面内分辨率重复了主要分析。然后,计算单独模型的敏感度和精确度,并使用包含采集和条件(无工具读者 vs 单独模型)固定效应的线性模型将其与单独读者的性能进行比较。
病灶计数及病灶层面的敏感度和精确度
对每种条件计算每位读者检测到的真阳性(TP)病灶的平均数量。使用配对t检验检验两种条件之间该数量是否相等。病灶层面的敏感度和精确度通过汇总所有扫描的所有病灶进行分析。对每种条件计算个体病灶层面敏感度及其95%CI,然后使用包含条件和采集固定效应的逻辑回归检验条件之间是否相等。对病灶层面精确度报告相同的分析。根据病灶体积重复这些分析。
按采集分类
每次采集分为三类:无病灶、1或2个病灶、≥ 3个病灶。对两种条件计算与该分类相关的总体准确度,并使用包含条件、患者和读者效应的逻辑回归检验是否相等。
任务持续时间
在滤除5%上限值后,估计每次采集、每位读者和每种条件的平均耗时。这样做是为了避免因外部请求导致任务期间延迟而产生的离群值,并使用Wilcoxon秩和检验检验条件之间是否相等。
读者间变异性
每种条件下检测病灶的读者间差异以多评估者Light's kappa报告。计算每种条件下与检测病灶数量相关的合并读者间标准差,并使用包含条件和采集固定效应的线性模型进行比较。
修订后的参考标准
使用修订后的参考标准重复主要分析。
结果
患者、MRI采集和读者特征
我们纳入了50例患者(39例女性,11例男性;44例复发型多发性硬化,6例进展型多发性硬化),其脊髓(SC)MRI采集于2017年2月至2022年12月之间。中位年龄为41岁(范围:15–67岁),中位扩展残疾状态量表评分为2分(范围:0–6.5)。数据来自西门子(46)、飞利浦(2)和GE(2)扫描仪(详情见补充表1)。38个数据集来自1.5-T扫描仪,12个来自3-T扫描仪。矢状位T2的中位平面内分辨率为0.42×0.42 mm²(范围:0.34–0.86),矢状位短TI反转恢复序列(STIR)为0.47×0.47 mm²(范围:0.42–1.00)。矢状位T2的中位层厚为3 mm(范围:2.00–3.85),矢状位STIR为3 mm(范围:2.50–3.85)。阅片者特征总结于表1。
参考标准特征
专家1和专家2共检测到170个病灶。他们对46个病灶存在分歧。其中,36个在第三位专家参与的共识阅片中得以确认,最终参考标准中共纳入206个病灶(上段脊髓148个,下段脊髓58个)。
按采集序列计算的敏感度和精确度
使用该工具后,阅片者的敏感度显著提高(79.2%[95% CI:73.5–85.0%] vs 74.3%[95% CI:67.8–80.6%];p < 0.0001),精确度无差异证据(70.1%[95% CI:64.3–75.9%] vs 69.0%[95% CI:62.8–75.2;p = 0.08)(表2和图2、图3)。对于敏感度,按经验或专业对阅片者分组时,我们观察到相似的结果。关于精确度,我们仅发现使用该工具后在经验少于10年的阅片者中有显著改善(p = 0.032)。
对于单独模型,按采集序列计算的平均敏感度和精确度分别为88.6%(83.8–93.1%)和54.4%(46.0–62.8%)。我们观察到与单独阅片者相比,平均敏感度有显著差异(p < 0.0001),但平均精确度无显著差异(p = 0.14)。
MRI磁场强度、层厚和图像平面内分辨率对工具和阅片者性能的影响报告于表3。
病灶计数及按病灶计算的敏感度和精确度
每位阅片者检测到的真阳性(TP)病灶平均数量在不使用工具时为145个,使用工具时为152个(p = 0.0004);假阳性(FP)平均数量在使用工具时为75个,不使用工具时为74个(p = 0.67)。使用工具后病灶水平的敏感度有所提高(73.9% [95% CI:68.0–79.8%] vs 70.7% [95% CI:64.3–77.0%];p = 0.0003),但无证据表明病灶水平的精确度有所改善(69.8% [95% CI:64.3–75.3%] vs 69.1% [95% CI:63.1–75.0%],p = 0.47)。单独使用模型的TP为175个,FP数量为103个,病灶水平的敏感度和精确度分别为85.4%和62.9%。
单独使用模型对小病灶(< 100 mm3)的病灶水平敏感度和精确度分别为79.5%和50.8%,对大病灶(≥ 100 mm3)分别为89.3%和94.9%。使用工具后,阅片者对小病灶(p = 0.00009)和大病灶(p = 0.039)的病灶水平敏感度均有所提高(补充表2)。
按采集分类
根据金标准,100个MRI容积各被分类为无病灶(n = 33)、一个或两个病灶(n = 36)或≥ 3个病灶(n = 31)。阅片者的分类结果总结于补充表3。我们未观察到使用或不使用工具在分类方面存在差异的证据(p = 0.22)。
任务时长
阅片者每个SC MRI容积所花费的中位时间在使用工具后增加(64.9秒 [IQR = 36.0–108.2] vs 不使用工具时58.1秒 [IQR = 32.3–103.2];p = 0.001)。
阅片者间变异性
不使用工具时Light’s kappa为0.55,表明专家间一致性为中等(图4和图5),使用工具后略微增加至0.60。同样,与报告病灶数量相关的合并标准差在不使用工具时为1.54,使用工具时为1.39(p = 0.056)。
修订后的金标准
使用修订后的金标准,我们观察到使用工具后平均敏感度显著提高(从69.9% [95% CI = 63.8–76.0%]提高至74.5% [95% CI = 68.9–80.1%];p值 < 0.0001),但精确度无统计学差异。
讨论
在本研究中,我们开发并验证了一种深度学习(DL)工具,用于在临床实践中常用的矢状位T2和STIR联合采集图像上检测SC MS病灶。我们已证明,同时使用该工具可使阅片者的敏感度显著提高而不降低精确度,并倾向于减少阅片者间变异性。大多数临床医生也报告称,使用该工具提高了他们阅读SC图像时的舒适度。
迄今为止,尚无研究评估临床医生使用基于人工智能(AI)的工具来帮助检测多发性硬化(MS)脊髓(SC)病灶的情况。正如我们的调查所示,这项困难的任务存在需求,它可能影响对多发性硬化患者(pwMS)的诊断、预后评估以及所提出的治疗方案[1, 3, 17]。在临床实践中,通常不会对SC病灶的数量和体积进行精确计数,尽管在最近一项研究中,MS SC病灶的数量和体积均与pwMS中独立于临床复发的未来残疾进展累积相关[18]。在临床实践中使用AI工具使这种精确监测成为现实。
一项先前的研究评估了一个AI模型,从矢状位T2w或轴位T2*w上分割MS SC病灶,并与人工分割进行比较[12]。他们报告病灶水平敏感度为83.3%,病灶水平精确度为76.9%(相比之下,我们的研究为85.4%和62.9%,基于仅在临床实践中采集的数据)。尽管与该方法的直接比较超出本研究范围,但应强调我们的工具特意针对高敏感度——因此精确度较低——进行了优化,以提高读者检测到的MS病灶数量,基于读者会剔除假阳性(FP)的假设。我们的结果证实了这一假设,使用该工具后临床医生检测SC病灶的敏感度显著提高,而精确度并未降低。还应指出,使用该工具后临床医生敏感度的提高在小病灶和大病灶中均可观察到,且无论采集的磁场强度、层厚和平面内分辨率如何。然而,临床医生必须意识到潜在的FP,并在解读工具建议时运用其批判性判断。
我们研究的另一个创新方面是开发了一个考虑两种不同主要序列来检测SC病灶的工具。事实上,正如最新推荐意见[4]所建议的,仅采集一个T2加权序列是不够的,需要第二个序列来确认病灶的存在并排除伪影[19–21]。虽然推荐意见中提出了多种序列组合,但我们在本研究中选择开发和测试一个考虑法国临床实践中最常采集的序列(T2和STIR)的模型。然而,与脑部成像中存在明确共识(3D FLAIR)不同,SC的采集组合可能多种多样,取决于MRI扫描仪型号和习惯。近期,相位敏感反转恢复[22–24]或MP2RAGE[25]等序列由于优化的对比度和高空间分辨率,在检测颈部SC MS病灶方面表现出优于矢状位T2和STIR的检测效果和更高的置信度。因此,该工具有望在未来进行调整以考虑这些不同的序列组合。
该工具未能让阅片者缩短判读时间。这一结果与先前报道的辅助检测新发脑部病灶工具可缩短脑MRI判读时间的结果形成对比[10]。然而,脊髓(SC)MRI的判读是一项尤为精细的任务,为验证或否定工具所提出的病灶而添加或去除掩膜,很可能解释了这一结果。此外,尽管判读时间有所延长,其时长仍相对较短(每例患者分析完整SC约需2分钟),同时伴有敏感性的提高以及判读图像时舒适感的改善。最后,这是阅片者首次使用该工具。随着练习,判读时间可能会缩短。
局限性与展望
我们的研究存在若干局限性。首先,已有充分文献表明,放射科医生在临床情境下判读检查的表现与在回顾性研究情境下不同[26]。因此,需要在常规使用中进一步开展实验以验证该模型。其次,检测SC病灶的任务本身具有可变性且难度较大,正如本研究中SC多发性硬化(MS)病灶检测的阅片者间一致性仅为中等所显示的那样,这也可能影响专家构建金标准。为尽量减少这一困难,参与的三位专家可获取比阅片者更多的数据,如轴位采集图像和随访MRI扫描。此外,我们的研究结果与使用修订金标准(基于20位阅片者检测到的所有病灶)进行的探索性分析相一致,提示结果的稳健性。第三,我们未要求阅片者对每个病灶进行分割,而是认为只要他们点击了金标准病灶掩膜内的任何体素,即视为正确识别了该病灶。这一方法学选择很可能对临床医生病灶检测敏感性和精确性的估计引入了偏倚。因此,如果阅片者对真阳性(TP)病灶点击n次,其被视为与点击一次相同;而如果他们对某一假阳性病灶点击n次,则被视为n个假阳性。因此,本研究中敏感性可能被略微高估,而精确性可能被低估。然而,本研究的主要目的是比较阅片者在使用或不使用该工具时检测SC病灶的平均敏感性和精确性。这一与方法学选择相关的相同偏倚因而在两种情况下均存在,可能对本研究的主要结果影响不大。最后,所开发的工具旨在检测横断面MRI中MS患者(pwMS)的SC病灶。它不能区分SC的MS病灶与鉴别诊断(如髓内肿瘤或视神经脊髓炎谱系疾病)。此外,用于辅助检测两次MRI扫描之间新发SC病灶的纵向工具仍有待开发和测试。
结论
我们的多阅片者研究表明,在SC MRI判读中同时使用人工智能可提高放射科医生和神经科医生检测MS SC病灶的敏感性,而不降低其精确性,并改善其执行这一困难任务时的舒适感。需要进一步研究以评估这些工具在其他序列组合中的潜力,以及作为新发SC病灶检测辅助手段的价值。
补充信息
电子补充材料
引用
- Lodé B, Hussein BR, Meurée C, et al. Evaluation of a deep learning segmentation tool to help detect spinal cord lesions from combined T2 and STIR acquisitions in people with multiple sclerosis. Eur Radiol. 2025. PMID: 40185925. doi:10.1007/s00330-025-11541-0
- 全文:PMC12417267(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12417267/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。