文献速递神经MR

基于人工智能的多发性硬化患者MRI对比增强病灶检测

AI-based detection of contrast-enhancing MRI lesions in patients with multiple sclerosis.
PubMed 文献 · Insights Imaging · 2023-07-16

本研究将外部训练的3D卷积神经网络用于独立临床数据集(504个T1加权增强与FLAIR图像数据集)检测多发性硬化对比增强病灶,患者水平召回率0.75、特异度0.99、精确率0.91、准确率0.96,与两位神经放射科医师的阅片一致性处于观察者间一致性范围内;病灶水平假阴性主要位于幕下、体积更小且对比度更低。

要点

  • AI在患者水平识别对比增强病灶的召回率0.75、特异度0.99、精确率0.91、准确率0.96。
  • AI与两位阅片者的一致性(Cohen kappa 0.69与0.76)处于阅片者间一致性范围内。
  • 假阴性病灶主要位于幕下、直径更小、对比度更低;假阳性常见为血管、脑膜瘤等。

核心结论

  • 基于AI的脑MRI对比增强病灶识别在独立临床数据中可行,接近人类阅片者表现,可能作为神经放射学评估中的第二阅片者。
  • AI检测多发性硬化对比增强病灶接近人类阅片者表现,但仍需仔细目视检查,尤其是幕下、小且低对比度的病灶。

研究设计与样本

  • 外部训练的3D卷积神经网络(U-Net类编码器-解码器架构)在1488个数据集(934例多发性硬化患者、81台扫描仪)上训练,训练数据不含测试用扫描仪的图像。
  • 独立测试集为临床常规回顾性识别的359例多发性硬化患者(68.5%女性,平均年龄38.2±10.3岁)的504个基线及随访数据集,含FLAIR与T1加权增强图像,来自本院3T MRI扫描仪(Achieva,Philips Healthcare)。
  • 由两位神经放射科医师(R1六年经验、R2八年经验)独立标注后经共识阅读确定金标准,患者水平与病灶水平分别评估。
  • 网络输出二值分割掩膜的阈值设为0.98,以在可接受的假阳性率下获得相对较高的病灶水平敏感度。

关键影像表现/征象

  • 对比增强病灶定义为T1加权增强图像上高信号区,强化可呈点状/充盈状或环形强化,且对应FLAIR上呈高信号,并排除伪影或血管等正常结构所致高信号。
  • 真阳性病灶示例包括右侧枕叶子皮层环形强化病灶和左侧额叶近皮层点状强化病灶。
  • 假阴性病灶典型表现为相对较小、低对比度、常位于幕下。
  • 假阳性病灶常见替代诊断为颞叶搏动伪影(n=3)、脑血管(n=2)、脑膜瘤(n=2)及肿瘤切除腔高信号(n=2)。

诊断标准与关键数值

  • 患者水平(对比R1):召回率0.62、特异度0.99、精确率87%、准确率0.94。
  • 患者水平(对比R2):召回率0.75、特异度0.99、精确率91%、准确率0.96。
  • 阅片者间(R1对比R2):召回率0.76、特异度0.98、精确率88%、准确率0.95。
  • AI与R1的Cohen kappa为0.69(0.65–0.74),AI与R2为0.76(0.72–0.81),R1与R2为0.79(0.75–0.83)。
  • 病灶水平:金标准共164个对比增强病灶,AI真阳性73个、假阴性91个、假阳性22个;假阴性较真阳性更多位于幕下(p=0.020)、平均aCNR更低(p=0.001)、平均最大直径更小(p=0.001),形态分布差异p=0.093。

临床应用与阅片要点

  • AI系统可能替代通常由另一位放射科医师进行的第二阅片,从而加快神经放射学工作流程(作者认为)。
  • AI漏诊的病灶主要为直径小于4 mm且低对比度的病灶,阅片时需对幕下、小且低对比度病灶仔细目视检查。
  • 本队列中对比增强病灶患者比例为15%,假阳性多代表脑膜瘤、肿瘤切除腔等真实临床人群中的替代诊断。
  • 46例仅有一个对比增强病灶的患者中,AI正确检出22例、漏诊24例。

局限性

  • 两位专家阅片者临床经验不同,可能造成部分观察者间变异。
  • 对比增强病灶患者数量较少(15%)导致的类别不平衡可能影响总体准确率。
  • 患者水平上数据集不完全独立,因为部分患者的多次随访扫描被纳入数据集;但该数据集反映了包含基线与随访扫描的真实临床患者人群。
  • 原文在病灶水平局限性处截断,原文未完整写明。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2023 Jul 16;14:123. doi: 10.1186/s13244-023-01460-3

背景

多发性硬化(MS)是西方国家主要的神经炎症性疾病,与高发病率、长期残疾和社会经济负担相关[1]。磁共振成像(MRI)是(疑似)MS患者诊断检查的主要手段[2]。通过可视化中枢神经系统的脱髓鞘和神经退行性过程,MRI是MS患者诊断以及疾病病程和治疗监测的关键工具[2]。

在神经影像学检查中,MS患者病变神经组织的主要病理改变是局灶性脱髓鞘区域,即所谓的病灶[3]。其中,对比增强(CE)病灶提示急性脱髓鞘过程,这对首次诊断和治疗方案的调整具有重要意义[4, 5]。对比增强是通常不超过8周的病灶的特征,并且是活动性炎症的关键替代标志物[4]。在非增强病灶旁检测到CE病灶证明脑白质损伤发生在多个时间点,称为时间多发,这是MS的一项基本诊断标准[6, 7]。对比增强与临床复发的发生相关[8],且CE病灶的数量或体积与治疗效果评估高度相关[9]。因此,准确且稳健地检测CE病灶对于MS患者的临床决策至关重要。

尽管CE病灶是MS患者脑MRI上的重要发现,但放射科医生可能容易漏诊。CE病灶的形态在患者之间和扫描之间在大小、形状(环形、点状或线状强化)、强度和位置上存在显著差异[10]。由于患者流通量持续增加和影像数据量不断增长,对常规MRI序列的定性评估伴随着不可忽视的观察者内和观察者间变异性,这对后续治疗决策具有相关影响[11, 12]。为进一步研究或临床问题对CE病灶进行手动分割仍然是一项非常耗时、繁琐且容易出错的任务,在临床常规中面对大量数据和时限时可能实际上不可行[11–13]。因此,CE病灶的全自动检测和分割非常必要,并可能对MS患者的诊断检查产生影响。

在过去十年中,人工智能(AI)和机器学习(ML)在医学影像领域取得了显著进展,并一直准备进入临床工作流程[14, 15]。创新的AI技术连同数字化数据的更广泛可用性和先进计算机硬件,有望改善许多常规放射学任务,如图像采集加速、伪影减少和异常检测[16–21]。用于识别和分割脑病灶的基于ML的分割算法已显著改进[12, 22–24]。除了在非增强MRI上分割白质病灶外[25–28],AI系统尤其能够检测MS脑组织中的强化(CE)病灶[10, 11, 29–31]。ML网络已被应用于非标准化和标准化(临床试验)数据集,以自动检测和勾画CE病灶[10, 11, 29, 30],而深度学习(DL)网络可帮助基于非增强MRI预测病灶强化[5]。

尽管此类AI框架已在各自的内部测试环境中得到验证,并且其泛化性和基准测试也在大型计算挑战赛如“WMH Segmentation Challenge 2017”(https://wmh.isi.uu.nl)中进行了评估[25],但对实际临床环境中的效用和适用性仍存在高度怀疑。已发表的网络性能是否仅限于特定测试环境,以及该AI工具在真实临床场景中的表现如何,是需要解决以克服怀疑的主要问题。然而,在临床常规中对AI系统进行适当的外部验证仍然很少进行。

因此,在本研究中,我们旨在阐明一个外部开发和训练的AI工具在我们的临床环境中用于CE病灶检测的潜力。

我们研究了 independently 训练的3D卷积神经网络(CNN)在临床常规中应用于MS患者脑图像检测CE病灶的性能,假设该AI工具的表现与人类读者相当。相对于两位专家读者,我们(i)在患者层面评估了自动化AI工具识别至少有一个CE病灶的患者的潜力,并且(ii)按照标准化报告方案进行了病灶层面分析,以更好地理解网络所做的分类。

方法

深度学习框架和外部训练

一个具有类U-Net编码器-解码器架构的3D CNN(图1)由德国汉堡jung diagnostics GmbH外部开发,并提供用于在我们数据集上的外部验证。

共有来自81台不同MRI扫描仪的934名MS患者的1488对液体衰减反转恢复(FLAIR)和T1加权增强后图像数据集作为训练数据。

两位专家读者独立标注了1488个数据集中的CE病灶(一位受过训练的放射科技师,具有十年标注MR图像的经验;一位神经科学博士,具有十年神经影像和病灶分割经验)。CE病灶定义为T1加权增强后图像上的高信号区域,其强化可为点状/填充性或“环形强化”。该强化必须在相应的FLAIR上显示高信号。已仔细核实该高信号不是由伪影或可能引起高信号的正常解剖结构(如血管)所致。

对于深度学习(DL)框架,异质性输入扫描被重采样为各向同性的1 mm × 1 mm × 1 mm三维空间,并以零均值单位方差160 × 160 × 160的斑块输入编码器。事先使用刚性配准将相应的FLAIR图像配准到T1加权图像上。纳入FLAIR图像的信息是为了增强网络性能并降低假阳性率。两个输入斑块被输入到具有共享权重的同一编码器路径中。在每个残差块之后,T1加权和FLAIR输入的特征图被拼接并输入解码器。所使用的编码器-解码器结构为全卷积结构,采用3 × 3 × 3核大小的三维卷积。四个带有残差块连接的模块在编码器路径中将空间特征图缩小四倍,之后由解码器上采样至原始斑块大小。输出为六个与原始图像大小相同的三维概率掩膜,每个对应一个已训练的分割类别(CE病灶、FLAIR病灶、灰质、白质、脑脊液、背景)。训练完成后,最终的3D CNN被转移到负责验证的临床机构。值得注意的是,该机构未参与开发和训练阶段,且训练数据不包括用于测试的MRI扫描仪的任何扫描图像。

图1 外部开发和训练的3D CNN架构,采用全卷积编码器-解码器结构,包含三维卷积、残差块连接以及四次特征图尺寸缩小。两幅输入图像(T1加权增强后斑块和配准后的FLAIR斑块)被输入到具有共享权重的同一编码器路径中。在每个残差块之后,T1加权和FLAIR输入的特征图被拼接并输入解码器。预测分割掩膜,指示对比增强病灶和背景类别(灰质、白质、脑脊液和FLAIR病灶)。CNN,卷积神经网络;FLAIR,液体衰减反转恢复 查看原图 ↗

临床性能评估

在来自临床常规的多发性硬化(MS)患者的独立测试数据集上,评估了外部开发和训练的AI工具检测CE病灶的能力。

研究人群

我们回顾性地在机构PACS中识别了359例MS患者(68.5%为女性;平均年龄38.2 ± 10.3岁),其中复发缓解型病程占88%,临床孤立综合征占9.7%,原发进展型病程占0.8%,继发进展型病程占0.8%,放射学孤立综合征占0.8%。基线时平均疾病持续时间为5.0 ± 4.4年。由此获得n = 504个基线和随访扫描数据集,这些数据来自我们日常临床实践,分别由我们的临床3 T MRI扫描仪(Achieva,Philips Healthcare,Best,荷兰)采集的FLAIR和T1加权增强后图像组成。序列参数按照我们机构特定的临床方案实施(表1)。该回顾性研究经当地机构审查委员会批准,并获得所有患者的书面知情同意。

表1 序列参数 查看原表 ↗

通过临床阅片定义金标准

两位专家读者(一位拥有六年经验的神经放射科医生:读者1(R1);一位拥有八年经验的神经放射科医生:读者2(R2))进行了数据标注以定义金标准。每位读者以类似于外部训练期间数据标注的方法,在504个T1加权对比增强后序列中独立标记CE病灶,以评估观察者间变异性。独立标注后,所有T1加权对比增强后图像均由两位专家共识阅片重新评估,以定义 ground truth(GT)CE病灶标注。

患者层面分析

AI工具为每个数据集创建了一个指示CE病灶的二值分割掩膜。将3D CNN在患者层面识别至少有一个CE病灶的患者(CE(+)患者)与CE(−)患者(无CE病灶)的潜力,与R1和R2的临床评估进行了比较。

病灶层面分析

为进一步理解3D CNN所做的分类,将CE病灶的AI分割结果与两位读者的GT标注进行了比较。随机选取50%的真阳性(TP)、假阴性(FN)和假阳性(FP)病灶样本,由一位拥有六年经验的神经放射科医生进行评估。评估了以下描述CE病灶的变量:(具体)位置、形状(环形、点状或线状强化)、最大直径和表观对比噪声比(aCNR)。aCNR [32] 使用以下公式计算:其中SICE lesion为相应病灶的信号强度,SINAWM为置于周围表现正常白质(NAWM)中感兴趣区(ROI)的信号强度,SINAWM的标准差为相应的标准差。此外,对FP病灶记录了可能的替代诊断。

统计分析

统计分析使用SPSS(27.0版,IBM SPSS Statistics for MacOS,IBM Corp.)和Python(Python Software Foundation,Python Language Reference,3.6版,可从http://www.python.org获取)进行。p值0.05设为统计学显著性阈值。

在患者层面,使用性能评估指标——召回率、特异度、精确度和准确度——将3D CNN正确分类CE(+)患者的潜力与R1和R2的标注进行了比较。作为对照,使用召回率、特异度、精确度和准确度评估了R1和R2之间的观察者间变异性。为比较AI与R1/R2之间的一致性以及评估者间一致性,计算了Cohen's kappa值(AI vs. R1、AI vs. R2和R1 vs. R2)。

在病灶层面,使用Pearson卡方检验(用于位置和形状)和Mann–Whitney U检验(用于直径和aCNR)评估了描述TP和FN病灶变量的统计学显著性。

结果

基于网络输出的3D概率掩膜创建二值CE病灶分割掩膜的阈值设为0.98,以在相对较高的病灶层面敏感度和可接受的假阳性率之间获得最佳权衡。

患者层面分析

与R1相比,3D CNN分类为CE(+)患者(至少一个CE病灶)的召回率为0.62,特异度为0.99。AI系统分类为CE(+)患者中有87%是正确的(精确度)。准确度为0.94。相应的混淆矩阵请参见附加文件1:表SM1。

与R2相比,3D CNN将患者分类为CE(+)患者(至少一个CE病灶)的召回率为0.75,特异性为0.99。AI系统分类为CE(+)患者的正确率为91%(精确率)。准确率为0.96。请参阅附加文件1:表SM2了解相应的混淆矩阵。

因此,尤其是AI与R2相比的召回率和特异性与R1与R2相比具有可比性(召回率:0.76;特异性:0.98)。与R1相比,88%的R2分类为CE(+)患者是正确的(精确率),准确率为0.95。请参阅附加文件1:表SM3了解相应的混淆矩阵。

表2中显示了所有召回率、特异性、精确率和准确率值及其95%置信区间(CI)。

AI系统与R1之间一致性的Cohen's kappa为0.69(0.65–0.74),AI系统与R2之间为0.76(0.72–0.81)——均在R1与R2之间一致性范围内(Cohen's kappa:0.79(0.75–0.83))。

根据R1和R2的GT共识判读,CE(+)患者中有46例患者仅有一个CE病灶。在该患者队列中,AI系统正确检测了22例患者,遗漏了24例患者。

表2 患者水平分析结果 查看原表 ↗

病灶水平分析

两位专家阅片者共标注了164个CE病灶(GT标注)。在病灶水平上与GT标注进行比较时,AI系统正确检测了73个病灶(TP),遗漏了91个病灶(FN),并将22个病灶误分类为CE病灶(FP)。表3显示了TP和FN的手动病灶水平分析结果。FN病灶主要位于幕下位置(p = 0.020)。相对较多的TP病灶表现为环形强化,而FN病灶主要表现点状强化(p = 0.093)。FN病例的平均aCNR显著低于TP病例(p = 0.001)。FN病灶的平均最大直径显著小于TP病例(p = 0.001)。图2中展示了两例代表性TP病灶分割。3D CNN正确标注了右侧枕叶的皮层下环形强化病灶(图2a)和左侧额叶的近皮层点状强化病灶(图2b)。而在图3中,提供了典型的FN病灶,这些病灶相对较小、对比度低,且常位于幕下位置。FP病灶的常见替代诊断为颞叶搏动伪影(n = 3)、脑血管(n = 2)、脑膜瘤(n = 2)和肿瘤切除腔内的异常高信号(n = 2)(图4)。

表3 病灶水平分析结果 查看原表 ↗
图2 两例代表性真阳性病灶。3D CNN正确标注了右侧枕叶的皮层下环形强化病灶(a)和左侧额叶的近皮层点状强化病灶(b)。展示了FLAIR和T1C以及CE病灶的放大视图(无分割掩膜和有分割掩膜)。CNN,卷积神经网络;T1C,T1加权增强后;CE,对比增强 查看原图 ↗
图3 两例代表性假阴性病灶。3D CNN遗漏了相对较小、低对比度的病灶(a)以及主要位于幕下位置的病灶(b)。展示了FLAIR和T1C以及CE病灶的放大视图(附相应病灶标注)。CNN,卷积神经网络;T1C,T1加权增强后;CE,对比增强 查看原图 ↗
图4 四个代表性的假阳性病灶。常见的替代诊断包括颞叶搏动伪影(a)、血管(b)、脑膜瘤(c)以及肿瘤切除腔内的信号增高(d)。图中展示了T1C以及对比增强(CE)病灶的放大视图及分割掩膜。T1C,T1加权增强后;CE,对比增强 查看原图 ↗

讨论

我们的工作表明,在临床常规中实施 externally developed and trained AI system for CE lesion detection 可显著促进多发性硬化(MS)患者的神经影像学检查流程。基于人工智能的对比增强(CE)病灶检测——代表MS患者活动性炎症——是可行的,在召回率、精确率和准确率方面接近人类阅片者的表现。因此,算法漏检的病灶通常较小(< 4 mm)且对比度较低。

在当前临床实践中,常规MRI是MS患者诊断检查的主要手段[2]。疾病活动性以初始扫描中的病灶负荷和随访扫描中新形成病灶的数量为特征[33]。因此,CE病灶的检测至关重要,因为它们的存在表明活动性炎症,而抑制炎症是当前MS治疗的主要目标[4, 5]。 consequently,在MS患者的MRI检查中,准确可靠地识别CE病灶对于最佳患者诊疗至关重要。

特别是,对于需要精确分析大量医学影像数据的此类复杂任务,人工智能框架有望支持放射学报告[34]。近年来,已有多种用于识别和勾画CE MS病灶的人工智能工具被开发并展示[10, 11, 29–31]。然而,它们在真实世界临床环境中的实施和外部验证仍然罕见。

在本研究中,我们将外部提供的3D CNN转化到我们的临床常规中。我们机构接收了最终确定的人工智能框架,未参与开发和训练阶段,从而保证了真正独立的测试集。为进行测试,该算法被应用于本院MS患者常规采集的MRI数据。由于可用于测试MS患者诊断人工智能系统的公开临床MRI数据集稀缺,研究通常使用大型研究的数据集来测试其系统,这具有重要影响[5, 35]。首先,目标病理的患病率往往被过度代表。其次,大多数情况下,MR图像上因次要诊断导致的其他病理改变属于排除标准。相反,在我们的队列中,伴有CE病灶的患者比例相对较低(15%),因此与其他使用临床试验数据的研究(> 20%)[30, 36–39]相比更为真实。此外,我们研究中绝大多数假阳性(FP)病灶代表替代诊断,如脑膜瘤或肿瘤切除腔,这些在大型研究中会被排除,尽管反映了真实的临床患者群体。因此,我们能够通过在真实世界临床场景而非人工“实验室”条件下进行测试,来研究外部提供的人工智能工具在我们的临床常规中的适用性。

我们的研究结果强调,基于人工智能识别伴有CE病灶(即活动性炎症)的MS患者,其表现与人工阅片者相当。人工智能分割与人工阅片者对CE病灶标注之间的一致性处于两位专家阅片者观察者间变异性的范围内。在未被识别的CE(+)患者中,主要是仅有单个CE病灶的患者。在临床环境中,人工智能系统可能替代通常由另一位放射科医师进行的第二阅片,从而显著加快神经放射学工作流程。值得注意的是,人工智能系统与R2之间的一致性优于人工智能系统与R1之间的一致性,这可能是由于R2的临床经验略为丰富。R1与R2之间剩余的观察者间变异性凸显了对CE病灶进行准确人工标注是多么困难和主观,这一方面意味着开发高准确度算法面临挑战,但另一方面也凸显了需要稳健的人工智能工具来客观地完成这一任务[10]。在患者层面,我们将分析集中于二分类性能,即CE(+)患者(至少有一个CE病灶)和CE(−)患者(无CE病灶),因为评估活动性炎症(以至少一个CE病灶为代表)是放射科医师在MS影像中的主要任务之一。

所应用的三维卷积神经网络(3D CNN)整合了T1加权增强后和FLAIR序列的信息。考虑到CE病灶在FLAIR图像上也呈高信号[11, 40],因此排除非病灶性强化(例如血管内强化)可能是尽管患者群体在临床上非常异质,但被分类为CE(+)患者的假阳性数量极低(与两位阅片者相比约为1%)的原因。

虽然3D CNN能够可靠地识别环形强化和较大(> 5.5 mm)的病灶,但绝大多数漏诊病灶较小且对比度较低。其他用于CE病灶识别的人工智能框架也报告了在检测小病灶方面的类似问题[10, 11, 30]。特别是小病灶对人类阅片者而言也是一种挑战,这反映在较高的观察者间变异性上,并影响训练数据集的准确标注。在训练数据的标注任务中纳入多名放射科医师可能有助于克服这一挑战[10]。此外,在我们的临床队列中,人工智能系统主要漏诊幕下病灶。幕下CE病灶的识别尤其具有挑战性[41]。已知后颅窝由于周围结构充满空气或由骨骼构成而容易产生伪影,这总体上损害了该区域CE病灶的检测。此外,在成人中,幕下病灶比幕上病灶少见[42],这可能导致这些病灶在训练数据集中代表性不足,从而影响网络的整体性能。

磁共振成像(MRI)至少四十年来一直在革新医学影像和患者诊疗,随着采集技术越来越快、越来越稳健且越来越专业化,患者负荷和可用影像数据量呈指数级增长。为了仍能处理所提供的大数据,放射科医师可以依靠不断增多的AI算法池的支持,这些算法有望在影像报告过程中提供帮助[24]。为了弥合这些AI框架在受控研究环境中的开发与其在真实临床实践中实施之间的差距,在日常工作中验证算法的研究不可或缺。我们的工作有助于将高质量AI工具转化为实际放射学检查流程。未来需要开展将临床结局与网络性能相关联的研究。

本研究并非没有局限性。第一,两位专家读者具有不同的临床经验,这可能解释部分观察者间变异性。第二,由于CE病灶患者数量相当少(15%),类别不平衡可能影响总体准确率。第三,在患者层面,数据集并非完全独立,因为数据集中包含了一些患者的多份随访扫描。然而,该数据集反映了具有基线和随访扫描的真实临床患者人群。第四,在病灶层面也是如此,不能将单个病灶视为统计学上独立,因为若干患者为分析贡献了多个病灶。因此,来自同一患者的病灶在评估的病灶描述变量(位置、形状、直径和aCNR)方面可能显得更为一致;然而,这不是本研究的主题。

结论

总之,我们可以确认,在我们的临床常规中实施一个外部开发和训练的、用于MS患者CE病灶检测的AI工具是可行且有价值的,其在召回率、精确率和准确率方面接近人类读者性能。未来,该AI工具可能成为MS患者活动性炎症神经放射学评估中第二读者的潜在替代方案。

补充信息

附加文件1。表SM1、表SM2和表SM3提供了AI与R1/R2以及R1与R2在分类为CE(+)患者或CE(-)患者(患者层面分析)方面的混淆矩阵。表SM4提供了关于幕上CE病灶脑叶位置的额外病灶层面分析结果。

引用

  1. Schlaeger S, Shit S, Eichinger P, et al. AI-based detection of contrast-enhancing MRI lesions in patients with multiple sclerosis. Insights Imaging. 2023. PMID: 37454342. doi:10.1186/s13244-023-01460-3
  2. 全文:PMC10350445(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10350445/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。