基于深度卷积神经网络的前交叉韧带撕裂诊断:均质与异质膝关节MRI队列在不同脉冲序列方案及1.5-T与3-T磁场强度下的性能比较
本回顾性分析纳入512例连续受试者的膝关节MRI,由深度卷积神经网络与3名放射科医师独立评估完全性前交叉韧带撕裂,以关节镜手术为参考标准。DCNN整体敏感度96.1%与读者无显著差异,但特异度93.1%显著低于读者99.6%-100%;外部机构MRI的DCNN敏感度92.5%、特异度87.1%、AUC 0.898,均显著低于本院MRI的99.0%、94.4%、0.967。1.5-T与3-T之间DCNN性能无显著差异。
要点
- DCNN诊断完全性前交叉韧带撕裂整体敏感度96.1%,与3名放射科医师97.5%-97.9%无显著差异。
- DCNN整体特异度93.1%,显著低于放射科医师99.6%-100%(P<0.001)。
- 外部机构MRI的DCNN敏感度92.5%、特异度87.1%、AUC 0.898,均显著低于本院MRI的99.0%、94.4%、0.967。
关键影像表现/征象
- 完全性前交叉韧带撕裂定义为韧带纤维不连续≥80%;纤维不连续<80%归类为完整。
- 部分厚度撕裂定义为任何纤维不连续至多80%。
- 黏液样变性定义为韧带增厚、边界不清,所有MRI序列信号增高但无纤维不连续。
- DCNN假阳性病例中39%(9/23)存在髁间区异常,包括黏液样变性、部分厚度撕裂、内侧半月板桶柄状撕裂移位、软骨碎片或后交叉韧带完全撕裂。
诊断标准与关键数值
- DCNN整体敏感度96.1%,特异度93.1%,AUC ROC 0.935。
- 3名放射科医师敏感度97.5%-97.9%,特异度99.6%-100%,AUC ROC 0.989-0.991。
- 本院MRI的DCNN敏感度99.0%、特异度94.4%、AUC 0.967;外部MRI的DCNN敏感度92.5%、特异度87.1%、AUC 0.898。
- 1.5-T与3-T的DCNN性能无显著差异(所有P≥0.753)。
- 读者间一致性kappa值0.984(95%CI 0.934-1.034)。
临床应用与阅片要点
- DCNN可用于辅助检出完全性前交叉韧带撕裂,但外部机构MRI上特异度较低,阅片时需注意髁间区异常可能造成假阳性。
- 本院MRI与外部MRI的DCNN性能存在差异,外部检查的判读需更谨慎。
- 1.5-T与3-T磁场强度对DCNN诊断性能无显著影响。
局限性
- 本研究仅区分完整前交叉韧带与完全性前交叉韧带撕裂,后者定义为纤维不连续≥80%,意味着完整纤维超过20%的撕裂被归类为完整。
全文中译13 节 · 点击展开
据估计,美国每年前交叉韧带(ACL)撕裂的发生率约为20万例,是最常见的膝关节损伤之一。1–3 大多数是年轻运动员在踢足球和打美式橄榄球时进行急停急起和变向运动时发生的运动损伤。4,5 合并半月板撕裂和其他膝关节损伤很常见,并导致在指数损伤后约10至15年发生早发性创伤后骨关节炎的风险增加。6–9 保守治疗在一般人群中可取得极佳疗效,而伴有膝关节不稳定征象的较年轻和活跃的受试者通常受益于手术重建。10 准确诊断ACL撕裂对于启动最佳治疗至关重要,这可减少膝关节不稳定的发生并改善生活质量。11 熟练的体格检查和磁共振成像(MRI)是诊断ACL撕裂的标准诊疗方法。12
迄今为止,ACL撕裂的MRI诊断依赖于专科医师的视觉判读,包括放射科医师、外科医师和运动医学医师。在检查数量稳步增加且对较短平均判读周转时间有期望的背景下,计算机辅助检测和表征可能成为最大化医师表现并减少错误的重要工具。
在计算能力提升和大数据管理改善的推动下,基于机器学习和深度学习的卷积神经网络(如深度卷积神经网络(DCNN))能够识别和定位医学图像中的对象,13–15 从而实现疾病表征、组织和病灶分割以及改善图像重建。16–19 一项单中心研究使用由同一台3-T MRI扫描仪的标准化脉冲序列方案组成的同质数据集显示,基于机器学习的软件可以高准确度检测ACL撕裂。20 然而,基于机器学习的ACL撕裂诊断在日常实践环境中的性能可能较低,因为不同的脉冲序列方案、场强、MRI系统和在外部机构获得的检查会导致膝关节MRI检查的异质性和多样性。
因此,本研究的目的是在大型患者队列中对DCNN检测经手术证实的ACL撕裂进行临床验证,并分析来自不同机构、不同方案以及1.5 T和3 T场强的MR检查的影响。
材料与方法
研究设计为对前瞻性收集数据的回顾性分析,已获当地伦理委员会批准。所有纳入受试者均获得书面知情同意。
深度卷积神经网络
我们的算法由2个连续过程组成:图像预处理部分和机器学习预测部分(图1)。预处理部分为预测部分标准化MRI扫描,预测部分随后判读MRI扫描并预测存在ACL撕裂的概率。
在预处理部分,DCNN从提供的MRI检查中自动选择冠状面和矢状面流体敏感脂肪抑制turbo及快速自旋回波MRI扫描。随后使用样条三阶插值将所选图像缩放至标准像素尺寸和层间距。标准分辨率的值取为训练数据集中像素间距和层间距的最常见值。外周图像被丢弃。分析时仅使用14幅中心冠状面和20幅矢状面图像。保留的中心图像还围绕前交叉韧带(ACL)区域进行了裁剪。裁剪后图像的 height 和 width 在冠状面和矢状面上分别为128 × 320像素。此过程的主要目的是节省图形处理器内存和处理时间。
在预测部分,2个DCNN模块首先分别独立处理矢状面和冠状面MRI扫描,随后将二者拼接。两个DCNN模块结构相同。每个模块由2个系列层组成,包括三维(3D)卷积层、批归一化层和修正线性单元激活层。在2个系列层之后,添加一个最终池化层。四个inception模块21之前依次为3D卷积层、批归一化层和修正线性单元激活层。每个inception模块以池化层结束。每个3D卷积层的滤波器数量如下:16、24、96、128、256和512。每个滤波器由1 × 3 × 3滤波器组成,仅作用于图像空间。拼接之前,特征图按逐层方式取平均。网络以一系列密集全连接层和softmax激活层结束,该层提取ACL状况的置信水平。
共使用5802例膝关节MRI检查用于算法的训练、验证和测试,这些检查于2013年至2018年间从不同机构收集,具有各自的脉冲序列方案、场强和MRI系统。使用二分类标签,通过基于规则的自然语言处理算法从人工生成的匿名MRI报告中提取金标准。标签提取算法在400个手动提取标签上的初步测试达到了0.95的F1分数。
在5802例MRI检查中,4802例用于训练,500例用于验证,500例用于初步测试。所有3个不相交数据集均包含成对的冠状面和矢状面序列,其中有ACL撕裂和无ACL撕裂的MRI检查数量相等。第一个数据集用于训练模型,即计算DCNN模型的权重;第二个数据集用于调整DCNN模型的超参数;最后第三个数据集用于评估模型准确性。
训练任务使用二元交叉熵损失函数执行。在学习过程中,我们使用Adam算法作为优化器,学习率为0.0005。22最后,使用以TensorFlow(1.11)为后端的Keras(2.2.4)框架(keras.io和www.tensorflow.org)开发和训练DCNN。训练在NVIDIA P-40图形处理器上进行,批大小为10例检查。
研究设计
应用纳入和排除标准后,独立的最终研究组由512名连续受试者组成(231名女性和281名男性;平均年龄,34 ± 15岁;范围,10–77岁),这些受试者于2015年1月至2019年6月在本机构接受评估(图2)。最终研究组的受试者不属于DCNN训练集。膝关节镜手术中的直接探查作为参考标准。磁共振成像评估由3名放射科医师和DCNN进行。
纳入标准包括(1)膝关节疼痛病史,(2)损伤后进行的1.5-T或3-T膝关节MRI,无论在本机构或外部机构进行,包括至少一个冠状面和矢状面液体敏感脂肪抑制脉冲序列,(3)膝关节MRI后4个月内由专业膝关节外科医生在本机构进行的膝关节镜手术,以及(4)同意参与研究。
排除标准包括(1)既往膝关节手术 with 金属植入物或既往ACL重建,(2)存在关节内或侵袭性肿瘤,(3)MR关节造影,(4)ACL骨性撕脱,以及(5)技术不足或不完整的检查。
磁共振成像
本机构的磁共振成像检查在临床1.5-T或3-T MRI系统(Magnetom Avanto fit或Magnetom Skyra fit,Siemens Healthcare,Erlangen,Germany)上进行,使用专用15通道发射/接收膝关节线圈,受试者取仰卧位。MRI方案(表1)包括冠状面T1加权、冠状面短tau反转恢复(STIR)、轴面脂肪抑制中等加权(IW)以及矢状面脂肪抑制和非脂肪抑制IW序列。
外部机构的磁共振成像检查在4个不同供应商(Canon Medical Systems Otawara,Japan;GE Healthcare,Waukesha,WI;Philips Healthcare,Best,the Netherlands;和Siemens Healthcare,Erlangen,Germany)的临床1.5-T或3-T MRI扫描仪上进行。总共纳入了58个不同外部机构的MRI检查(每个机构1–38次膝关节MRI检查)。
参考标准
所有膝关节镜手术均由委员会认证的亚专科膝关节外科医生在本机构使用标准前外侧和前内侧关节镜入路进行。作为机构方案的一部分,所有膝关节关节镜检查均以标准化方式记录,包括ACL完整性的记录。
放射科医师的MRI判读
膝关节MRI检查由3名经过专科培训的全职学术型肌肉骨骼放射科医师评估,其主治医师经验分别为22年、3年和1年,均从事肌肉骨骼MRI检查的判读。评估在标准化阅片室条件下,使用最先进的图像归档和通信系统工作站,在去除个人、临床和机构信息后,对匿名数据集以独立和随机的方式进行。所有阅片者 additionally 对任何医疗记录(包括临床和手术数据)均设盲。
在每个受试者中,阅片者将前交叉韧带(ACL)分类为完整或撕裂。ACL撕裂定义为ACL纤维不连续性达到或超过80%(图3)。23 若纤维不连续性小于80%,则ACL分类为完整。阅片者还记录了部分厚度ACL撕裂的存在以及黏液样ACL变性的存在。部分厚度ACL撕裂定义为任何不超过80%的纤维不连续性。黏液样ACL变性定义为ACL增厚、边界不清,在所有MRI序列上信号强度增高但无纤维不连续性(图4、5)。24
统计分析
统计分析使用SPSS 22版(IBM Corp,Armonk,NY)和MedCalc 17.6版(MedCalc Software bvba,Ostend,Belgium)进行。应用了一般描述性统计。分类数据以比例表示,连续数据以均数和标准差表示。对正态分布数据应用独立样本Student t检验比较患者年龄。敏感性和特异性采用Fisher确切检验或McNemar检验进行比较。对阅片者和深度卷积神经网络(DCNN)的评估进行了受试者工作特征(ROC)曲线分析,计算曲线下面积(AUC)和95%置信区间(CI)。进行了ROC AUC的成对比较,如果AUC的95%CI不重叠或应用DeLong方法,则接受统计学显著差异。25 3名放射科医师之间的阅片者间一致性采用Fleiss kappa评估,0.81至1的值被认为几乎完全一致。26 P值小于0.05被认为代表统计学显著性。
结果
研究组特征
512名受试者的研究组包括234例(46%)伴有前交叉韧带(ACL)撕裂的MRI检查和278例(54%)不伴有ACL撕裂的MRI检查。在院外MRI检查组中,ACL撕裂的患病率为133/234(57%),而院内MRI检查中ACL撕裂的患病率为101/278(36%)。总体而言,伴有ACL撕裂的受试者(30 ± 11岁)比ACL完整的受试者(37 ± 16岁)年轻(P < 0.001)。在278/512(54%)例院内MRI检查中,195/278(70%)在1.5 T下进行,83/278(30%)在3 T下进行。在234/512(46%)例院外MRI检查中,136/234(58%)在1.5 T下进行,98/234(42%)在3 T下进行。在接受1.5-T MRI的受试者中,154/331(47%)伴有ACL撕裂,177/331(53%)ACL完整。在接受3-T MRI的受试者中,80/181(44%)伴有ACL撕裂,101/181(56%)ACL完整。
总体诊断性能
表2和表3显示了3名阅片者和DCNN诊断ACL撕裂的诊断性能参数。与3名阅片者相比,DCNN的敏感性、特异性和AUC ROC在数值上较低。当与阅片者1、阅片者2或阅片者3及DCNN进行成对比较时,敏感性无统计学显著差异(分别为P = 0.118、P = 0.21、P = 0.118)。然而,与DCNN相比,阅片者1、阅片者2和阅片者3的特异性和AUC ROC显著更高(分别为均P < 0.001)。阅片者1、阅片者2和阅片者3之间检测ACL撕裂的阅片者间一致性几乎完全一致,kappa值为0.984(95% CI,0.934–1.034)。
对DCNN的23例假阳性病例进行分析显示,9/23(39%)名受试者存在髁间区异常,这些异常至少具有与全层ACL撕裂部分共同的特征,可能是DCNN误判的原因。在这9名受试者中,2名(22%)有ACL黏液样变性征象(图3),3名受试者(33%)被至少1名放射科医师判读为部分厚度ACL撕裂,2名受试者(22%)有内侧半月板桶柄状撕裂并移位至髁间窝,1名受试者(11%)有邻近ACL的较大软骨碎片,1名受试者(11%)有后交叉韧带全层撕裂。
对11例DCNN假阴性病例进行的类似分析未发现明显异常或髁间区的重复模式,这些异常或模式可解释DCNN的误判。
取决于MRI来源的诊断性能
表4显示了3名阅片者和DCNN在诊断ACL撕裂时的敏感性、特异性和AUC ROC值,并区分了在我们机构检查的受试者和在外部机构检查的受试者亚组。对于所有3名阅片者,比较内部和外部MRI检查时,敏感性(P ≥ 0.393)、特异性(P ≥ 0.363)和AUC ROC值(P ≥ 0.05)在统计学上相似。相反,比较内部和外部MRI检查时,DCNN的敏感性(P = 0.026)、特异性(P = 0.043)和AUC ROC(P < 0.05)显著较低。与每名阅片者相比,DCNN对外部MRI检查的特异性低于对内部MRI检查的特异性(分别所有P ≤ 0.02)。此外,与阅片者1相比,DCNN对外部MRI检查的敏感性较低(P = 0.039)。DCNN与阅片者之间的敏感性无其他显著差异(分别所有≥0.092)。
取决于场强的诊断性能
对于任何阅片者和DCNN,1.5-T与3-T MRI之间的诊断性能均无显著差异(所有P ≥ 0.753;表5)。与每名阅片者相比,DCNN在1.5 T(分别所有P < 0.001)和3 T(分别所有P ≤ 0.04)时的敏感性、特异性和AUC ROC均显著较低。
讨论
我们在一个大型受试者队列中评估了经过专门训练的DCNN的诊断性能,这些受试者的MRI检查来自不同机构、MRI系统和场强,使用了多种脉冲序列方案,类似于我们的临床实践。DCNN在整个研究人群中显示出远高于90%的敏感性和特异性,与MRI的磁场强度无关。DCNN在整个人群中的96%敏感性与其他3名放射科医师相似;然而,DCNN的93%特异性显著低于放射科医师的特异性。对于来自外部机构的MRI检查,DCNN的敏感性、特异性和AUC ROC显著低于来自我们机构使用标准膝关节MRI方案的MRI检查。
评估人工智能训练软件用于基于MRI诊断前交叉韧带(ACL)撕裂的已发表研究数量稀少。20,27 在一项使用基于深度学习的算法评估膝关节MRI检查中各种异常的研究中,发现ACL撕裂的特异性为97%,敏感性较低,为76%,低于放射科医师的敏感性。27 然而,该研究还将低于50%的纤维中断视为ACL撕裂,并使用放射学MRI评估作为参考标准,这与我们的研究不同,可能部分解释了结果差异。另一项评估基于DCNN的ACL撕裂检测的研究发现了更高的敏感性96%和特异性96%,与我们的研究相似。20 尽管两项研究使用了不同的DCNN架构,20,27 但两项研究均未采用连续受试者纳入或能代表日常实践环境异质性的训练集,这与我们的研究不同,可能限制了可比性。
在我们的研究中,我们旨在评估我们的DCNN在真实日常实践环境中的临床性能,作为DCNN的最终适用性。因此,我们选择手术探查作为参考标准,以消除放射学误判对研究结果的影响。此外,为评估研究结果的普适性,我们纳入了一大组异质性连续受试者,这些受试者不仅在具有不同磁场强度的MRI扫描仪上接受检查,还在采用各种膝关节MRI协议的不同机构中接受检查。
我们的DCNN用于ACL撕裂检测的结果显示敏感性和特异性分别为96.1%和93.1%,这与已发表的医师诊断ACL撕裂性能的荟萃分析相当甚至更高,后者汇总敏感性分别为94.4%和87%,汇总特异性分别为94.3%和93%。28,29 在我们的研究中,DCNN和放射科医师的敏感性相似,而DCNN的特异性显著较低。然而,值得注意的是,我们的放射科医师性能非常高,特异性范围为99.6%至100%。这些特异性不仅高于DCNN特异性,也大幅高于荟萃分析得出的医师特异性。28,29 这可能归因于所有3名放射科医师均为专科培训的全职学术肌肉骨骼放射科医师,因此可能比普通放射科医师或亚专科水平较低的医师表现更好。
有趣的是,亚组分析显示,与来自本机构的MRI检查相比,深度卷积神经网络(DCNN)对来自外部机构的MRI检查的敏感性和特异性显著较低。由于3位放射科医师在两个亚组中的表现相似,因此图像质量较低或MRI协议在临床上较差不太可能是性能差异的主要原因。更可能的原因似乎是,用于构建和训练DCNN的5802次MRI检查中有3295次来自本机构,尽管我们未见过任何研究队列病例。因此,DCNN对来自58个不同外部机构的图像特征很可能训练经验较少。另一个可能的解释涉及参考标准,其通过自然语言处理提取。本机构检查的报告遵循相同的结构,而外部检查的报告结构则异质多样。尽管审查的400份提取内容包含本机构和外部检查,但自然语言处理(NLP)参考标准提取在外部检查中的性能可能较低,这可能影响了DCNN在该组中的整体诊断性能。
对在1.5 T和3 T场强下成像的受试者进行的亚组分析未显示DCNN诊断前交叉韧带(ACL)撕裂的敏感性和特异性之间存在任何显著差异。3位放射科医师也是如此。已发表的研究同样发现,磁场强度不会对ACL撕裂检测的诊断准确性产生不利影响。30
我们的研究存在若干局限性。第一,我们仅区分了ACL完整和全层ACL撕裂两类,后者在我们的研究中定义为纤维连续性中断≥80%,这意味着完整纤维超过20%的撕裂将归入“无ACL撕裂”类别。部分层厚和全层撕裂中损伤ACL的轮廓不规则和信号强度改变的区别对DCNN来说可能是一个问题,并可能是任一方向误分类的原因。然而,放射科医师在区分部分层厚和全层撕裂方面也面临挑战,敏感性范围为40%至75%,特异性范围为62%至89%。31第二,可能存在验证偏倚,因为我们研究中的所有受试者均接受了关节镜下膝关节手术。因此,我们研究中ACL撕裂的患病率45.6%相对较高。然而,超过一半的受试者ACL完整,因其他原因接受了关节镜下膝关节手术。
总之,DCNN诊断ACL撕裂的性能在1.5 T和3 T磁场强度下可以接近经过专科培训的全职学术肌肉骨骼放射科医师的性能水平;然而,随着MRI检查异质性的增加,性能可能会下降。
引用
- Germann C, Marbach G, Civardi F, et al. Deep Convolutional Neural Network-Based Diagnosis of Anterior Cruciate Ligament Tears: Performance Comparison of Homogenous Versus Heterogeneous Knee MRI Cohorts With Different Pulse Sequence Protocols and 1.5-T and 3-T Magnetic Field Strengths. Invest Radiol. 2020. PMID: 32168039. doi:10.1097/RLI.0000000000000664
- 全文:PMC7343178(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7343178/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。