三维联合卷积与循环神经网络用于颅内出血及其亚型的精确诊断
本研究纳入三家机构2836例(出血/正常,1836/1000)非增强头颅CT的76621层图像,评估三维联合卷积与循环神经网络(CNN-RNN)检测颅内出血及五种亚型的性能;算法在二分类任务中受试者水平各指标≥0.98,五分类任务各亚型AUC>0.8,总体优于三名初级影像进修医师的平均表现。
要点
- 算法处理一个三维头颅CT扫描平均耗时不到30秒。
- 出血/无出血二分类在受试者水平各报告指标均≥0.98。
- 五亚型分类各亚型AUC均>0.8,CPH敏感度高于0.9。
核心结论
- 所提方法能快速准确地检测颅内出血及其亚型,提示其有潜力辅助影像科医师和临床医师的诊断工作流程。
研究设计与样本
- 本研究为经伦理批准的回顾性研究,来自三家参与医院(医院A、医院B、医院C),最终纳入2836例受试者(出血1836例/正常1000例),共76621层非增强头颅CT图像,受试者均来自亚洲人群。
- 参考标准为三名独立且经验丰富的影像科医师(分别有10年、12年、16年头颅CT判读经验)在受试者水平和层面水平标注的多数投票结果。
- 数据随机分为训练集80%、验证集10%和测试集10%,测试集含299例受试者共8007层图像,其中65%的受试者和23%的层面为出血阳性。
- 算法为端到端可训练的联合CNN-RNN框架,可在仅有受试者水平标签(Sub-Lab)或同时有受试者与层面水平标签(Sli-Lab)两种设置下训练。
- 额外邀请三名初级影像进修医师和一名资深影像科医师对测试集299例CT提供受试者水平诊断以作比较。
关键影像表现/征象
- Grad-CAM热图显示算法决策时最关注出血区域,而忽略无出血区域,红色代表高重要性、灰色代表低重要性。
- 测试集中35%(30/86)的SAH病例同时存在一种其他亚型,52%(45/86)存在两种或以上其他亚型,混合亚型可能增加诊断难度并导致搜寻满足。
诊断标准与关键数值
- 概率阈值取0.5,即概率不小于0.5判为出血阳性、小于0.5判为出血阴性。
- 二分类任务(出血或无出血)在受试者水平各报告指标均≥0.98,Sub-Lab与Sli-Lab两种设置间差异极小。
- 五分类任务(五种亚型)在Sub-Lab与Sli-Lab两种设置下各亚型AUC均>0.8、特异度均>0.8。
- CPH为表现最好的亚型,Sub-Lab与Sli-Lab两种设置下敏感度均高于0.9;SAH和EDH即使在Sli-Lab设置下敏感度也仅0.69。
- EDH阳性比例极低:受试者水平仅6.4%(94/1461),层面水平仅1.9%(758/39278)。
临床应用与阅片要点
- 作者认为该算法检测颅内出血及亚型准确且快速,可能作为辅助颅内出血诊断的有用工具。
- 作者指出Grad-CAM可视化可生成粗略出血定位图、无需人工勾画出血液区域,尽管尚需进一步的定量性能评估,该功能有潜力被影像科医师用作粗略出血定位图。
- 作者指出该算法表现总体优于三名初级影像进修医师在二分类和五分类任务上的平均表现,提示其有潜力减少初始判读错误。
局限性
- 原文在讨论部分列出局限性:第一,为增强算法训练中的模式识别并进行有足够阳性样本的性能评估,本研究有意保持65%的高出血患病率(原文此句在此处截断)。
全文中译15 节 · 点击展开
引言
颅内出血(ICH)是一种可能导致严重残疾或死亡的危重疾病。它可由多种原因引起,从创伤、血管疾病到先天性发育异常 [1]。根据出血部位,ICH可进一步分类为硬膜外出血(EDH)、硬膜下出血(SDH)、蛛网膜下腔出血(SAH)、脑实质出血(CPH)和脑室内出血(IVH)[2, 3]。其严重程度和干预措施因出血类型而异 [4]。
计算机断层扫描(CT)是一种众所周知的无创且有效的检测ICH的影像学方法 [1]。由于血液的密度(亨氏单位,HU)略高于其他脑组织但低于骨骼,因此可在平扫CT上识别出血 [5]。出血的准确诊断对于临床医生采取临床干预措施至关重要 [6]。此外,急诊科患者在非工作时间后通常需要进行头部CT评估。在大多数临床中心,头部CT的初步判读通常由初级放射科医师、放射科受训人员或急诊医师提供,以便为具有临床意义的患者提供必要的诊疗。初步判读随后将由资深或更有经验的放射科医师复核。多项研究已证实,初步判读与最终判读之间存在差异,部分误判甚至可能造成临床后果 [7–10]。在这些研究中,Strub等主要关注夜间住院医师与神经放射科专职医师之间对ICH的误判 [10]。据报道,ICH占判读差异的13.6%(141/1037),最常见的被误识别的ICH亚型为SDH和SAH,分别占39%和33%的病例 [10]。因此,一种用于准确检测ICH的自动化分诊系统对于降低误诊率是可取的。
近年来,人工智能(AI)在医学影像领域展现出巨大前景[11–16]。其中,一些研究已尝试使用深度学习/机器学习方法检测头部CT中的异常,包括脑出血(ICH)[17–22]。Prevedello等人利用一个仅包含76例急性ICH病例的小型数据集,展示了应用简单深度学习算法检测头部CT关键检查发现的应用[23]。Li等人对129名疑似蛛网膜下腔出血(SAH)的受试者应用监督机器学习算法,报告了SAH检测的高诊断价值(100%灵敏度和92%特异度)[18]。Chang等人近期的一项研究应用混合卷积神经网络(CNN),在来自单一机构的包含10,159次训练CT扫描和862次测试CT扫描的数据集上使用层面厚块进行ICH检测和定量[22]。然而,这一大型数据集中ICH阳性病例数量较少(训练集和测试集分别为901例和82例),且该研究并未分析所有ICH亚型。Chilamkurthy等人近期的另一项研究使用深度学习自动检测头部CT扫描中的关键发现,包括ICH,共涉及4304次扫描[20]。该研究采用了两阶段方法,其中使用二维CNN获得层面级置信度,随后采用随机森林预测受试者级概率。需要注意的是,上述方法基于二维或层面厚块,随后通过遍历所有层面并将层面级结果与后处理相结合来获得受试者级预测。训练需要层面级标签。Arbabshirani等人已尝试应用基于三维CNN的方法检测ICH[24],其中采用了一个包含五个卷积层和两个全连接层的简单CNN网络,并且仅使用受试者级标签作为训练金标准。这一简单三维CNN的性能似乎仍有提升空间(在选定工作点下AUC = 0.846,灵敏度 = 0.73,特异度 = 0.80 [24])。目前尚不清楚此类直接方法(二维、混合或简单三维)是否能够产生可靠的预测。
本研究旨在开发一个新的框架,用于自动化且准确的脑出血(ICH)检测。该框架建立在从多个中心收集的、由多种CT扫描仪获取的相对大规模数据集基础之上。它将卷积神经网络(CNN)和循环神经网络(RNN)无缝集成,其中CNN用于从图像切片中提取有用特征,而RNN用于考虑切片间的依赖上下文。我们的框架是一个端到端可训练的网络,具有在两种不同标注详细程度下进行训练的灵活性:(1)仅可获得受试者的真实标签(即整个扫描的标签);(2)可获得扫描中每个切片的真实标签。第一种情景需要较少的标注工作,当标注时间有限或认为切片级标注不太可靠时可能更为可取。第二种情景需要更多的标注工作,但提供了详细的出血定位信息,可能有利于算法训练。我们在两种设置下评估并比较了所提出算法的性能。还提出了一种可视化机制,以提供检测的视觉证据,该机制不需要任何手动勾画出血区域来进行训练。我们进一步通过将我们的算法性能与两组不同经验水平的头部CT阅片者的性能进行比较,证明了我们框架的潜在有用性。
材料与方法
研究队列
本回顾性研究经三家参与医院(医院A、医院B和医院C)的伦理委员会批准。最初收集了3129名受试者的头部CT扫描,其中2102名来自医院A,511名来自医院B,516名来自医院C。所有受试者均来自亚洲人群。详细的研究队列设计见补充材料。经过三位独立且经验丰富的放射科医师(分别具有10年、12年和16年头部CT扫描判读经验)逐层仔细审阅和标注后,293例因信息不完整或严重成像伪影被排除进一步分析。其余2836例最终纳入本研究,包括1836例脑出血(ICH)受试者和1000例正常受试者。我们有意在该数据集中保持如此高的ICH患病率(65%),以确保有足够的阳性样本有利于算法的学习过程,并以足够的阳性和阴性样本有效评估我们的算法。表1显示了这些受试者的人口学特征。非ICH组与ICH组之间患者年龄和性别分布的差异分别采用方差分析(ANOVA)和χ2检验进行检验,p值报告于表1。两组间年龄和性别分布的统计学显著性与此前研究结果一致,即ICH的发病率在男性和年龄较大的受试者中往往更高[25–29]。ICH组受试者根据切片水平和受试者水平的ICH位置进一步分为五个亚型:CPH、IVH、SDH、EDH和SAH。部分存在ICH的受试者可能具有一个以上亚型(即混合亚型)。表2显示了三位放射科医师之间的标注者间一致性。以这三位资深放射科医师标注(切片水平和受试者水平出血以及亚型)的多数投票作为金标准。本研究使用的扫描切片示例见图1。
非增强CT成像方案
本研究使用的头部CT图像由不同制造商的扫描仪采集。三家机构的扫描参数不同,详情列于补充表1。
数据预处理
为将数据用于训练,我们首先通过以下步骤对原始CT图像进行预处理。所有图像切片在必要时重采样至512×512像素,然后降采样至256×256像素以减少GPU内存使用。每次扫描的原始切片数保持不变。为更好地考虑高动态强度范围,同时保留不同感兴趣对象的细节,我们选择三种不同的强度窗对图像进行归一化,详情见补充材料。
预测模型与工作流程
为减少冗余,下文我们将训练中仅使用受试者级真实标签的场景称为Sub-Lab,将训练中同时使用受试者级标签和切片级标签的场景称为Sli-Lab。此外,我们将预测受试者及其切片是否包含出血的任务称为两型分类,而将预测ICH阳性受试者及其相关切片的出血亚型的任务称为五型分类。我们的框架可用于Sub-Lab和Sli-Lab设置下的两型分类和五型分类。具体而言,该算法由CNN组件后接RNN组件构成,以模拟放射科医师阅读扫描图像的方式。CNN组件侧重于从图像切片中提取有用的特征。RNN组件利用这些特征并生成ICH或某一亚型的概率。RNN组件对于捕捉来自连续切片的特征的序列信息尤为有用,可添加切片间依赖上下文以提升分类性能(算法示意图请参见补充图1;更详细的描述可见补充材料)。
在我们的预测流程中,我们首先进行两型分类以确定受试者是否存在ICH。如果受试者被预测为ICH阳性,则进行五型分类以判定该受试者是否属于五种亚型中的任何一种。该流程如图1所示。
训练流程
我们将所有受试者随机分为训练集(80%)、验证集(10%)和测试集(10%)。两型分类和五型分类任务的数据分布见补充表2。训练集用于优化模型参数,验证集用于避免对训练集过拟合。测试集保留用于我们模型的最终评估。训练和测试方案如图2所示。ICH检测(两型任务)及其亚型(五型任务)的训练在两种设置下进行:Sub-Lab和Sli-Lab(训练过程的更多细节在补充材料中详述)。
模型可视化
深度学习模型的一个缺点是缺乏透明度和可解释性[30, 31]。为提高我们模型的可解释性,我们使用Grad-CAM方法[31]生成了一张粗略定位图,突出显示图像中导致算法决策的重要区域。每个切片上的定位图由我们完全训练后的算法生成,既不影算法训练过程,也不需要对出血区域进行手动标注以进行监督训练。这种可视化技术也可能被放射科医师用作解读的指导(更多细节见补充材料)。
统计分析
所有统计分析均使用Python软件包scikit-learn进行,统计图则使用matplotlib生成。我们使用准确率、灵敏度、特异度、F1分数和曲线下面积(AUC)等统计指标评估算法性能。我们以0.5作为阈值将概率转换为二值化类别标签,即概率不小于0.5被视为ICH阳性,概率小于0.5被视为ICH阴性。
来自其他放射科医师和受训人员的诊断
我们额外邀请了三位初级放射科受训人员和一位额外的资深放射科医师对测试集中的299份CT扫描提供受试者级别的诊断,以与自动化算法进行性能比较(关于这些头部CT判读者的更多细节可见补充材料)。
结果
两型分类任务
我们在测试集中评估了两型分类的性能,该测试集包含299名受试者,共计8007个切片。受试者中65%为ICH阳性,切片中23%为ICH阳性。我们算法的受试者级别性能报告于表3和图3中。在Sub-Lab和Sli-Lab两种设置下训练的算法均达到了优异的值(≥ 0.98),两种设置之间在所有评估指标上的差异极小。包括我们的模型与基线模型性能比较在内的额外实验结果见补充材料。
五型分类任务
我们评估了我们对194名ICH受试者进行五型分类的性能。CPH在五个亚型中阳性病例比例最高,而EDH最低(CPH > SAH > IVH > SDH > EDH;详细数字见补充表2)。我们的算法在Sub-Lab和Sli-Lab两种设置下对所有亚型均达到> 0.8 AUC和> 0.8特异性。基于敏感性指标可以得出三个重要观察结果。首先,CPH是表现最好的亚型,在Sub-Lab和Sli-Lab设置下敏感性值均高于0.9。其次,在Sub-Lab下训练的模型对所有五个亚型的敏感性均 consistently 低于在Sli-Lab下训练的模型。这可能表明切片级信息对亚型分类比对其两型分类任务更为重要。第三,即使对于使用切片级标签训练的模型,SAH和EDH的敏感性仅为0.69,明显低于其他三个亚型。SAH的低敏感性评分可能是由于其检测难度,因为它一直被认为是诊断最具挑战性的亚型[10],而EDH的低敏感性评分可能主要是由阳性病例数量极低所致:仅6.4%(94/1461)的受试者和1.9%(758/39,278)的切片为EDH阳性。补充材料中描述了额外的实验和结果。
结果可视化
除了对我们模型进行统计评估外,我们还在Sli-Lab下训练的模型上使用了Grad-CAM方法[31]生成热图,以视觉方式检查我们的模型是否基于合理的区域做出决策。图4展示了测试集中的六个示例,其中红色区域表示对决策高度重要的区域,灰色表示低重要性。这些热图阐明,我们的算法如预期般最关注出血区域,而忽略了无出血区域。
与放射科医生和培训人员的性能比较
我们还将模型结果与三名初级放射科受训人员和一名额外的高级放射科医师在测试集上的判读进行了比较。表3显示了受试者层面的性能比较。为简洁起见,下文我们仅关注在Sli-Lab下训练的算法,因为其性能更优。在两分类任务中,高级放射科医师对所有受试者的分类均正确,而初级放射科受训人员平均误诊12例(4%)(11例假阴性和1例假阳性)。相比之下,我们的算法在Sli-Lab下使用切片级标签训练时,仅错误预测了2例(<1%)CT扫描(1例假阳性和1例假阴性)。更重要的是,我们的算法平均正确分类了10.7例(三名初级放射科受训人员分别为17、10和5例)被初级放射科受训人员误诊的ICH阳性病例。在五分类任务中,高级放射科医师在所有五个亚型上总体表现最佳,尤其是在敏感度指标上。我们的算法在CPH、SAH、SDH和IVH上的敏感度高于初级放射科受训人员的平均表现。即使对于阳性病例数量极低(6.4%)的EDH,我们的算法敏感度也仅比初级放射科受训人员的平均表现低0.03。SAH一直被认为是诊断最困难的亚型[10]。事实上,它在敏感度指标上表现出最显著的差异:高级放射科医师为0.95,我们的算法为0.69,而初级放射科受训人员的平均表现仅为0.35。此外,我们的算法正确预测了11例(13%)三名初级放射科受训人员均无法正确判读的SAH病例。所有这些SAH病例均具有混合性出血亚型,使得SAH亚型容易被忽视(三个示例请见图5)。相比之下,仅有一例SAH阳性病例被三名初级放射科受训人员全部发现而我们的算法未能识别。我们将该病例呈现在补充材料中。
讨论
在本研究中,我们提出了一种联合CNN-RNN深度学习算法以及用于ICH及其亚型预测的预测工作流程。其贡献至少可以总结为以下三个方面。首先,据我们所知,我们提出的算法是首个端到端可训练的三维ICH检测深度学习网络,它无缝整合了CNN和RNN,同时在仅有受试者级别标签或切片级别标签可用时提供了训练的灵活性。与基线CNN模型的性能比较(补充材料)证实,结合CNN和RNN的优势确实改善了ICH检测。其次,利用来自多个中心的相对较大规模数据集,提出了一个用于受试者级别出血及其亚型预测的综合框架。第三,为了提供深度学习模型中检测的视觉证据,基于我们的框架和Grad-Cam方法[31]提出了一种可视化机制。它能够利用我们的分类模型在头部CT切片中生成粗略的出血区域,而无需手动勾画(分割)出血区域进行监督训练。尽管尚需进一步的定量性能评估,但该特征有潜力被放射科医生用作粗略的出血定位图。总之,我们提出的算法可以高精度地辅助检测ICH及其亚型,并可能作为辅助诊断ICH的有用工具。
为提高参考标准的可靠性,本研究对三位具有10年以上头部CT扫描判读经验的资深放射科医生的受试者级别和切片级别诊断应用了多数投票。三位放射科医生之间的切片级别一致性通常低于受试者级别的一致性:受试者级别一致性中只有一个kappa值低于0.7(0.68),而切片级别有四个(0.65、0.62、0.67和0.64;详情请参见表2)。这一观察反映了头部CT切片判读的难度和变异性,尤其是对于SAH等具有挑战性的亚型。切片级别诊断可靠性较低可能是倾向于在训练过程中仅使用受试者级别标签而不纳入切片级别信息的原因之一。然而,我们的结果表明,在训练过程中加入(可靠性较低的)切片级别标签仍能改善算法性能,尤其是在五分类任务中提升幅度相当显著,这表明局部信息对于亚型检测的重要性。
为进一步阐明我们算法的潜在实用性,将其性能与三名初级放射科受训人员和一名高级放射科医师的表现进行了比较。结果表明,在两类任务和五类任务中,其性能均优于三名初级放射科受训人员的平均表现。据报道,蛛网膜下腔出血(SAH)是最难以判读的亚型[10]。在我们的研究中,初级放射科受训人员平均仅能识别35%的SAH受试者。这一低灵敏度可能是由于测试集中伴有混合ICH亚型的SAH病例比例较高:35%(86例中的30例)的SAH病例同时存在一种其他亚型,而52%(86例中的45例)存在两种或以上其他亚型。混合亚型可能增加诊断难度,并可能导致搜索满足。相比之下,我们的算法不仅平均检测出初级放射科受训人员所识别真阳性病例的90%(三名受训人员分别为16例中的14例、23例中的21例和50例中的45例),还额外捕获了另外11例(13%)SAH阳性病例,而这些病例均未被任何初级放射科受训人员正确诊断,同时特异性损失极小(0.94 vs 0.97)。还值得指出的是,我们的算法端到端完整处理一次3D头部CT扫描(即从扫描加载到生成预测)平均耗时不到30秒,这显著短于所报道的放射科医师头部CT判读时间(通常超过5分钟[32])。
我们的研究存在若干局限性。首先,为增强算法训练中的模式识别,并以足够的阳性和阴性样本进行性能评估,我们研究中使用的ICH患病率(65%)被设计为远高于真实临床环境中的患病率(例如,据报道CPH的发病率为每年每10万人25例[25])。尽管所报道的四项性能指标(灵敏度、特异性、F1分数和AUC)不会受到测试数据集患病率的影响,但准确率可能随不同患病率水平而变化,这需要在真实临床人群中进一步评估。其次,我们研究中的所有受试者均来自亚洲人群,这可能限制我们算法的泛化能力。作为下一步,理想的做法是扩展当前数据集以纳入亚洲以外的人群。第三,尽管我们数据集中存在ICH的受试者总数相对较大,但某些亚型的受试者数量相当有限,尤其是EDH在训练集中仅94例,而对照为1367例。由于深度学习需要足够量的数据进行模式识别,训练数据不足可能对算法性能产生了不利影响。最后,初级放射科受训人员较低的SAH识别率可能需要进一步研究,并可能限制与自动化算法性能比较的泛化能力。可能需要不同培训水平的初级放射科受训人员的表现来提高结果的可靠性。
总之,这是利用端到端可训练的3D深度学习技术进行脑出血(ICH)及亚型检测的早期研究之一,研究队列相对较大。所提出的算法快速且准确,表明其有潜力辅助经验较少的头部CT判读者(如初级放射科受训人员)减少初始误判。值得在真实临床环境中将该自动化框架应用于分诊系统,以评估其减少放射科医生工作量和提高效率的能力。
电子补充材料
ESM 1(DOCX 619 kb)
引用
- Ye H, Gao F, Yin Y, et al. Precise diagnosis of intracranial hemorrhage and subtypes using a three-dimensional joint convolutional and recurrent neural network. Eur Radiol. 2019. PMID: 31041565. doi:10.1007/s00330-019-06163-2
- 全文:PMC6795911(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC6795911/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。