残差网络模型在胸部X线片上检测房间隔缺损
本研究回顾性纳入2017年6月至2022年5月本院连续收集的2105张儿童胸部X线片,以超声心动图报告为参考标准标注房间隔缺损阳性或阴性,按8:1:1分为训练、验证和测试集,比较六种残差网络模型的检测性能。ResNet-10t和ResNet-18D表现较好,测试集AUC分别为0.97(95%CI 0.93, 1.00)和0.96(95%CI 0.91, 1.00),ResNet-10t的热图更集中于右心房和肺动脉段。结论认为残差网络模型通过儿童胸部X线片识别房间隔缺损可行,ResNet-10t是更优的估计模型。
要点
- ResNet-10t在测试集检测房间隔缺损的AUC为0.97(95%CI 0.93, 1.00),ResNet-18D为0.96(95%CI 0.91, 1.00)。
- ResNet-10t热图在大多数图像中分布于右心房(98.5%,190/192)和肺动脉段(97.9%,188/192)。
- ResNet-18D热图未集中于感兴趣区,右心房和肺动脉段热图分布分别为53%和78%。
核心结论
- 残差网络模型通过儿童胸部X线片识别房间隔缺损是可行的,ResNet-10t表现突出,提供优异性能和清晰可解释性。
研究设计与样本
- 回顾性研究,连续收集2017年6月至2022年5月本院儿童胸部X线片,共纳入2105张房间隔缺损患儿的胸部X线片(平均年龄4.14±2.73岁,54%男性)。
- 按8:1:1随机分为训练集1685张、验证集210张和测试集210张,并以1:1比例向三个数据集补充健康儿童胸部X线片。
- 以超声心动图报告为参考标准,根据美国超声心动图学会建议,超声心动图提示房间隔缺损超过3 mm者判定为房间隔缺损阳性。
- 使用DRX-Evolution Plus(Reichert,美国)全自动曝光获取胸部X线片,比较ResNet-10t、ResNet-18D、ResNet-14t、RexNet-200、ResNet-18和ResNet-26D六种模型。
关键影像表现/征象
- 房间隔缺损患儿胸部X线片可表现为右心影增大、肺动脉扩张和肺门影增高。
- ResNet-10t热图在大多数图像中分布于右心房(98.5%,190/192)和肺动脉段(97.9%,188/192)。
- ResNet-18D热图未集中于感兴趣区,右心房和肺动脉段热图分布分别为53%和78%。
诊断标准与关键数值
- 以超声心动图报告为参考标准,超声心动图提示房间隔缺损超过3 mm者判定为房间隔缺损阳性。
- ResNet-10t测试集精确率0.92、召回率0.91、准确率0.90、F1分数0.91、AUC 0.97(95%CI 0.93, 1.00)。
- ResNet-18D测试集精确率0.93、召回率0.91、准确率0.90、F1分数0.91、AUC 0.96(95%CI 0.91, 1.00)。
临床应用与阅片要点
- ResNet-10t可作为通过儿童胸部X线片识别房间隔缺损的优选估计模型,其热图集中于右心房和肺动脉段,与房间隔缺损的影像表现一致。
局限性
- 所有参与者均超过1岁,主要因为1岁以内婴儿心影较大且胸部X线片诊断标准中心胸比为0.55,该年龄段诊断房间隔缺损的患儿往往缺损大、临床表现和影像表现典型,可能错误提高学习模型的准确率;未来研究将纳入该年龄段,并需调整学习模型算法或开发新的学习模型进行区分。
- 胸腺是位于胸腔前中部的重要淋巴器官,在整个儿童期生长并在青春期达到高峰,胸部X线片上的胸腺影为边缘光滑的软组织密度,难以与心影分离;本研究不确定图像识别中胸腺干扰因素的构成,提高识别准确率是后续研究的主要焦点。
全文中译10 节 · 点击展开
引言
房间隔缺损(ASD)是常见的左向右分流型先天性心脏病(CHD)之一,约占出生时所有CHD的10%[1]。ASD患儿的血流动力学改变程度并不一致。部分患儿临床体征隐匿,心脏杂音难以发现。ASD是成人中最常见的CHD[2]。ASD的左向右分流增加了右心和肺循环的容量负荷,最终影响心脏形态,导致右心房、右心室扩大及肺动脉扩张。在ASD患儿中,胸部数字X线摄影(DR)图像会显示不同程度的右心影增大、肺动脉扩张及肺门影增浓[3]。
近年来,越来越多的儿童因胸闷等胸部症状就诊,胸部DR检查为首选[4]。由于儿科医生对ASD胸部DR图像中心影形态的日益熟悉,对这些儿童进行了大量ASD评估。基于异常的DR表现和特征性征象,进一步行超声心动图以确诊ASD。在某些ASD病例中,由于胸部X线片表现不明显、初诊医生缺乏专业知识及/或家庭经济条件限制而无法进行超声心动图检查,诊断可能被延误[5]。
随着人工智能技术条件的日益成熟,深度学习已成为医学领域图像识别的关键技术。深度学习可用于提取目标数据集的特征,这对于识别和分析具有复杂甚至未知特征的对象尤为有用[6]。本研究基于残差网络(ResNets),使用多种学习模型开发ASD的DR图像识别。通过比较胸部DR图像中ASD检测的性能,并用热图可视化提取的特征,初步探讨了ResNets在胸部DR图像中检测ASD的价值。
材料与方法
研究对象
本研究连续收集了青岛大学妇女儿童医院2017年6月至2022年5月期间儿童的胸部DR图像回顾性数据。符合条件的胸部DR图像取自接受过超声心动图检查的儿童,并根据超声心动图报告对图像进行标注。根据美国超声心动图学会指南[7],超声心动图提示ASD缺损大于3 mm者判定为ASD阳性。
纳入标准:所有1~18岁ASD阳性患者,包括住院和门诊患者,同时有意收集同年龄段健康儿童。站立位或仰卧位拍摄的后前位胸部X线片。每名儿童仅纳入一张胸部X线片,排除重复拍摄的胸部X线片或作为随访组成部分的胸部X线片。排除标准:图像质量模糊、体位不正、其他类型CHD或肺血管疾病、胸腔占位或异物、肺部感染或外伤、心脏或胸部手术后。
我们机构的伦理委员会审查并接受了该研究的方案。由于图像是在临床实践中获取的,且患者已同意将其数据用于研究目的,因此免除了知情同意的需要。患者被保证有权退出该研究。
检查与图像采集
胸部X线片使用DRX-Evolution Plus(Reichert,美国)获取,采用全自动曝光。所有胸部X线片以医学数字成像和通信(DICOM)格式提取,然后从图像中去除包括姓名、性别和年龄在内的个人信息。由于DICOM文件具有不同的窗宽、窗位和密度值,所有图像通过图像预处理转换为JPG格式以确保一致性。首先,将胸部X线片调整为320×320像素的JPG文件。较长的一边缩小至320像素,同时保持纵横比。为完成尺寸调整,X线片较短的一边用黑色填充直至达到320像素。为进一步提升模型性能,由于肺部的对称性,训练图像通过随机变换(如翻转、镜像和旋转)进行增强。
每张胸部X线片由医生A和医生B(均具有3年资质)独立审阅,无分歧。审阅X线片过程中可调整图像大小、窗宽和窗位,时间不受限制。用于评估房间隔缺损(ASD)的超声心动图使用iE33(Philips Medical Systems)进行,同一儿童由两名具有3年以上资质的超声医师独立操作,超声心动图结果经确认一致。
ResNets模型开发
本研究依赖于基于ResNets的深度学习算法,后者是对传统卷积神经网络(CNN)的改进[8]。除标准卷积层输出外,ResNets还有一个将输入直接连接到输出的部分,该部分在数学上与卷积输出相加,产生最终输出。
在本研究中,选择了六个模型(ResNet-10t、ResNet-18D、ResNet-14t、RexNet-200、ResNet-18和ResNet-26D)进行训练和学习,验证数据集用于修改和增强,模型性能在测试数据集上评估。
本研究在12核Intel(R)Xeon(R)Platinum 8255C CPU和GeForce RTX 3090 GPU环境中进行,选择PyTorch作为框架,随机种子为1024。本研究采用Python作为编程语言,放大过程通过PyTorch的变换功能实现。在ResNet模型训练过程中,采用加权随机采样方法和加权交叉熵损失函数来解决数据不平衡对性能下降的影响。
统计分析
收集的ASD患者胸部X线影像汇总后按8:1:1的比例分为训练集、验证集和测试集。患者层面的分配确保不同数据集之间没有图像或参与者的重复。所使用的评估方法包括准确率、召回率(R)、精确率(P)和F1分数(F1)。其计算方式如下:其中tp为真阳性样本数,tn为真阴性样本数,fp为假阳性样本数,fn为假阴性样本数。
使用热图可视化训练模型感兴趣的区域
通过比较选择两个性能较好的ResNet模型,并为每张胸部DR图像构建热图以说明深度学习模型的集中区域。使用分类激活图对胸部X线片进行可视化呈现,源代码可在互联网上获取[9, 10]。分类热图用于可视化胸部DR图像中的感兴趣区域。梯度加权类激活映射(Grad-CAM)技术突出显示输入图像中模型在分类时更关注的区域,表明最终卷积层生成的特征图提供了空间信息,有助于识别视觉特征并更精确地区分指定类别。将可视化模型应用于测试数据集后,两名具有8年临床经验的儿科心脏病学专家需要对同一ASD患者胸部图像热图上显示的解剖区域进行评估。
由于ASD的胸部DR图像包括右心增大、肺动脉段凸出和肺门影增强(图1a),对这些区域热图分布的位置进行了视觉评估。当医生之间存在分歧时,通过讨论达成共识。
结果
数据集
本研究共纳入2105张ASD患儿图像(平均年龄4.14 ± 2.73岁,54%为男性)。通过Python随机函数方法按8:1:1将数据分为1685张训练数据集、210张验证数据集和210张测试数据集。三个数据集按1:1比例分配了相应数量的健康儿童胸部DR图像。三个数据集的详细信息见表1。
模型评估
本研究的测试数据集表明,ResNet-10t和ResNet-18D在从胸部DR图像预测ASD方面具有最高的精确率、准确率、召回率和F1分数,见表2。
如图2所示,ResNet-10t和ResNet-18D应用于胸部X线片ASD检测的曲线下面积分别为0.97(95% CI 0.93, 1.00)和0.96(95% CI 0.91, 1.00)。
对测试数据集中ASD患儿DR图像的分析显示,ResNet-10t在大多数图像中最显著分布于右心房(98.5%,190/192)和肺动脉段(97.9%,188/192)。ResNet-18D的热图未集中在感兴趣区域,右心房和肺动脉段的热图分别为53%和78%。两个模型的热图效果见图3。
讨论
ASD患儿的临床症状表现或严重程度主要受缺损大小影响。婴儿期左右心室壁厚度相近,压力差极小,意味着左向右分流不明显,通常不产生任何明显的临床体征。随着年龄增长,右心室壁顺应性增加,体循环压力升高,水平分流增加,导致肺淤血和体循环血量减少。肺炎是ASD患儿常见的疾病,导致其发育迟缓。随着家庭生活条件改善,父母可能不会注意到患儿体重增长缓慢和过度出汗。发现这些信号具有挑战性,大多数ASD患者成年后仍可过正常生活。
近年来,门诊中主诉胸闷、叹气、胸痛等主要指标的儿童数量激增,胸部DR已成为儿童典型的初步诊断工具,其操作简便且经济合理。该检查对儿童胸部病变具有重要提示价值。然而,分析儿童胸部X线图像可能具有挑战性。除肺部影像外,医生更关注心影形态,且识别经验更丰富[11]。超声心动图常用于从异常表现者中筛查ASD。对于许多ASD患儿,血流动力学系统无可见改变,胸部X线片通常表现正常。然而,其他非心血管专科医生或缺乏经验者可能难以在胸部X线片上识别任何异常心脏改变。此外,超声心动图费用昂贵,在发展中国家普通家庭难以接受将胸部异常常规筛查作为常规检查,导致ASD患儿诊断延迟。机器学习,尤其是深度学习,为改善医学影像、加快诊断和规范判读提供了重大机遇。据目前所知,在我们的研究中,这是首次证明深度学习可通过胸部X线片有效辅助儿童ASD的早期检测。
利用卷积神经网络(CNN)是构建深度学习系统的一种常见方法。CNN能够从图像的各个组成部分积累数据,并具有强大的特征学习能力。ResNet因其能够通过残差映射克服传统卷积神经网络(CNN)训练中经常遇到的梯度消失问题,已成为图像分类领域知名的深度学习模型。ResNet被用于提取图像特征,而不受形状、肋骨和其他相关噪声的干扰。ResNet机制也已被纳入更多机器学习模型中,大大提高了模型通过胸部X射线识别不同类型肺部疾病的能力。
在过去5年中,人工智能技术在胸部X射线图像检查中的应用迅速扩展,其中大多数集中在成人,而在儿科中的应用仍然很少[12]。众所周知,儿童胸部的影像表现会在其正常生长发育过程中发生变化。儿童胸壁、肺、骨化中心和胸腺宽度的生理性改变。先天性肺囊腺瘤等特征性畸形的病理问题。上述问题为开发基于胸部X射线图像识别儿童肺部疾病的人工智能模型带来了额外挑战[13]。
Luo等[14]表明,一种基于YOLOv5和ResNet-50识别异常胸片的新模型,其平均精度均值(mAP)分别比YOLOv5、Fast RCNN和EfficientDet模型的mAP值高0.010、0.020和0.023。并且,新模型的精确率分别为0.512、0.018、0.027和0.033,高于YOLOv5、Fast RCNN和EfficientDet。基于CNN的训练模型ResNet-50对肺癌、气胸、结核、肺炎和其他胸部疾病的分类准确率为96.15%,Vgg-19和Inception V3的分类准确率分别为95.61%和95.16%[15]。
由于心脏在胸腔内的位置和形状相对稳定,受肺和骨骼发育的影响较小。因此,未来利用人工智能技术进行胸部X线图像诊断的研究将主要集中在心血管疾病方面[16]。通过使用深度学习,已通过评估胸部X线开展了心血管疾病的研究,例如自动检测心脏增大、瓣膜疾病和心脏功能,对肺动脉高压和心房颤动进行分类,以及预测先天性心脏病患者的肺循环与体循环血流比[6, 17–20]。这些研究结果表明,基于深度学习的方法有望客观、定量地评估胸部X线上所见的心脏形态和肺循环血容量,从而实现对心脏疾病的区分或诊断。Ueda等[21]首次探索了构建并验证ResNet-50通过胸部X线识别二尖瓣反流的研究。该人工智能模型的曲线下面积、敏感性、特异性、准确率、阳性预测值和阴性预测值分别为0.80(95% CI:0.77,0.82)、71%(95% CI 67,75)、74%(95% CI 70,77)、73%(95% CI 70,75)、68%(95% CI 64,72)和77%(95% CI:73,80),该模型有望通过胸部X线上左心房、左心室和上腔静脉的面积来区分有无二尖瓣反流的患者[21]。Lee等[8]使用ResNet-18模型识别胸部X线以诊断急性胸主动脉夹层。准确率为90.20%,精确率为75.00%,召回率为94.44%,F1分数为83.61%,该模型性能优异,能够基于平片胸部X线准确检测急性胸主动脉夹层。
在ASD患儿中,由于左向右分流增加,右心前负荷增大,导致右心房和右心室扩大,肺循环血量增多及肺动脉扩张。胸部X线片显示心影更为突出,可表现为心胸比增高。通常观察到ASD患儿心脏右侧更为饱满。当发生肺淤血时,肺动脉段明显突出,肺门影增大,肺纹理增粗,且右下肺血管影尤为显著[2]。因此,随着ASD胸部X线片特征的改变,本研究引入人工智能技术以提升胸部X线片的识别准确率,并作为超声心动图检查的前置依据,从而在不增加家庭经济负担的情况下尽可能快速地实现ASD的准确诊断。通过多种模型的比较,本研究发现ResNet-10t的识别准确率极高,训练后达到92%,明显优于其他模型。本研究对ResNet-10t进行了Grad-CAM视觉感知热点分析,发现模型所捕捉的局部特征集中在心影右缘和肺动脉段,进一步证实了模型性能的高可信度。
局限性
所有参与者均超过1岁,主要原因是出生后第一年心影较大以及胸部X线片诊断标准中心胸比为0.55。该年龄段确诊为ASD的患儿往往缺损较大,临床表现和影像学表现典型,可能导致学习模型准确率出现虚假提升。因此,本研究将在可预见的未来纳入该年龄段,有必要调整学习模型算法或开发新的学习模型以进行区分。胸腺是位于胸腔前中部的重要淋巴器官,在整个儿童期生长,在青春期达到高峰。因此,胸部X线片中的胸腺影为边缘光滑的软组织密度,难以与心影分开。本研究尚不确定图像识别中胸腺干扰因素的构成,提高识别准确率是后续研究的主要重点。
综上所述,ResNets模型通过儿童胸部X线片识别ASD是可行的。本研究中ResNet-10t应用于ASD胸部DR图像时比主要检测模型更有效。在后续研究中,将基于该模型设计transformer模型,以加快各年龄段ASD胸部DR图像的识别和检查,具有重要的临床和社会价值。
引用
- Luo G, Li Z, Ge W, et al. Residual networks models detection of atrial septal defect from chest radiographs. Radiol Med. 2023. PMID: 38082195. doi:10.1007/s11547-023-01744-0
- 全文:PMC10808252(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10808252/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。