深度卷积神经网络在X线片上自动检测下腔静脉滤器
本研究构建了基于Cascade R-CNN和ResNet-50骨干的深度学习目标检测算法,用于在腹平片上自动检测下腔静脉滤器。在包含5225张图像(30%含滤器)的主要数据集中,内部测试集敏感度96.2%、特异度98.9%;在来自另一机构的1424张外部测试集上敏感度97.9%、特异度99.6%。结果表明该算法可作为自动筛查系统的基础,用于识别需要滤器取出的患者。
要点
- 算法可在全幅腹平片上自动检测下腔静脉滤器,无需人工裁剪。
- 外部测试集性能与内部测试集相当,提示跨机构可迁移性较好。
- 漏检多见于滤器被严重遮挡、不常见滤器类型及图像对比度低。
关键影像表现/征象
- 算法在内部测试集上正确识别761张图像中的746张,敏感度96.2%(95% CI 92.7-98.1%),特异度98.9%(95% CI 97.4-99.5%),ROC AUC 0.995。
- 外部测试集敏感度97.9%(95% CI 96.2-98.9%),特异度99.6%(95% CI 98.9-99.9%),ROC AUC 0.993。
- 漏检共9张,常见原因为滤器被严重遮挡、不常见滤器类型及滤器与背景对比度低。
- 假阳性共6张,错误识别的结构包括退变椎小关节、心电导联线和胸骨钢丝。
诊断标准与关键数值
- 内部测试集:敏感度96.2%(95% CI 92.7-98.1%),特异度98.9%(95% CI 97.4-99.5%),ROC AUC 0.995。
- 外部测试集:敏感度97.9%(95% CI 96.2-98.9%),特异度99.6%(95% CI 98.9-99.9%),ROC AUC 0.993。
- 超参数优化中验证集ROC AUC范围为0.972-0.995;最终模型在内部测试集ROC AUC为0.995。
- 额外9个不同随机种子模型的中位ROC AUC为0.991,四分位距0.002。
临床应用与阅片要点
- 可用于腹平片自动筛查,提示存在下腔静脉滤器的患者,供进一步评估滤器取出。
- 阅片时注意滤器被遮挡、低对比度和不常见滤器类型等漏检陷阱。
- 报告或复核时警惕退变椎小关节、心电导联线和胸骨钢丝等结构被误判为滤器。
- 算法尚未分类滤器类型,检出后仍需介入放射科医生复核以决定取出策略。
局限性
- 算法本身尚不是临床可用的系统,需整合入滤器追踪系统后才能评估临床影响。
- 尚未在CT定位像上测试,未来系统理想上应同时基于CT和X线片识别患者。
- 外部验证仅来自一家与训练中心相似的学术医疗中心,其他机构性能可能下降。
- 算法未对检出的滤器进行类型分类。
全文中译5 节 · 点击展开
引言
下腔静脉(IVC)滤器用于预防深静脉血栓形成(DVT)患者发生可能危及生命的肺栓塞,最常见于患者对抗凝治疗存在绝对或相对禁忌证时。IVC滤器在急性期对肺栓塞具有保护作用,但在某些病例中已显示长期可增加复发性DVT或腔静脉血栓形成的风险[1, 2]。
尽管目前置入的大多数滤器在设计上可回收,但在缺乏专门的患者随访策略的情况下,滤器回收率差异很大且总体偏低[3]。若干机构通过实施旨在减少失访患者数量的方案,显著提高了其回收率[4, 5]。这些策略的进一步改进产生了部分自动化、基于信息学的方法,即利用卫生系统放射信息系统(RIS)的数据从滤器置入时开始对患者进行追踪[6]。然而,这些方法在设计上无法识别在其他机构置入IVC滤器的患者。这尤其成问题,因为许多IVC滤器是在创伤情况下置入的[7],而患者可能不会在最初接受治疗的创伤中心继续其长期随访。一种基于图像而非基于RIS的识别携带IVC滤器患者的方法,有助于应对在患者于多家机构就诊的碎片化医疗环境中追踪IVC滤器的挑战。基于图像的方法可以识别在该医疗中心置入IVC滤器的患者(从术中影像中识别)以及在别处置入IVC滤器的患者(当这些患者进行腹部影像检查时)。直接从图像而非放射学报告识别IVC滤器的方法可能预期在机构间具有更好的可移植性,因为报告中描述IVC滤器的方式可能差异很大,但滤器在影像上的表现是一致的。成功的基于图像的方法需要一种能够在医学影像上以高灵敏度和特异度检测IVC滤器的算法。
机器学习在医学图像分析中正得到广泛应用[8–10],并且非常适合目标检测和定位的任务。我们的目标是创建一种经训练能够在腹部X线片上识别和定位IVC滤器的算法。此外,我们的目的是通过在一个独立机构使用由该机构获取的图像创建的独立数据集对该算法进行评估,以评价其泛化能力。该算法是开发更自动化流程的关键基石,该流程用于识别可能从回收咨询中获益的携带IVC滤器的患者。
方法
这项符合HIPAA的回顾性研究获得了两个参与机构(均为学术性三级医疗中心)的机构审查委员会的批准;无外部资金来源。本文描述了方法的关键要点;足以重现该工作的完整方法详见在线补充方法。
主要数据集的住院和门诊候选图像均在我们的报告数据库中使用mPower搜索软件(Nuance Inc.,伯灵顿,马萨诸塞州)检索确定。共进行了两次搜索,一次旨在识别报告中提及下腔静脉(IVC)滤器的腹部X线片(假定阳性),第二次旨在单纯识别腹部X线片(假定阴性对照)。选择搜索词和日期范围以创建一个数据集,使其包含我们临床档案中几乎所有带有IVC滤器的图像。相应图像从PACS档案中提取。
DICOM图像使用MD.ai标注平台(MD.ai,纽约,纽约州)进行标注。完整数据集的标注由一位具有13年经验的介入放射科主治医师作者完成。测试分区还由两位分别具有11年和16年经验的腹部放射科主治医师作者进行标注。对于包含多幅图像的研究,仅标注由介入放射科作者选择的一幅代表性图像。所有使用的图像均为正位图像。对于每幅标注图像,标注者要么围绕IVC滤器绘制边界框,要么将图像标记为“无滤器”。对于多次标注的测试集,最终标注根据多数标注确定。最终边界框使用每位标注者边界框的平均中心位置以及平均宽度和高度构建。完整的主要数据集在患者层面随机分为训练、验证和测试分区,分别约占数据的70%、15%和15%。
用于外部验证的次要数据集由来自另一家机构临床档案的图像构建。使用同一mPower搜索软件的另一个实例,采用相同的搜索词来识别研究。该数据集的标注在自定义网络工具中完成,但标注方案在其他方面与主要数据集相同。次要数据集中的所有图像均由三位放射科医师标注:一位具有12年经验的腹部放射科主治医师、一位具有7年经验的神经放射科主治医师和一位第四年放射科住院医师。
标注的DICOM图像使用dcmtk v3.6.2(Offis,奥尔登堡,德国)转换为JPEG格式。采用了以ResNet-50 [12]为骨干的Cascade R-CNN [11]目标检测神经网络架构,其实现基于PyTorch 1.6.0 [14]的MMDetection工具箱2.4.0 [13]。训练和推理使用四块NVIDIA(圣克拉拉,加利福尼亚州)RTX 2080 Ti GPU进行。
数据集训练分区的增强通过对图像随机施加变换来完成。所施加的变换包括:水平翻转、亮度和对比度变化、以90度为增量的旋转以及精细旋转(1度为增量)。
超参数优化使用Optuna 2.1.0 [15]进行,以确定基础学习率、增强概率和增强程度的最佳值。共进行100次优化迭代,以模型在数据集验证分区上的受试者工作特征(ROC)曲线下面积(AUC)最大化为目标函数。
使用在超参数优化过程中产生最佳结果的超参数值,在数据集的训练分区和验证分区合并后的数据上训练了最终模型。使用相同的超参数值但不同的随机种子额外训练了九个模型,以便对结果进行不确定性估计。最终模型的性能基于在主要内部测试集和次要外部测试集上的表现进行计算。比例的置信区间使用卡方统计量通过 R v4.0.0 计算 [16]。
结果
最终主要数据集由 5225 张标注图像组成,每张图像均来自一项独立检查;其中 1580 张图像包含下腔静脉(IVC)滤器。数据集以男性患者略占多数,并覆盖广泛的患者年龄分布,如表 1 所示。
在超参数优化过程中训练的模型在数据验证分区上评估时,ROC AUC 范围为 0.972 至 0.995。表现最佳模型的超参数值(在第 58 次迭代中确定)详见表 2。
本研究产生的主要模型使用表 2 中的最优超参数值在训练分区和验证分区合并后的数据上训练,在内部测试集上评估时 ROC AUC 为 0.995(见图 1)。按照与主要模型相同的流程但使用不同随机种子额外训练了九个模型;ROC AUC 中位数为 0.991,四分位距为 0.002。
主要模型在内部测试分区的 761 张图像中正确识别了 746 张图像中下腔静脉滤器的存在或不存在(见表 3),灵敏度为 96.2%(95% CI 92.7–98.1%),特异度为 98.9%(95% CI 97.4–99.5%)。为评估模型的泛化能力,将该模型在来自不同机构独立构建并标注的 1424 张图像数据集上进行了测试。在该外部测试集上的运行结果产生的灵敏度和特异度略高于但无显著优于主要测试集上的结果:灵敏度 97.9%(95% CI 96.2–98.9%),特异度 99.6(95% CI 98.9–99.9%),ROC AUC 0.993。
主要模型在单块 NVIDIA RTX 2080 Ti GPU 上运行时平均每秒评估 15 张图像。
图 2 展示了正确检测到的下腔静脉滤器的随机抽样。模型在 9 张图像中未能检测到下腔静脉滤器;其中一些失败示例如图 3 所示。这些失败的共同特征为滤器被严重遮挡、较少见的滤器类型以及滤器与背景之间图像对比度低。在 6 张图像中,模型将非滤器物体错误识别为滤器。这些假阳性(其中一些如图 4 所示)包括伴有退行性改变的脊柱小关节、心电图导联和胸骨钢丝的具体示例。请注意,测试分区中还包括许多此类表现的额外示例,但并未产生假阳性。
讨论
在本研究中,我们试图创建一种能够在X线片上检测下腔静脉滤器的算法,以构成基于图像的系统的基础,用于识别可能需要取出滤器的滤器携带患者。此处开发的算法使用深度学习目标检测框架,在内部测试集上对下腔静脉滤器的检测实现了高灵敏度和特异度。或许更重要的是,该算法在来自另一医疗中心的外部测试集上表现出相同水平的性能,提示基于该算法构建的系统可以迁移至其他医疗中心而不损失性能。
其他研究者已将深度神经网络应用于下腔静脉滤器影像分析,尤其是Ni等,他们描述了一种算法,在按滤器类型对滤器图像进行分类方面取得了优异结果[9]。本文所呈现的工作与Ni等的工作之间的一个重要区别在于,较早的工作使用分类网络,该网络以紧密裁剪的下腔静脉滤器图像作为输入时表现最佳,而我们的工作使用目标检测网络,该网络使用完整X线片作为输入来确定滤器是否存在。这将使我们的算法能够用于X线片的自动筛查以检测下腔静脉滤器,而Ni等的算法无法做到这一点,因为它需要围绕下腔静脉滤器进行手动裁剪以匹配训练图像并保持足够性能。我们的算法目前不按类型对其检测到的下腔静脉滤器进行分类,但可以扩展以包括这一功能,方法可以是在我们的数据集中添加关于滤器类型的信息并将网络重新训练为多类别目标检测器,或者将我们当前算法的输出链接到类似Ni等中的分类算法,以对我们算法检测到的滤器进行分类。我们认为,对于该算法在筛查影像以发现可能可取出的下腔静脉滤器这一预期用途而言,这是一个相对无关紧要的局限性,因为目前置入的绝大多数滤器都是可取出型号,并且被识别为含有滤器的图像会在安排取出尝试之前由介入放射科医生审查。
该算法用于目标检测所采用的Cascade R-CNN网络架构是对R-CNN[17]架构的改进。R-CNN采用传统分类网络(本研究中为ResNet-50)作为主干网络,对图像内矩形区域的内容进行分类;这些区域由单独的区域提议函数识别。Fast R-CNN[18]通过使用主干分类网络仅对整个输入图像一次性识别特征,而不是分别评估每个重叠区域,从而提高了速度。Faster R-CNN[19]通过用神经网络替代区域提议函数、在主干分类网络生成的特征上运行,进一步提高了速度和准确性。此处使用的Cascade R-CNN网络是Faster R-CNN的进一步扩展,引入了多阶段检测器,其中每个后续阶段使用越来越严格的阈值来细化检测,以减少假阳性而不对其他方面的性能产生负面影响。
此处创建的算法最适合作为识别和追踪下腔静脉(IVC)滤器患者系统的基础,以确保滤器在不再需要时能够被取出。实现这一点需要将我们的算法与患者状态追踪系统耦合,例如Juluru等人[6]所描述的系统,其中我们的算法将替代RIS查询。使用基于图像的算法相比RIS查询有两个优势。第一,它不限于识别在系统使用中心放置IVC滤器的患者;任何在该中心接受腹部X线摄影的患者都可以被识别。第二,它能够在IVC滤器追踪系统与中心现有影像IT基础设施之间实现医学数字成像和通信(DICOM)标准接口。这很可能比Juluru等人所采用的直接查询RIS底层数据库更具可移植性且更易于配置,因为后者不存在相关标准。
我们的工作存在若干局限性和改进空间。它是一个重要的构建模块,但本身并非临床可用的系统;在将其纳入IVC滤器追踪系统之前,其临床影响无法直接评估。这样的系统理想情况下应基于CT和X线摄影来识别患者。这一具体改进应可作为此处所述算法的简单扩展来实现,使用CT的定位像,但尚未经过测试。最后,尽管基于外部验证结果,该算法的泛化前景令人鼓舞,但我们仅针对训练数据来源中心以外一个医疗中心的数据进行了测试。这两个中心之间存在一些相似之处;特别是,两者均为学术医疗中心。我们测试的两个中心之间的差异所未能捕捉到的医学影像领域的异质性,可能导致在其他机构性能下降。
总之,本文所述工作使用通用目标检测网络和软件框架,在无需人工步骤的情况下,在X线片上检测下腔静脉(IVC)滤器方面取得了优异性能。这些结果在来自另一机构获取的外部数据上的可迁移性,对于我们未来努力创建基于图像的患者追踪系统以识别需要取出的IVC滤器而言是令人鼓舞的。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 20 kb)
引用
- Mongan, Kohli, Houshyar, et al. Automated detection of IVC filters on radiographs with deep convolutional neural networks. Abdom Radiol (NY). 2022. PMID: 36371471. doi:10.1007/s00261-022-03734-8
- 全文:PMC9902407(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9902407/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。