对比增强胸部CT肺分割深度学习模型的外部验证、放射学评估与开发
本研究基于nnU-Net开发CT肺动脉造影肺分割模型,在225例肺动脉高压患者中训练测试并由放射科医生临床评估,另在28例间质性肺病患者中进行外部验证;平均DSC 0.990,无分割失败,仅1例(0.5%)外部病例出现有临床意义的错误。
要点
- 模型在肺动脉高压和间质性肺病两个异质队列中均无分割失败,DSC达0.990。
- 放射学评估显示82%内部病例和71%外部病例无任何错误。
- 周围性肺不张和实变是导致分割欠佳的最常见原因。
核心结论
- 基于nnU-Net的CTPA肺分割模型在两个异质队列(肺动脉高压和间质性肺病)中评估,输出准确且临床错误极少。
研究设计与样本
- 回顾性研究,使用英国和美国两个专科中心的数据开发nnU-Net肺分割模型。
- 模型开发队列49例(训练29例、验证8例、测试12例),临床评估队列176例,均为肺动脉高压患者的容积CTPA扫描。
- 外部验证使用28例间质性肺病患者的异质对比和非对比CT扫描。
- 参考标准为放射科医生手工标注的分割掩膜,技术评估采用DSC和NSD(阈值1.5 mm)。
关键影像表现/征象
- 内部验证平均准确率0.998(95%CI 0.9976–0.9989)、DSC 0.990(95%CI 0.9840–0.9962)、NSD 0.983(95%CI 0.9686–0.9972)。
- 内部队列无分割失败,146例(82%)无任何临床显著错误,31例(18%)有轻微无临床意义错误,0例有临床显著错误。
- 外部队列无分割失败,20例(71%)无任何临床显著错误,7例(25%)有轻微无临床意义错误,1例(0.5%)有临床显著错误。
- 内部队列分割错误最常见原因为实变(9例,29%)、肺不张(7例,23%)和胸腔积液(6例,19%)。
- 外部队列分割错误原因为肺不张、胸腔积液和基底段严重纤维化。
诊断标准与关键数值
- RadSeg评分:0分为分割失败;1分为有临床显著错误;2分为有轻微无临床意义错误;3分为无任何临床显著错误。
- 内部验证平均DSC 0.990(95%CI 0.9840–0.9962),NSD 0.983(95%CI 0.9686–0.9972),准确率0.998(95%CI 0.9976–0.9989)。
临床应用与阅片要点
- 作者设想该模型作为定量CT分析(如肺动脉高压肺实质病变严重度量化)的第一步预处理。
- 作者认为放射科医生参与模型开发和临床评估有助于建立对模型输出的信任并提高临床使用率。
- 作者指出DSC对结构大小高度依赖,小体积但有临床意义的分割错误(如误分割食管或漏分割基底段磨玻璃影)对DSC影响极小。
局限性
- 训练集仅包含已知诊断为肺动脉高压的患者,使用薄层容积CTPA协议扫描,来自单一三级中心,人群以欧洲白人为主。
- 该队列存在相对偏倚,偏向病理病例,缺乏真正「正常」扫描。
- 使用真实世界临床数据的局限是训练数据中缺乏「罕见」病例,可能限制模型性能。
- 尽管在异质外部测试队列中表现良好,该模型现阶段预期临床用途仅限于疑似肺动脉高压患者。
- 未来工作将在大规模多民族患者队列中开发和测试深度学习模型以解决上述局限。
全文中译21 节 · 点击展开
引言
计算机断层扫描(CT)成像中的肺部分割是在研究的每个层面上检测和提取解剖学肺边界。自动肺部分割是几乎所有胸部CT临床人工智能(AI)应用中重要且必要的步骤,例如肺结节检测或肺实质疾病严重程度量化。准确的分割允许检测感兴趣区域(肺实质)并去除混杂因素(心脏和纵隔结构),并且很重要,因为任何分割错误都会传播到数据分析流程的其余部分。手动分割耗时、费力,并且具有显著的观察者间和观察者内变异性[1, 2]。放射科医生在常规临床阅片过程中进行分割是不切实际的。
在肺部分割领域,非增强胸部CT存在大量技术,从传统计算机视觉方法到使用卷积神经网络的较新机器学习和深度学习方法,后者已超越 older 方法的性能[1, 3–6]。然而,该领域的绝大多数研究侧重于技术发展,在底层网络架构或处理技术方面取得进展[3]。计算机断层扫描肺动脉造影(CTPA)涉及静脉注射造影剂,除了胸部CT上的其他结构外,还能评估肺血管系统。它常规用于疑似肺栓塞(PE)和肺动脉高压(PH)患者。当前深度学习分割算法的一个已知局限性是无法分割高密度物体,如胸膜下实变[3, 7, 8]。由于肺实质对造影剂的摄取,CTPA与非增强成像之间肺实质的衰减存在显著差异。据我们所知,尚无研究在PH或CTPA成像中训练肺部分割算法,并在胸部CT协议的异质性混合队列中进行外部测试。
本研究使用最先进的nnU-Net方法[9]开发了一种3D深度学习CTPA肺部分割算法。研究目标是:在CTPA成像中开发一种新型最先进的基于nnU-Net的3D肺部分割模型。
通过专家胸部亚专科放射科医生的审查对分割输出进行临床评估和评分,然后对性能欠佳的病例进行失败分析。
在另一中心的异质性患者队列中部署并外部验证该算法。
材料和方法
这项回顾性研究使用了来自两个患者队列的数据——英国谢菲尔德和美国斯坦福。所有患者数据均按照GDPR和HIPAA合规的当地指南进行去标识化处理。两个中心的机构审查委员会均授予伦理批准,并获得英国国家研究伦理服务处批准(16/YH/0352)。
研究队列
谢菲尔德(参考数据集)
患者选自ASPIRE注册登记库,其详细信息先前已有报道[10, 11]。该注册登记库前瞻性纳入因疑似肺动脉高压(PH)转诊至三级转诊中心的患者的综合临床和影像学数据。共有225例胸部CT表现正常与异常混合的患者组成了研究队列。所有扫描均在两台通用电气(GE)扫描仪上进行,患者取仰卧位。扫描参数包括多种剂量和卷积核。所有患者均按CTPA方案行薄层容积增强扫描。患者诊断为特发性肺动脉高压(IPAH)或继发于慢性肺病的肺动脉高压(PH-CLD)。
斯坦福(外部数据集)
为评估模型在外部数据上的泛化性能,从斯坦福医院和诊所三级医疗环境中因间质性肺病接受评估的混合患者队列中选取了一组额外的CT扫描测试集。从1330例患者的总共2300次CT扫描中,随机选取了28次扫描。扫描使用西门子(n = 21)、GE(n = 6)或东芝CT扫描仪(n = 1)采集,并使用多种卷积核重建。所有扫描均在患者仰卧位下进行。25次(89.3%)CT扫描为非增强扫描,2次(7.1%)扫描采用CTPA方案,1次扫描(3.5%)采用CTA方案。 underlying ILD诊断分组为结缔组织病相关ILD(11例(39.3%))、暴露相关ILD(7例(25%))、特发性间质性肺炎(6例(21.4%))、肺实质感染后瘢痕形成(1例(3.5%))和IPAH(1例(3.5%))。2次扫描(7.1%)未见ILD征象。
Sheffield和Stanford队列的STROBE流程图见图1。
模型开发
数据集结构
数据集以患者层面构建,每例患者均有唯一对应的单次CT扫描。Sheffield数据集(n = 225)分为模型开发数据集(n = 49)和影像学评估数据集(n = 176)。此举旨在将临床上评估影像学表现的病例与技术开发所用病例分开。模型开发数据集进一步分为训练集(n = 29)、验证集(n = 8)和测试集(n = 12)。“训练”定义为模型初步拟合所依据的数据。“验证”是对初始模型拟合进行无偏测试,采用正则化和早期停止以防止过拟合。“测试”数据集是用于评估最终模型的未见无偏数据集。训练队列样本量基于近期研究,其中使用3D分割方法的相似规模队列显示出高技术性能[3, 13]。在内部数据集中,CT扫描为容积采集,平均像素大小为0.75 × 0.75 × 0.625 mm。图像以512 × 512矩阵采集,层数范围为389至548。模型在外部异质性数据集中进行了测试。
手动参考标准分割
使用MIM(MIM Software)对模型开发队列中全部49例病例进行标注并生成肺部分割真值掩膜。开发了一套工作流程,使用内置算子创建初始掩膜,每个步骤均由认证放射科医师持续审核。使用RegionGrow工具从气管中分割肺和气道,并人工检查错误。阈值为− 350至− 4000亨氏单位(HU)。Tendril直径为4.0,“fill holes”设置为无并启用平滑。该工作流程持续进行人工评估,并调整适当的技术参数以提高性能。在获得该基线结果后,由放射科医师在逐层水平上对扫描进行人工调整和勾画,以确保肺边界的正确分割。
自动化CTPA分割模型
采用最先进的nnU-Net方法进行CTPA肺部分割。nnU-Net是一种具有里程碑意义的开源基于深度学习的分割方法,可针对给定任务自动配置预处理、网络架构、训练和后处理[9]。使用nnU-Net的一个主要优势是其开源架构,具有适应性和泛化性,不同于传统高度任务聚焦的U-Net,后者可能在泛化性方面存在困难[9, 12]。
预处理步骤包括将HU范围截断至− 1024至2500,然后使用所有训练图像中分割肺区域的SD(199 HU)和均值(− 761 HU)进行归一化。已在体积CT数据上训练了两阶段级联3D nnU-Net,以实现接近原始分辨率的3D分割,并使模型能够学习肺部3D形状的上下文信息。采用单折训练方法,包括1000个epoch,每个epoch 250个mini-batch。训练期间使用数据增强,包括随机旋转(围绕3个轴− 30°至30°,p = 0.2)、缩放(0.7至1.4,p = 0.2)、伽马校正(0.7至1.5,p = 0.3)以及围绕3个轴镜像(p = 1)。采用两阶段级联,其中第一阶段的输出分割被传递至第二阶段。训练期间,第一阶段的输出经过增强,以随机移除连通像素并进行形态学操作以扩大/缩小输出,从而减少协同适应。对于第一阶段,训练图像被重采样至平均像素大小1.01 × 1.01 × 0.84 mm和380 × 380 × 346矩阵,第二阶段平均像素大小为0.75 × 0.75 × 0.625和512 × 512 × 467矩阵。使用256 × 224 × 224的patch大小和2的batch size,学习率为1 × 10−3。所用nnU-Net架构图见图2。通过比较测试队列中每例病例的人工分割与深度学习分割,计算Dice相似系数(DSC)、准确率和归一化表面距离(NSD)。所用硬件为NVIDIA A6000 48 GB GPU、32核64线程处理器、256 GB RAM。后处理步骤包括去除体积< 250 ml的区域。
临床分割评分系统:RadSeg
分割输出由两位放射科医师(K.D.和C.B.)进行临床审查,两人分别具有4年和7年解读胸部CT扫描的经验。对每个分割输出给予序数评分(RadSeg评分),评分为:0——未能输出分割。
1——肺分割存在临床显著错误。
2——肺分割存在轻微临床不显著错误。
3——完整肺分割,无任何临床显著错误。
一位放射科医师审查了Sheffield队列的全部176例病例。28例Stanford外部病例由两位放射科医师审查。评分不同的病例经共同审查后给出共识RadSeg评分。
统计分析
Sheffield和Stanford的所有分析均分别进行;数据未合并。分析使用R软件4.0主要版本进行。分类数据以数量和百分比表示,连续数据以中位数和四分位距表示。分割比较使用基于重叠的指标(Dice相似系数(DSC))和基于边界的指标(归一化表面距离(NSD))。对于NSD,使用1.5 mm阈值,因为认为该阈值在临床上合适。p值≤0.05被认为具有统计学意义。
资助来源的作用
研究资助方在研究设计、数据收集、数据分析、数据解读或报告撰写中均无任何作用。
技术结果
内部验证病例的平均准确率、DSC评分和NSD分别为0.998(95% CI 0.9976至0.9989)、0.990(95% CI 0.9840至0.9962)和0.983(95% CI 0.9686至0.9972)。每位患者的评分见附录表1a。
临床分割评分
Sheffield内部验证
无失败病例(RadSeg评分0),所有病例均被算法成功分割。146例(82%)病例为完整肺分割,无任何临床显著错误(RadSeg评分3),31例(18%)存在轻微临床不显著错误(RadSeg评分2)。无病例分割存在临床显著错误(RadSeg评分1)。分割错误最常见的原因分别为实变(9例,29%)、肺不张(7例,23%)和胸腔积液(6例,19%)。这些发现见表2。
Stanford外部验证
无失败病例(RadSeg评分0),所有病例均被算法成功分割。20例(71%)病例为完整肺分割,无任何临床显著错误(RadSeg评分3),7例(25%)存在轻微临床不显著错误(RadSeg评分2)。分割错误的原因分别为肺不张、胸腔积液和基底段重度纤维化。
唯一存在临床显著错误的病例为继发于硬皮病的食管扩张松弛,其中充气食管被纳入肺分割范围内。
讨论
本研究提出了一种最先进的三维肺部分割算法,并在两个研究中心的不同且表型明确的临床队列中进行了临床验证。本研究使用的两个大型数据库代表了两个重要的患者疾病队列,在这些队列中CT成像是常规使用的。该模型达到了较高的技术精度(以高DICE和NSD评分表示)和临床实用性(以影像学审阅的高评分表示)。据我们所知,这是首个专门在CTPA成像和PH患者队列中开发的模型。
与目前文献中的大多数分割研究相比,本研究在研究设计、患者队列和模型评估方面存在显著差异。研究方法专门针对使临床使用和转化具有挑战性的常见局限性而设计。这些局限性包括缺乏由专家放射科医师对分割输出进行临床评估、缺乏多样化、异质性的真实世界临床队列以及外部验证。本研究通过以下方式解决每个局限性:对模型输出进行临床评估,以及在来自两个中心的两个不同患者队列上开发和测试模型。
分割输出影像学审阅的重要性
用于报告和比较分割性能的最常用参数是Dice相似系数(DSC)。然而,仅凭技术参数在评估临床实用性方面并不敏感。几乎所有研究报告的DSC评分均> 0.97,但性能欠佳病例的失败分析鲜有报道[13]。已知DSC本身高度依赖于结构大小,并通过忽略缺失值而提供人为偏高的评分[13]。结构大小的局限性在肺部分割的临床使用中尤为适用,因为由于肺体积大,体积小但具有高度临床意义的分割错误——例如分割食管或未能分割间质性肺病中的基底部磨玻璃改变——对报告的DSC评分影响极小。
因此,我们提出并使用了一种临床分割评分系统(RadSeg评分),该系统考虑了错误的小体积和临床意义。我们的模型在参考中心(谢菲尔德)的扫描验证中无重大临床显著错误,在外部中心(斯坦福)部署后仅出现一个错误。由于放射科医师是此类AI模型的目标用户,我们认为他们参与此类模型的开发和临床评估将有助于建立对模型输出的信任,并有助于提高在常规临床实践中的采用率[14, 15]。
次优输出分析
算法局限性和次优性能原因的透明度对临床信任至关重要。我们研究中的训练和测试队列包括患有严重肺实质异常的病例(图3,面板C),其中大多数病例被准确分割。次优分割(RadSeg评分1或2)最常见的原因是实变和肺不张。对这些高密度肺实质异常的准确分割具有挑战性,是所有肺部分割模型和研究共有的局限性[3, 7]。次优性能的原因难以直接比较,因为它们通常未被报告或描述。
我们的模型在内部或外部测试集中均未出现失败,外部集中仅有一例具有临床意义的错误。任何AI模型的外部验证对于测试模型性能和泛化能力都至关重要。然而,在诊断领域已发表的深度学习研究中,只有6%进行了外部验证[16]。大多数进行了外部验证的研究显示算法性能下降[17]。在肺部分割领域,Yoo等人[8]发现其基于3D U-Net的模型在外部验证中性能显著下降(内部测试DSC 99.4降至外部测试DSC 95.3)。本研究不仅在不同中心部署后进行了外部验证,而且在不同的临床患者队列中进行了验证,并在临床评估中展示了良好结果。外部队列具有异质性,既包含有和无肺动脉高压(PH)的患者,也随机混合了不同的胸部容积CT扫描方案,包括有和无对比剂增强的情况。
需要异质性“真实世界”临床队列
我们的技术结果——平均DSC为0.990、NSD为0.983——与其它已发表的非增强扫描3D和2D分割方法相比具有优势[3, 6, 8, 18, 19]。这一结果可能归因于使用了最先进的nnU-Net架构,并结合了包含多种病理的异质性“真实世界”临床训练队列。Hofmanninger等人[3]表明,肺部分割算法在困难病例上的准确性和可靠性主要取决于训练数据的强度,而非底层模型架构。这种效应在针对多种测试集的外部验证中尤为明显,在更多样化数据上训练的算法具有更好的泛化能力。既往研究受限于在相对同质的队列上训练,这是使用公共数据集的副产品,这些数据集仅包含正常扫描或特定疾病类别的变异[20, 21]。在本研究中,使用相对较小的训练队列规模即实现了较高的技术性能。这受到该领域类似研究的影响,这些研究已在跨模态的器官分割任务中展示了优异性能[9, 12, 20, 22]。nnU-Net近期被用于肺部1H-MRI,以开发对病理、采集方案和中心具有鲁棒性的泛化分割模型,但该研究使用了593例扫描[22]。我们的研究再次证实了异质性和特征明确的训练数据对于分割模型临床转化的重性。
对实践的意义及预期临床用途
准确的肺分割是任何定量胸部CT分析的必要条件。我们设想将该模型的临床用途作为定量CT分析模型中的第一个预处理步骤,例如PH中肺实质疾病严重程度的量化。在PH中更好地表征肺实质疾病的严重程度和范围存在临床需求且备受关注[23]。对实质疾病的定性常规放射学报告描述已显示为预后生物标志物[24]。已鉴定出一种具有独特放射学和临床特征的新IPAH表型[25]。这些临床场景将极大受益于自动化端到端肺分割和实质疾病量化模型。鉴于在外部测试队列上的良好性能,这项工作的影响也存在于PH之外。CTPA是最常进行的检查之一,主要用于PE的急性诊断。自动化肺分割模型可以实现进一步的定量血管分析和血栓负荷估计[26, 27]。通过适当的迁移学习以进一步提高性能,该模型可用作对比剂和非对比剂成像的工具。
局限性
训练集仅包含已知诊断为肺动脉高压的患者,以及来自单一三级中心、以欧洲白人为主的薄层容积CTPA方案扫描。该队列中肺部疾病的范围此前已有报道,虽然这代表了一个现实的异质性临床患者队列,但由于缺乏真正“正常”的扫描,存在对病理病例的相对偏斜和偏倚[24]。使用真实世界临床数据的一个局限性是训练数据中缺乏“罕见”病例,这可能限制性能。未来的工作将通过在一个多民族患者的大型队列中开发和测试DL模型来寻求解决本研究的局限性。尽管在异质性外部测试队列中表现良好,但所开发模型在现阶段预期的临床用途仅限于疑似诊断为PH的患者。
总之,我们开发了一个基于3D nnU-Net的模型,用于CTPA成像中的肺分割,该模型高度准确、经过临床评估,并在具有广泛肺部疾病谱的充分表型患者队列中进行了外部测试。该模型适用于肺动脉高压中肺部疾病量化的重要临床场景。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 40 KB)
引用
- Dwivedi K, Sharkey M, Alabed S, et al. External validation, radiological evaluation, and development of deep learning automatic lung segmentation in contrast-enhanced chest CT. Eur Radiol. 2023. PMID: 37775589. doi:10.1007/s00330-023-10235-9
- 全文:PMC10957646(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10957646/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。