文献速递胸部CT

一种新型基于深度学习的分类器对裂隙旁结节的评估

Evaluation of a novel deep learning-based classifier for perifissural nodules.
PubMed 文献 · Eur Radiol · 2020-12-02

研究收集英国和荷兰两中心1668个结节(1260人)的胸部CT数据,训练卷积神经网络(PFN-CNN)分类典型裂隙旁结节(PFN)。测试集196个结节中,以三位放射科读者共识为参考,PFN-CNN的AUC为95.8%(95%CI 93.3–98.4),敏感度95.6%(95%CI 84.9–99.5),特异度88.1%(95%CI 81.8–92.8);分类器与读者的一致性(k=0.62–0.75)与读者间一致性(k=0.64–0.79)相似。结论认为PFN-CNN在分类典型PFN方面表现优异,有潜力用于临床和筛查场景以排除裂隙旁结节并提高读者效率。

要点

  • 典型PFN定义为附着于裂隙、均匀、实性、边缘光滑、卵圆形/透镜状或三角形的结节。
  • 测试集中读者共识将45/196(23%)结节评为典型PFN,PFN-CNN的AUC为95.8%。
  • PFN-CNN与读者共识的一致性k=0.744(95%CI 0.635–0.842),与读者间一致性范围相似。

关键影像表现/征象

  • 典型PFN定义为附着于裂隙、均匀、实性、边缘光滑、卵圆形/透镜状或三角形的结节。
  • 非典型PFN定义为满足所有特征但未附着于可见裂隙的结节,或附着于裂隙但一侧凸出、另一侧圆形的结节。
  • 非PFN定义为形状不受裂隙影响的结节。
  • 测试集中典型PFN最大轴径中位数6 mm(IQR 5–7),非典型PFN/非PFN中位数6 mm(IQR 6–8),差异有统计学意义(p=0.02)。

诊断标准与关键数值

  • 内部交叉验证:平均AUC 91.9%(95%CI 90.6–92.9),阈值52.1时准确率87.4%(95%CI 86.2–88.4),敏感度78.7%(95%CI 75.8–81.5),特异度90.4%(95%CI 89.1–91.5)。
  • 测试集:AUC 95.8%(95%CI 93.3–98.4),阈值52.1时准确率89.8%,敏感度95.6%(95%CI 84.9–99.5),特异度88.1%(95%CI 81.8–92.8)。
  • PFN-CNN与读者共识一致性:准确率89.8%(95%CI 85.7–93.9),kappa 0.744(95%CI 0.635–0.842)。
  • PFN-CNN与读者A、B、C的kappa分别为0.748(95%CI 0.850–0.646)、0.623(95%CI 0.745–0.501)、0.732(95%CI 0.838–0.626)。
  • 读者间一致性:读者A与B k=0.639(95%CI 0.510–0.768),读者A与C k=0.792(95%CI 0.892–0.692),读者B与C k=0.706(95%CI 0.829–0.583)。

临床应用与阅片要点

  • 作者认为PFN-CNN有潜力在临床和筛查场景中排除裂隙旁结节并提高读者效率。
  • 作者指出PFN-CNN的PPV为70.5%,29.5%被分类为典型PFN的结节并非典型PFN,临床中准确识别PFN对避免意外排除恶性结节至关重要。
  • 作者建议未来研究使用多位读者共识来 curation CNN训练数据。
  • 作者下一步计划聚焦于非典型PFN的自动分类。

局限性

  • PPV为70.5%,29.5%被PFN-CNN分类为典型PFN的结节并非典型PFN。
  • 二值化阈值基于Youden指数确定,未针对PPV优化。
  • 以三位培训读者共识作为金标准可能比临床实践(通常由单一读者分类)更保守。
  • PFN-CNN的二值性质及将非典型PFN归为阴性结果不反映de Hoop等建议的分类方法。
  • PFN-CNN未在外部数据集上测试,能否推广到不同人群、不同CT扫描仪和协议的数据尚未确定。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2020 Dec 2;31(6):4023–30. doi: 10.1007/s00330-020-07509-x

引言

自国家肺癌筛查试验(NLST)发表并显示与胸部X线相比肺癌相关死亡率降低20%以来[1],这一结果近期又得到欧洲研究的证实[2, 3],从而引发了人们对使用计算机断层扫描进行肺癌筛查的极大兴趣。除了肺癌的检出外,低剂量计算机断层扫描(CT)在筛查中的使用增加,导致在接受筛查的高危个体中约50%检出良性小至中等大小的肺部结节[4],从而产生了大量假阳性结果[5]。

叶间裂旁结节(PFN)是小至中等大小实性结节的一个亚组,常由放射科医生在报告胸部CT扫描时发现。PFN被定义为附着于叶间裂的结节,呈均匀实性,边缘光滑,形态为卵圆形/透镜状或三角形[6]。在肺癌筛查环境以及临床环境中偶然发现的所有实性肺结节中,它们约占20–30%[6–8]。尽管部分PFN表现出与恶性结节相似的生长速率(体积倍增时间< 400天),但迄今为止在所有典型病例中均被证明为良性[6–9],通常被认为是良性反应性肺内淋巴结[10, 11]。自动化且一致地识别PFN并将其排除在进一步考虑之外,可减少放射科医生的工作量并避免不必要的随访扫描。

近年来,卷积神经网络(CNN)在图像识别领域的快速进展使得将这些技术应用于肺结节分类成为可能。鉴于PFN的特征性外观、其良性性质以及在筛查和临床环境中的大量存在,它们是训练CNN分类器的有趣目标。在此,我们评估了一种新的用于PFN分类的深度卷积神经网络(PFN-CNN)的性能,该网络在从两个欧洲中心回顾性收集的结节上进行训练,并在保留数据集上进行验证。

材料与方法

人群与数据选择

本研究使用的主要数据是作为欧洲创新与技术研究所(EIT)提供的公私资助项目的一部分收集的,资助协议编号17189。使用来自两个参与中心——牛津大学医院(OUH)和格罗宁根大学医学中心(UMCG)——的回顾性数据已获得当地伦理委员会的批准。由于本研究为回顾性研究,且在选择数据时所有参与者数据均已匿名化,当地伦理委员会豁免了获取个人知情同意的要求。

纳入标准如下:男性和女性的CT扫描,年龄18岁或以上,实性肺结节最大轴位直径5–15 mm,具有组织学、后续吸收或随访1年后体积稳定或随访2年后直径稳定的金标准[12]。排除标准如下:存在运动伪影的CT扫描、层厚超过2.5 mm、扫描报告超过5个结节,或过去5年内有恶性肿瘤。根据数据收集时可供使用的测量工具,结节的最大轴位直径要么来源于半自动体积测量,要么使用数字卡尺工具手动测量。测量值四舍五入至最接近的毫米。尽管结节大小的纳入标准为5–15 mm,但部分结节在研究入组后因测量变异性而被测得较小,并未被排除。这些包括训练集中的7个4 mm和2个3 mm结节,以及测试集中的5个4 mm结节。

PFN数据的整理

数据包括临床和筛查数据,基于不同制造商的CT扫描仪以及多种方案,包括可能使用对比剂。每个中心的数据由现场放射科医师进行标记,并集中进行整理以确保各中心之间的一致性。典型PFN根据de Hoop等人的定义被定义为“附着于裂、均匀、实性、边缘光滑、呈卵形、透镜形或三角形的结节”。非典型PFN被定义为“满足所有特征但未附着于可见裂的结节,或附着于裂、一侧凸出而另一侧圆润的结节”。非PFN被定义为“形状似乎不受裂影响的结节”。[6]。由于在区分非典型PFN方面存在高差异率,且与典型PFN相比,将恶性结节误分类为非典型PFN的概率更高,因此仅将典型PFN视为阳性训练类别,其他一切均视为阴性。从两个参与医疗中心共选取1,260名个体的1,668个结节用于训练、验证和测试。训练/交叉验证与测试(留出数据集)之间的拆分比例约为八比一;来自1,103名个体的1,557个结节用于训练和交叉验证,而来自158名个体的196个结节用于测试。

PFN分类器的训练

基于CNN的PFN分类器由Optellum Ltd.开发,并以一个在约16,000幅NLST结节图像上训练的肺癌预测模型进行初始化,该任务基于分析以每个结节为中心的立方体CT数据体积来区分恶性和良性结节。这一预训练步骤有助于网络学习与肺癌预测相关任务相关的一般特征,这些特征可重新用于PFN分类。肺癌预测模型开发的详细信息此前已有描述[13, 14]。随后使用整理后的PFN数据对PFN分类器进行微调,以通过五折交叉验证为每个呈现的结节生成PFN评分。对于典型PFN/非PFN的二分类,PFN评分的二值化阈值根据Youden指数从训练/交叉验证数据中确定。

PFN分类器的评估

通过读者研究将PFN-CNN的性能与人类读者进行比较,对其进行了验证。测试数据集包括在标准或低剂量CT上检测到的196个结节(来自158名个体)。数据未纳入训练和交叉验证集的患者被纳入读者研究测试集。

在读者研究中,将良性结节位于中心的长方体体素块呈现给PFN分类模型。对于每个结节,PFN分类器提供0至100的PFN评分。根据PFN-CNN产生的PFN评分和52.1的二值化阈值,将结节分类为典型PFN或非PFN。两名分别具有8年(读者A)和10年(读者B)胸部影像学经验的放射科医师以及一名第4年放射科住院医师(读者C)被要求将每个结节标记为典型PFN、非典型PFN或非PFN。为与人工智能训练流程相匹配,被两名或以上读者评定为典型PFN的结节被视为阳性,而非典型PFN和非PFN被视为阴性结果并合并为一组。

数据分析

采用Kruskal-Wallis检验判断连续变量是否呈正态分布。正态分布数据以均值和标准差(SD)表示,非正态分布数据以中位数和四分位距(IQR)表示。采用Mann-Whitney U检验比较不同结节类型之间的连续变量。模型性能与读者共识进行比较,并使用受试者工作特征(ROC)曲线进行评估。一致性评估使用混淆矩阵和Cohen's kappa呈现,解读标准如下:值≤0,无一致性;0.01–0.20,无至轻微一致性;0.21–0.40,一般一致性;0.41–0.60,中等一致性;0.61–0.80,高度一致性;0.81–1.00,几乎完全一致[15]。所有统计分析均使用SPSS v23(IBM)完成。

结果

内部交叉验证

表1概述了训练数据集和测试数据集的患者及结节详细信息。在训练数据集中,427/1,557(27.4%)个结节被标记为典型PFN,1,045/1,557(67.1%)个结节被标记为非PFN。内部数据集五折交叉验证的平均AUC为91.9%(95% CI 90.6–92.9)。在最佳操作点52.1处,PFN-CNN的准确率为87.4%(95% CI 86.2–88.4),敏感性为78.7%(95% CI 75.8–81.5),特异性为90.4%(95% CI 89.1–91.5)。

表1 结节及相关临床数据详情 查看原表 ↗

测试数据集的人口统计学特征

共纳入来自158名参与者的196个独立结节。平均年龄为66.6 ± 8.7岁,48/158(30.4%)名参与者为女性。根据读者共识,45个(22.9%)为典型PFN,42个(21.4%)为非典型PFN,105个(53.6%)为非PFN。4个(2.0%)结节因意见不一致而无法分类(表2)。典型PFN(中位数6 mm(IQR 5–7))与非典型PFN/非PFN(中位数6 mm(IQR 6–8))之间的最大轴径差异有统计学意义(p = 0.02)。

表2 读者对结节的分类 查看原表 ↗

PFN-CNN分类器性能

当将典型PFN分类的表现与三位读者的共识进行比较时,PFN-CNN的AUC为95.8%(95% CI 93.3–98.4)(图1)。使用内部验证得到的阈值52.1来区分典型PFN与非PFN,其准确度为89.8%,敏感度为95.5%(95% CI 84.9–99.5),特异度为88.1%(95% CI 81.8–92.8)(表3)。对于4个在分类为典型PFN、非典型PFN或非PFN方面未达成一致的肺结节,PFN-CNN将3个分类为典型PFN,将1个分类为非PFN(图2和图3)。

图1 PFN-CNN对典型PFN分类的性能 查看原图 ↗
表3 读者与PFN-CNN相较于读者共识的性能 查看原表 ↗
图2 测试数据集中的示例及PFN-CNN生成的评分 查看原图 ↗
图3 测试数据集中的示例及PFN-CNN生成的评分 查看原图 ↗

读者一致性

读者共识与PFN-CNN之间的一致性为高度一致,准确度为89.8%(95% CI 85.7–93.9),kappa为0.744(95% CI 0.635–0.842)。PFN-CNN与三位独立读者之间为高度一致(表4),读者A、B和C的kappa(k)分别为0.748(95% CI 0.850–0.646)、0.623(95% CI 0.745–0.501)和0.732(95% CI 0.838–0.626)。读者间一致性为高度一致:读者A与读者B,k = 0.639(95% CI 0.510–0.768),读者A与读者C,k = 0.792(95% CI 0.892–0.692),读者B与C,k = 0.706(95% CI 0.829–0.583)。

表4 PFN-CNN与三位读者在典型PFN分类中一致性的混淆矩阵和kappa 查看原表 ↗

讨论

通过本研究,我们证明了PFN-CNN在胸部CT上对典型叶间裂旁结节进行分类的可行性。PFN-CNN在两个欧洲中心的数据集上进行了训练,并构建在一个已在美国NLST数据上训练的结节表征框架之上。与三位读者的共识相比,PFN-CNN在识别典型PFN方面表现出色(AUC = 95.8%,敏感度 = 95.6%,特异度 = 88.1%),并与读者具有相当的一致性(分类器-读者一致性85.7–89.8% [k = 0.62–0.75],读者间一致性87.8–89.3% [k = 0.64–0.79])。该结果证明了基于CNN的系统用于自动PFN分类以减少放射科医师工作量的潜在效用。

我们研究中的一个有趣发现是读者研究中性能的显著提高,AUC = 95.8(95% CI 93.3–98.4),而内部交叉验证为AUC = 91.9%(95% CI 90.6–92.9)。这种提高可能是由于用于训练PFN分类(二分类标签)和用于读者研究(三分类标签)的可用数据标注存在差异。由于两个数据集均包含一系列病例,二分类中可能比三分类中有更多临界病例被“向上取整”或“向下取整”。

既往研究表明,无论临床还是筛查环境中,肺纤维结节(PFN)均代表无需随访的良性病变,占(基线)结节的20%–30% [6–8]。迄今为止,其识别的金标准一直是放射科专家的意见。然而,如Schreuder等所示,放射科医师之间的分类存在固有变异性,他们发现放射科医师之间仅存在中等程度的一致性 [16]。因此,100%的准确率可能无法实现。此前仅有一项研究尝试使用卷积神经网络(CNN)对PFN进行自动分类 [17]。Ciompi等使用基于自然图像预训练的CNN对PFN进行分类,取得了可观的成功(AUC = 86.8%)。其研究与我们的研究之间的性能差异可能归因于三个因素。第一,我们的研究与Ciompi等的工作之间的主要差异之一是用于预训练的数据;在我们的研究中,我们使用了领域特定图像,而他们使用自然图像进行预训练。尽管我们无法直接比较不同预训练方法可能如何影响神经网络的性能,但我们认为,在相关任务上使用同一领域的图像进行预训练可能是性能提高的一个因素。第二,我们的PFN-CNN未在外部数据集上进行测试,这可能导致性能降低。第三,其研究与我们的研究之间阳性结果的定义不同。我们仅关注典型PFN的识别,并将非典型PFN视为阴性结果。这是由于非典型PFN在读者间的一致性低于典型PFN [16],且非典型PFN的患病率(3.1%)相较于典型PFN(19.7%)相对较低 [6]。

尽管我们的研究在分类典型PFN方面显示出优异的AUC性能,但仍存在若干不足。首先,所描述的PFN-CNN的PPV为70.5%。据我们所知,我们的研究是首个描述自动PFN分类器PPV的研究。在临床环境中,准确识别PFN对于避免意外排除恶性结节至关重要。在本研究中,被PFN-CNN分类为典型PFN的结节中有29.5%并非典型PFN。PPV性能受限的原因有几点。首先,PFN评分的二值化阈值并未针对PPV进行优化;相反,我们使用Youden指数来确定典型PFN分类的最佳截断值,该指数对灵敏度和特异度的性能给予同等权重。其次,通过使用三位受过训练读者的共识,典型PFN的参考标准可能比临床实践更为保守,临床实践中通常由单一读者进行分类。这同样适用于PFN分类器训练所用的数据。对于未来研究,我们建议使用多位读者的共识来策划CNN训练数据。第三,PFN-CNN的二分类性质以及将非典型PFN归为阴性结果的做法,并未反映de Hoop等人[6]建议的分类方法。另一方面,我们的研究证明了区分典型与非典型PFN差异的重要性,这使得CNN相比既往研究[17]取得了更好的性能。使用PFN-CNN,尽管仅关注典型PFN,有可能使我们数据集中22.9%的肺结节免于进一步评估。当PFN-CNN作为全自动CAD系统的一部分实施时,肺癌筛查的效率可大幅提高。最后,PFN-CNN是在两个参与中心提供的数据上训练的。结果能否推广至来自不同人群、使用不同CT扫描仪和协议获取的其他数据集尚未确定。然而,由于我们的训练数据具有异质性,包括偶然发现和筛查数据,使用了多种CT扫描仪和协议,我们预计在外部数据集上测试时性能不会出现剧烈差异,尽管这尚待证实。我们的下一步将聚焦于非典型PFN的自动分类,因为这些对放射科医师而言也更难以区分。

总之,在欧洲中心数据集上训练的PFN-CNN在留出数据集中分类典型PFN方面显示出优异的AUC性能。该结果证明了基于CNN的系统在临床和筛查环境中用于排除良性肺结节并减少放射科医师工作量的潜在效用。

补充信息

(DOCX 20 kb)

引用

  1. Han D, Heuvelmans M, Rook M, et al. Evaluation of a novel deep learning-based classifier for perifissural nodules. Eur Radiol. 2020. PMID: 33269413. doi:10.1007/s00330-020-07509-x
  2. 全文:PMC8128854(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8128854/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。