利用不确定性估计增强深度学习模型对胸部CT肺结节恶性风险估计的性能
这项回顾性研究将不确定性估计方法整合到已开发的深度学习算法中,用于肺结节恶性风险估计。在丹麦肺癌筛查试验的883个结节(65个恶性)中开发不确定性阈值,并在三级学术中心的374个结节(207个恶性)中外部验证。不确定性组中算法AUC显著低于确定组(DLCST 0.62 vs 0.93,临床数据集0.62 vs 0.90),不确定组包含更多较大的良性结节及部分实性和非实性结节。
要点
- 不确定性估计可识别深度学习算法判别性能显著更差的肺结节病例。
- 不确定组中算法AUC显著低于确定组(DLCST 0.62 vs 0.93;临床数据集0.62 vs 0.90)。
- 不确定组包含更多较大良性结节及部分实性和非实性结节。
核心结论
- 整合的不确定性估计在识别深度学习算法表现显著更差的病例方面表现出色。
研究设计与样本
- 回顾性研究,整合不确定性估计方法到已开发的深度学习算法中。
- 不确定性阈值在丹麦肺癌筛查试验(DLCST)数据中开发,包含2004至2010年间收集的883个结节(65个恶性)。
- 外部验证在三级学术中心的临床CT数据中进行,包含2004至2012年间收集的374个结节(207个恶性)。
- 参考标准:恶性状态由组织学分析确认,良性状态由至少2年(DLCST)或中位5年以上(临床数据集)的CT随访稳定性确定。
诊断标准与关键数值
- 使用不确定性评分分布的第90和第95百分位数作为阈值,将结节分为确定组和不确定组。
- DLCST中第90和第95百分位数阈值对应的基于熵的不确定性评分分别为0.51和0.59。
- DLCST全数据集AUC为0.93(95%CI:0.90,0.96);第90百分位数阈值下确定组AUC为0.93(95%CI:0.88,0.97),不确定组AUC为0.62(95%CI:0.49,0.76)。
- DLCST第95百分位数阈值下确定组AUC为0.94(95%CI:0.89,0.97),不确定组AUC为0.58(95%CI:0.36,0.79)。
- 临床数据集全数据集AUC为0.88(95%CI:0.84,0.91);应用DLCST第90百分位数阈值时确定组AUC为0.90(95%CI:0.86,0.94),不确定组AUC为0.62(95%CI:0.50,0.73);第95百分位数阈值下确定组AUC为0.89(95%CI:0.86,0.93),不确定组AUC为0.64(95%CI:0.49,0.78)。
临床应用与阅片要点
- 不确定性估计可识别深度学习算法预测存疑的肺结节病例,有助于临床安全实施。
- 在95%特异度下,DLCST全数据集敏感度为68%,第90百分位数阈值确定组敏感度为82%。
- 在95%特异度下,临床数据集全数据集敏感度为32%,应用DLCST第90百分位数阈值确定组敏感度为34%。
- 应用DLCST第90百分位数阈值时,临床数据集中27%的结节被判定为不确定,而DLCST中为10%;应用第95百分位数阈值时,临床数据集中15%不确定,DLCST中为5%。
局限性
- 仅应用了两个不确定性阈值,这些阈值是任意选择的以确保最大部分数据集被判定为确定。
- 最佳阈值取决于应用深度学习算法的医疗环境,作者建议通过多学科方法讨论最佳不确定性阈值,但需在未來工作中进一步评估。
- 临床数据集中肺癌诊断通过国家癌症登记处获得,需基于肺叶位置和发病日期进行链接以找到与报告癌症对应的结节,这可能导致了选择更大、更明显的恶性肿瘤。
全文中译12 节 · 点击展开
引言
美国国家肺癌筛查试验(NLST)和荷兰-比利时NELSON肺癌筛查试验提供的证据表明,通过对高危个体进行低剂量胸部CT重复筛查可以降低肺癌死亡率[1, 2]。这一下降主要归因于肺癌在I期和II期的早期发现,因为这些分期的预后比III期或IV期更有可能良好[3]。因此,肺癌筛查在降低肺癌死亡率方面可以发挥关键作用。然而,全球放射科医生的短缺仍可能导致诊断延迟[4]。
深度学习(DL)可以作为一种有用的工具,有助于减轻放射科医生的工作负担并辅助放射科医生进行肺癌诊断。Venkadesh等人提出了一种用于肺结节恶性风险估计的DL算法,该算法分别在NLST和丹麦肺癌筛查试验(DLCST)的数据上进行了内部和外部验证[5, 6]。该算法在外部验证集中对肺结节恶性风险估计表现出与胸部放射科医生相当的优异性能[6]。
此类DL算法安全临床实施的一个关键方面是能够评估和传达不确定性[7]。估计不确定性对于识别算法对其预测存在疑虑的情况至关重要,并有助于识别容易出现潜在DL判读错误的病例[8]。利用这种不确定性估计可以通过防止算法在高不确定性情况下做出诊断并将这些病例转诊给临床专家进行进一步评估来优化临床工作流程。相反,当确定性较高时,临床专家可能对算法的预测更有信心。这种不确定度估计的主动整合有望最大限度地降低错误风险,从而提升临床采用算法的安全性[9]。现有研究证实了不确定性估计在过滤模糊病例方面的有效性,从而提高剩余病例中算法的准确性[10–16]。然而,尽管大多数研究主要侧重于提高算法准确性而非评估不确定性的原因,一个普遍存在的局限性在于对导致不确定性的潜在趋势识别不足。解决这一局限性很重要,因为如果不了解不确定性的成因,就难以提高DL算法的可靠性。
在本研究中,我们在先前开发的DL算法基础上整合了一种不确定性估计方法。我们的目的是研究在不同不确定性阈值下该算法用于肺结节恶性风险估计的性能,并识别导致算法不确定性的结节特征。
方法
数据收集
本回顾性研究使用两个数据来源的数据进行:丹麦肺癌筛查试验(DLCST)[5]和荷兰一家三级学术中心(临床数据集)。DLCST被用作不确定性估计方法的开发集。DLCST数据集由2004年至2010年间从筛查试验参与者获取的匿名低剂量胸部CT检查组成。DLCST获得了哥本哈根县伦理委员会的批准,所有参与者均提供了知情同意。两名胸部放射科医师完成了DLCST中所有结节的标注。结节的恶性状态经组织学分析确认,对于良性状态,则采用至少2年CT随访期间的稳定性作为判断依据。对于被诊断为肺癌的参与者,我们纳入标注了恶性结节的第一幅图像。对于未被诊断为肺癌的参与者,我们纳入基线图像的结节标注。
临床数据集作为外部验证集,由2004年至2012年间因临床指征对40岁及以上个体进行的胸部CT检查组成,扫描方案多样(使用/不使用碘对比剂)。由于回顾性设计及数据假名化处理,机构审查委员会豁免了知情同意的要求。受试者与荷兰国家癌症登记处链接,以收集截至2014年底的肺癌诊断信息。该数据集收集的更多细节见Chung等(Thorax,2018)[17]。我们对Chung等的恶性和良性结节集进行了调整,排除了有其他原发癌病史患者的所有结节。我们增加该排除标准以去除任何可能存在转移的参与者。对于临床数据集,结节的恶性状态同样经组织学分析确认,对于良性状态,则采用中位5年以上CT随访的稳定性作为判断依据。两个数据集的数据收集和筛选流程图见图1。
不确定性估计
为评估算法不确定性,我们首先使用先前建立的基于深度学习(DL)的集成算法[6]计算DLCST和临床数据集中所有结节的恶性风险估计评分。该DL算法使用由10个二维和10个三维卷积神经网络组成的集成来预测肺结节恶性风险评分。该DL算法在NLST数据上进行了训练和内部验证。训练过程的更多细节见Venkadesh等(Radiology,2020)[6]。DLCST和临床数据集的数据不属于该DL算法的训练数据。
为了评估集成模型的变异性并量化不确定性,对集成模型中所有20个不同的深度学习输出计算了熵。熵提供了深度学习输出随机性的定量度量,可用于估计预测恶性风险的不确定性。熵在既往研究中已在深度学习医学图像分割和乳腺癌分级方面显示出其优势[18, 19]。高熵值表明深度学习算法在预测良性或恶性结果之间同样摇摆不定,而低熵表明深度学习算法对其预测有信心。因此,熵可以作为算法不确定性的指标。例如,当所有20个网络做出的预测都在0.5左右时,熵达到峰值,表明对结节恶性风险分类存在不确定性。相反,当所有预测都集中在0或1附近时,熵达到最小值。最终不确定性评分通过对所有20个不同深度学习输出的熵值取平均值得出,使用以下公式:其中为平均熵,为不同深度学习输出的数量,为阳性类别的预测恶性风险。
开发集
使用平均熵为DLCST中的每个结节计算不确定性评分,得到整个数据集中不确定性评分的分布。在该分布的第90和第95百分位数处确定了两个截断值,用作将结节分类为两个不同组别的判别阈值:确定组和不确定组。这些阈值使得90%和95%的数据被保留为确定组。这使我们能够将大部分数据保留在确定组中,从而模拟真实世界场景——在该场景中,将高比例的病例转诊给人工阅片者会限制并抵消深度学习算法的使用。此外,这使我们能够保留足够的数据来评估深度学习算法在不确定组中的判别性能。该过程的示意图见图2。
使用第90和第95百分位数阈值,比较了深度学习算法在结节恶性风险估计任务中于完整数据集与确定组和不确定组之间的判别性能。深度学习算法的判别性能通过使用受试者工作特征曲线下面积(AUC)以及在95%特异性下的敏感性进行评估。通过将特异性设定为95%,我们旨在尽量减少假阳性。此外,对结节类型(实性、部分实性和非实性)和结节大小进行了亚组分析。对于结节大小亚组分析,按照Lung-RADS 2022的大小标准[20],将结节分为小(<6mm)、中(≥ 6至< 8mm)或大(≥8mm)。亚组分析使用第90百分位数阈值进行,以确保不确定病例的每个亚组中保留足够的结节用于进一步分析。该亚组检查使我们能够深入了解深度学习算法在不同亚组中的不确定性水平,并揭示与不确定性相关的结节特征。
外部验证集
将从DLCST数据集获得的不确定性阈值应用于临床数据集的结节,以探究DL算法在处理非筛查数据时是否表现出更高的不确定性。最初在DLCST上确定的第90和第95百分位阈值,在临床数据集偶然发现的结节上进行了外部验证。这些区分性阈值再次用于将结节分为确定组和不确定组。使用平均熵的第90和第95百分位阈值,比较DL算法在临床数据集全部结节与确定组和不确定组之间估算肺结节恶性风险的性能。
此外,使用DLCST的第90百分位阈值进行了亚组分析,以识别与不确定性相关的潜在结节特征。该分析采用与DLCST数据亚组分析相同的结节类型和大小分类。同时,该方法使我们能够促进两个数据集之间的比较,增强我们对算法在不同研究人群结节中的行为和性能的理解。
统计分析
采用独立样本t检验确定确定组和不确定组中良性和恶性结节大小的统计学差异,以及DLCST与临床数据集之间结节大小的统计学差异。采用卡方检验确定全部数据集及确定组和不确定组中结节类型和大小(小、中、大)的统计学差异。对于卡方检验,部分实性和非实性类型合并为亚实性,以考虑其样本量较小。采用DeLong检验评估全部数据与确定组和不确定组之间AUC的统计学差异。p值低于0.05表示统计学显著差异。
结果
参与者和结节特征
DLCST数据集包括599名参与者(平均年龄58岁±5[标准差];484名男性),在602次CT检查中共有883个结节;临床数据集包括265名参与者(平均年龄64岁±10[标准差];233名男性),在282次CT检查中共有374个结节。在多次CT检查的参与者中,各个结节的首次检出并非在同一CT检查中观察到。表1显示了两个数据集的患者和结节特征。DLCST中的良性结节平均小于临床数据集中的良性结节(p < 0.001)。在DLCST和临床数据集中,分别有85%和81%的所有良性结节为实性(p = 0.305)。DLCST中的恶性结节平均小于临床数据集中的恶性结节(p < 0.001)。在DLCST中,69%的所有恶性结节为实性,而在临床数据集中,90%的所有恶性结节为实性(p < 0.001)。
开发集
基于DLCST数据集中所有883个结节的平均熵,在集成算法的所有20次预测中计算了不确定性估计评分。基于熵的不确定性评分在第90和第95百分位阈值分别为0.51和0.59。该算法在完整数据集上获得了0.93的AUC(95% CI:0.90,0.96)(图3和表2)。在第90百分位阈值下,该算法在确定组获得了0.93的AUC(95% CI:0.88,0.97),在不确定组获得了0.62的AUC(95% CI:0.49,0.76)。在第95百分位阈值下,该算法在确定组获得了0.94的AUC(95% CI:0.89,0.97),在不确定组获得了0.58的AUC(95% CI:0.36,0.79)。DeLong检验显示,DL算法在确定组和不确定组之间的性能在第90和第95百分位分别存在显著差异(p < 0.001和p = 0.003)。在完整数据集和确定组之间,第90和第95百分位分别未发现显著差异(p = 0.935和p = 0.832)。在95%特异度下,DL算法在完整数据集上达到了68%的敏感度,而在第90百分位的确定组上达到了82%的敏感度。
外部验证集
通过应用第90百分位DLCST不确定性阈值,临床数据集的27%被判定为不确定,而DLCST数据集的10%被判定为不确定。在第95百分位DLCST不确定性阈值下,临床数据集的15%被判定为不确定,而DLCST数据集的5%被判定为不确定。
DL算法在完整临床数据集上达到0.88的AUC(95% CI:0.84,0.91)(图4和表2)。通过在临床数据集上应用DLCST第90百分位数阈值,该算法在确定组达到0.90的AUC(95% CI:0.86,0.94),在不确定组达到0.62的AUC(95% CI:0.50,0.73)。在临床数据集上使用DLCST第95百分位数阈值,该算法在确定组达到0.89的AUC(95% CI:0.86,0.93),在不确定组达到0.64的AUC(95% CI:0.49,0.78)。DeLong检验显示,对于第90和第95百分位数,DL算法在临床数据集确定组与不确定组之间的性能存在显著差异(分别为p <.001和p = .004)。在完整数据集与确定组之间,第90和第95百分位数未发现显著差异(分别为p = .342和p = .566)。在95%特异性下,DL算法在完整临床数据集上达到32%的敏感性,而在使用DLCST第90百分位数阈值的确定组上达到34%的敏感性。图5和图6显示了DL算法确定和不确定的结节示例,并附有恶性标签、DL输出、结节大小和类型。
亚组分析
表3总结了DLCST和临床数据集中确定和不确定结节的特征。在附录1和2中,给出了每个亚组中被认为确定和不确定的结节数量和百分比的完整概览。结节根据其大小(小、中、大)和类型(实性、部分实性和非实性)分为亚组。平均结节大小(mm)分析显示,在DLCST中,不确定组由显著大于确定组的良性结节组成(p < 0.001)。在临床数据集中,不确定组也由显著大于确定组的良性结节组成(p = 0.02),且恶性结节显著小于确定组(p < 0.001)。
具体聚焦于基于大小的亚组,DL算法在处理中、大良性结节时,与小结节相比,在两个数据集中均表现出更高的不确定性(p = < 0.001)。与实性良性结节相比,该算法对部分实性和非实性良性结节也表现出更高的不确定性(p = < 0.01)。在DLCST中,对于小的实性、部分实性和非实性结节,分别只有1.9%、0%和4.8%被认为不确定。在DLCST中,对于大的实性、部分实性和非实性结节,分别有18.1%、62.5%和48.7%被认为不确定。在临床数据集中,11.6%的小实性结节被认为不确定,而大实性结节为23.9%。临床数据集不包含任何小的部分实性或非实性结节。然而,大的部分实性和非实性结节中分别有52.2%和46.2%被认为不确定。
讨论
在这项回顾性研究中,我们将不确定性估计方法整合到先前开发的用于估计肺结节恶性风险的DL算法中。我们在两个不确定性阈值下评估了该算法的性能,这些阈值是在丹麦肺癌筛查试验(DLCST)的筛查检出结节上确定的,并在临床环境中的偶然检出结节上进行了外部验证。使用基于第90百分位熵的不确定性估计,该算法在DLCST的确定组中达到AUC为0.93(95% CI:0.88,0.97),在不确定组中AUC为0.62(95% CI:0.49,0.76)。在临床数据集上对该不确定性阈值进行外部验证,该算法在确定组中达到AUC为0.90(95% CI:0.86,0.94),在不确定组中AUC为0.62(95% CI:0.50,0.73)。进一步分析显示,与确定组相比,不确定组中的良性结节显著更大,而仅在临床数据集中,恶性结节的尺寸显著更小。此外,与确定组相比,不确定组中亚实性结节的比例更高。这些发现突出了导致DL算法不确定性的结节特征。
我们的不确定性方法显示不确定组的AUC显著下降,强调了识别DL算法对其预测存在疑虑的病例的能力。这些发现与先前的研究一致,即基于集成学习的DL算法通过熵等方法量化预测变异性,从而提供值得注意的不确定性评估[11, 14, 21, 22]。然而,这些先前研究与我们的研究之间存在一个关键差异。我们超越了典型的不确定性评估,提供了对不确定子集中结节特征的检查。这种独特的方法使我们不仅能够识别不确定性,还能够了解导致不确定性的因素,正如我们在亚组分析中所见。
我们的亚组分析显示,不确定组中较大良性结节的比例更高,同时亚实性结节的比例也更高。值得注意的是,在临床数据集中,被归类为不确定的结节总比例为27%,而在DLCST的筛查数据中这一数字为10%。这一差异表明,当深度学习(DL)算法在医院环境中遇到具有不同特征、采用多种CT扫描方案采集的结节时,而非在筛查试验等受控环境中,观察到的不确定性水平升高。这进一步凸显了不确定性估计的关键作用,以及在未纳入训练阶段的目标队列数据中验证DL算法的重要性。
我们的工作存在局限性。第一个局限性是仅应用了两个不确定性阈值。这些阈值是任意选择的,以确保数据集的最大部分被判定为确定。在此,我们旨在模拟真实世界场景,即将高比例病例转诊给人类读者会限制并抵消DL算法的使用。然而,最佳阈值取决于应用DL算法的医疗环境。我们建议通过多学科方法讨论最佳不确定性阈值以实现最佳临床效益,但这应在未来工作中进一步评估。此外,读者研究也可以评估平衡并最大化DL算法和放射科医生两者性能的最佳阈值。第二个局限性是临床数据集中的肺癌诊断是通过国家癌症登记处获得的,我们必须根据肺叶位置和发病日期进行链接,以找到与所报告癌症对应的结节。这可能导致了选择那些直径较大、更为明显的恶性肿瘤,因为仅纳入了高度确信代表肺癌的结节。
算法不确定性的量化对临床实践和模型开发均具有有价值的潜在意义,因为这允许以更明智和策略性的方式处理这些模糊场景。所展示的不确定性估计的价值有助于DL算法的临床实施,因为目前这仍然有限[23, 24]。特别是随着CT检查增加导致肺结节检出率不断上升[25]以及对肺癌筛查的兴趣日益增长[2, 5, 26],不确定性估计可以进一步放大DL算法对人类读者预期需求的益处。然而,未来工作应通过读者研究调查将这种不确定性估计纳入工作流程和人类读者性能中的影响。此外,使用更新的多中心数据进行额外的外部验证以及在各种算法之间进行评估对于巩固这种不确定性估计的适用性至关重要。采用与Alves等人(Radiology, 2023)[16]类似的方法,未来研究应将这种不确定性估计扩展到多种算法、成像模式和癌症类型。
总之,我们成功地将不确定性估计方法整合到先前开发的用于结节恶性风险估计的深度学习(DL)算法中,并证明我们能够识别出算法性能显著下降的不确定病例。在不确定组中观察到的结节特征强调了较大良性结节和亚实性结节的普遍性,突出了导致算法不确定性的各种因素。整合不确定性估计可以成为一种有前景的减少错误的方法,为临床医生提供一种重要的工具来识别需要专家会诊的病例。此外,不确定病例的特征为算法开发者提供了有价值的反馈,突出了可以扩展算法训练数据以提高算法性能的领域。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 248 KB)
引用
- Peeters D, Alves N, Venkadesh KV, et al. Enhancing a deep learning model for pulmonary nodule malignancy risk estimation in chest CT with uncertainty estimation. Eur Radiol. 2024. PMID: 38536463. doi:10.1007/s00330-024-10714-7
- 全文:PMC11399205(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11399205/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。