文献速递腹部泌尿生殖技术与安全CT

深度学习系统预测囊性肾病变恶性风险:一项多中心研究

Deep learning system for malignancy risk prediction in cystic renal lesions: a multicenter study.
PubMed 文献 · Insights Imaging · 2024-05-20

这项回顾性多中心诊断研究纳入715例患者,开发了交互式三维U-Net分割模型和SETD分类模型,利用多期CT图像预测囊性肾病变恶性风险;SETD在验证集AUC为0.973、测试集AUC为0.998,均优于Bosniak-2019分类。

要点

  • SETD模型在验证集恶性预测敏感度100%、特异度90.3%,测试集敏感度100%、特异度97.2%。
  • 交互式R-net分割在测试集Dice为0.861、IOU为0.762,优于P-net的Dice 0.803、IOU 0.735。
  • SETD在验证集和测试集的AUC均显著高于Bosniak-2019分类(DeLong检验p<0.05)。

核心结论

  • AI系统在验证集和测试集均表现出优良的良恶性鉴别能力,并显示改善临床决策的效用。
  • 作者认为该交互式无创AI系统有助于准确诊断囊性肾病变,减少过度随访和过度治疗。

研究设计与样本

  • 回顾性多中心诊断研究,共评估715例患者,纳入训练集477个囊性肾病变、验证集226个、测试集239个(外部验证队列1、2、3合并)。
  • 分割模型纳入标准为实性组织小于25%、直径大于1 cm、无既往肾脏手术史或多囊肾病;SETD训练队列纳入术后组织病理结果或4年CT/MRI无进展的病例。
  • 验证集和测试集所有入组病灶均有组织学确诊结果,参考标准为组织病理学。
  • 训练集和验证集使用128层或64层螺旋CT,外部验证队列2使用256层螺旋CT,均采用标准化CT扫描方案。
  • 用ITK-SNAP软件由两名腹部放射科医师(诊断放射学临床经验均超过10年)勾画感兴趣区并按Bosniak-2019重新分类,分歧由一名超过20年经验的资深放射科医师参与讨论达成共识。

关键影像表现/征象

  • 透明细胞肾细胞癌在增强CT上典型表现为快进快出,嫌色细胞肾细胞癌和乳头状肾细胞癌倾向于相对均匀强化。
  • 皮髓质期和肾实质期,单纯肾囊肿和囊性肾瘤等良性囊性肾病变通常表现为更渐进、强度更低的强化。
  • SETD模型以预处理的多期CT图像为输入,输出囊性肾病变的恶性概率。

诊断标准与关键数值

  • SETD分类器验证集AUC 0.973、ACC 0.916,测试集AUC 0.998、ACC 0.988。
  • SETD分类器验证集敏感度100%、特异度90.3%,测试集敏感度100%、特异度97.2%。
  • R-net验证集Dice 0.847、IOU 0.743、敏感度0.840、特异度1.000,测试集Dice 0.861、IOU 0.762、敏感度0.876、特异度1.000;P-net验证集Dice 0.781、IOU 0.713、敏感度0.840、特异度1.000,测试集Dice 0.803、IOU 0.735、敏感度0.775、特异度1.000。
  • Bosniak-2019分类(良性I、II;潜在恶性IIF、III、IV)验证集敏感度100%、特异度68.1%,测试集敏感度88.2%、特异度85.5%。
  • 机器学习模型中,Blending ensemble在验证集表现最佳(AUC 0.902,95%CI 0.768–1.000;ACC 0.940,95%CI 0.938–0.941),lightgbm在测试集表现最佳(AUC 0.968,95%CI 0.942–0.993;ACC 0.883,95%CI 0.881–0.884)。

临床应用与阅片要点

  • SETD模型提供简洁的二分(是/否)恶性可能性判定,作者认为可辅助放射科和泌尿外科医师评估并选择最佳手术策略。
  • 作者引用文献指出,基于风险分层,低风险囊肿可保守监测或行腹腔镜去顶术等微创处理,高风险囊肿可能需要更广泛评估或干预。
  • 作者引用文献指出,多个医学组织更新的指南趋向更保守地管理肾囊肿,主动监测已成为Bosniak IIF甚至部分III和IV级病变的推荐选择。

局限性

  • 回顾性设计,需进一步前瞻性验证以强化结果。
  • 严格的纳入和排除标准可能引入选择偏倚,提示需要更广泛的国际多中心研究确认结果的普遍性。
  • 交互式分割模型训练中所有感兴趣区均由放射科医师标注,该方法虽可产生更可靠、更有说服力的结果,但似乎略显陈旧。
  • 年龄和性别等临床特征可能是潜在预测因子,结合深度学习网络与临床特征的混合模型可能进一步提升诊断模型性能。
全文中译15 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 May 20;15:121. doi: 10.1186/s13244-024-01700-0

引言

随着CT检查日益普及,囊性肾病变(CRLs)的检出率越来越高[1, 2]。虽然少数CRLs为需要手术干预的恶性肾肿瘤,但大多数CRLs为无需手术的良性囊性肾肿瘤或单纯性肾囊肿[3, 4]。准确识别CRLs的组成成分对于决定合适的治疗方式至关重要。对比增强计算机断层扫描(CECT)成像常用于区分不同类型的CRLs[5]。然而,恶性CRLs在CECT图像上的复杂表现,包括分隔厚度、壁结节强化及钙化存在,对诊断和管理均构成重大挑战,尤其是在处理早期病例时[6]。

现有恶性CRLs诊断的局限性需要新的方法[2]。尽管Bosniak-2019分类旨在提高准确性,但近期研究表明与其前版相比改善有限[3]。此外,更新后的标准对既往诊断为III类的相当一部分病变进行了重新分类,这也增加了随访负担。Bosniak分类的误用可导致不准确的治疗及相关诊断错误,从而造成肾功能损害、再次手术及医疗纠纷增加等不良后果[7]。

为克服视觉图像评估中主观偏倚的挑战并提高诊断灵敏度(SEN),基于CT扫描提取的定量数据训练的机器学习算法在区分良恶性CRLs方面展现出潜力[8]。Minisk等人从肾源性CT期扫描中识别了六个特征,而Dana等人则侧重于从肾源性CT期扫描中提取放射组学特征。两项研究通过对这些特征进行建模,在区分良恶性CRLs方面均取得了可喜的结果[4, 9]。

我们既往的研究开发了一种融合集成机器学习算法,将定量放射组学特征与深度学习特征相结合,在准确区分良恶性CRLs方面展现出良好的分类性能[10]。然而,既往研究仅利用皮髓质期CT图像构建机器学习算法,而非多期CT扫描。在CECT期成像(肾脏方案)中,肾脏肿块强化通过分析对比剂给药前后CT值(HU)的差异来评估。实性肿瘤区域内HU值增加15或以上提示强化,突显关键的恶性肾肿瘤成分[11]。在本研究中,我们旨在开发并验证一种交互式3D U-Net分割模型,该模型能够高效分割皮髓质期和肾源性期CT图像中的CRLs[12]。为提高诊断CRLs的灵敏度(SEN)和特异度(SPE),创建并验证了一种空间编码器时间解码器(SETD)深度学习分类器。SETD模型利用预训练的3D ResNet50编码器模块提取空间特征,并利用门控循环单元(GRU)网络从多期CT扫描中解码时间特征。

方法

研究参与者与纳入标准

由于本研究为回顾性研究,无需知情同意,且各参与医院的伦理委员会均批准了本研究。本研究符合CLEAR清单指南[13]。在分割模型队列中,纳入标准如下:囊性肾病变(CRL)实性组织占比小于25%、直径大于1 cm、无既往肾脏手术史或多囊肾病病史的个体。

为确保生成适用于临床实践的最优机器学习模型,SETD模型训练队列的纳入标准为术后组织病理学分析结果以及CT或MRI影像学检查4年内未观察到进展的CRL病例。为保证SETD模型性能的可靠性,SETD验证集和测试集中所有入组参与者均有确诊的组织学诊断结果。在SETD模型构建过程中,CRL按Bosniak分类类别均衡分布纳入,使模型能够捕捉影像学表现的全部变异性。详细的纳入和排除标准见图1。

图1 各队列囊性肾病变(CRL)入组流程及病理结果流程图。在训练队列中,良性CRL通过病理学标准和4年CT影像随访确定。验证队列用于模型验证。外部验证队列1、队列2和队列3合并用于模型测试 查看原图 ↗

CT采集方案

训练队列(重庆医科大学附属第一医院)、验证队列(重庆医科大学附属第二医院)、外部验证队列1(广州市第一人民医院)和外部验证队列3(重庆大学附属涪陵医院)使用128层或64层螺旋CT扫描仪获取对比增强CT扫描。外部验证队列2(重庆医科大学附属永川医院)使用256层螺旋CT扫描仪。所有队列均使用标准化CT影像扫描方案(附录表E2)。既往研究仅利用皮髓质期CT图像构建机器学习算法[10]。在本研究中,皮髓质期和肾实质期CT图像被用于构建人工智能(AI)系统。

ROI勾画与Bosniak-2019系统再分类质量控制

所有CRL感兴趣区(ROI)标注和Bosniak-2019再分类均由两名腹部放射科医师(具有10年以上诊断放射学临床经验)完成。为精确勾画CRL边缘,放射科医师使用ITK-SNAP软件仔细审阅多期CT图像数据,综合皮髓质期和肾实质期在轴位、矢状位和冠状位的信息。在CRL勾画存在争议且分类意见不一致的情况下,另一名资深放射科医师(FJ-L,具有20年以上诊断放射学实际操作临床经验,尤其擅长多期CT扫描判读)将参与讨论。此协作确保最终ROI勾画和Bosniak-2019再分类结果达成共识。

交互式分割模型架构

基于3D U-Net和测地距离变换所提出的深度交互式分割方法如附录E1和E2所示。为减少与放射科医师所需的交互次数,我们实施了两阶段3D U-Net分割方法,包括用于分割的初始提案网络(P-net),随后是用于提高分割精度的细化网络(R-net)。P-net通过使用单通道原始图像提供初始自动分割。放射科医师随后验证分割结果并添加一些交互(点击或涂鸦)以指示误分割区域和目标CRL的3D边界。R-net以原始图像、初始分割和用户交互(共包含四个图像通道)作为输入,提供细化后的分割结果。该迭代过程允许放射科医师反复向R-net提供反馈,基于P-net的初步自动分割结果对结果进行细化。

空间编码器和时间解码器模型架构

SETD模型采用基于编码器-解码器的模块化设计,以预处理后的多期CT图像作为输入,生成相应的CRL恶性概率。为从多期CT图像中提取空间特征,空间编码器模块使用由3DResnet50网络编码器层组成的深度卷积神经网络,并加载预训练权重。在空间编码器模块的输出之后,SETD包含一个时间解码器模块。该模块由两个GRU层组成。GRU网络在识别多期CT图像中的演变模式方面特别有效,这是恶性肾肿瘤鉴别诊断中的一个关键方面。该过程的最后一步是将GRU输出通过一个线性层,计算恶性概率(图2)。

图2 用于构建CRLs人工智能(AI)系统的详细流程流程图 查看原图 ↗

统计分析

采用SEN、SPE、交并比(IOU)和Dice相似系数(Dice)评估分割模型。采用受试者工作特征曲线下面积(AUC)、决策曲线分析(DCA)和准确率评分(ACC)评估SETD模型与既往机器学习模型及Bosniak-2019版本的性能比较。统计显著性水平由双侧p值小于0.05确定。所有模型均使用MONAI框架(版本1.12,https://monai.io/)实现。交互式分割模型、SETD模型和数据处理流程已在GitHub上公开(https://github.com/jacobhqh1997/CRL_AI)。

结果

患者临床特征

各队列患者的特征分布总结于表1。从2012年至2023年,我们在训练队列中纳入477个CRLs,在验证队列中纳入226个CRLs,在测试队列中纳入239个CRLs(外部验证队列1、队列2和队列3)。

基于2005年Bosniak版本,SETD训练队列中有11个CRL最初被归类为Bosniak II(8个病灶)和III(3个病灶)。经过4年的影像学随访,这些病灶被证实为良性肾囊肿。此外,根据更新的2019年Bosniak标准,1个CRL被重新分类为Bosniak IV。SETD验证队列和测试队列中的所有病灶均已获得组织病理学结果,SETD训练队列中的恶性CRL也是如此。

表1 CRL患者的基线特征 查看原表 ↗

交互式分割模型性能

P-net和R-net在验证数据集和测试数据集中的详细性能指标见表2。所提出的3D R-net在测地距离方面表现出优于P-net的准确性(验证集:Dice = 0.847,IOU = 0.743,SEN = 0.840,SPE = 1.000;测试集:Dice = 0.861,IOU = 0.762,SEN = 0.876,SPE = 1.000)(P-net验证集:Dice = 0.781,IOU = 0.713,SEN = 0.840,SPE = 1.000;测试集:Dice = 0.803,IOU = 0.735,SEN = 0.775,SPE = 1.000)。图3分别展示了使用放射科医生提供的边缘点进行初始CRL分割和精细CRL分割的示例用法。

表2 P-net和R-net模型在验证数据集和测试数据集中的性能 查看原表 ↗
图3 初始CRL分割模型和精细CRL分割模型的示例用法。a 原始图像输入,(b) 初始分割结果结合阴性指示点(红点),(c) 初始分割结果结合阳性指示点(绿点),(d) 精细分割结果 查看原图 ↗

SETD分类器在CRL分类中的性能

使用最佳训练权重在验证数据集和测试数据集上评估SETD模型。该模型在验证队列中恶性预测的SEN为100%,SPE为90.3%;在测试队列中恶性预测的SEN为100%,SPE为97.2%。

Bosniak-2019系统在CRL分类中的性能

Bosniak-2019分类系统将CRL分为两组:良性(I、II)和潜在恶性(IIF、III、IV)。该系统在验证队列中恶性预测的SEN为100%,SPE为68.1%;在测试队列中恶性预测的SEN为88.2%,SPE为85.5%。

机器学习算法在CRL分类中的性能

我们基于前期研究对上述四种机器学习算法进行了广泛评估。先前机器学习算法中使用的详细影像组学特征见附录E4。Blending集成分类器是验证集中表现最佳的模型(AUC = 0.902(95% CI:0.768–1.000),ACC = 0.940(95% CI:0.938–0.941))。lightgbm分类器是测试集中表现最佳的模型(AUC = 0.968(95% CI:0.942–0.993),ACC = 0.883(95% CI:0.881–0.884))。四种模型的详细性能指标见表3。

表3 各模型及Bosniak-2019分类在验证数据集和测试数据集中的性能 查看原表 ↗

SETD分类器的临床效用

图4展示了各模型AUC性能与Bosniak-2019分类的对比分析,其中后者由放射科医生专门评估。图5展示了SETD模型与Bosniak-2019分类的混淆矩阵之间的详细比较,其中Bosniak分类由放射科医生评估。

在验证和测试数据集中,SETD模型的AUC值(验证集:0.973,95% CI:0.944–1.000;测试集:0.998,95% CI:0.993–1.000)在统计学上显著高于Bosniak-2019分类,AUC DeLong检验显示p < 0.05。图6展示了各模型在验证集和测试集上进行的DCA结果,表明SETD模型在所有考虑的阈值概率下均比“none”和“all”治疗策略提供更大的净获益。该深度学习系统在验证集和测试集中均优于基于Bosniak-2019的管理指南,提示采用SETD算法可改善临床决策支持。附录图E3和E4展示了机器学习模型和Bosniak-2019分类的详细混淆矩阵。

图4 通过受试者工作特征(ROC)曲线评估的各模型诊断性能。a 验证数据集中的ROC曲线,(b) 测试数据集中的ROC曲线 查看原图 ↗
图5 SETD模型和Bosniak-2019分类的混淆矩阵。a SETD模型在验证数据集中的混淆矩阵,(b) Bosniak-2019在验证数据集中的混淆矩阵,(c) SETD模型在测试数据集中的混淆矩阵,(d) Bosniak-2019在测试数据集中的混淆矩阵 查看原图 ↗
图6 各模型在验证集和测试集中的决策曲线分析(DCA)。a 验证数据集中的DCA,(b) 测试数据集中的DCA。y轴代表净获益,x轴代表相应的阈值概率。SETD分类器由红线表示 查看原图 ↗

讨论

在这项回顾性多中心研究中,我们开发了一种无创AI系统用于对恶性与良性CRL进行分层。AI算法的可靠性和适用性由以下关键因素决定:1. 放射科医师可向交互式CRL分割模型提供反馈,从而改善分割结果并使过程更高效、更准确。2. 组织病理学结果是验证集和测试集中CRL分类的诊断金标准。3. 早停方法和加权交叉熵损失防止了SETD训练步骤中的过拟合。4. SETD分类器在验证集和测试集中均表现出强大的诊断性能。5. 本研究计算的RQS质量评分为43,表明AI算法的构建值得信赖且可重复。

在诊断恶性肾脏肿瘤时,评估增强CT(CECT)扫描前后HU值的变化非常有效。例如,透明细胞肾细胞癌(RCC)在CECT扫描中通常表现为快进快出的CT表现。嫌色细胞RCC和乳头状RCC在CECT扫描中往往表现为相对均匀的对比增强[14]。在皮髓质期和肾实质期,良性复杂性肾囊性病变(CRLs),如单纯性肾囊肿和囊性肾瘤,通常表现出更为逐渐且不甚明显的明显强化[15]。我们开发了SETD模型,用于从多期CT图像中检测有用特征,重点关注多期CT图像中的特征变化。这大大提高了模型的预测性能和可解释性[16]。鉴于基于特征的机器学习算法对成像参数变化更为敏感,与本研究前期使用的机器学习模型相比,SETD算法在外部验证数据集中表现出更稳健的性能。

越来越多的证据表明,囊性RCC比相同大小的实性RCC侵袭性更低、预后更好[17]。一个合理的解释是,恶性CRLs中只有实性部分含有恶性细胞,而实性部分通常仅占病变总体积的很小一部分[18]。开发可靠的方法来区分良性囊肿与恶性肿瘤至关重要,尤其是在较大的囊肿中。基于我们深度学习系统的风险分层可以帮助指导管理决策。低风险囊肿可以保守监测或采用腹腔镜去顶术等微创手术治疗,而高风险囊肿可能需要更广泛的评估或干预[19]。

各医学组织的最新指南已转向更为保守的肾囊肿管理方法[20]。主动监测已成为Bosniak IIF甚至部分Bosniak III和IV级病变的推荐选择,因为大多数CRLs为良性肾囊肿[21, 22]。更新版Bosniak分类旨在减少阅片者间变异并提高CRLs恶性预测的准确性。然而,这一修订版分类在临床实践中的有效性仍需验证。此外,高级别Bosniak肾囊肿长期医学随访的影响应仔细考虑。据我们所知,这是最大的CRLs相关人工智能研究,并进行了多中心验证,为术前鉴别恶性CRLs提供了更可靠的工具。最近一项关于IIF级CRLs的研究中位随访时间为50个月,显示IIF级肾脏病变升级和恶性的发生率显著低于既往报道。该研究还观察到,所有参与者在随访36个月后均未表现出任何显著的影像学进展。这表明在大多数情况下,超过36个月的随访可能并非必要[23]。在本研究中,SETD模型对CRLs的恶性可能性给出了清晰、简洁的二元(是/否)判定。这证明了其在临床环境中的实用性,有助于放射科医生和泌尿外科医生评估和选择CRL治疗的最佳手术策略。

我们的研究存在若干局限性。首先,其回顾性设计需要进一步的前瞻性验证以强化研究结果。其次,严格的纳入和排除标准可能引入选择偏倚,提示需要更广泛的国际多中心研究来确认我们结果的普适性。第三,交互式分割模型训练中的所有感兴趣区(ROI)均由放射科医师标注,这种方法虽然能产生更可靠和令人信服的结果,但似乎有些过时。我们的后续研究将探讨半监督分割方法能否应用于临床实践以减轻放射科医师的工作负担[24]。最后,年龄和性别等临床特征可能是潜在的预测因素。将深度学习网络与临床特征相结合的混合模型可能进一步提高诊断模型的性能。

总之,我们开发并验证了一种新型人工智能(AI)系统,将交互式3D U-Net分割模型与SETD模型相结合,以准确区分良性和恶性肾脏囊性病变(CRLs)。该AI算法在验证集和测试集中均表现出良好的判别能力。该无创AI系统将有助于肾脏囊性病变的准确诊断,减少过度随访和过度治疗。

补充信息

电子补充材料

补充视频E1

引用

  1. He QH, Feng JJ, Wu LC, et al. Deep learning system for malignancy risk prediction in cystic renal lesions: a multicenter study. Insights Imaging. 2024. PMID: 38763985. doi:10.1186/s13244-024-01700-0
  2. 全文:PMC11102892(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11102892/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。