基于多中心国际CT数据集的卷积神经网络鉴别肾脏肿瘤良恶性
该研究利用来自美国和瑞典多中心、多厂商的对比增强CT图像,训练三种卷积神经网络鉴别肾脏肿瘤良恶性。
要点
- Inception-ResNetV2鉴别良恶性肾脏肿瘤的AUC达0.918(95%CI 0.873-0.963)。
- AI辅助后医师性能提升(p<0.01),但最高仍不超过72%。
核心结论
- 基于多中心国际CT数据集训练的卷积神经网络能准确鉴别肾脏肿瘤良恶性。
研究设计与样本
- 回顾性纳入264个经组织学确诊的肾脏肿瘤,来自美国单中心和瑞典16家医院。
- 使用3 mm层厚晚动脉期CT图像,经数据增强后按70%:30%随机分为训练集394张和测试集170张图像。
- 采用迁移学习预训练InceptionV3、Inception-ResNetV2和VGG-16三种CNN,并以至少两个网络一致作为集成共识决策。
- 以组织病理学诊断为参考标准,由两名放射科医师对相同图像进行判读以比较性能。
关键影像表现/征象
- 显著性图显示Inception-ResNetV2的决策基于肿瘤特征,多数肿瘤还考虑肿瘤与周围肾实质交界面的特征。
- 显著性图未提示肿瘤周围腹部脂肪参与决策。
- Inception-ResNetV2未将任何恶性病变误判为良性。
- 良性病变被误判为恶性时,模型关注囊外延伸、瘤周脂肪伴或不伴脂肪条索、边界不清等区域。
诊断标准与关键数值
- Inception-ResNetV2鉴别良恶性肾脏肿瘤的AUC为0.918(95%CI 0.873-0.963)。
- InceptionV3和集成共识的AUC均为0.894(95%CI 0.844-0.943)。
- VGG-16的AUC为0.813(95%CI 0.752-0.874)。
临床应用与阅片要点
- 作者认为CNN可在日常临床实践中辅助鉴别肾脏肿瘤良恶性,AI辅助后医师性能显著提升(p<0.01)。
局限性
- 研究为回顾性设计。
- 未纳入基于影像表现未行切除或活检的肿瘤如肾囊肿,可能改变数据集中良性肿瘤的患病率。
- 仅使用单期相图像。
- 未评估模型区分良恶性不同亚型的能力。
- 缺乏外部验证。
全文中译9 节 · 点击展开
引言
根据欧洲泌尿外科学会2022年更新版[1, 2],肾癌在全球最常见癌症中排名第14位,肾细胞癌(RCC)约占所有癌症的3%。RCC是一组异质性肿瘤,占所有肾脏肿瘤的85%,其中遗传易感性占所有RCC病例的5%[3]。性别之间也存在差异,RCC占男性所有癌症的5%,占女性的3%[4]。尽管缺乏筛查项目,但影像学放射学方法对肾脏肿块的偶然早期检出增加,是全球RCC发病率高的主要原因[5]。近年来发达国家死亡率已趋于稳定,但发展中国家死亡率持续上升[6]。流行病学模型预测不久的将来肾癌负担将增加[7],主要与慢性/终末期肾病、肥胖、吸烟和高血压等危险因素相关[8]。
RCC存在三个主要亚型,即透明细胞型RCC(ccRCC)、乳头状RCC(pRCC)和嫌色细胞型RCC(chRCC)。这些亚型分别约占病例的70–80%、14–17%和4–8%[9]。关于转移,ccRCC的转移率最高,为8.7%,其次是pRCC为5.5%,chRCC为2.9%[10]。形态学诊断标准和分子分析的进展导致对肾脏肿瘤的持续重新评估,这反映在最新版(2022年)世界卫生组织(WHO)泌尿生殖系统肿瘤分类中[11–14]。基于手术标本,肾嗜酸细胞瘤(RO)约占所有肾上皮性肿瘤的5%[15]。作为仅次于血管平滑肌脂肪瘤(AML)的第二大良性肾脏肿瘤类别,RO自40年代初首次描述以来,有35年被错误地认为是恶性肿瘤[16]。RO和AML导致不必要的肾切除术,因为它们可能表现出与RCC相似的放射影像学特征,约占此类病例的10%[17]。
减少良性肾脏肿瘤手术过度治疗的临床问题仍然具有挑战性。由于良性和恶性肾脏肿瘤具有相似的影像学特征,常规放射学无法明确区分二者[18]。现代分子检查方法,即99mTc-甲氧基异丁基异腈单光子发射计算机断层扫描/计算机断层扫描(SPECT/CT)[19]和89Zr-girentuximab正电子发射断层扫描/计算机断层扫描(PET/CT)[20],已有报道在更准确地区分RO与RCC方面做出了显著努力。最近一项通过机器学习方法整合99mTc-甲氧基异丁基异腈SPECT/CT和影像组学的初步研究报告,检测RO、HOCT和低级别嗜酸细胞肿瘤(LOT)等肾脏嗜酸细胞肿瘤的准确率为95%[21]。
深度学习使图像识别自动化成为可能,无需从预先指定的感兴趣区域先验提取图像特征[22]。深度学习已被用于研究肾脏肿瘤,主要集中于区分肾细胞癌(RCC)与肾脏其他肿瘤(RO),而忽略了其余肿瘤亚型[23]。涵盖计算机断层扫描(CT)[23]或磁共振成像(MRI)[24]数据的研究报告了检测良性肾脏肿瘤的不同准确率,范围从70%到93.3%。这些研究主要使用来自单一机构及当地患者人群的数据集,这限制了所生成算法的泛化能力[23]。Xi等人使用了来自单一国家的多中心MRI数据集,而MRI并非评估肾脏肿瘤的首选模态[24]。目前广泛认为,单机构数据集无法捕捉患者、图像和疾病模式的复杂性,导致所得算法的泛化能力较差[25]。由于数据隐私问题,构建包含不同患者人群、涵盖不同成像参数的多机构数据集十分复杂。联邦学习等方法可利用来自多个机构的数据训练算法,显著提高模型的泛化能力[26]。或者,可利用开放获取数据或来自大型参考中心的数据,这些中心积累了来自多个中心的训练图像[27]。
本研究旨在训练深度学习(DL)模型,利用增强CT图像区分良性和恶性肾脏肿瘤。使用多机构、多厂商和多中心的CT数据集训练和测试了三种卷积神经网络(CNN)架构,以确保人群多样性和充分的肿瘤类型代表性。开发此类模型可减少恶性病变的误检数量,从而减少不必要的肾切除术。
材料与方法
患者
共回顾性纳入260例患者,结合了来自美国一家医院的开放获取Kits-19挑战赛(https://kits19.grand-challenge.org)训练数据集(n = 210)和MIDOR数据集(n = 50)的患者,后者的检查来自瑞典中部16家医院,转诊至斯德哥尔摩瑞典卡罗林斯卡大学医院Huddinge分院接受癌症诊疗。MIDOR数据集的检查使用6台Siemens、7台Phillips和14台General Electric扫描仪完成(补充表2)。本研究按照《赫尔辛基宣言》进行。MIDOR研究经卡罗林斯卡大学医院(Huddinge)区域伦理审查委员会和辐射安全委员会批准(2018/1626)[19]。所有患者均通过粗针活检或手术切除获得组织学确诊诊断。无晚期动脉期图像的CT检查被排除在分析之外。该多中心国际队列用于CNN的训练和测试。MIDOR队列所使用的中心和扫描仪见补充表1。CLAIM清单确保满足了适当的报告标准[28, 29]。
CT成像及深度学习图像准备
采用层厚3 mm的晚期动脉期CT图像用于深度学习(DL)。若无3 mm层厚图像,则从现有数据重建。选取每个肿瘤的代表性轴位层面,并以矩形方式围绕肿瘤裁剪,包括肿瘤、周围肾实质及周围脂肪之间的界面。代表性图像由一位具有>10年腹部影像经验的顾问放射科医师选取。所选图像通常为肿瘤的中部层面。若肿瘤较大或包含多种特征(坏死部分、囊性部分、实性部分等),则注意选取包含其中大部分特征的层面。所有图像均调整为150×150像素以供DL模型输入。使用水平翻转、顺时针和逆时针旋转10°进行图像增强,最终获得总计564张肾脏肿瘤图像,随后按70%:30%的比例随机分为训练集和测试集,最终数据集为394张训练图像和170张测试图像(图1)。数据预处理和增强在Python v3.9中完成。
卷积神经网络训练与测试
使用ImageNet数据集进行迁移学习,以获得VGG-16、Inception-ResNetV2和InceptionV3卷积神经网络(CNN)的初始权重,并使用我们的数据集对最终层进行微调。三个CNN的共识集成决策也记录为三个CNN中至少两个的一致结果。CNN设置为最多训练100个epoch,并在n=10个epoch时使用早停以防止过拟合。模型以批大小为1进行训练。使用Python v3.9在MacBook Pro M1 Max 64 GB上使用Keras框架进行模型开发。
模型评估与统计分析
计算准确率、灵敏度(召回率)、特异度、阳性预测值(PPV精确率)、阴性预测值(NPV)和f1分数,以评估各个CNN及其共识集的性能。创建受试者工作特征(ROC)曲线以计算相应的曲线下面积(AUC)。两位专家读者,一位具有泌尿生殖影像学专长的放射科顾问和一位资深放射科研究员,评估了与模型相同的图像,以尝试比较专家读者的性能与本文所述最准确模型的性能。
进行回顾性样本量计算,以估计在本样本恶性病例患病率(85%)、把握度80%、a=0.05的情况下,检测任何AUC-ROC≥0.80且95%CI宽度≤0.2所需的最小样本量。样本量计算表明,此类研究至少需要103个肿瘤。
为测试组肿瘤生成积分梯度显著性图,以评估准确率最高的卷积神经网络(CNN)的注意力。显著性图指示图像区域对模型性能的重要性,提供关于模型功能的重要见解,同时有助于CNN的可解释性。使用pROC R包[30](R版本4.2.2,https://www.R-project.org/)通过自助法估计AUC-ROC的95%置信区间。使用DeLong检验[31]比较各种CNN模型的AUC。统计显著性定义为p值小于α水平=0.05。
结果
数据集组成
合并数据集中共纳入37例良性肿瘤(14%)和227例恶性肿瘤(86%)。透明细胞肾细胞癌(RCC)占大多数肿瘤(58.71%),其次是乳头状RCC(11.36%)和嫌色细胞型(10.23%)(图2a)。嫌色细胞型仅占数据集的7.95%。大多数恶性肿瘤(85%)纳入kits19数据集,而良性肿瘤在kits19和MIDOR数据集中的比例大致相同(分别为45.9%和54.1%)(图2b)。患者中位年龄为62岁,女性和男性患者分别占数据集的40%和60%(图2c、d)。患者人口统计学资料见补充表2。
CNN性能评估
Inception-ResNetV2达到最高AUC为0.918(95%CI 0.873–0.963),而VGG-16的AUC为0.813(95%CI 0.752–0.874)。InceptionV3和集成模型表现相同,AUC为0.894(95%CI 0.844–0.943)(图3和表1)。最重要肿瘤类别的显著性图表明,Inception-ResNetV2的决策基于肿瘤特征,同时在大多数肿瘤中考虑了肿瘤与周围肾实质之间界面的特征。重要的是,显著性图未指示肿瘤周围腹部脂肪的参与(图4)。比较三种模型在良性和恶性肿瘤中生成的显著性图表明,与InceptionV3聚焦于肿瘤周围更广泛区域相比,Inception-ResNetV2更有选择性地聚焦于肿瘤和瘤周区域。VGG-16在图像更广泛区域中聚焦较弱,无明显集中于特定部位(补充图1)。需要注意的是,Inception-ResNetV2未将任何恶性病变错误分类为良性。对良性病例被错误识别为恶性的失败预测分析表明,包膜外延伸、瘤周脂肪伴或不伴脂肪条索、或病变边界不清等特征是Inception-ResNetV2聚焦以产生假阳性决策的区域(补充图2)。
将表现最佳的卷积神经网络(CNN)的结果与两位放射科医师的表现进行了比较,一位是具有腹部影像经验的放射科顾问医师,另一位是专攻腹部影像的高年资放射科住院医师。两位放射科医师的表现均较差,顾问医师和高年资住院医师的AUC分别为0.517(95% CI 0.453–0.582)和41.7%(95% CI 0.351–0.481)。两位放射科医师的表现均显著低于Inception-ResnetV2的表现(p < 0.001)(图5)。当要求放射科医师做出相同诊断但此时可以使用CNN的预测结果时,两者的表现均高于不使用人工智能时的表现(p < 0.01)(图5)。为评估Inception-ResNetV2的临床效用,进行了决策曲线分析,结果显示在广泛的阈值概率范围内,使用Inception-ResNetV2的净获益高于全部治疗和不治疗两种情况(补充图3)。
讨论
本研究使用深度学习(DL)来区分恶性和良性肾肿瘤。使用多机构国际数据集训练了三个CNN,其中Inception-ResNetV2在良性肾肿瘤的检测中达到了优异的性能。
我们的结果与Pedersen等人先前发表的一项研究一致,该研究报告在CT衍生图像上检测RO的准确率为90–97.7% [23]。尽管如此,在他们的研究中,良性组仅将RO视为一种肿瘤亚型。如我们数据集中肿瘤的分布所示,RO是主要的良性亚型。然而,其他良性肿瘤也占有相当大的比例,可能妨碍诊断。良性数据集包含了现有良性肿瘤的谱系。这一点也很重要,因为根据文献,RO和其他良性肿瘤的百分比显著低于其恶性对应物。我们队列中良性:恶性肿瘤的比例与其他研究描述的比例相似,并准确代表了真实世界的情况 [32]。如果在深度学习(DL)的数据准备和训练阶段未加以考虑,这种组间不平衡可能导致统计问题 [22]。在我们的工作中,我们通过增强数据集以均衡两组之间的图像数量来减轻这一风险,这是一种广泛使用的正则化方法 [33]。Alzubi等人也在一个数据集上使用了增强过程,该数据集来自一项单中心研究,120名患者接受了增强或非增强CT检查,其中60名患者患有肾脏恶性肿瘤,报告在区分健康与肿瘤肾实质方面的准确率为92% [34]。在Garner等人的另一项单中心研究中,数据集包含132个在相同CT设备下检查的肾脏病变,在组织病理学验证的材料中报告准确率为87% [35]。我们的研究收集了在不同中心、不同CT设备下检查的组织病理学验证的肾脏肿瘤。
肾嗜酸细胞性肿瘤的准确表征不仅在放射学上存在问题 [36],在组织病理学上也是如此,尤其是当标本来自粗针活检时 [37]。Patel及其同事展示,25%的RO病例被错误诊断,导致切除后分别有12.5%和6.3%的肿瘤被重新分类为chRCC或HOCT [37]。在这方面,Inception-ResNetV2的优异性能可以帮助其他检测肾嗜酸细胞性肿瘤的检查方法,如99mTc-sestamibi SPECT/CT [38],以验证或提高其性能。
DL先前已被用于协助与肾肿瘤相关的各种诊断困境。Han等人在区分恶性肿瘤类型(包括ccRCC、pRCC和chRCC)方面达到了85%的准确率 [39]。Zuo等人也尝试了pRCC与chRCC之间的区分 [40],达到了约96%的准确率。Zheng等人在区分ccRCC、chRCC、pRCC和AML方面达到了60.4%的准确率 [41]。大多数涉及良性肿瘤的研究试图区分RCC和RO [23, 24, 42, 43]。这种区分忽略了AML和chRCC等重要肿瘤的存在,这些肿瘤可能使诊断复杂化。Oberai等人专注于基于CT区分良性和恶性乏脂性肾脏肿瘤,包括乏脂性血管平滑肌脂肪瘤 [44],准确率为78%,遗憾的是,来自单一机构。在我们的案例中,Inception-ResNetV2在检查来自多样患者群体的所有可用肿瘤类型时达到了> 90%的准确率,表现出色,处于文献报道性能的上限。
在肿瘤切除术中,肿瘤周围的肾实质至关重要,因为始终需要保证健康的切除边缘。部分肾切除术的出现——目前被认为是早期(T1)肿瘤的金标准——增加了在肿瘤周围保留安全区域的重要性[45]。基于我们表现最佳的卷积神经网络(CNN)生成的显著性图表明,网络注意力主要集中在肿瘤上。部分病例也边缘性地延伸至“视觉上”健康的肾实质。这反映了当前对T1b肿瘤建立最小(至少4 mm)切除边缘的实践[46]。在我们的结果中,网络注意力在瘤周腹部脂肪处的缺失可能表明,在区分恶性和良性病变方面,脂肪受累的重要性低于周围肾实质受累。网络在肿瘤-肾实质交界处的注意力可能提示人眼不可见的影像学特征,这些特征可通过放射组学等先进图像分析方法进一步研究。有趣的是,对假阳性模型预测(良性病例被误预测为恶性)的评估表明,模型被一些 even 经验丰富的放射科医生也可能被迷惑的特征所困扰,如与正常实质边界不清、包膜外延伸或病灶周围脂肪条索影。
将我们表现最佳的模型与人类读者进行比较,表明CNN的性能更优。鉴于已知人类读者无法基于CT准确区分良性和恶性肾肿瘤,这一结果是意料之中的。研究报道了与我们的结果相似的结果,在多期CT上区分良性和恶性肿瘤的特异性约为50%[47]。人类读者可以使用CT以非常高的准确率(接近100%)检测肾肿瘤的存在。然而,即使在同时使用MRI的病例中,区分良性和恶性病变也很困难,大多数病例需要进行活检[48]。重要的是,当我们的读者被要求做出相同诊断但在AI辅助下时,他们的表现显著提高,表明我们的CNN在日常临床实践中具有重要价值。尽管如此,即使在AI辅助下,人类的表现也没有提高到超过72%,这仍然不是肿瘤可接受的诊断准确率。
我们的研究具有一定的优势和局限性。优势包括数据集的多样性、相对于其他已发表研究较大的数据集规模、所有病例均经病理证实,以及使用了CT图像——这是评估此类患者最常用的模态。我们方法的局限性包括其回顾性性质,以及缺乏基于影像表现未进行切除或活检的肿瘤,如肾囊肿。后者可能潜在地改变我们数据集中良性肿瘤的患病率。尽管如此,纳入未经病理证实的病例也会损害对我们结果的信任。我们研究的另一个局限性可能是仅使用了单期图像。然而,尽管仅使用单期图像,我们的算法表现出色。这与既往发表文献一致,表明忽略对比剂期相信息不影响深度学习算法在肾肿瘤评估中的性能[23]。所开发模型未评估其区分良恶性肿块不同亚型的能力是另一个潜在局限性。然而,鉴于某些肿瘤亚型数量极少,这无法实现。此外,缺乏外部验证是本工作的另一个局限性。为模型选择代表性图像可能是一个局限性,因为它可能受阅片者经验的影响。然而,识别病灶的主要特征(如坏死、囊性成分、包膜外延伸)——这些也应包含在代表性图像中——在任何报告中都应常规进行。因此,重要的是,不具备报告此类检查经验的人员不应参与图像选择。最后,尽管我们的方法性能很高,仍存在误分类病例,通过获取更大的数据集可能潜在地减少这种情况。
总之,我们证明卷积神经网络(CNN)在区分良性和恶性肾肿瘤方面具有高性能。本文使用的多中心国际数据集确保了训练数据的多样性,代表了朝着我们算法可重复性迈出的重要一步。
补充信息
附加文件1:补充图1。比较Inception-ResNetV2、InceptionV3和VGG-16注意力的代表性显著性图。补充图2。Inception-ResNetV2模型具有指示性的失败预测。所有失败病例均为良性肿瘤被错误标记为恶性。我们测试集中没有恶性肿瘤被错误标记为良性。图像代表肿瘤的CT表现及相应的显著性图。在第一个病例(A、B)中,算法聚焦于肿瘤向周围脂肪的延伸(箭头),并将外生性病变与正常实质之间的脂肪误认为肿瘤的一部分(箭头头)。在第二个病例(C、D)中,算法聚焦于集合系统和正常实质(箭头)。在最后一个病例(E、F)中,箭头聚焦于清晰的肾周脂肪(箭头头)或可见脂肪条索线的部位(箭头)。补充图3。决策曲线分析展示最佳性能模型的临床价值。在阈值概率范围内,将Inception-ResNetV2的标准化净获益(蓝线)与全部治疗(红线)和全不治疗(绿线)场景进行比较。补充表1。MIDOR数据集中使用的中心和设备。补充表2。MIDOR研究中纳入的50例患者共54个肾脏肿瘤的人口统计学资料*。
引用
- Klontzas ME, Kalarakis G, Koltsakis E, et al. Convolutional neural networks for the differentiation between benign and malignant renal tumors with a multicenter international computed tomography dataset. Insights Imaging. 2024. PMID: 38270726. doi:10.1186/s13244-023-01601-8
- 全文:PMC10811309(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10811309/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。