深度学习在CT结肠成像中鉴别癌前与良性结直肠息肉
本研究回顾性分析平均风险结直肠癌筛查样本的CT结肠成像图像,训练SEG与noSEG两种深度学习模型鉴别腺瘤与良性息肉,并在独立外部多中心测试集验证;SEG模型ROC-AUC为0.83,noSEG为0.75,无需息肉分割即可实现分类并可视化预测区域。
要点
- SEG模型在外部测试集鉴别癌前与良性息肉的ROC-AUC为0.83,敏感度80%时特异度69%。
- noSEG模型不依赖手动分割,ROC-AUC为0.75,敏感度80%时特异度44%。
- noSEG模型Grad-CAM++热图在90%息肉组织区域平均得分≥0.25,提示模型自主聚焦息肉组织。
核心结论
- 在这项概念验证研究中,深度学习能够鉴别CT结肠成像检出的癌前与良性结直肠息肉,并可可视化对预测重要的图像区域。
- 该方法不需要息肉分割,因此有潜力作为自动第二读者促进高危息肉的识别。
研究设计与样本
- 回顾性分析既往已发表的前瞻性结直肠癌筛查队列中平均风险无症状50岁以上人群的CT结肠成像图像,训练集107个息肉(63例患者,平均年龄63±8岁,40名男性)共169个息肉分割。
- 外部测试集为北美多中心CT结肠成像筛查试验的公开数据集(通过The Cancer Imaging Archive获取),包含77个息肉(59例患者)共118个息肉分割,使用不同厂商CT扫描仪和不同扫描方案。
- 训练集CT结肠成像采用64通道多排探测器扫描仪(Siemens Somatom Sensation 64),0.6 mm准直,标准软组织核重建,层厚0.75 mm、重建增量0.5 mm,管电压120 kVp,仰卧位70 mAs、俯卧位30 mAs,平均辐射剂量4.5(0.6)mSv,经直肠管注入室内空气或CO2扩张肠道,未使用静脉对比剂。
- 参考标准为组织病理学:良性包括「regular mucosa」或「hyperplastic polyp」,癌前包括「tubular adenoma」「tubulovillous adenoma」「villous adenoma」;仅出于研究目的,2个「serrated adenoma」和3个「adenocarcinoma」(39 mm、44 mm、75 mm)归入癌前组,1个「lipomatous」归入良性组。
- 两种深度学习模型SEG和noSEG均为集成模型,各由50个三维卷积神经网络组成,取50个CNN输出均值作为模型输出;SEG输入为图像加分割掩膜(50×50×50×2),noSEG仅输入图像(50×50×50×1)。
关键影像表现/征象
- 训练集示例包括直肠7 mm增生性息肉(58岁女性)、横结肠8 mm管状腺瘤(74岁女性)、直肠9 mm管状绒毛状腺瘤(67岁男性),均在轴位2D CT结肠成像和虚拟飞越3D重建上显示。
- noSEG模型的Grad-CAM++热图在手动息肉分割掩膜内体素中,类别激活≥0.25的平均比例为90%。
诊断标准与关键数值
- SEG模型在外部测试集鉴别癌前与良性息肉的ROC-AUC为0.83,分类阈值0.27时敏感度80%(63/79)、特异度69%(27/39)。
- noSEG模型在外部测试集鉴别癌前与良性息肉的ROC-AUC为0.75,分类阈值0.36时敏感度80%(63/79)、特异度44%(17/39)。
- 外部测试集按息肉大小亚组分析:SEG模型对6-9 mm息肉AUC为0.74、对≥10 mm息肉AUC为0.72;noSEG模型对6-9 mm息肉AUC为0.72、对≥10 mm息肉AUC为0.74。
- 外部测试集按组织病理学亚组分析:管状绒毛状腺瘤正确分类比例最高(SEG 23/26(88%);noSEG 23/26(88%)),其次为管状腺瘤(SEG 36/49(73%);noSEG 37/49(76%))和增生性息肉(SEG 21/30(70%);noSEG 15/30(50%))。
- 外部测试集中≤5 mm息肉仅9个分割,数量不足以提供该大小类别的可靠结果。
临床应用与阅片要点
- 当前指南推荐切除CT结肠成像检出的≥6 mm结直肠息肉(欧洲胃肠道和腹部放射学会、美国多学会结直肠癌工作组)。
- 深度学习模型无需专家预先分割息肉,仅需提供息肉定位,有潜力与已建立的计算机辅助检测算法结合用于全自动CT结肠成像评估。
- 作者指出,作为第二读者,基于深度学习的CT结肠成像分析可能进一步提高CT结肠成像在结直肠癌筛查中的诊断准确性,尤其有助于更精确地筛选能从内镜息肉切除术中获益的患者,特别是6-9 mm息肉患者。
局限性
- 本研究为概念验证研究。
- 深度学习模型性能(AUC 0.84和0.75)低于既往同一训练和外部测试数据集使用放射组学随机森林模型达到的AUC 0.91,作者归因于训练数据集相对较小。
- 外部测试集中≤5 mm息肉仅9个分割,数量不足以提供该大小类别的可靠结果。
全文中译16 节 · 点击展开
引言
结直肠癌是男性和女性中三大最常见的癌症相关死亡原因之一[1]。然而,通过早期发现生长数年的癌前腺瘤性息肉,其死亡率和发病率可显著降低[2–5]。免疫化学粪便隐血试验和光学结肠镜(OC)等筛查方法已被证明可降低结直肠癌死亡率,尤其是因为临床症状往往非特异性或缺失[6, 7]。
结直肠癌的一种非侵入性筛查方法是计算机断层扫描(CT)结肠成像。对于检测≥ 6 mm的结直肠息肉,CT结肠成像的灵敏度与OC相当[8–10]。计算机辅助检测(CAD)算法作为第二读者使用时,可减少CT结肠成像中遗漏的结直肠息肉数量[11, 12]。
然而,传统CT结肠成像无法明确区分良性和癌前结直肠息肉,而这对于个体化风险分层和治疗管理至关重要。癌前腺瘤性息肉需要内镜下切除,而良性增生性息肉可避免不必要的干预。由于息肉大小是CT结肠成像中恶性可能性的唯一替代指标,当前指南建议切除CT结肠成像中检测到的≥ 6 mm的结直肠息肉(欧洲胃肠道和腹部放射学会、美国结直肠癌多学会工作组)[13, 14]。
初步研究表明,使用放射组学的基于机器学习的CT结肠成像可能实现良性和癌前结直肠息肉的非侵入性鉴别[15, 16]。这些放射组学方法包括三个步骤。第一,分割医学图像中的感兴趣区域,即CT结肠成像扫描中的息肉。第二,提取分割区域的放射组学特征。第三,对提取的特征进行机器学习分析以预测息肉性质。尤其是息肉分割的第一步,此前由专家手动完成,是这些方法潜在整合到临床常规中的一大障碍,并阻碍了全自动息肉分类。此外,这些方法的可解释性仅限于单个放射组学特征的重要性。深度学习可能潜在地克服这些挑战,从而大幅缩小基于机器学习的CT结肠成像息肉分类与临床应用之间的差距。
使用卷积神经网络(CNN)的基于深度学习的图像分类不需要预先分割感兴趣区域,并已被证明是自动图像分析中的一种高效方法,为肿瘤学成像中的肿瘤检测和分类提供了强大工具[17]。在深度学习方法的第一步中,息肉的定位即可满足需求。在第二步中,深度学习模型可利用定位周围CT结肠成像图像的小子体积直接预测息肉性质。此外,CNN可用于可视化输入图像中对模型预测可能重要的区域,以提高模型可解释性[18]。
因此,本研究的目的是利用深度学习在CT结肠成像中区分癌前病变(即腺瘤)和良性(即增生性息肉或正常黏膜)结直肠息肉。
材料与方法
训练集
本研究经机构审查委员会批准,并豁免了书面知情同意要求。本研究是对先前发表的一项前瞻性结直肠癌筛查队列的CT结肠成像图像进行的回顾性分析,该队列纳入50岁以上无症状平均风险人群,受试者于同一天接受光学结肠镜检查(OC)和CT结肠成像[8]。先前发表的结直肠癌筛查队列的排除标准为:存在结肠疾病征象,如腹痛、排便频率明显改变、腹泻、黑便和便血,以及结直肠癌家族史阳性、遗传性结直肠癌综合征、炎症性肠病、严重心血管或肺部疾病、体重>150 kg,以及过去5年内曾行OC。本研究仅纳入组织病理学确诊结果与CT结肠成像所见相符的参与者(图1)。
训练集中的CT结肠成像
CT结肠成像的肠道准备见补充材料。CT结肠成像图像采用64通道多排探测器扫描仪(Siemens Somatom Sensation 64,Siemens Healthineers)以0.6 mm准直采集,并使用标准软组织卷积核重建,层厚0.75 mm,重建增量0.5 mm。管电压为120 kVp,采用自动管电流调节,仰卧位和俯卧位的管电流-时间乘积参考值分别为70 mAs和30 mAs。CT结肠成像的平均辐射剂量为4.5(0.6)mSv。为扩张肠道,经直肠管注入室内空气或CO2。未使用静脉对比剂。CT结肠成像方案已在先前详细描述[8]。
外部测试集
来自北美多中心CT结肠成像筛查试验的CT结肠成像数据集通过The Cancer Imaging Archive(TCIA)公开获取,作为外部测试集[19–21]。外部测试集包含在来自不同厂商(Siemens Healthineers;Philips Healthcare;GE Healthcare Systems;Canon Medical Systems)的各种CT扫描仪上以不同扫描方案采集的多中心CT结肠成像图像。仅纳入有组织病理学报告可用的息肉。
息肉分割
前瞻性息肉检测和息肉匹配在补充材料中描述。所有读者均被告知息肉大小及行息肉切除术的结肠段。组织病理学息肉分类对所有读者设盲。结直肠息肉由一名委员会认证的放射科医师(具有8年CT结肠成像经验;完成了CT结肠成像专门实践操作研讨会)和两名放射科住院医师(具有3年CT结肠成像经验;其中一人完成了CT结肠成像专门实践操作研讨会)在多平面2D CT结肠成像图像上以等量手动分割,如先前详细描述[16]。为进行准确的回顾性息肉再检测,使用了2D和虚拟飞越3D CT结肠成像重建(图2)。无法在CT结肠成像中清晰识别和/或无法明确对应至相应组织病理学报告的结直肠息肉被排除。读片结果不一致时进行共识读片。当三名读者对息肉定位和分割均达成一致时即达成共识。每个结直肠息肉在仰卧位和俯卧位图像中均进行分割(若在两个体位中均可自信检测到)。使用专用后处理软件syngo.via versionVA30B(Siemens Healthineers)的CT结肠成像工作流程进行息肉检测。使用医学影像交互工具包(MITK)Version 2018.04(德国癌症研究中心——医学图像计算部)进行息肉分割[22]。
组织病理学参考标准
若相应组织病理学报告将结直肠息肉分类为“正常黏膜”或“增生性息肉”,则视为良性;若相应组织病理学报告将其分类为“管状腺瘤”、“管状绒毛状腺瘤”或“绒毛状腺瘤”,则视为癌前病变。
仅出于研究目的,2个组织病理学分类为“锯齿状腺瘤”的病变和3个组织病理学分类为“腺癌”的病变(39 mm、44 mm和75 mm)被纳入癌前病变组。1个组织病理学分类为“脂肪瘤性”的息肉被纳入良性组(表1)。
基于深度学习的集成模型
本研究研究了两种基于深度学习的模型:SEG和noSEG。两种模型均为集成模型,各由50个三维卷积神经网络组成[23]。在每个集成模型中,50个相应CNN的平均输出被用作模型输出。采用集成方法是为了解决训练单个CNN时观察到的方差问题。该方差被认为是训练集规模的影响——深度学习通常应用于大型数据集——且无法通过数据增强消除。两种集成模型中所使用的CNN除输入层外完全相同(图3)。SEG中的CNN期望输入尺寸为50 × 50 × 50 × 2(图像+分割),noSEG中的CNN期望输入尺寸为50 × 50 × 50 × 1(图像)。noSEG模型中的一个CNN示意图见图4,两种模型中CNN的逐层详细描述见表2。两种模型均使用Keras(版本2.4.3)[24]实现,这是一个开源的Python神经网络接口。开源机器学习库TensorFlow(Google Brain,版本2.4.1)[25]被用作后端。
CNN训练
每个模型中的每个CNN均单独训练以预测组织病理学息肉类别标签(良性 vs. 癌前病变)。SEG中的CNN使用图像和分割进行训练;noSEG中的CNN仅使用图像进行训练(图3)。每个CNN均使用不同的80–20训练-验证划分进行训练。在这些划分中,80%的数据被随机选为训练数据以训练网络,其余20%用作验证数据以监测训练过程。训练参数包括随机梯度下降(SGD)优化器、学习率0.01、二元交叉熵损失函数和批大小8。训练数据中使用了数据增强,包括随机裁剪。验证数据未进行增强,但围绕息肉中心裁剪至尺寸50 × 50 × 50以匹配输入尺寸。采用早停法自动结束训练过程:如果20%验证集中的AUC在64个epoch内未增加,则停止训练并恢复验证AUC最高那个epoch的权重。
外部测试集的统计分析
训练模型SEG和noSEG的分类性能在独立的外部测试集上进行评估(图3)。模型输出分数计算为每个集成中50个卷积神经网络(CNN)对每幅输入图像的个体输出分数的算术平均值。使用分类阈值将模型输出分数转化为预测。选择该阈值以使灵敏度达到80%。分类性能使用AUC、灵敏度和特异度进行量化。对于基于息肉大小的亚组分析,根据息肉分割掩膜计算息肉在三个维度上的最大直径。
模型预测的视觉解释
基于梯度的CNN可视化技术GradCAM++ [18]提供了模型noSEG对测试集所做预测的视觉解释(仅基于输入图像的预测)。对于输入图像中的每个体素,GradCAM++计算一个范围从0.0到1.0的类别激活值,以可视化其与模型输出分数的对应关系。图5显示了三个选定息肉的GradCAM++图像。此外,我们量化了模型noSEG在决策过程中对被标记为“息肉”的体素(根据手动息肉分割掩膜)的关注程度,并计算了手动息肉分割掩膜内GradCAM++类别激活值≥0.25的体素百分比(图5)。
统计分析的代码已在开发平台GitHub上公开提供,网址为https://github.com/pwesp/deep-learning-in-ct-colonography。
结果
训练集
在连续纳入的311名同日接受CT结肠成像和光学结肠镜检查(OC)的成人中,2名因在CT结肠成像后退出试验而必须被排除,2名因OC不完整而被排除,如前所述[8]。在307名来自平均风险无症状筛查人群的结直肠癌筛查参与者中,201名未发现组织病理学确诊息肉的参与者被排除。在106名组织病理学确诊息肉的参与者中,43名因CT结肠成像数据集缺失或不完整而被排除。在OC中检测到的164枚结直肠息肉中,57枚因回顾性归入组织病理学参考标准存在模棱两可和/或回顾性CT结肠成像定位不确定而被排除,详见前述[16]。57枚被排除息肉中35枚为良性,57枚中22枚为癌前病变。107枚息肉中5枚进行了共识判读。总计,在63名患者(23名女性;平均年龄:63 ± 8岁)中评估了107枚具有组织病理学参考的结直肠息肉,包括CT结肠成像图像中的169个息肉分割(91个仰卧位和78个俯卧位)。86个息肉分割被分类为癌前病变(腺瘤),其中8个≤ 5 mm,18个在6至9 mm之间,60个≥ 10 mm,测量息肉分割的最大三维直径。83个息肉分割被分类为良性(增生性息肉或正常黏膜),其中16个≤ 5 mm,49个在6至9 mm之间,18个≥ 10 mm。
外部测试集
由于肠道清洁/标记不充分或肠管扩张不良,OC中检测到的194枚结直肠息肉中53枚在CT结肠成像中无法清晰识别。64枚息肉因回顾性归入组织病理学参考标准存在模棱两可和/或回顾性CT结肠成像定位不确定而被排除,详见前述[16]。117枚被排除息肉中58枚为良性,117枚中59枚为癌前病变。77枚息肉中5枚进行了共识判读。总计,在59名患者中分析了77枚结直肠息肉,包括118个息肉分割(56个仰卧位和62个俯卧位)。79个息肉分割被分类为癌前病变(腺瘤),其中1个≤ 5 mm,30个在6至9 mm之间,48个≥ 10 mm。39个息肉分割被分类为良性(增生性息肉或正常黏膜),其中8个≤ 5 mm,26个在6至9 mm之间,5个≥ 10 mm。
外部测试集的统计分析
在独立的外部测试集上,模型SEG的输出评分产生的AUC为0.83,模型noSEG的输出评分产生的AUC为0.75。在分类阈值为0.27时,模型SEG对息肉类别的模型预测产生的敏感性和特异性分别为80%(63/79)和69%(27/39)。在分类阈值为0.36时,noSEG对息肉类别的预测产生的敏感性和特异性分别为80%(63/79)和44%(17/39)(图6)。
使用基于梯度的CNN可视化技术GradCAM++提供了深度学习预测的视觉解释。来自模型noSEG的GradCAM++类别激活为0.25或更高的手动息肉分割掩膜体素比例平均为90%。
在外部测试集基于大小的亚组分析中,模型SEG对大小为6至9 mm的息肉 yields 的AUC为0.74,对≥10 mm的息肉为0.72。模型noSEG对大小为6至9 mm的息肉 yields 的AUC为0.72,对≥10 mm的息肉为0.74。由于当前指南推荐对≥6 mm的结直肠息肉进行内镜下切除,外部测试集中具有可用组织病理学分类的≤5 mm息肉数量(9个息肉分割)不足以提供该大小类别的可靠结果[13, 14]。
在基于组织病理学报告的外部测试集进一步亚组分析中(见表3),管状绒毛状腺瘤的正确分类病例百分比最高(SEG:23/26(88%);noSEG:23/26(88%)),其次是管状腺瘤(SEG:36/49(73%);noSEG:37/49(76%))和增生性息肉(SEG:21/30(70%);noSEG:15/30(50%))。
讨论
在这项概念验证研究中,我们在年龄超过50岁的平均风险、无症状结直肠癌筛查队列的CT结肠成像数据集中,研究了基于深度学习的癌前病变与良性结直肠息肉的区分。基于深度学习的图像分析能够通过CT结肠成像以0.83的AUC区分良性和癌前结直肠息肉。即使不使用手动息肉分割进行决策,深度学习也达到了0.75的AUC。外部验证证明了深度学习模型的稳健性,尽管图像是在各种CT扫描仪上使用异质性CT结肠成像成像方案采集的[19–21]。与癌前潜能较低的管状腺瘤(73%和76%)相比,管状绒毛状腺瘤的分类准确性更高(每个模型88%)。这可能表明,对于癌前息肉,息肉的恶性潜能越高,区分性能越高。
深度学习在CT结肠成像中用于结直肠息肉分类的应用尚未充分确立。在一项开创性研究中,Tan等人研究了CT结肠成像中检测到的>30 mm结直肠病变的基于深度学习分类与组织病理学参考标准的相关性[26]。管状腺瘤、管状绒毛状腺瘤和绒毛状腺瘤被标记为良性(N = 31);腺癌被标记为恶性(N = 32)。在两折交叉验证中,在CT结肠成像图像上训练的深度学习模型达到了0.84的AUC [26]。
我们的研究对文献有所贡献,因为我们展示了基于深度学习的图像分类在CT结肠成像中区分腺瘤(癌前病变)和增生性息肉(良性)的能力,考虑到大多数结直肠癌起源于腺瘤,且通过早期检测及后续切除可显著降低结直肠癌的发病率[2–4]。由于我们纳入了≤ 9 mm的息肉(训练集N = 91幅图像,外部验证集N = 65幅图像),我们的结果表明小结直肠息肉可以使用深度学习分类为良性或癌前病变。此外,我们在一个独立的、外部的、多中心测试集中评估了基于深度学习的模型的性能。
除深度学习外,经典机器学习方法已作为放射组学方法的一部分用于CT结肠成像中的结直肠息肉分类[15, 16]。放射组学方法通常包括三个步骤:感兴趣区域分割、放射组学特征提取、机器学习预测。在此前使用此类放射组学方法对该训练集和外部测试数据集的分析中,随机森林机器学习模型能够稳健地区分CT结肠成像检测到的良性和癌前结直肠息肉,AUC为0.91 [16]。与深度学习相比(AUC为0.84和0.75)更高的性能可归因于训练数据集相对较小的规模。与随机森林等经典机器学习方法相比,深度学习通常需要更大量的数据才能成功训练[17, 27]。
本研究提供了额外的价值,因为与放射组学方法相反,基于深度学习的CT结肠成像图像分析不需要息肉分割。只需提供息肉的定位。此外,深度学习模型同时提取图像特征并做出预测,这导致仅需两个步骤的方法:定位和深度学习预测。这有望应用于临床常规,因为与全面分割相比,息肉定位更为可行。此外,它为全自动CT结肠成像评估提供了基础,因为基于深度学习的息肉分类可以与已建立的用于息肉检测的CAD算法相结合[11, 12]。此外,构成深度学习模型的CNN使预测的视觉解释成为可能。我们使用基于梯度的CNN可视化技术GradCAM++ [18]来突出显示输入CT结肠成像图像中可能与决策相关的区域。在放射科医生手动标注以创建息肉分割掩码的图像区域中高激活证实,模型noSEG能够自主识别哪些图像体素对决策重要,而无需通过息肉分割进行预先识别。相比之下,放射组学方法通常允许在训练经典机器学习模型时根据特征的重要性对其进行排序。然而,大多数放射组学特征是二阶纹理特征,在医学背景下难以解释。
作为第二读片者,基于深度学习的CT结肠成像分析能够更精确地筛选出可从后续内镜下息肉切除术中获益的患者,从而进一步增加CT结肠成像结直肠癌筛查的临床影响。尤其考虑到使用CT结肠成像的结直肠癌筛查项目相比光学结肠镜(OC)显示出更高的参与率[28, 29]。当前指南建议切除CT结肠成像中检测到的≥ 6 mm的结直肠息肉[13, 14]。该推荐的一个原因是,在筛查性CT结肠成像中对≤ 5 mm的息肉进行结肠镜转诊已被证明成本效益极差,每获得一个生命年需花费464,407美元[30]。此外,Pickhardt等人证明,CT结肠成像中对6至9 mm息肉进行结肠镜转诊的增量成本效益比为每获得一个生命年59,015美元,而≥ 10 mm的息肉为− 151美元(每人成本节约)[30]。通过区分癌前病变与良性结直肠息肉,尤其是在6至9 mm大小类别中,基于深度学习的CT结肠成像分析可能有望提高CT结肠成像后结肠镜转诊的成本效益比。
本研究存在局限性。样本量较小。每个在CT结肠成像中可可靠识别且能明确对应相应组织病理学报告的息肉均进行了分割。然而,光学结肠镜(OC)中检测到的相当数量息肉不得不被排除。因此,本研究结果仅适用于CT结肠成像中清晰可检测的息肉,选择偏倚不能完全排除。训练期间呈现给深度学习模型的任何息肉在测试期间均未再次呈现给该模型。然而,模型SEG中一个息肉的多重分割之间或一名患者多个息肉之间的相关性不能排除。本研究中锯齿状腺瘤的患病率(1.6%)(122名患者中2例)与大规模CT结肠成像筛查研究中锯齿状腺瘤的患病率(1.4%)一致[31]。然而,锯齿状腺瘤的数量(N = 2)不足以对该类别提供可靠的基于深度学习的分析结果。
结论
在这项概念验证研究中,基于深度学习的CT结肠成像分析能够在与组织病理学相对应的外部验证队列中区分癌前病变与良性结直肠息肉。即使模型仅提供CT图像而未利用专家息肉分割掩膜,区分也是可能的。深度学习使结果具有视觉可解释性,从而可以分析对预测可能重要的图像区域。尽管这些发现需要在前瞻性研究中验证,但所提出的方法有望作为一种自动化第二读片者促进高风险息肉的识别。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 21 KB)
引用
- Wesp P, Grosu S, Graser A, et al. Deep learning in CT colonography: differentiating premalignant from benign colorectal polyps. Eur Radiol. 2022. PMID: 35083528. doi:10.1007/s00330-021-08532-2
- 全文:PMC9213389(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9213389/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。