文献速递头颈神经CT

深度学习辅助增强CT诊断口腔癌颈部淋巴结转移:1466例回顾性研究

Deep learning assisted contrast-enhanced CT-based diagnosis of cervical lymph node metastasis of oral cancer: a retrospective study of 1466 cases.
PubMed 文献 · Eur Radiol · 2022-12-28

该单中心回顾性研究纳入1466例口腔癌患者的术前增强CT及术后病理,构建Mask R-CNN两阶段深度学习模型,先分割颈部解剖结构再判别淋巴结转移,并引入迁移学习。迁移学习模型在置信度0.85时淋巴结阳性准确率70.42%、临床准确率85.09%,与放射科医师(76.47%)相当且高于外科医师和学生。

要点

  • 模型可自动识别、定位并判别颈部淋巴结转移,无需人工勾画。
  • 迁移学习显著提升淋巴结转移判别准确率(p<0.001)。
  • II区淋巴结阳性准确率在各模型中最高。

核心结论

  • 基于增强CT的Mask R-CNN深度学习模型可高精度识别、定位并判别口腔癌颈部淋巴结转移,迁移学习能提升预测准确率,辅助临床诊断与个体化治疗规划。

研究设计与样本

  • 单中心回顾性研究,纳入2012年9月至2020年9月武汉大学口腔医院1466例口腔癌患者术前增强CT及术后病理诊断。
  • 数据分两阶段标注:I阶段标注牙齿、骨、淋巴结、血管、其他软组织五类共5412幅图像;II阶段标注阳性与阴性淋巴结共5601幅图像。
  • 采用Mask R-CNN实例分割框架,ResNet101骨干网络结合特征金字塔网络,I阶段模型通过迁移学习用于II阶段训练。
  • 数据集按60%训练、30%验证、10%测试划分,以病理诊断为参考标准,并与放射科医师、外科医师、学生及放射科报告对比。

关键影像表现/征象

  • I阶段模型在测试集对不同解剖结构分割的AP50为72.49%、AP60为58.72%、AP70为35.88%、AP为29.63%。
  • II阶段迁移学习模型在置信度0.85时淋巴结准确率71.90%、淋巴结阳性准确率70.42%、临床准确率85.09%,各指标达最高。
  • 迁移学习模型淋巴结阳性准确率与放射科医师(76.47%)差异无统计学意义(p=0.243),显著高于外科医师(42.16%)和学生(36.29%)(均p<0.001)。
  • 模型临床准确率85.09%,高于放射科报告的66.58%及放射科医师、外科医师、学生的80%、55%、45%。
  • II区淋巴结阳性准确率在各模型及各置信度下均最高。

诊断标准与关键数值

  • 淋巴结阳性准确率:迁移学习模型置信度0.85时为70.42%,放射科医师76.47%(p=0.243),外科医师42.16%(p<0.001),学生36.29%(p<0.001)。
  • 临床准确率:迁移学习模型置信度0.85时为85.09%,放射科报告66.58%,放射科医师80%,外科医师55%,学生45%。
  • 淋巴结准确率:迁移学习模型置信度0.85时为71.90%。
  • I阶段模型分割性能:AP50 72.49%、AP60 58.72%、AP70 35.88%、AP 29.63%。
  • 迁移学习模型在置信度0.80与0.85间及与其他模型比较,差异均达p<0.001(卡方检验)。

临床应用与阅片要点

  • 模型可自动定位并判别颈部淋巴结转移,输入完整增强CT图像集后数秒内输出结果,无需人工勾画淋巴结。
  • 阅片时可参考模型对I–III区(尤其是II区)淋巴结的提示,这些区域为口腔癌转移好发区且模型准确率较高。
  • 模型基于增强CT,普及性强,可作为术前无创辅助工具帮助制定颈淋巴结清扫范围。
  • 注意模型对形态和大小正常的淋巴结微转移预测仍有限,不能完全替代病理诊断。

局限性

  • 单中心回顾性研究,病理报告与增强CT图像中淋巴结未完全一一对应。
  • 新诊断系统需大规模临床应用与验证,患者接受度仍具挑战。
  • 基于增强CT的模型对形态和尺寸正常的淋巴结微转移预测仍不理想。
  • 需多中心前瞻性研究及更大样本验证,以克服不同增强CT机器的细微差异。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Dec 28;33(6):4303–12. doi: 10.1007/s00330-022-09355-5

引言

口腔癌是全球范围内常见的恶性肿瘤,复发率高[1, 2]。淋巴结(LN)转移是口腔癌患者复发的常见原因[3]。淋巴结转移识别不佳常导致隐匿性转移(30–40%)治疗不足和早期过度治疗(60–70%),两者均可导致不良预后[4, 5]。此外,是否应行选择性颈淋巴结清扫术以及组织切除范围本质上取决于淋巴结转移的诊断。

目前,CT和MRI常用于识别淋巴结的大小、内部异质性和轮廓[6, 7]。联合[18F]FDG PET后,这些影像学方法可达到更高的灵敏度[8, 9]。尽管现代医学影像技术取得了进步,但即使经验丰富的放射科医生也常因有限的工作时间和繁重的日常工作量而漏诊淋巴结转移[10, 11]。可进行额外的有创操作,如细针穿刺活检,以提高可疑淋巴结的诊断准确性,但这对患者有害[12]。因此,需要更准确、无创的淋巴结转移诊断方法。

作为机器学习(ML)的一个子领域,深度学习(DL)是一种使用更复杂网络模型结构的方法,在发现输入数据中更深层特征方面能力更强,并在许多机器学习实际应用场景中表现良好[13, 14]。许多研究表明,DL在图像处理问题上取得了优异性能[15–17]。基于DL的图像分类和目标检测已广泛应用于医学领域,为诊断提供支持性建议[13, 18–24],如皮肤癌[25]、乳腺癌(淋巴结)[26]和COVID-19[27]。此外,DL在多项医学图像分析任务中可达到或超过人类专家的表现[28, 29]。在基于DL的医学图像处理领域,缺乏标注数据集是一个主要问题[18]。将迁移学习(TL)引入DL可缓解标注数据集的短缺。TL可通过从不同但相关的源域迁移知识来提高目标域上的学习性能[30]。

为帮助降低淋巴结的高误诊率,值得将人工智能(AI)引入口腔癌淋巴结影像识别领域。因此,本研究旨在开发一种DL模型,能够以更高准确率在CECT图像中识别、定位和区分淋巴结,以替代现有低效的人工识别方法。

材料与方法

患者队列

本研究按照STROBE指南的建议进行报告,并获得武汉大学口腔医院伦理委员会机构审查委员会(IRB)批准(IRB编号2020-B63)。由于其为回顾性研究,所有患者均无法被识别,仅收集影像数据和病理报告,且提取的数据不包含患者姓名。因此,未获取参与同意。

回顾性收集2012年9月1日至2020年9月22日期间武汉大学口腔医院收治的2773例口腔癌患者的CECT图像。根据我们的纳入和排除标准筛选后,剔除了1307例无效样本(表S1)。纳入患者的基线信息见表1和表S2。对于纳入的1466例样本,选取5412张图像进行全层数据标注(I期),选取5601张图像进行淋巴结转移判别数据标注(II期)(图1)。

表1 本研究1466例口腔癌患者的基线信息 查看原表 ↗
图1 患者数据收集、筛选、分类和数据标注流程。研究人群流程图及数据标注和机器学习构建预测模型的分组。LN,淋巴结;LN+,阳性淋巴结;LN−,阴性淋巴结 查看原图 ↗

数据处理

三名研究人员由我院一名具有20年工作经验的放射科医师专门培训,负责本研究。所有数据均基于病理信息进行标注,以就分割准确性达成共识。若未达成共识,研究人员咨询放射科医师以减少人为误差。标注完成后,由放射科医师审核批准(或根据需要修改)。

本研究分两个阶段进行。在I期,根据传统CT颈部淋巴结分区指南(七类)[31]筛选CECT图像。图像中包含了淋巴结的大多数可能位置,尤其是最常见的I至V区。目标区域基于Label Studio(一个私有部署平台,基于开源数据标注平台)通过形成多边形进行勾画。例如,淋巴结由绿色点和线组成的多边形勾画。图像中出现的其余结构同步勾画,如牙齿(浅蓝色)、骨骼(深蓝色)、血管(红色)和其他软组织(黄色)。在II期,基于Label Studio分别由红色(LN+)和绿色(LN−)点和线组成的多边形勾画阳性淋巴结(LN+)和阴性淋巴结(LN−)(图2)。数据处理的详细信息(包括CT参数)见补充材料。

图2 数据标注过程。使用我们的数据标注工具对I期和II期输入CECT图像进行数据标注的过程。用于训练的数据集图像由标注数据生成 查看原图 ↗

模型介绍

本研究引入了Mask R-CNN,这是实例分割领域中一个简单、灵活且通用的深度学习框架。Mask R-CNN在Faster R-CNN的基础上增加了掩码生成分支,可实现目标检测并为物体的不同实例生成高质量掩码[32]。

基于Mask R-CNN框架使用TensorFlow的相关代码已实现。网络结构由三部分组成:主干网络、区域提议网络(RPN)和头部网络(图S1和S2)。

由于这两个阶段的训练任务性质相似,均为多类实例分割(I期五类,II期两类),整体网络结构相似,但训练过程参数设置不同。

选择由101层组成的ResNet101作为主干特征提取网络,同时基于特征金字塔网络(FPN)构建特征金字塔。在以下部分中,C1至C5用于定义不同ResNet卷积层输出的特征图[16]。FPN的构建旨在实现多尺度特征的融合[33]。提取的P2至P6可作为RPN的有效特征层(图S2)。

RPN用于为头部网络生成感兴趣区域(RoI)[34]。考虑输入图像的尺寸,定义了五个不同尺度的锚框——16 × 16、32 × 32、64 × 64、128 × 128和256 × 256。通过RPN区域生成网格线,并生成可能包含对象的预选边界框,称为提议区域。根据对每个提议区域的评估生成一组RoI,这大大减少了后续分类检测的任务量。

头部网络包括分类器模型和掩码生成模型,负责分类和掩码生成。两个分支同时使用。头部网络通过分类器模型确定输入RoI的对象类别,并通过掩码生成模型对像素级别进行分类,为每个对象实例生成掩码[32]。

为最小化过拟合的影响,模型采用了L2正则化方法。

模型训练

在两个阶段中,所应用的损失函数(L)为多任务损失,即分类损失(Lcls)、边界框损失(Lbox)和掩码分支损失(Lmask)之和。

在本研究中,数据集经过打乱后分为训练集(60%)、验证集(30%)和测试集(10%)。模型训练时,使用Mask R-CNN COCO模型权重作为初始权重,并通过随机梯度下降(SGD)策略进行优化。

在第一阶段,模型在训练集上共训练50个epoch,每个epoch后在验证集上进行验证。训练和验证过程中的损失趋势如图S3a、b所示。

在第二阶段,以淋巴结转移判别标注数据(通过旋转和镜像进行扩充)作为数据集。第二阶段模型(无迁移学习)共训练100个epoch。损失趋势如图S3c、d所示。随后,将第一阶段的训练结果模型作为迁移学习的初始模型权重以改善效果。然而,第二阶段迁移学习模型(有迁移学习)共训练10个epoch。损失趋势如图S3e、f所示。

训练期间,每个epoch后计算验证损失,并在验证损失有所改善的每个epoch后保存模型权重。

临床医生评估

模型构建和优化后,邀请另一位具有11年工作经验的放射科医生、两位分别具有12年和11年经验的外科医生,以及两位具有3年临床经验的口腔颌面头颈外科研究生来识别和区分LNs+。将模型的准确性与临床医生的结果进行比较,以评估模型的临床可用性。

统计分析

采用卡方检验检查分类变量的差异。双侧 p < 0.05 表示相应的估计值达到显著差异。在独立测试集上使用模型的平均精度(AP)衡量分割效果,以评估 I 期模型的性能。然而,在 II 期,AP 不能直接反映模型的整体效果。因此,引入了三个新的自定义但更严格的模型评估标准:淋巴结(LN)准确率、LN+ 准确率和临床准确率。关于 AP 和 PR 曲线计算以及这三个新评估标准的详细信息见补充材料。

结果

识别不同解剖结构(I 期)

I 期旨在自动识别颈部 CECT 图像中的不同软硬组织,尤其是区分和识别 LN,希望在下阶段训练中实现对 LN 更准确的识别和定位。所有解剖结构,包括牙齿、骨骼、LN、血管和其他软组织均被标注(图 2)。共筛选 5412 张 CECT 图像。I 期模型在不同交并比(IoU)阈值下的预测结果图像和精确率/召回率(PR)曲线见图 3a、b。

在测试集中对不同解剖结构进行判别分割时,AP50、AP60、AP70 和 AP 分别达到 72.49%、58.72%、35.88% 和 29.63%(表 2)。AP 随 IoU 阈值升高而迅速下降。考虑到图像中 LN 和血管尺寸较小,负样本数量随 IoU 阈值升高而增加。总之,在 I 期中,颈部 CECT 图像中的不同解剖结构可以被有效识别。

图 3 预测过程和 PR 曲线。a 使用 I 期模型的预测过程。预测图像 I 和 II 由输入图像生成,置信水平分别为 0.75 和 0.85。数据集图像被标注用于比较。b I 期中不同 IoU 阈值下的 PR 曲线。c 使用 II 期模型的预测过程。预测图像 I 由 II 期模型中的输入图像生成。预测图像 II 由 II 期-TL 模型中的输入图像生成。数据集图像被标注用于比较。d 在默认 IoU 阈值(0.50)下,使用 I 期模型进行迁移学习训练前后模型的 PR 曲线 查看原图 ↗
表 2 各模型在不同 IoU 阈值下的 AP 查看原表 ↗

TL 提高了颈部 LN 转移判别的准确率(II 期)

II 期旨在准确区分 LN 转移。LN− 和 LN+ 被专门标注(图 2)。共筛选 5601 张 CECT 图像,其中 2126 张为 LN+,涉及 1667 张图像;6140 张为 LN−,涉及 3934 张图像(图 1)。

由于 AP50 在 I 期模型中代表最佳识别效果,因此在不同的 II 期模型中仅展示 AP50(表 2)。II 期模型在默认 IoU(0.50)阈值下的预测结果图像和 PR 曲线见图 3c、d。

然而,只有接受了择区性颈淋巴结清扫的部分颈部淋巴结分区具有用于标注过程的淋巴结病理信息,而未行手术的颈部淋巴结分区中的淋巴结病理信息则不明确,这些分区中的淋巴结状态无法标注。但预测包含了无病理信息的分区,当这些预测的实例对象出现在模型评估中时,相应实例在标注样本中无法被识别。结果,在匹配计算过程中产生了许多负样本,影响了模型的整体评估,其AP无法直接反映模型效果。因此,引入了三项新的定制但更为严格的模型评估标准:淋巴结准确率、淋巴结阳性准确率和临床准确率。

值得注意的是,当将I期模型应用于II期进行迁移学习(TL)时,II期-TL模型显著提高了对颈部淋巴结转移的判别能力(表3、表4和表5)(p < 0.001)。各指标在0.85置信水平时达到最高值(表5)。总之,II期-TL模型在0.85置信水平时获得了最高的淋巴结准确率(71.90%)、淋巴结阳性准确率(70.42%)和临床准确率(85.09%)。

表3 TL模型-0.80与模型-0.80之间的卡方检验 查看原表 ↗
表4 TL模型-0.85与其他模型或临床医生之间的卡方检验 查看原表 ↗
表5 各模型的II期预测以及放射科医师、外科医生、学生和放射科的预测 查看原表 ↗

不同颈部淋巴结分区预测准确率的比较

根据解剖区域划分[30, 31],颈部共分为七个分区。在II期测试集中,I、II和III分区的数据占主导地位,分别有195、191和198张图像。这三个分区在口腔癌中特别容易发生淋巴结转移。因此,比较了这些分区的淋巴结阳性准确率预测结果。结果表明,对于不同模型和不同置信水平,最高的淋巴结阳性准确率均在II分区获得(图4a和表5)。

图4 模型评估与预测结果。a II期-TL模型在不同置信区间下不同分区的淋巴结阳性准确率。b II期-TL模型-0.85、放射科医师、外科医生和学生之间淋巴结阳性准确率和临床准确率的比较结果。TL,迁移学习;LN+,阳性淋巴结 查看原图 ↗

颈部淋巴结转移的预测:模型与临床医生的比较

为验证模型的准确性,将II期-TL模型-0.85的预测结果与放射科医师、外科医生、外科学生以及我院放射科诊断报告的预测结果进行了比较。考虑到淋巴结阳性的准确识别是最重要的指标,选择淋巴结阳性准确率和临床准确率进行预测结果的比较。遗憾的是,医学影像诊断报告并未描述每一个淋巴结,因此无法计算放射科的淋巴结阳性准确率和淋巴结准确率。

总体而言,我们的模型获得的淋巴结阳性准确率与放射科医师相当(70.42% vs. 76.47%)(p = 0.243),其淋巴结阳性准确率远高于外科医生(42.16%)(p < 0.001)和学生(36.29%)(p < 0.001)(表4)。我们的模型获得了最高的临床准确率(85.09% vs. 放射科的80%、55%、45%和66.58%)(图4b和表5)。

讨论

在本研究中,使用神经网络结合CECT图像的深度学习(DL)能够以极高的准确率识别、定位和区分口腔癌患者的颈部转移性淋巴结(LNs),并被证明超过了经验丰富的放射科医生和外科医生的水平。即使在临床准确率方面,我们的模型也超过了我院放射科的平均水平近20%。据我们所知,这是基于DL的CECT图像预测口腔癌颈部LN转移的最大规模研究。我们的模型不仅在协助放射科医生在术前准确诊断LN转移方面非常有效,而且在帮助外科医生设计个性化、精准的手术方案以改善预后方面也非常有效。

多年来,颈淋巴结清扫术一直是全球口腔癌患者关注的主要问题。随着各个领域被人工智能(AI)所促进,尤其是在医学影像领域,遗憾的是很少有研究对颈部LNs进行AI分析[25, 27, 35]。Reza等和Yuan等分别基于机器学习(ML)对双能CT和MRI的颈部LN转移进行了纹理分析,具有较高的准确率[36, 37]。我们研究的内容是CECT,符合中国国情,因为其具有很强的普遍性和适用性。[18F]FDG PET/CT比CT/MRI成像能更好地检测隐匿性颈部转移[9]。然而,这种方法费用昂贵,只有少数大型医院配备此类昂贵设备。此外,既往研究者采用的样本量以10和100为单位计算,而本研究直接收集了2773例患者的数据,筛选后纳入1466个样本。最重要的是,本研究首次将工作分为两个阶段,并创新性地整合了迁移学习(TL)的思想,将第一阶段模型的结果应用于第二阶段模型的训练,显著提高了预测准确率。在既往研究中,预测需要经验丰富的操作者在模型识别LNs之前对其进行勾画,这既费力又耗时。在本研究中,我们只需将患者完整的CECT图像集输入模型,即可在数秒内获得预测结果,便捷且省时,具有很强的临床转化能力。

由于结合DL和放射学构建的模型是无创的,我们可以仅使用CECT图像在术前进行操作分析,并尽量减少对患者的伤害。尽管我们的研究结果令人印象深刻并为未来研究提供了基础,但更具挑战性的任务,如不同分区LNs的识别,仍需完成[31]。研究中纳入的几乎所有患者均接受了I、II和III区颈部LN清扫术(图像在数据集中占主导地位),而只有部分患者在IV和V区接受了手术。值得注意的是,I至III区在口腔癌中特别容易发生LN转移。I至III区LNs的误判容易增加,因为这些区域的LNs常伴有血管。在本研究的统计结果中,我们首次分析了不同分区LNs预测准确率的差异,并发现II区(颈内静脉链上组)在任何模型中任何置信水平下的准确率都高得多。

尽管本研究中所使用的人工智能可以极大地帮助临床医生诊断疾病,但当前研究仍存在局限性。首先,这是一项单中心回顾性实验;特别是病理报告和CECT图像中的淋巴结无法完全准确地一一对应。其次,说服患者接受这一新的诊断系统仍然具有挑战性,需要大规模的临床应用和验证。第三,由于当前医学影像(如CT和MRI)检测形态和尺寸正常的淋巴结中微转移的能力相当有限[6],我们基于CECT成像的模型在这方面仍无法达到令人满意的预测效果。最后,需要多中心前瞻性研究和更大的样本量来验证我们的结果,以推广我们的人工智能成果并克服不同CECT机器之间的细微差异。鉴于这些问题,人工智能在宫颈淋巴结转移诊断中具有巨大潜力;然而,其能否成功推广仍有待确定。

总之,尽管在正式临床应用之前仍需要更多的框架优化和大规模验证,但AI-DL-Mask R-CNN辅助的CECT能够准确预测宫颈淋巴结的转移,在一定程度上为放射科医生的高效诊断提供了有力支持。重要的是,便捷的操作、即时诊断和优异的效果赋予该技术强大的临床转化能力。

补充信息

ESM 1(DOCX 330 kb)

引用

  1. Xu, Xi, Wei, et al. Deep learning assisted contrast-enhanced CT-based diagnosis of cervical lymph node metastasis of oral cancer: a retrospective study of 1466 cases. Eur Radiol. 2022. PMID: 36576543. doi:10.1007/s00330-022-09355-5
  2. 全文:PMC9795159(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9795159/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。