基于Retina U-Net与解剖区域分割的18F-PET/CT肺癌自动评估
本研究用364例经组织学确诊肺癌患者的FDG-PET/CT开发并内部测试Retina U-Net算法,检测原发肺肿瘤及T/N/M病变,并用自动解剖区域分割归类TNM。内部测试T病变敏感度86.2%(95%CI 77.2-92.7,FP/c 2.0),解剖区域TNM归类正确率94.3%;外部20例总体检出率88.8%(95%CI 82.5-93.5,FP/c 2.7)。
要点
- 算法可同时检测PET/CT上的T、N、M病变,但N、M敏感度明显低于T病变。
- 假阳性均有解剖对应结构,骨髓生理性摄取最常见,其次为心肌生理性摄取。
- 当前性能不足以独立使用,结果需核医学医师复核。
核心结论
- Retina U-Net适合PET/CT肺癌病变的3D检测,可作为阅片辅助工具的骨干,但尤其N、M病变尚不足以单独应用。
研究设计与样本
- 回顾性研究,内部数据集364例FDG-PET/CT(训练216、验证74、内部测试74),外部测试20例来自另一机构。
- 使用两台整合PET/CT系统(Discovery STE 16层CT、Biograph mCT-X RT Pro Edition 128层CT),注射5 MBq FDG/kg体重,血糖低于10 mmol/L并空腹至少6 h。
- 参考标准为组织学确诊肺癌及两位读片者手工3D分割标注,60个病变双读者独立阅读计算IoU。
关键影像表现/征象
- 内部测试T病变敏感度86.2%(95%CI 77.2-92.7),FP/c 2.0;T3全部检出(100%,95%CI 73.5-100.0),T1检出率75.0%(95%CI 56.6-88.5)。
- 内部测试N病变敏感度54.2%(95%CI 47.3-60.9),M病变检出率72.4%(95%CI 60.9-82.0)。
- 外部测试总体检出率88.8%(95%CI 82.5-93.5,FP/c 2.7);T病变93.8%(95%CI 84.8-98.3),N病变84.6%(95%CI 74.0-91.6),M病变100%(95%CI 29.2-100.0)。
- 漏诊76个病变中淋巴结60个(78.9%)、转移10个(13.2%)、肿瘤6个(7.9%)。
诊断标准与关键数值
- 内部测试分类器阈值0.3对应FP/c 2.0,用于报告敏感度;IoU阈值设为0.1。
- 内部测试TNM归类:247个检出病变中233个(94.3%)正确归为T、N或M,错误中85.7%(12/14)为T病变误归N或M。
- 外部测试TNM归类:129个检出病变中110个(85.3%)正确归类,错误中88.2%(15/17)为T病变误归N或M。
- 双读者IoU:T病变0.86、N病变0.77、M病变0.78;肺分割算法DICE评分0.98±0.03。
临床应用与阅片要点
- 阅片时可借助算法提示减少漏诊,但须警惕T1小肿瘤漏检及淋巴结漏检,报告前逐层复核。
- 假阳性主要来自骨髓生理性摄取、心肌生理性摄取及真病变重复标注,判读时注意鉴别。
- 肺门区为肺掩膜与纵隔掩膜接触带,T病变易被误归为N或M,TNM归类需人工确认。
局限性
- 参考标准来自单中心,病变由两位读片者随机顺序手工分割、有监督但未双读。
- 图像裁剪至胸部,未评估胸外病变及全身N、M转移检测。
- 内部测试集仅占20%,95%CI较宽;外部测试集仅20例,结果解释需谨慎。
全文中译21 节 · 点击展开
引言
众所周知,以18F-氟脱氧葡萄糖(FDG)为放射性示踪剂的PET/CT中的正电子发射断层扫描(PET)成分携带重要的代谢信息,可用于肺癌的肿瘤特征描述和分期[1, 2]。因此,FDG-PET/CT成为肺癌患者诊断检查的标准[3]。但尽管技术不断进步,基于影像的分期仍然是一项具有挑战性的任务[4],诊断不足和过度诊断都是常见问题[5]。适当的治疗基于正确的分期[6]。由于疾病的快速进展[7],初始分期错误对患者的生活质量产生特别负面的影响。
使用人工智能(AI)算法的自动化肺肿瘤检测在高分辨率CT上已显示出有前景的结果[8, 9]。然而,特别是在层厚3 mm且采用自由呼吸技术采集的PET/CT的CT成分上检测晚期肿瘤对算法而言具有挑战性,目前还不够准确[10]。鉴于这一点以及PET/CT的混合性质,建议在AI算法开发过程中同时使用PET和CT信息。迄今为止,只有少数研究者这样做了,且都仅关注肺部病变(T)或肺结节[11–14]。需要进一步开发在完整扫描体积内对不同类型恶性病变(肿瘤、淋巴结转移、远处转移)进行3D检测的方法,以形成临床相关的、全面的解决方案,辅助放射科医生进行TNM分期。
最近,P. Jaeger及其同事提出了一种基于Retina U-Net的应用,用于医学数据的端到端目标检测。该应用在MRI上检测乳腺癌的2D和3D表现均显示出良好结果[15]。其性能优于Mask R-CNN等其他方法。本研究首次将该方法 adapted、训练并测试于384例经组织学证实为各期肺癌患者的PET/CT临床数据集。此外,该算法与解剖区域分割相结合,将检测到的病变分类为T、N和M类别。我们假设Retina U-Net是在PET/CT上检测T、N和M病变的有效工具。
材料与方法
本回顾性研究的书面知情同意书已获地区伦理委员会(西北和中瑞士伦理委员会)豁免。
病例选择:内部数据集
我们识别了2010年1月至2016年12月期间在我院采集的经组织学证实为原发性肺癌患者的FDG-PET/CT。选择标准为方案名称、时间段以及根据病理档案核实的肿瘤组织学。最终纳入364例FDG-PET/CT。图1展示了研究流程。
成像方案与报告
PET/CT扫描在两套集成PET/CT系统上进行:一台配备16层CT的Discovery STE(GE Healthcare)和一台配备128层CT的Biograph mCT-X RT Pro Edition(Siemens Healthineers)。扫描在静脉注射5 MBq FDG/kg体重后1小时进行,血糖水平低于10 mmol/L,且之前禁食至少6小时。技术细节见补充材料A。临床PET/CT报告由核医学住院医师撰写,并由委员会认证的放射科医生和核医学医师一致审核并签署。
TNM标注与图像分割
去标识化后,每位患者的PET/CT在本地安装的分割软件(3D-Slicer,版本4.6.2)中打开。TNM分类区分四个主要T类别(T1–T4;取决于大小和侵袭性等特征)、三个N类别(N1–N3,取决于位置)和一个M类别[16]。如表1所示,本研究使用官方TNM分类,略有简化,省略了亚亚类(例如T1a、T1b)。参考匿名化书面PET/CT报告进行标注和3D图像分割,由一位双重 board 认证的放射科医师和核医学医师(A.W.S.,读者1 [R1],具有11年心胸影像经验,n = 141)以及一位受监督的具有4年专业经验的放射科住院医师(T.W.,读者2 [R2],n = 223)完成。R2的所有分割掩膜均由R1目视检查并批准。每个病灶被分割为由在CT组件连续横断面上绘制的2D感兴趣区定义的3D体积。与PET信息的融合作为额外信息可用。总共60个病灶(20个T、20个N、20个M)由两位读者独立阅读并计算IoU。
一般算法特征:Retina U-Net
Retina U-Net是医学目标检测中的最先进方法[15]。它从分割监督中以像素为单位重新捕获训练信号。本研究中使用的架构特征在于较低解码器层级中的额外分支,用于端到端目标分类和边界框回归(图2)。图3显示了示意性数据处理工作流程。该算法首次被调整并训练用于检测PET/CT上的T、N和M病灶。
训练、验证和测试
完整的内部数据集被随机分为训练集(60%)、验证集(20%)和内部测试集(20%)。强度值被裁剪至[−600, 1200],重新缩放至[0, 1],并进行z-score归一化。根据基于强度阈值化和连通域分析的肺分割,图像在z轴上被裁剪至包含肺组织的层面。由于算法的任务是目标检测,基于手动3D分割创建边界框用于训练。还评估了另外两种仅包含T或仅包含T&N病变的方法,但表现较差,未进一步研究(见补充材料B)。交并比阈值设为0.1。由于图形处理单元(GPU)内存的限制,3D图像按补丁方式处理。训练过程中,包含前景目标的补丁被过采样以确保前景和背景补丁之间的平衡。应用了广泛的3D数据增强以防止过拟合。测试时,算法应用于整个图像上的重叠补丁,并对产生的预测进行合并。计算了每个病例的检出率(=灵敏度)和假阳性率。表2提供了重要算法参数的信息。补充材料C提供了进一步的技术细节。
TNM分类
在后续步骤中,所有测试病例均使用公开可用的高性能深度学习肺分割算法(DICE评分:0.98 ± 0.03)[17]进行处理,并定义以下五个解剖区域:(1)肺区域(=算法产生的分割掩膜),(2)纵隔(两个肺掩膜之间的区域),(3)骨骼(HU阈值> 120 HU并填充孔洞),(4)腹部(掩膜1和2下方的区域),以及(5)其他(扫描中未被掩膜1–4覆盖的所有区域)。然后,将所有病变按以下方式归因于病变亚型:T(区域1内的所有病变)、N(区域(2)内的所有病变)、M(区域3内的所有病变)和“N或M”(区域4或5内的所有病变)。归因准确性在内部和外部测试集上以原始标注标签作为金标准进行评估。
假阳性和假阴性结果的原因分析
Retina U-Net的所有假阳性预测均经过视觉检查并归因于类别。假阳性在尽可能低的分类器阈值(≥ 0.1)和用于敏感性分析的阈值下进行评估,后者定义为假阳性/病例率降至2以下的阈值。我们认为这是临床环境中可接受的每病例假阳性率。我们保守地将真阳性结果的重复标注评为假阳性。例如,如果一个肺部肿瘤被检测到三次,这被评为1个真阳性和2个假阳性。假阴性的类别(T、N和M)使用原始病变标签作为金标准确定。
外部验证
除内部测试集外,共随机选取20个来自组织学证实为原发性肺癌患者的数据集,这些患者在2021年6月至2021年9月期间在另一所大学医院接受了FDG-PET/CT检查(Biograph40,Siemens Healthineers;技术细节见补充材料A),去标识化后使用该算法进行处理。处理前,由R1和R2协商一致绘制所有恶性病变的3D金标准边界框。计算每个病例的灵敏度和假阳性数,并与基于内部测试集的结果进行比较。
统计分析
统计分析使用IBM SPSS Statistics for Windows 22.0版(IBM Corp.)进行。散点图和图表使用scikit-learn创建[18]。连续数据以均数和标准差描述。两个或多个分类变量之间的关联使用卡方检验进行检验。为检验两个或多个组连续数据均数的统计学差异,根据数据结枸使用方差分析或非参数替代方法。正态分布使用直方图和Q-Q图评估。p值小于0.05定义为具有统计学显著性。
结果
患者和肿瘤特征
表3提供了患者特征和肿瘤组织学的详细信息。年龄和性别在训练集、验证集和内部测试集之间无统计学显著差异(分别为p = 0.32和p = 0.50)。三个内部数据集之间在肿瘤组织学方面无显著差异(p = 0.72)。内部和外部测试集的患者年龄相当(p = 0.61),但外部测试集纳入的女性患者更多(p < 0.01),且肿瘤组织学构成不同(p < 0.01)。
内部数据集包括364例PET/CT,含576个T病灶(T1:n = 323;T2:n = 137;T3:n = 52;T4:n = 64),平均肿瘤体积为39.9 cm³(SD:100.7 cm³);1025个N病灶,平均体积为4.8 cm³(SD:12.4 cm³);以及312个M病灶,平均体积为6.2 cm³(SD:15.0 cm³)。内部数据集之间恶性病灶的平均体积无统计学显著差异(p = 0.09–0.65)。内部测试集包括74例PET/CT,含87个T病灶、216个N病灶和76个M病灶。外部测试集包括20例PET/CT,含64个T病灶、76个N病灶和3个M病灶。阅片者间IoU分别为0.86(T病灶)、0.77(N病灶)和0.78(M病灶)。
内部性能分析
本节中,所有结果均基于内部测试集。
总体性能
为清晰起见,检出率(=灵敏度)报告于分类器阈值0.3(相当于FP/c为2.0)。所有T/N/M亚类在所有分类器阈值下的全部灵敏度见补充材料D。T病灶的总体灵敏度为86.2%(95% CI:77.2–92.7)。T亚类分析显示,较晚期病灶(T2/T3/T4)的灵敏度高于较小的T1病灶:所有T3病灶均被检出(100%(95% CI:73.5–100.0)),而T1肿瘤更易被漏检(检出率75.0%(95% CI:56.6–88.5))。N病灶的灵敏度为54.2%(95% CI:47.3–60.9),转移灶(M)的检出率为72.4%(95% CI:60.9–82.0)。图4显示了T检测任务的FROC曲线。图5展示了一例骨转移患者的示例性PET/CT及算法输出叠加图。最后,ESM 1展示了原始数据集上检出病灶以叠加方式标注的视频。
假阳性结果分析
在最低分类器阈值(0.1)下,模型产生1227个FP。多数由真恶性病灶的重复标注所致(n = 288,23.5%),其次为骨髓生理性摄取,占16.8%(n = 206);纵隔结构占13.4%(n = 164;其中n = 48由心肌生理性摄取所致);肺部结构占13.0%(n = 159;例如实变、肺血管)。值得注意的是,仅将分类器阈值略微提高至0.3即使FP数量减少87.8%,降至150。在该阈值下,FP的主要原因依次为真恶性病灶的重复标注(n = 68,45.3%)、腹部结构(n = 25,16.7%)和纵隔结构(n = 18,12%)。表4提供了FP原因的全面分析。图6展示了四个FP结果的示例。
假阴性结果分析
在76个漏检结果中,60个为淋巴结(78.9%),10个为转移灶(13.2%),6个为肿瘤(7.9%;T1:n = 4;T2:n = 1;T3:n = 0;T4:n = 1)。
TNM分类及解剖区域定义
在247个检出病灶中,根据其在自动定义的解剖区域内的位置,233个(94.3%)被正确分类为T、N或M。错误分类中,85.7%(n = 12/14)由T病灶被误分类为N或M所致,多位于肺掩膜与纵隔掩膜接触区的肺门区域。补充材料E展示了带有解剖区域掩膜的示例图像。
外部验证
恶性病变检出的总体灵敏度为88.8%(95% CI:82.5–93.5%,n = 127/143;每例假阳性率(FP/c)为2.7)。T病变的检出率为93.8%(95% CI:84.8–98.3%,n = 60/64),N病变为84.6%(95% CI:74.0–91.6%,64/76),M病变为100%(95% CI:29.2–100.0%,n = 3/3)。按解剖区域划分,129个检出病变中有110个(= 85.3%)被正确分类为T、N或M。在错误分类中,大多数(n = 15/17;88.2%)由T病变被误分类为N或M所致。
讨论
我们对Retina U-Net算法的分析显示,其在PET/CT上对恶性病变具有较好的总体检出率,且每例假阳性率较低。在此场景中,Retina U-Net整合了CT(解剖)和PET(代谢)两部分的信息。与较大的T2–T4病变相比,观察到T1肿瘤的检出性能略低。这是一个有趣的发现,最可能的原因是小肿瘤受部分容积效应影响,这在空间分辨率低于高分辨率肺部CT的PET中尤为相关。此外,FDG-PET/CT的CT部分通常在自由呼吸下采集,与晚期肿瘤相比,运动伪影对小病变检出的影响更大。
关于PET/CT上的自动病变检测,Teramoto等评估了一种在104例患者中检测肺结节(平均直径:19 mm)的方法[12]。结节分别基于活动轮廓滤波和阈值处理在CT和PET图像上检测。在使用卷积神经网络(CNN)降低假阳性后,FP/c为4.9,检出率为90.1%。与这种多步骤、主要基于硬编码的处理流程相反,本文提出的Retina U-Net是一种端到端方法,其优势在于可通过增加更多训练数据进行潜在优化。Schwyzer等训练了一个模型,对单张CT图像中是否存在结节进行二分类[13]。该方法具有明显局限性,例如仅处理2D切片而丢弃所有3D信息,且无法处理每张切片中的多个病变。此外,仅使用整张切片的二分类标签而非单个结节及其相关位置的标注进行训练,已知数据效率低且容易过拟合,因为该算法需要大量数据才能在无监督情况下将二分类标签与特定图像区域关联起来。最后,Kirienko等使用CNN对472例患者(T1–T2:n = 353,T3–T4:n = 119)进行T1–T2与T3–T4分期分类,使用围绕PET和CT图像上病变中心裁剪的3D边界框[19]。他们达到了69.1%的准确率、70.0%的灵敏度和66.7%的特异度。我们的方法更精细,并且还涵盖N和M病变。此外,它在内部和外部测试数据上均取得了更高的灵敏度。一项评分者间变异性分析显示,与Borrelli等[20]相比,一致性水平略高。
我们的方法对T病灶的检出率最高。N和M病灶的检出率较低,可能的原因是解剖环境为T病灶提供了鲜明的对比(高衰减[肿瘤]对低衰减[肺实质]),而N和M病灶周围是密度相似的组织,对比不那么明显。所有假阳性检出均有解剖学对应物,如心肌的生理性代谢。未检出任意性病灶这一事实增强了我们对Retina U-Net算法的信任,似乎与放射学判断和决策相一致。值得注意的是,在所选阈值下,去除那些由真病灶重复标注引起的假阳性后,每例假阳性数(FP/c)从2.0降至1.1——考虑到这在技术上是容易实现的,这种做法似乎是合理的。
外部验证的结果优于内部测试。这并不寻常,但可以用外部数据集在肿瘤组织学和病灶类型构成方面的不同结构来解释:其T与N/M的比值高于内部测试集。影响外部数据集性能的其他因素包括硬件(PET/CT扫描仪)的差异,以及鉴于外部数据集中检查数量较少,还存在偶然性。虽然内部数据集包含364次检查,是人工智能与PET/CT相关研究中使用的最大数据集之一,但病灶亚分类任务大幅减少了每个类别的训练病例数量。因此,在这项初步研究中,我们选择了较简单的通用病灶检测任务,即将病灶归入一个前景类别以与背景区分,并采用第二种方法(解剖区域)进行详细的TNM分类。我们意识到,这存在引入额外不确定性层次、降低整个处理流程总体性能的缺点,尽管解剖区域方法正确归因了94.3%的检出病灶。
未来,该算法可服务于医生,减少假阴性判断、缩短分析分期PET/CT所需的时间,并支持诸如自动化肿瘤体积定量等高级评估。
我们的研究存在局限性。第一,真实基准数据来源于单一中心,病灶由两名读者以随机顺序手动分割,未进行双读,但有监督。然而,文献报道在PET/CT肿瘤勾画中人读者之间的组内相关系数(ICC)很高,ICC范围为0.987至0.995 [21],本研究在60个病灶的子集上通过高交并比(IoU)值证实了这一点。第二,采用了胸部体积裁剪,因此胸外病灶未被完全考虑。这样做的优点是避免了由生理性高PET信号的non-tumorous器官(如膀胱或脑)引起的假阳性。同时,该算法尚未在全身体范围内测试转移灶(N、M)的检测。第三,尽管数据集较大,但95%置信区间较宽。这是因为内部测试集仅占整个内部数据集的20%。第四,目前性能,尤其是关于N和M病灶的性能,尚不足以独立应用,算法结果需要由受过核医学培训的医师进行验证。
总之,Retina U-Net 算法非常适合 PET/CT 中肺癌病灶的3D检测。为了进一步推动该方法走向临床应用,该方法将扩展至全身。为此,除了需要允许修改自动生成结果的快速且直观的工作流程外,还需要更多的胸外标注。
可及性
本研究使用的框架及其完整配置可在 Github 上获取:https://github.com/MIC-DKFZ/medicaldetectiontoolkit/tree/master/experiments/pet_ct_tnm_classification。3D Slicer 及相关插件可在 https://github.com/Slicer/slicer 获取。
补充信息
ESM 1(DOCX 802 kb)
(MP4 2109 kb)
引用
- Weikert, Jaeger, Yang, et al. Automated lung cancer assessment on 18F-PET/CT using Retina U-Net and anatomical region segmentation. Eur Radiol. 2023. PMID: 36625882. doi:10.1007/s00330-022-09332-y
- 全文:PMC10182147(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10182147/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。