基于深度学习的三维超分辨率MRI影像组学模型:在直肠癌术前T分期中预测性能更优
本研究回顾性纳入706例直肠癌患者,构建基于高分辨率T2WI和深度学习三维超分辨率T2WI的影像组学模型预测术前T分期。超分辨率模型SRT2在验证组区分T1/2与T3/4的AUC为0.869,优于常规影像组学模型(AUC 0.810)和专家放射科医师视觉评估(AUC 0.685)。
要点
- SRT2影像组学模型在验证组区分T1/2与T3/4的AUC为0.869,敏感度71.1%、特异度93.1%、准确率83.3%。
- 常规HRT2影像组学模型验证组AUC为0.810,敏感度89.5%、特异度70.1%、准确率77.3%。
- 专家放射科医师视觉评估验证组AUC为0.685(95%CI 0.595-0.775),低于两种影像组学模型。
核心结论
- SRT2影像组学模型在直肠癌术前T分期预测中优于常规HRT2影像组学模型和专家放射科医师视觉评估。
- 这是首次将基于深度学习的三维超分辨率方法应用于影像组学分析以支持临床决策。
研究设计与样本
- 回顾性研究,纳入两个中心的706例病理确诊直肠腺癌患者,按时间顺序以8:2分为训练组565例和验证组141例。
- 使用两种3.0T MR扫描仪(GE Signa HDx、Siemens MR Skyra)采集斜轴位高分辨率T2WI,并通过深度迁移学习网络将z轴分辨率从0.312×0.312×3.300 mm提升至0.312×0.312×0.825 mm生成SRT2WI。
- 以术后病理T分期(第8版AJCC TNM分类)为参考标准,分别基于HRT2WI和SRT2WI提取影像组学特征构建模型HRT2和SRT2。
关键影像表现/征象
- SRT2WI图像质量评估结构相似性为0.974,归一化均方根误差为−0.360%,结构或强度变化细微但分辨率有效提升。
诊断标准与关键数值
- 在HRT2WI上,T1/2肿瘤局限于高信号黏膜下层但未超过低信号固有肌层,肿瘤浸润直肠系膜脂肪层或直接侵犯周围结构提示局部进展期直肠癌。
- 验证组中,SRT2模型区分T1/2与T3/4的AUC为0.869(95%CI 0.813-0.925),敏感度71.1%、特异度93.1%、准确率83.3%。
- 验证组中,HRT2模型区分T1/2与T3/4的AUC为0.810(95%CI 0.734-0.886),敏感度89.5%、特异度70.1%、准确率77.3%。
- 专家放射科医师视觉评估验证组AUC为0.685(95%CI 0.595-0.775),训练组准确率为0.701。
- 训练组中,SRT2模型AUC为0.919(95%CI 0.898-0.941),HRT2模型AUC为0.888(95%CI 0.862-0.914)。
临床应用与阅片要点
- 作者认为SRT2模型有潜力辅助临床医师为直肠癌患者选择最佳初始治疗策略。
- 决策曲线分析显示SRT2模型在概率阈值0.18-1.00、HRT2模型在0.03-0.81、放射科医师诊断模型在0.35-0.75时,较全干预或无干预策略获得更多净获益。
- 放射科医师的误判主要来自T2与T3肿瘤的混淆。
局限性
- 影像组学模型基于手动勾画,应用超分辨率技术增加了分割工作量。
- 手工影像组学特征受放射科医师个人经验和感知的影响。
- 本研究为回顾性单中心研究,需要前瞻性设计及外部验证进一步研究。
全文中译14 节 · 点击展开
引言
目前,结直肠癌在全球肿瘤发病率和死亡谱中分别位居第3位和第2位[1, 2]。直肠癌(RC)占结直肠癌的1/3[3],在东亚地区发病率最高[4]。尽管根治性手术仍是唯一的治愈手段,但基于治疗前分期的新辅助放化疗(nCRT)提高了R0切除率并改善了局部控制[5–7]。nCRT被推荐为局部晚期直肠癌(LARC)患者(T3/4和/或N+)的标准治疗,而对于早期患者(T1/2和N−)则无必要[8, 9]。为避免过度治疗或治疗不足,准确评估术前T分期以区分T1/2与T3/4肿瘤十分必要。高分辨率(HR)T2加权成像(T2WI)具有精细的软组织分辨率,是直肠癌局部 staging 的一线影像学方法[10];然而,其总体准确率范围为60%至75%[11–14],既往研究报告T2肿瘤的平均过度分期率为30%–57%[15, 16]。在此情况下,改进原发肿瘤T分期的评估对于精准治疗和优化治疗策略具有重要临床价值。
作为一种蓬勃发展的新方法,影像组学通过挖掘医学图像中的高维数据,引入了一种无创定量评估肿瘤异质性的方式[17]。既往研究提示其通过揭示人眼可能无法识别的疾病特征,具有改善患者管理和临床决策的潜力[18, 19]。在直肠癌中,影像组学在不同肿瘤学场景中取得了令人瞩目的表现,包括评估肿瘤生物学行为[20]、评估治疗反应[21, 22]以及预测预后[23]。尽管取得了这些进展,影像组学特征在当前医学影像中往往受到各向异性分辨率和低体素统计量的影响[24]。为增强影像组学模型的稳健性和稳定性,通过在模型构建中应用更高分辨率的图像来解决这些局限值得考虑。
超分辨率(SR)技术旨在从低分辨率观测中恢复数字图像的更高空间分辨率,自20世纪80年代以来已被提出[25]。近年来,随着深度学习(DL)的发展,SR在医学影像中取得了优越的性能[26]。就其在水磁共振成像(MRI)检查中的应用而言,Masutani等[27]提出了一种新的卷积神经网络(CNN)模型,优化了短轴心脏MRI成像中的高频空间细节;在名为SCSRN的工作中,Niaz等[28]报道DL-SR算法改善了脑形态学诊断的图像质量。除了恢复的SR图像在多空间阶梯中表现出的良好稳定性和可靠性外,DL-SR在医学影像中引起关注还因为从SR图像中提取的影像组学特征已被定量证明具有显著的可重复性和稳健性[24]。然而,目前尚无影像组学研究利用DL-SR技术发现可用于临床的特定影像组学生物标志物。在此,我们旨在开发并验证一种SR影像组学模型,用于术前预测直肠癌患者的T分期。据我们所知,本研究首次在临床环境中展示基于DL的三维(3D)SR影像组学。
材料与方法
患者
本回顾性研究经机构审查委员会批准,并豁免书面知情同意。回顾性纳入2014年1月至2020年10月期间在我院两个中心连续收治的经病理证实的直肠腺癌患者。
纳入标准如下:(1)根治性手术后有明确病理T分期信息的患者;(2)术前2周内行盆腔MRI检查;(3)未接受术前治疗;(4)影像学技术或临床检查证实为单发病灶且无远处转移;(5)有可用的病历资料。
排除标准为:(1)在高分辨率T2加权成像(HRT2WI)上病灶不可见或过小无法分割;(2)有盆腔手术史或合并其他恶性肿瘤;(3)图像质量不足以进行T分期诊断或特征提取。
最终,706例符合条件的患者按时间顺序以8:2的比例分为训练队列(n = 565,2014年1月至2019年4月)和验证队列(n = 141,2019年5月至2020年10月)。研究流程示意图见图1。人口学信息、实验室检查和临床特征取自电子病历。
病理评估
标本切片在福尔马林溶液中固定48 h后行苏木精-伊红染色。所有组织病理学结果均由两名对患者病史不知情的专科胃肠道病理学家评估和判定。组织病理学报告包括局部 staging、肿瘤沉积、神经周围侵犯(PNI)、淋巴血管侵犯(LVI)和壁外静脉侵犯(EMVI)状态。肿瘤大小描述为标本最大横截面上的最大直径,由两名观察者测量并记录平均值。(yp)T分期根据美国癌症联合委员会(AJCC)第8版TNM分类[29]分为以下四类:T1、T2、T3和T4(补充材料1)。
图像采集与评估
原始MRI扫描在我院两个中心进行,患者取仰卧位,使用两台3.0-T MR扫描仪(GE Signa HDx,GE Healthcare;Siemens MR Skyra,Siemens Healthineers)之一,配备16通道相控阵体线圈。患者检查前禁食4 h并排空肠道。所有患者均行常规多参数MRI(mp-MRI)方案,包括斜轴位HRT2WI、矢状位T2WI、轴位弥散加权成像(DWI)(b值 = 0,800 s/mm2)、轴位T1加权成像(T1WI)和盆腔钆对比剂增强T1WI的组合。斜轴位扫描垂直于肿瘤长轴进行。HRT2WI详细采集参数见表1。
基于HRT2WI,我们使用深度迁移学习网络(图2A)增强z轴分辨率,将层间距从0.312 × 0.312 × 3.300 mm改善至0.312 × 0.312 × 0.825 mm。新生成的图像定义为超分辨率T2WI(SRT2WI)(图2B)。SRT2WI图像质量通过结构相似性(SSIM)和归一化均方根误差(NRMSE)评估。结果分别为0.974和− 0.360%,表明结构或强度变化非常细微,但有效提高了分辨率。合成框架和评估公式的详细信息见补充材料2。
两名腹部影像学专家(分别具有22年和25年经验)在不知晓病理信息的情况下,以共识方式审阅了所有图像。对判读的分歧通过讨论解决。MRI T分期根据第8版AJCC TNM分类[29]按以下标准进行评估:在HRT2WI上,T1/2期肿瘤局限于高信号黏膜下层但未超出低信号固有肌层,而伴有直肠系膜脂肪层浸润或直接侵犯周围结构的肿瘤提示为LARC。
图像分割与特征提取
使用ITK-SNAP(版本3.8.0,www.itksnap.org)软件在每个HRT2WI和SRT2WI层面上进行手动分割。勾画轮廓时仔细避开肠内容物或气体。我们还排除了顶层和底层层面,以减少部分容积效应引起的偏倚。首先,随机选取40例受试者(T1、T2、T3和T4期各10例)的MRI图像,然后由两名放射科医师(分别具有9年和15年经验)在除肿瘤位置外不知晓所有临床信息的情况下独立勾画整个肿瘤。放射科医师1在2周后重复该过程。放射组学特征观察者内/观察者间变异性通过组内相关系数(ICC)检验评估(补充材料3)。ICC高于0.80被认为具有良好的可重复性。放射科医师1完成了其余受试者的勾画。基于每位患者的ROI重建感兴趣体积(VOI)。
进行了预处理步骤以促进特征可重复性并减少不同采集参数的影响。所有MRI图像和分割结果均重采样至标准化体素大小1×1×1 mm3,体素强度值以25个单位的固定箱宽进行离散化。随后,通过pyradiomics版本2.2.0 [30]分别从分割后的HRT2WI和SRT2WI中提取定量放射组学特征。特征提取作为整个放射组学工作流程的一部分在图3中示出。
特征选择与放射组学模型构建
在训练队列中通过两步法进行特征选择。首先,计算肯德尔相关系数以评估每个特征与肿瘤T分期之间的相关性。系数≥0.8的显著特征被保留为候选特征[31]。随后,应用最小绝对收缩和选择算子(LASSO)回归算法进行进一步降维和最优特征选择。在此过程中,使用最小准则的一个标准误(1-SE准则)来调整正则化参数(λ)并基于十折交叉验证进行特征选择。最后,将具有相应非零系数的最优特征线性组合,获得用于分类分析的影像组学评分(Rad-score)。
模型的性能评估
绘制ROC曲线并计算相应的AUC以评估预测模型的区分性能。在最大约登指数得出的截断值处,分析每个模型的准确度、灵敏度和特异度。采用DeLong检验比较ROC曲线。使用校准曲线和Hosmer-Lemeshow检验评估表观性能;检验统计量不显著表明校准良好。通过决策曲线分析(DCA)量化测试队列中不同阈值概率下的净收益,以衡量模型的临床实用性。
统计分析
连续变量以均值±标准差描述,采用t检验或Mann-Whitney U检验进行比较。分类变量以频数和百分比汇总,使用卡方检验或Fisher精确检验。p值<0.05被认为具有统计学意义。通过1000次重复自举法估计95%置信区间(CI)。统计分析使用SPSS软件(版本26.0,IBM)和R软件包(版本3.5.1,http://www.Rproject.org)完成。
结果
临床特征及常规HRT2WI视觉评估
本研究共纳入706例患者(平均年龄65.39±10.481岁)。男性患者(n=437,61.9%)和中分化患者(n=492,69.7%)占多数。早期患者(n=287,40.7%)约为T3/4期患者(n=419,59.3%)的三分之二,且在训练队列和测试队列中分布相似(p=0.370)。训练队列与测试队列之间所有临床病理特征均无显著差异(均p>0.05),详见表2。放射科医师基于常规HRT2WI视觉诊断的预测准确度在训练队列中为0.701,在测试队列中为0.685(p=0.230)。
影像组学特征处理与模型开发
共从每个T2WI序列中提取了1688个影像组学特征。所获得的特征包括18个一阶特征、14个形状特征以及应用18个图像滤波器后各得到75个高阶纹理特征,共产生1688(即18 × [75 + 18] + 14)个特征-滤波器组合。观察者间和观察者内信度的平均值分别为0.811(95% CI 0.726–0.896)和0.839(95% CI 0.776–0.902),表明影像组学特征具有极好的一致性。在1688个特征中,HRT2WI和SRT2WI分别根据其Kendall相关系数保留了143个和152个特征。分别选择了最佳λ(λH = 0.01541968,λS = 0.02163163)及其变换后的log(λ)值[log(λH) = − 4.1721,log(λS) = − 3.8336]。最终,HRT2WI中的13个特征和SRT2WI中的8个特征被选择用于构建影像组学模型,分别定义为modelHRT2和modelSRT2。相应的Rad-score方程及特征提取的进一步细节见补充材料4。
在两个模型中,T3/4患者的Rad评分均显著高于T1/2患者:modelHRT2(训练集:2.754 ± 1.100 vs. 1.289 ± 0.721,测试集:2.506 ± 0.997 vs. 1.531 ± 0.915,均p < 0.001)和modelSRT2(训练集:− 3.055 ± 0.806 vs. − 1.022 ± 1.746,测试集:− 2.945 ± 0.901 vs. − 0.930 ± 1.878,均p < 0.001)。此外,两个模型中Rad评分的累积分布在训练队列和测试队列之间相似(图4A),表明未观察到过拟合现象。
模型的预测性能
在训练队列中,modelHRT2和modelSRT2的AUC分别为0.888(95% CI 0.862–0.914)和0.919(95% CI 0.898–0.941)(图4B)。在测试队列中,modelSRT2的AUC为0.869(95% CI 0.813–0.925),表明其性能优于modelHRT2(0.810,95% CI 0.734–0.886)。两个影像组学模型在区分T1/2和T3/4方面均表现出优于专家放射科医师的性能(AUC = 0.685,95% CI 0.595–0.775)(图4C)。关于准确度、灵敏度和特异度的进一步评估见表3。DeLong检验显示modelSRT2、modelHRT2和放射科医师的ROC曲线之间差异有统计学意义(均p < 0.05)。
对于modelHRT2和modelSRT2,校准曲线(图4D–G)和Hosmer-Lemeshow检验结果(modelHRT2:p训练 = 0.501,p测试 = 0.316;modelSRT2:p训练 = 0.955,p测试 = 0.397)表明两个队列中均未偏离完美拟合。
临床实用性
DCA(图5)表明modelSRT2获得的净获益大于modelHRT2,且与专家放射科医师相比,两种影像组学模型的应用均改善了直肠癌(RC)术前T分期评估的临床获益。
讨论
本研究开发并独立验证了基于HRT2WI和SRT2WI的肿瘤源性影像组学模型,用于RC术前T分期预测。与专家放射科医师和modelHRT2相比,modelSRT2表现出更优的预测性能并具有更高的图像质量,表明其有潜力辅助临床医师为RC患者选择最佳的初始治疗策略。
准确评估T分期对于决定术前是否进行nCRT至关重要[8]。此外,原发T分期作为基线参考在治疗后评估中发挥重要作用[9, 32]。目前,MRI被推荐为RC局部T分期的标准方法,但准确性不尽如人意[11–14]。因此,需要一种替代方法来促进治疗前评估。得益于高通量数据挖掘,影像组学为临床使用提供了大量额外信息[17]。少数研究尝试将影像组学分析用于RC T分期。Sun等[33]进行了一项初步研究,在训练数据集中预测AUC为0.852。尽管该研究发现术前影像组学特征识别局部T分期是可行的,但缺乏独立测试。在最近一项回顾性纳入268例患者的研究中,Lin等[34]选择了9个最优影像组学特征,获得了0.807的AUC。我们从原始图像和滤波图像的VOI中提取了大量影像组学特征;因此,可能表征了更全面的肿瘤内异质性信息。在本研究中,modelHRT2的诊断性能与先前报道的模型相似甚至略高。上述研究表明,基于HRT2WI的影像组学模型表现出同样良好的性能。
然而,考虑到HRT2WI的物理过程,其平面内分辨率高于平面外分辨率[35]。因此,沿z方向的空间分辨率(z分辨率)是各向异性的,这可能对基于三维的影像组学特征产生不利影响。该问题可通过超分辨率(SR)方法得到改善[26, 35, 36]。在针对医学影像提出的各种SR方法中,深度学习超分辨率(DL-SR)因其能够克服高频信息丢失和边缘模糊的局限性并提高分辨率而受到青睐[37, 38]。近年来,少数研究为将DL-SR应用于影像组学分析奠定了基础。Fan等[39]探讨了二维SR神经网络在提高分辨率和基于图像的诊断中的实用性。Farias等[24]发现生成对抗网络(GAN)SR提高了最重要影像组学特征的稳健性。这两项概念验证研究揭示了进一步将DL-SR应用于影像组学分析实践的令人鼓舞的潜力,但仍需要通过工作流程对其临床实用性进行验证。与上述初步研究不同,我们开发了基于三维GAN的模型SRT2,并重点关注其在直肠癌(RC)T分期预测中的临床应用。我们的模型SRT2与既往影像组学模型相比取得了更优的诊断性能(AUC 0.869)。一种解释可能是DL-SR方法通过结合上下文信息进行高精度插值,因此SR图像可能为影像组学分析提供更多加密信息,而影像组学分析在识别肿瘤形态学和病理生理学细微变化方面被认为相当敏感。此外,与模型HRT2相比,模型SRT2中的特征提取过程及特征稳定性对沿z方向的成像各向异性更具抵抗力。
在我们的研究中,两种影像组学模型在准确性方面均优于专家放射科医师。我们注意到,放射科医师的误判主要由T2与T3肿瘤的混淆所致。这可能是由于肉眼识别微浸润以及区分难以辨别的影像学特征存在困难[40]。此外,由于担心遗漏直肠系膜侵犯带来不良后果,放射科医师可能更倾向于怀疑肿瘤为局部晚期直肠癌(LARC),尤其是对交界性肿瘤。有趣的是,更高的分辨率可以更好地显示直肠壁,而关于这是否有助于放射科医师提高鉴别T2与T3肿瘤的诊断准确性的研究结果存在争议且相互矛盾。Maas等[16]提出了一个悖论,即随着分辨率的提高,出现了更多过度分期病例和更低的研究者间一致性,而Kim等[15]则报道分辨率并未影响放射科医师的分期结果。即便如此,两位作者均认为,无论是分期错误还是低至中等的研究者间一致性,由于主观因素的影响,即使在资深放射科医师中也难以控制[15, 16]。在这方面,影像组学模型凭借人工智能的客观性优势,表现出更好且更稳定的性能。这解释了为何modelSRT2能够充分利用SR(超分辨率)并产生比放射科医师主观评估更客观、更均衡的结果。此外,值得注意的是,我们的T分期队列是迄今为止最大的,因此我们的模型更为可靠。
本研究存在若干局限性。首先,影像组学模型是基于手动勾画构建的。虽然modelSRT2确实取得了更好的性能,但SR技术的应用增加了分割的工作量。未来,自动分割与影像组学分析的结合将为SR模型提供更高的效率和稳健性。其次,手工提取的影像组学特征受放射科医师个人经验和感知的影响。在后续研究中,基于深度学习(DL)的自动特征选择可能捕获更高效的特征并最大限度地减少主观干扰[41]。第三,这是一项回顾性单中心研究。需要前瞻性设计并配合外部验证以进一步研究。
总之,本研究提出了一种基于深度学习的3D SR影像组学模型,该模型在预测直肠癌(RC)患者的肿瘤T分期和识别新辅助放化疗(nCRT)候选者方面优于传统HRT2影像组学模型和专家放射科医师。迄今为止,这是首次将基于深度学习的3D SR方法应用于影像组学分析以支持临床决策。我们相信,通过进一步验证,借助SR成像的影像组学的临床效用将得到最大化。
补充信息
ESM 1(DOCX 183 kb)
引用
- Hou M, Zhou L, Sun J, et al. Deep-learning-based 3D super-resolution MRI radiomics model: superior predictive performance in preoperative T-staging of rectal cancer. Eur Radiol. 2022. PMID: 35726100. doi:10.1007/s00330-022-08952-8
- 全文:PMC9755091(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9755091/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。