利用希尔伯特曲线解码放射图像上的瘤内空间异质性
本研究提出基于希尔伯特曲线的空间对应映射方法,将整个肿瘤体素展开为二维矩阵并保留相邻体素的空间局部性。在LIDC-IDRI肺结节数据集上,该方法生成的希尔伯特矩阵图像经Inception-V4分类良恶性,测试集准确率85.54%,显著高于原始CT图像的73.22%(p<0.001)。
要点
- 希尔伯特曲线可将整个3D肿瘤体素展开为2D矩阵,同时保留体素间空间局部性。
- 希尔伯特矩阵图像用于肺结节良恶性分类,测试集准确率85.54%。
- 该映射使现有2D影像组学和卷积网络能分析全肿瘤三维空间异质性。
核心结论
- 基于希尔伯特曲线的空间对应映射能有效解码部分或整个肿瘤样本的瘤内空间异质性。
- 将肿瘤体素展开为保持空间局部性的2D矩阵后,现有影像组学和卷积神经网络可提取结构化的高维瘤内异质性特征。
- 希尔伯特矩阵图像在肺结节良恶性分类中优于原始CT图像,测试集准确率85.54% vs. 73.22%(p<0.001)。
研究设计与样本
- 方法学研究,使用LIDC-IDRI公开数据集中的肺结节CT图像进行验证。
- 纳入2635个肺结节(共14266张CT图像)评估分类性能,其中532个良性、401个恶性结节用于分类实验。
- 采用Inception-V4网络分别测试希尔伯特矩阵图像和原始CT图像,数据按80%:10%:10%分为训练、验证和测试集。
- 结节良恶性参考标准为放射科医生平均恶性评分:平均分<3为良性,>3为恶性;分割采用多位放射科医生标注的交集。
关键影像表现/征象
- 传统轴位、冠状位、矢状位单层图像经希尔伯特展开后,2D矩阵上像素分布稀疏、散乱且不规则,难以分析。
- 3D块和肺肿瘤体素经希尔伯特展开后,在2D矩阵上呈现规则、集中的方形和矩形区域,几乎全部体素系统性展开为矩形和条带状区域。
- 肺肿瘤因空间不规则性在矩阵图像中可出现离群点。
诊断标准与关键数值
- 良恶性分类:LIDC-IDRI结节平均恶性评分<3为良性,>3为恶性。
- 希尔伯特矩阵图像测试集分类准确率85.54%,原始CT图像为73.22%,McNemar检验p<0.001。
- 希尔伯特矩阵图像训练集准确率93.45%,验证集86.36%;原始CT图像训练集95.69%,验证集75.05%。
- 仅使用Radiologist 1手动分割的希尔伯特矩阵图像在测试集准确率86.11%(95%CI 79.05%–93.17%)。
临床应用与阅片要点
- 可将整个肿瘤体素通过希尔伯特曲线展开为2D矩阵,在保留空间局部性的前提下利用现有2D影像组学或卷积网络分析瘤内异质性。
- 在2D希尔伯特矩阵上对规则集中区域进行不同感受野滤波,等效于对3D空间中对应大小的肿瘤块进行滤波。
- 该方法有望避免多尺度感受野三维滤波的耗时问题,并提升高维卷积效率。
- 需注意传统轴位、冠状位、矢状位单层图像经希尔伯特展开后分布散乱,不宜直接用于后续分析。
局限性
- 本研究仅验证了希尔伯特曲线,未探索Peano曲线、Gosper曲线和Koch雪花等其他空间填充曲线。
- 初步研究仅使用肺肿瘤进行展示和验证,未来需在放射学、组织病理学和基因组学等多种肿瘤样本中验证。
- 希尔伯特矩阵图像不如常规横断面图像直观。
全文中译7 节 · 点击展开
要点
希尔伯特曲线可能克服肿瘤内异质性分析的瓶颈。
可以避免对图像进行耗时的多尺度感受野三维滤波。
这种保留空间局部性的体素扩展方法使得能够对高维肿瘤内异质性进行滤波。
背景
纹理在影像辅助肿瘤检测、疗效评估和生存预后中发挥着重要作用[1–3]。已有研究利用放射科医生可凭肉眼直观感知的肿瘤模式,提出了用于测量肿瘤特征的初步定性或定量纹理描述符[4]。随着数据分析和图像扫描技术的发展,传统纹理描述符可能无法满足当前挖掘高分辨率放射学图像潜在语义的需求[5, 6]。肿瘤内异质性揭示了单个肿瘤内存在具有不同分子谱的多个亚克隆共存[7, 8],最初在分子图像分析领域通过解码更深层次的空间和时间异质性得到证实。肿瘤内异质性为在放射学图像上探索潜在语义解码提供了机会[9]。可以通过一种更精细的方法来挖掘肿瘤表型多样性,而非通过视觉感知捕捉浅层纹理,即利用部分或整个肿瘤区域内特定灰度强度分布图的统计量来揭示肿瘤进展、复发和预后的不可察觉证据[10–12]。以医学图像分析中新兴的放射组学领域为代表,解码肿瘤内异质性极大地扩展了对图像表型特征的认识[13, 14]。
然而,传统纹理描述符和新兴的潜在肿瘤内异质性测量均受限于仅能在单一层面或感兴趣区的单个图像块上分析异质性,且需结合上下文相关层面[15, 16]。目前,利用整个三维(3D)肿瘤样本解码肿瘤内空间异质性的研究较为罕见。广泛使用的主流放射组学方案,如Pyradiomics[14],利用先进的小波或傅里叶变换从单幅图像的游程矩阵或共生矩阵中提取数千个精细表型特征。尽管已有大量肿瘤内异质性描述符的报道,但探索高维肿瘤内空间异质性仍受限于缺乏合适的方法来描述肿瘤内体素的空间对应关系。然而,解码放射学肿瘤内空间异质性至关重要,因为放射学图像具有全肿瘤采样的独特优势,可确保不遗漏任何存在遗传或病理变异的肿瘤内区域[17, 18]。
在当前的表型分析中,解码放射学图像上瘤内空间异质性的瓶颈在于将所有肿瘤体素展平为二维(2D)矩阵,同时保持体素间的空间结构。在这种变换中,从2D矩阵上不同感受野提取2D瘤内异质性描述符,等效于在对应的3D肿瘤团块上提取空间瘤内异质性。研究表明,解码空间瘤内异质性将提供更高维度的图像数据源,进一步促进未来的放射组学和基于人工智能的医学图像分析[19–21]。因此,一种直观、可行的将3D(体素)映射到2D(像素)空间的方法将克服当前瘤内空间异质性解码的障碍。
在本研究中,我们使用基于希尔伯特曲线的方法将肿瘤体素展开到2D平面,同时保留体素的空间局部性。通过所提出的空间变换,利用现有技术对全肿瘤样本中的瘤内空间异质性进行定量分析将成为可能。
方法
希尔伯特曲线
希尔伯特曲线H(t),或称希尔伯特空间填充曲线,是一种连续的分形空间填充曲线[22],是从实数区间[0, 1]到实数平面[0, 1] × [0, 1]的满射映射。即,给定平面单位正方形上的一点(x0, y0),可利用H(t)找到参数t0如下:
图1展示了1至8级希尔伯特曲线的示意图。
原始希尔伯特曲线提供了一维(1D)与2D空间之间的映射,较好地保留了局部性[23];当用希尔伯特曲线遍历2D像素时,2D空间中与某一像素相邻的像素在对应的1D空间中与该像素位置接近(图2)。
由于局部性特性,希尔伯特曲线有效地实现了降维[24],即使用(N-1)维空间来描述N维空间中的信息。
2D希尔伯特曲线提供了一种映射,其中所有2D像素被展开到1D空间(可拉伸为一条直线);每个像素与其2D邻居的局部性在展开后得以保留[25]。如图3a所示,一幅具有从P0到P1四个像素的图像可通过1级希尔伯特曲线遍历,将宽度为二、高度为二的图像展开为具有四个点的1D空间。2级希尔伯特曲线能够填充16像素的图像,将宽度为四、高度为四的2D图像变换为具有16个点的1D空间(图3b)。随着希尔伯特曲线迭代次数的增加,可填充的图像尺寸相应增大。当迭代趋于无穷大时(即具有无限像素的2D平面),空间将被希尔伯特曲线填充。
此外,3D空间中的对象通过3D希尔伯特曲线表达,可展开到2D空间,空间相邻体素的邻域属性将在2D图像上得以保持(图3c)。
因此,在图像分析中,借助三维希尔伯特曲线,当前瘤内异质性分析技术可应用于二维图像,通过将空间相关性表征到二维图像中来解读三维体积中固有的信息。当使用三维希尔伯特曲线进行降维时,三维空间中的局部体素邻接关系在希尔伯特展开后对应的二维图像上得到良好保留,如图3c所示。
体素展开的降维
本研究使用开放获取的肺图像数据库联盟图像集(LIDC-IDRI)数据库[26]中患者的CT扫描进行降维。肺肿瘤的手动分割由一至四名放射科医师完成,采用放射科医师分割结果的交集。其中一例CT扫描包含一个肺肿瘤,该肿瘤总共跨越31个层面中的43,068个体素,用于说明该流程。该数据无需知情同意,肺肿瘤如图4a所示。
在本研究中,定义了一条第6层三维希尔伯特曲线来存储肺肿瘤体素,我们称之为希尔伯特体积,以将三维肿瘤体积降维为二维矩阵。希尔伯特体积的大小为。我们分别在轴位、矢状位和冠状位平面上将肿瘤的最大直径重新缩放为。在定义的希尔伯特体积中使用CT上肿瘤体素的真实灰度强度,其余标记为零。
接下来,定义了一条与三维希尔伯特体积点数相同的二维希尔伯特曲线(图4b),用于存储从三维希尔伯特体积体素转换而来的所有像素,我们称之为希尔伯特矩阵。希尔伯特矩阵的大小如图4c所示。
然后,我们模拟了将三维空间降维到二维空间的过程。在降维过程中,横断面轴上的每个图像层依次输入希尔伯特变换。从三维希尔伯特体积中拉出的切片层被推送到二维希尔伯特矩阵上前一切片所在的对应位置,以直观地展示降维过程;前一切片的点沿连续的分形空间填充曲线逐步向外移动。该过程迭代进行,直到所有图像层都被推送到希尔伯特矩阵上。最终,希尔伯特矩阵被填充完毕,所有体素都落在由希尔伯特曲线定义的对应像素位置上。
为证明基于希尔伯特曲线的体素扩展后的空间局部性,进行了以下实验:构建三个级别为6的希尔伯特体,分别仅由轴位、冠状位和矢状位平面上的单幅图像组成;其他体素标记为零,如图5a所示。仅包含传统平面上单幅图像的希尔伯特体用于说明所提出的基于希尔伯特曲线的空间对应映射方法对传统平面上单层切片的扩展结果。随后将这三个希尔伯特体均扩展为相应的希尔伯特矩阵。
构建一个级别为6的希尔伯特体,由四个大小为 的3D块组成;其他体素标记为零,如图6a所示。此处构建的希尔伯特体用于阐明所提出的方法在3D块与切片之间扩展结果的差异。各块的位置在体内变化。
将一个内部含有肺部肿瘤的级别为6的希尔伯特体扩展为希尔伯特矩阵,如图6c所示。构建含肺部肿瘤的希尔伯特体用于指示由所提出的基于希尔伯特曲线的空间对应映射方法解码的瘤内空间异质性。
根据最新发布的LIDC-IDRI结节列表[27],使用全部2635个肺结节(包括14,266幅CT图像)评估希尔伯特矩阵图像在良恶性肿块分类任务上的性能。使用LIDC-IDRI数据集是因为所有结节均由至少一位放射科医师诊断,并由放射科医师提供恶性或良性评分。此外,所有肺结节均由至少一位放射科医师手动勾画。本研究使用了每个结节的平均恶性评分以及各放射科医师对每个结节分割的交集。如既往研究[28]所述,平均评分<3的结节分类为良性;平均评分>3的结节分类为恶性。使用名为Inception-V4[29]的最先进分类网络测试肺结节的希尔伯特矩阵图像和原始肺结节CT图像。使用最小直径为5 mm的肺结节,并分为训练、验证和测试数据集(80%:10%:10%);分类准确率的差异通过McNemar检验评估。此外,为验证所提出方法的稳健性,我们在测试数据集中仅使用LIDC-IDRI数据集中放射科医师1所执行的手动结节分割。对分割后的结节实施基于希尔伯特曲线的空间对应映射,并获得希尔伯特矩阵图像。随后将所有图像输入训练良好的Inception-V4模型,以验证分割可能引起的潜在偏倚。
本研究中基于希尔伯特曲线的空间对应映射的源代码可在 https://github.com/JD910/HilbCurv_Spatial_Heterogeneity 公开获取。本研究的希尔伯特体数据(包括轴位平面图像、3D块和所示肺部肿瘤)也可在上述代码库中获取,以便于重现我们的结果。本研究已获得适当的机构审查委员会批准。
结果
应用所提出的空间对应映射后,Hilbert体上的体素与Hilbert矩阵中相应的像素见附加文件1:附录视频1。曲线上的点颜色表示空间对应关系。使用4级3D Hilbert体和相应的6级2D Hilbert矩阵来清晰说明像素邻接的细节。
为了更好地展示降维过程,该过程以动画形式呈现在附加文件2:附录视频2中,以演示肺部肿瘤3D Hilbert体向2D Hilbert矩阵的变换。图像切片被逐一展平到矩阵中,像素逐步向外移动至Hilbert分形曲线所定义的相应位置。Hilbert矩阵最终被填充,降维完成。在动画中,Hilbert体内的肿瘤在降维后得以保留,以更好地可视化3D空间中的肿块与2D矩阵中相应像素之间的对比。
由轴位、冠状位和矢状位平面上单幅图像组成的Hilbert体的2D变换结果见图5。由3D块组成的Hilbert体和肺部肿瘤样本的相应结果见图6。
上述实验结果表明,当对通常在二维空间中可视化的图像(如按轴位、冠状位和矢状位排列的切片)进行变换时,相应希尔伯特矩阵上的像素分布是分散且不规则的,难以通过影像组学或卷积神经网络进行分析。因此,对此类二维切片衍生的希尔伯特矩阵进行进一步分析往往没有意义,如图5第二行所示。然而,对于希尔伯特体内部的三维块,降维到二维矩阵的结果显示为规则且集中的方块。这一发现通过从包含肺部肿瘤的体积扩展得到的希尔伯特矩阵得到了进一步证实。如图6d所示,尽管由于肺部肿瘤的空间不规则性,图像中存在离群值,但几乎所有体素都被系统地扩展,对应于矩形和条形区域。对这些二维矩阵上的均匀区域应用不同感受野的滤波以检测纹理和潜在语义,等价于在三维空间中对相同大小的相应三维块进行滤波。因此,所提出的基于希尔伯特曲线的空间映射将肿瘤样本扩展为体素级的二维矩阵,将使影像组学和神经网络能够利用现有技术滤波更具结构性和空间相关性的高维结节内异质性。关于如何将所提方法应用于影像组学和卷积神经网络的详细说明见附加文件。
来自LIDC-IDRI数据集的肺结节被用于进一步证明基于希尔伯特曲线的空间对应映射方法的性能。该数据集共纳入532个良性结节和401个恶性结节,并使用数据增强来平衡训练和测试数据。使用两类图像在训练集、验证集和测试集上进行分类的样本、体积和准确率(含95%置信区间)的详细统计见表1。良性结节与恶性结节的分类表明,当使用所提出的基于希尔伯特曲线的映射方法从结节体积解码得到的希尔伯特矩阵图像时,在训练集、验证集和测试集上分别获得了93.45%、86.36%和85.54%的准确率。当使用原始CT图像时,Inception-V4网络在相应数据集上获得的准确率分别为95.69%、75.05%和73.22%。使用McNemar检验在测试集上发现准确率存在显著差异(p < 0.001)。此外,使用由LIDC-IDRI数据集中放射科医师1手动分割转换而来的希尔伯特矩阵图像进行分类,在测试集上显示准确率为86.11%,95%置信区间为79.05%至93.17%。
讨论
我们探索并验证了一种新方法,用于在保留体素间空间局部性的同时,将放射学图像上的高维肿瘤映射并可视化到二维空间中。我们证明了希尔伯特曲线是一种可靠的方法,能够解码瘤内空间异质性,从而克服当前瘤内异质性分析的瓶颈——当前方法只能在上下文相关放射学切片内的单层切片或感兴趣区域上进行。我们使用传统轴位平面图像、三维块和肺部肿瘤样本进行的实验表明,所提出的方法在将整个三维肿瘤样本展开为二维矩阵时在保留空间局部性方面具有优越性。通过在矩阵上设计特定的面向体积的滤波器感受野,该方法有望利用当前成熟的放射组学或深度学习技术,在相应的二维空间中提取各种大小的整个或部分肿瘤的瘤内空间异质性。
从放射学图像上的三维肿瘤样本中提取瘤内空间异质性具有挑战性,因为当前技术仅限于分析传统的二维图像切片[13, 30]。基于放射组学的异质性分析研究主要使用从单层切片提取的游程矩阵、共生矩阵和小波特征[31]。该方案已被接受为基于放射组学的工具包开发的主流工作流程,例如Pyradiomics [14]。尽管研究已提出使用肿瘤若干内部层的平均值来计算瘤内异质性描述符,但这些方法的本质仍然是二维处理。在放射组学中,从三维肿瘤样本或肿块的角度设计空间瘤内异质性描述符的研究很少。
为了过滤新兴的卷积神经网络,应用三维核来识别被核覆盖的体素以进行特征表示。通常,三个上下文相关的切片被同时输入核中;随着核逐步移动,卷积神经网络提取具有潜在空间语义的特征图[32]。尽管三维卷积在一定程度上实现了空间异质性分析,但它受限于滤波器的“黑箱”特性;将滤波器扩展到包含更多切片具有挑战性,因为增加三维滤波器体积意味着计算消耗的指数级激增[33]。因此,使用该方法难以对各种大小的肿瘤块同时进行定量异质性分析。
我们提出了一种基于希尔伯特曲线的方法来克服这些障碍,将整个肿瘤样本映射到二维矩阵,同时保留体素的空间局部性。希尔伯特曲线及其他基于分形降维的方法已在其他领域得到探索[34, 35],我们的研究表明,位于希尔伯特体积内不同位置的、尺寸为 的3D肿瘤块被展开到二维希尔伯特矩阵上相应的正方形。因此,对肿瘤样本进行基于影像组学的瘤内空间异质性提取的思路,被转化为对二维矩阵/图像上相应正方形执行常规异质性提取工作流。借助本文提出的基于希尔伯特曲线的降维方法,利用基于希尔伯特矩阵的游程、共现和小波特征提取,对肿瘤样本进行瘤内空间异质性提取是可行的。因此,我们的方法有望用于未来的影像组学研究,从放射学图像中开发自动化且高效的瘤内空间异质性特征提取。
此外,三维卷积核通常包含三个或五个图像切片[36]。三维卷积核的尺寸不能任意扩大,因为随着卷积核尺寸的增加,所需的容量和时间显著增加。对于肿瘤内部块的特征表示,二维卷积比三维卷积更高效,但它牺牲了图像上下文中的空间相关性。因此,平衡卷积神经网络的计算效率和空间上下文具有挑战性[33]。借助所提出的空间对应映射,在二维矩阵上执行具有多个感受野的常规卷积等效于对相应三维块进行三维卷积。尽管所获得的二维矩阵不如常见横断面图像那样具体,但它真实生动地反映了瘤内空间异质性分布,正如在LIDC-IDRI数据集的933个肺结节上的实验所证明的那样。因此,对希尔伯特矩阵进行二维卷积有望提高高维卷积的效率并保持体素间的空间属性。
我们的研究存在若干局限性。首先,我们仅验证了基于希尔伯特曲线的空间映射;然而,还存在其他空间填充曲线,如皮亚诺曲线、高斯珀曲线和科赫雪花曲线[37–39]。未来,我们将探索这些空间填充曲线保留空间局部性的能力,并探索三维与二维空间之间的具体对应关系,以确定空间填充曲线在瘤内空间异质性分析中的数学机制。此外,这项初步研究仅使用肺部肿瘤来阐述和演示基于希尔伯特曲线的肿瘤样本展开。未来应使用来自放射学、组织病理学和基因组学的多种肿瘤样本来探索和验证瘤内空间异质性解码。最后,本研究提出的展开瘤内体素间空间异质性的结果是空间对应关系的抽象映射,而非传统的轴位平面图像。因此,需要探索图像的视觉解读,以拓宽我们对解码的瘤内空间异质性特征的认识。
总之,我们提出并验证了一种基于希尔伯特曲线的方法,用于将放射学图像中的高维肿瘤映射并可视化为二维图像,同时保留体素间的空间局部性。该方法可克服当前基于肿瘤样本的瘤内空间异质性提取的瓶颈,并有望在放射组学中开展放射学图像的高维瘤内空间异质性分析,并推动神经网络识别更具结构性和空间相关性的高维异质性语义。
补充信息
附加文件1。附录视频1:基于希尔伯特曲线的映射演示,以实现从三维肺结节(蓝色)体积到二维扩展。
附加文件2。附录视频2:使用基于希尔伯特曲线的映射将三维希尔伯特体积扩展为二维希尔伯特矩阵的示例。
引用
- Wang L, Xu N, Song J, et al. Decoding intra-tumoral spatial heterogeneity on radiological images using the Hilbert curve. Insights Imaging. 2021. PMID: 34716809. doi:10.1186/s13244-021-01100-8
- 全文:PMC8557226(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8557226/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。