IPASC数据格式:光声成像的共识数据格式
国际光声标准化联盟(IPASC)建立了基于HDF5的共识数据格式,用于存储光声成像原始时间序列数据及元数据,并提供开源API(PACFISH)实现专有格式转换,以促进数据交换与多中心临床试验。
要点
- IPASC格式存储原始时间序列数据而非重建图像,避免信息丢失并降低格式复杂度。
- 元数据分为最小元数据、采集元数据和设备元数据三类,支持自定义参数扩展。
- PACFISH开源工具提供数据转换、质量控制及读写功能,便于厂商和研究者集成。
核心结论
- IPASC数据格式旨在统一光声成像数据存储与交换,促进技术进展、研究合作和多中心临床试验。
研究设计与样本
- 由国际光声标准化联盟(IPASC)数据采集与管理工作组制定,基于HDF5格式,经过多次优化并收集光声社区反馈。
- 格式设计存储原始时间序列数据及元数据,并配套开源Python工具PACFISH用于格式转换。
诊断标准与关键数值
- 最小元数据包含容器格式元数据、二进制数据元数据、A/D采样率、采集波长、探测器位置和视场。
- 采集元数据包含感兴趣区域、设备引用、脉冲能量、测量时间戳、测量空间位姿、时间增益补偿、总增益、元件增益、温度控制、声耦合剂、声速、扫描方法和每图像测量数等。
- 设备元数据包含唯一标识符、视场、照明和探测元件数量及其位置、方向、几何类型、频率响应和角度响应等。
临床应用与阅片要点
- 原文未据此给出推荐。
局限性
- IPASC数据格式尚不支持双模态系统(如光声与超声联合系统)的数据纳入。
- HDF5格式存在数据损坏风险及处理大型数据集时的潜在性能问题。
全文中译8 节 · 点击展开
引言
将光声成像(PAI)转化为临床试验,已发现该技术具有多样化的潜在应用前景;该技术将光学激发所提供的高对比度与超声检测所具备的分辨率和穿透深度相结合[1],[2],[3],[4]。由于光声波的宽带特性,PAI可自然地应用于一系列长度尺度,系统范围从显微分辨率(在亚毫米成像深度)到宏观、通常为断层成像的配置(成像深度可达数厘米)。系统配置的这种多样性使得能够针对特定应用进行定制,但也引入了数据采集和管理的复杂性。然而,在所有情况下,光声效应的物理原理以及数据的整体性质都是相同的。由于这些原因,用于数据处理、图像重建和数据显示的算法以及相应的元数据具有许多共同之处。尽管存在这些相似性,目前对于存储和共享PAI数据的数据格式尚无共同体共识。
标准化数据格式的价值已在其他成像领域得到认可,从而促进了定制格式的发展,例如用于磁共振成像(MRI)的脑成像数据结构(BIDS)[5]、用于神经影像的神经影像信息学技术倡议(NIfTI)格式[6]、用于功能性近红外光谱的共享近红外光谱格式(SNIRF)[7]或用于超声的超声文件格式(UFF)[8]。医学数字成像和通信(DICOM)格式是当前处理临床成像数据集的国际标准[9],但该格式仅设计用于存储重建图像,且面向临床使用。
缺乏用于原始PAI时间序列数据的标准化格式,阻碍了不同研究人员、供应商和组织之间对所获数据的访问、交换和可用性。标准的光声数据格式将有两个实质性益处。首先,它将通过促进更好的数据处理,帮助那些日常处理光声数据的人员。例如,它可有助于比较从不同站点获得的数据或使用不同供应商仪器获得的数据。其次,标准数据格式如果被广泛采用,将有助于光声技术和可视化软件的开发者向临床医生、数据科学家和其他潜在用户展示统一阵线。例如,通用格式可通过使PAI数据更加透明,加速新图像重建和处理方法的开发和测试。
尽管如此,PAI标准化格式的开发仍伴随挑战。如上文所强调,PAI的系统配置多种多样,导致系统之间可用(且相关)的元数据存在广泛差异。此外,时间序列数据可能规模庞大且高维。另外,与后处理算法高度相关的图像采集参数可能无法获得(例如,由于硬件限制或知识产权保护)或存在不确定性。
标准文件格式的开发、引入和采用在很大程度上依赖于社区内研究人员的广泛参与。国际光声标准化联盟(IPASC)是一个由社区主导的组织,致力于协助和支持在光声成像(PAI)领域引入标准。IPASC的工作被划分为三个工作组,涵盖:研究设计;体模开发;以及数据采集与管理(DAM)。DAM工作组承担了开发一种标准化方式来以定制的数字格式存储PAI数据的任务。该格式经过了若干优化程序[10],在此过程中收集了来自PAI社区的反馈,并用于改进该格式的内容和结构。本文呈现了这些综合工作。首先,介绍了相关术语和定义。其次,重点介绍了IPASC格式的结构及其相关元数据。最后,介绍了用于数据转换的开源应用程序编程接口(API)的组织结构和工作流程。通过引入这一格式,IPASC希望促进PAI数据的处理和处理,从而支持PAI社区未来的标准开发,并加速临床转化工作。
术语和定义
本节提供了术语的定义以避免歧义。如需进一步了解详情,请参阅IPASC“术语和定义”[11]以及“光声数据和设备参数”共识文件[12],这些文件已被IPASC采纳并可在IPASC网站上获取。
原始时间序列数据:时间序列是指来自一个检测元件的经时间采样的信号。原始时间序列数据是指一组未经修改的此类时间序列,每个检测元件对应一个时间序列。
设备:光声设备(硬件和/或软件)的特定品牌和型号。这可能包括实验室原型、用于研究销售的系統,或在美国由食品药品监督管理局(FDA)监管、在欧盟(EU)通过CE认证[13]监管的医疗器械。全扫描设备(在不进行照明/检测阵列或目标顺序移动的情况下进行图像采集)与复合扫描设备(通过顺序改变照明/检测阵列或目标的位置和/或方向进行图像采集)之间有所区分。
模态:一类成像设备,以独特的物理原理为特征[13](例如PAI)。
测量:对应于成像设备单次照明和采集步骤的一组原始时间序列数据。对于全扫描设备,仅进行一次测量;而对于复合扫描设备,多次测量共同构成同一图像。对于复合扫描,可使用测量空间位姿数据来指定某次测量的相对空间位姿。
图像:由成像信号分析得出的、在兩個或更多空间维度上变化的数值阵列,对应于被成像物体中的一组空间位置[13]。在本文档的语境中,光声图像是指将原始时间序列数据映射到空间域的结果。图像可以来自一次或多次测量。图像可能经过后处理步骤,例如包络检测、显示动态范围、阈值处理、位深离散化、增益调整、颜色映射或注量校正。
检测元件:一种能够将机械能转换为电能、并在某些情况下将电能转换为机械能的特定材料元件[14]。在此,它指的是例如压电晶体或激光干涉仪。
照明元件:一种能够发光以照明目标的特定材料元件,例如传输由激光或发光二极管(LED)光源产生的光的光纤。所有定义的照明元件在一次测量的整个采集过程中必须保持固定。
IPASC数据格式
一个PAI数据集通常由一个(或多个)表示目标体积投影到图像平面上的图像(二维(2D)成像)、一系列表示体积的图像(三维(3D)成像),或随时间 and/or 波长对同一2D或3D数据集进行的多次采集以产生动态采集序列(多维成像)组成。IPASC数据格式设计用于将测量数据存储为原始时间序列数据而非重建图像,以防止信息丢失并降低数据格式的复杂性。原始时间序列数据附带相关元数据以实现可重复的重建。
为适应PAI数据集的多样性,选择了分层数据格式(HDF5)[15]作为数据格式,原因如下:HDF5(1)能够在单个文件容器内存储和组织大量数据;(2)平台无关;(3)支持无限 variety 的数据类型;(4)在科学界广泛使用;(5)可公开获取;(6)实现了带有例如MATLAB、4 Python [16]、C++、5或Java接口6的高级API;以及(6)在数据文件中包含描述性元数据,因此元数据在交换文件时不会丢失。HDF5使用两种对象类型:数据集,即同质类型的多维数组;以及组,即容纳数据集和其他组的容器结构。在IPASC数据格式中,元数据以附加到组和数据集的用户定义命名属性的形式存储。
元数据属性
元数据提供关于数据相关方面的信息。在IPASC数据格式中,每个元数据项由一系列属性来表征,以描述和定义其用途和边界条件(表1)。如适用,给出嵌套属性的进一步规范。除非另有说明,所有元数据的单位均以国际单位制(SI单位)给出。
IPASC数据格式的元数据分为三个子类别:(1)最小元数据,(2)采集元数据和(3)设备元数据。尽管该格式试图容纳用于完整PAI数据描述的最相关元数据参数,但现有系统的多样性和持续的技术进步可能需要添加我们当前框架中尚未考虑的进一步参数。为满足这一需求,该格式允许最终用户添加自定义参数,从而提供适应PAI数据多样性所需的灵活结构。
(1)最小元数据
最小参数由必要性属性指示,包含读取PAI数据以及从原始时间序列数据重建任何图像所需的全部参数。任何附加信息如有应在元数据中报告。最小参数集包含:
容器格式元数据:文件格式的固有特征,规定强制性参数。它们包括唯一通用标识符(UUID)、压缩类型和编码类型。
二进制数据元数据:使二进制数据可被机器读取的元数据。它们包括关于数据类型、维度和每个维度大小的规格。
A/D(模拟/数字)采样率:一个单一值,指模拟信号采样转换为数字形式的速率。
采集波长:一个一维数组,包含用于图像采集的所有波长。
探测器位置:每个探测元件在三维笛卡尔坐标 [x1, x2, x3] 中的位置。
视场:一个数组,定义一个应在三维笛卡尔坐标 [x1 , x1 , x2 , x2 , x3 , x3 ] 中重建的近似长方体(三维)区域。二维视场可通过将相应维度的起始和结束坐标设为相同值来定义。
(2) 采集元数据
采集元数据描述数据捕获时的采集设置。除最小元数据外,它们包括以下参数:
感兴趣区域:底层三维笛卡尔坐标系(参见设备元数据)内命名区域的列表。包含区域名称的字符串映射到数组,这些数组定义近似长方体区域(参见视场)或描述围绕命名区域的一组三维笛卡尔坐标的坐标列表。
光声成像设备参考:一个字符串,引用设备元数据中定义的PAI设备描述的UUID。
脉冲能量:一个值,规定用于生成光声信号的脉冲能量。如果脉冲能量是对许多脉冲取平均的,则必须指定平均值。
测量时间戳:一个数组,规定记录测量的时间。
测量空间位姿:描述采集系统相对于参考测量(第一次测量)的位置和方向变化的坐标。
时间增益补偿:一个数组,包含用于校正时间序列数据声衰减效应的相对因子。
总增益:一个单一值,描述用于修改原始时间序列数据幅度的因子。
元件相关增益:一个数组,包含用于切趾或探测元件灵敏度校正的相对因子。
温度控制:一个数组,描述每次测量时成像空间(涵盖成像介质和耦合剂)的温度。
声耦合剂:一个字符串,表示所使用的声耦合剂。
声速:一个单一值,表示整个成像介质中的平均全局声速;或一个三维数组,表示设备坐标系中的非均匀声速图。此定义涵盖成像介质和耦合剂。
扫描方法:表示所用扫描方法的字符串。可使用以下描述:(“composite_scan”、“full_scan”)。该标志决定元数据“measurement”的定义方式。
每幅图像测量次数:一个单一值,描述构成对应一幅图像的数据集的测量次数。
频域滤波器:一个数组,定义应用于滤除原始时间序列数据的频率阈值水平,包含滤波器的[下限,上限] −3 dB点,单位为赫兹。[下限,−1]表示高通滤波器,[−1,上限]表示低通滤波器。
(3) 设备元数据
设备元数据包含描述光声成像(PAI)设备所需的全部信息(图1)。与采集元数据不同,其旨在便于对各个系统如何采集数据进行建模,例如,以实现方向性校正,或应用特定照明几何的注量校正算法,如[17]或[18]中所述。通过收集这些元数据,可创建商业和定制PAI设备的数据库,其中包含构建成像设备硬件数字孪生所需的全部参数。每个系统分配一个唯一标识符,在记录的photoacoustic数据中引用该标识符。设备元数据包括:
通用唯一标识符:一个随机生成的十六进制字符串,可用于引用该设备。
视场:描述PAI设备可检测区域近似长方体的坐标。
照明元件数量:PAI设备中使用的照明器数量。
检测元件数量:PAI设备中使用的换能器元件数量。
照明元件
照明器位置:定义照明器质心位置的坐标。
照明器方向:定义照明光束方向单位向量的坐标。
照明器几何类型:描述光纤(束)输出形状的字符串。
照明器几何:定义光纤(束)输出数值几何的值。该元数据的数据类型和内容由照明器几何类型字段决定。
波长范围:一个包含三个值的数组[最小波长,最大波长,精度],描述照明器可生成的波长。
激光能量分布:一个包含两个双精度数组的数组[波长,能量],描述照明器的激光能量。
激光稳定性分布:一个包含两个双精度数组的数组[波长,标准差],表示照明器脉冲间激光能量的标准差。
脉冲持续时间/宽度:一个值,描述激光脉冲的总长度(测量为脉冲前沿和后沿半功率点之间的时间间隔。)
光束强度分布:一个包含两个双精度数组的数组[位置,强度],根据照明器平面发射表面在强度分布距离所定义距离处指定相对激光束强度。
强度分布距离:一个数组,描述测量光束强度分布时距光源的距离。
光束发散角:一个值,指定激光束相对于方向向量的张角。
检测元件
探测器位置:定义检测元件质心位置的坐标。
探测器方向:定义探测器方向单位向量的坐标。
探测器几何类型:描述探测器几何类型的字符串。
探测器几何:定义探测器数值几何的值。该元数据的data type和内容由探测器几何类型字段决定。
频率响应:一个包含两个值[中心频率,带宽]的数组,表征检测元件对入射压力波的频率响应。
角度响应:一个包含两个值[入射角,响应]的数组,表征检测元件对入射压力波入射角(相对于元件方向)的角度灵敏度。
为表示设备的空间配置,需要坐标系。此处假设基础坐标系满足以下条件:笛卡尔坐标系的轴为x1 (1, 0, 0)、x2 (0, 1, 0)和x3 (0, 0, 1),空间位置以米[m]为单位给出。未设置进一步条件,因为只要所有轴定义与所引用的设备元数据保持一致即可。成像设备的视场在同一坐标系中由六个坐标点([x1 , x1 , x2 , x2 , x3 , x3 ])给出,可用于归一化探测器和照明器的位置。因此,成像系统的原点可因设备类型不同而以不同方式定义(参见图2)。
为便于使用,对于采集时间序列数据以重建为二维图像的设备,我们建议采用以下约定:
1. x1轴应定义为成像平面的水平(横向)轴。
x2轴应定义为成像平面的垂直(轴向)轴。
x3轴应定义为成像平面的法线(仰角)方向。
PACFISH:用于数据访问和转换的开源API
为促进IPASC数据格式的使用,实现了一个基于Python的原型软件工具(PACFISH,Photoacoustic Converter for Information Sharing)(图3)。PACFISH有三个用途:(1)帮助供应商将IPASC数据格式导出集成到其标准软件中;(2)协助科学家读写共识HDF5格式的数据;(3)帮助PAI社区创建自定义适配器,将专有文件格式转换为共识HDF5格式。PACFISH在GitHub7上以商业友好的BSD-3-Clause许可证8开源提供,欢迎对PACFISH的持续开发做出贡献。
PACFISH 分为 API、核心、质量控制和 iohandler 模块。API 包(pacfish.api 黄色模块)可用于促进适配器的集成,以将任意文件格式转换为 IPASC 数据格式。要创建转换适配器,需要实现(1)二进制数据、(2)采集元数据字典和(3)设备元数据字典的 Python 表示。适配器必须至少提供“元数据属性”部分中定义的最小元数据。还提供了添加额外自定义元数据项的选项。
核心类(pacfish.core 绿色模块)在 Python 中表示元数据和数据结构。每个元数据项都用特定的设备标签描述,定义名称、数据类型、必要性及 SI 单位(如适用),并设置值约束。已实现基本元数据约束,以避免值字段中的意外拼写错误(例如,采集波长仅适用大于零的正数)。如果值不在约束范围内,则引发 TypeError。元数据项特定函数可轻松为特定元数据字段添加值。
质量控制功能(pacfish.qualitycontrol 蓝色模块)确保转换为 IPASC 格式的正确性:完整性检查器测试所有元数据是否被调用,一致性检查器确保所有元数据在其约束范围内。自动生成的输出报告提供质量控制检查的人类可读摘要,并确保转换错误的可能性最小化。为评估设备元数据,探测器与照明器位置可在三维坐标系中表示,作为可视化控制(图 4)。
最后,I/O 功能(pacfish.iohandler 红色模块)支持读写 IPASC 格式的数据文件。代码清单 1 展示了如何使用 PACFISH 加载和访问标准化数据与元数据。
API 使用示例
在下文中,我们提供一些示例代码存根,可用于理解 PACFISH 的处理方式,使用的是本论文发表日期时可用的版本号。有关最新示例,请访问 PACFISH GitHub 页面。9
1. 使用 API 处理 IPASC 格式的数据:
此清单包含 Python 代码,展示如何使用 PACFISH 读取 IPASC 格式的数据、解包与图像重建相关的元数据,以及将数据写入硬盘。
2. 使用 API 编写自定义设备特定适配器:
3. 使用自定义适配器访问/转换光声数据:
IPASC 格式的样本数据可在 Zenodo10 上找到,应用示例可在 Github11 上访问。图 5 展示了 Zenodo 样本数据,显示了设备可视化、模拟时间序列数据以及传统反投影算法 [20] 对四个具有不同探测几何结构的样本数据集的重建结果。
讨论
我们提出了用于光声成像(PAI)数据存储的IPASC数据格式。IPASC格式设计用于将原始时间序列数据及相关元数据存储为HDF5文件。为便于使用IPASC数据格式,DAM工作组成员创建并测试了一款基于Python的软件工具(PACFISH,光声信息共享转换器);该工具已提供给PAI社区使用和进一步开发。
PAI系统可以具有截然不同的照明和检测几何结构,包括线性阵列、圆柱形和半球形设计。对于任何硬件配置,扫描协议也可以有所不同(全扫描与复合扫描)。虽然IPASC格式旨在满足所有需求,但仍存在局限性。
首先,IPASC数据格式尚不支持纳入双模态系统的数据,例如光声与超声联合系统。未来的实现应考虑这些混合系统类型,因为它们正变得越来越常见(参见例如[21]、[22]),尤其是在临床环境中。
还存在与使用底层数据格式HDF5相关的局限性,例如在处理大型数据集时存在损坏风险或潜在的性能问题[23]。虽然目前这些缺点被HDF5的优势所抵消——例如其灵活性、组织性、开放获取以及将大型标注数据集存储在单个文件中的能力——但仍应牢记这些局限性以确保该格式的安全使用。
IPASC数据格式设计用于容纳带有所有相关元数据的原始时间序列测量数据。存储原始数据优于存储重建图像,因为重建可能导致图像伪影和信息丢失。对于重建图像,与DICOM格式的兼容性是理想的,因为它是医学图像数据管理中使用最广泛的格式。IPASC行业委员会(包括商用PAI系统的供应商)目前正在致力于将光声图像数据整合到DICOM中。由于DICOM标签将基于此处呈现的元数据命名规范,IPASC希望实现两种格式之间的适当映射并确保其兼容性。
PACFISH Python工具仍在开发中,目前正由光声社区成员和供应商进行测试,以评估其在工业环境中的适用性。可以添加对其他编程语言(如MATLAB)的适配器,以提高PACFISH在用户社区中的可及性。此外,将PACFISH直接集成到与数值正向建模相关的软件工具中,如k-Wave [24]或蒙特卡罗极值(MCX)[25],将是有益的。
我们近期的重点将是扩大IPASC格式在供应商和研究界的适应范围。除了为专有格式、编程语言和软件工具实现更多适配器外,我们还希望使现有的图像重建算法与IPASC格式兼容,以简化使用该格式的后处理流程。进一步的目标是创建一个开放获取数据库,其中包含以IPASC格式保存的数据,以促进可重复性研究以及重建算法的结构化评估和基准测试。通过引入IPASC格式,我们希望促进技术进步,促进社区合作,并最终加速该模态的临床转化和采用。
本文仅作为IPASC数据格式的介绍。包含IPASC数据格式完整描述的Agreed Proposal共识文件[12]可在IPASC网站上找到:https://www.ipasc.science/,该网站还包含进一步资源和关于如何对这些文件提供反馈的指导。
CRediT作者贡献声明
Janek Gröhl:撰写——原始草稿,软件。Lina Hacker:撰写——原始草稿,软件。Ben T. Cox:撰写——审阅与编辑,监督。Kris K. Dreher:撰写——审阅与编辑,软件。Stefan Morscher:撰写——审阅与编辑,监督。Avotra Rakotondrainibe:撰写——审阅与编辑,软件。François Varray:撰写——审阅与编辑,软件。Lawrence C.M. Yip:撰写——审阅与编辑,软件。William C. Vogt:撰写——审阅与编辑,监督。Sarah E. Bohndiek:监督。
利益冲突声明
本文的一位或多位作者披露了潜在或相关的利益冲突,其中可能包括直接或间接获得报酬、机构支持,或与生物医学领域某一实体的关联,而该关联可能被认为与本工作存在潜在利益冲突。完整披露声明请参见https://doi.org/10.1016/j.pacs.2022.100339。Sarah Bohndiek报告与EPFL Center for Biomedical Imaging存在关系,包括:演讲和讲课费。Sarah Bohndiek报告与PreXion Inc存在关系,包括:资助拨款。Sarah Bohndiek报告与iThera Medical GmbH存在关系,包括:非财务支持。Avotra Rakotondrainibe报告与iThera Medical GmbH存在关系,包括:雇佣。Stefan Morscher报告与iThera Medical GmbH存在关系,包括:雇佣。
引用
- Gröhl J, Hacker L, Cox BT, et al. The IPASC data format: A consensus data format for photoacoustic imaging. Photoacoustics. 2022. PMID: 35287304. doi:10.1016/j.pacs.2022.100339
- 全文:PMC8917284(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8917284/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。