介入放射学影像的辐射缩减:视频帧插值解决方案
该回顾性研究分析167例儿童患者的1634个介入放射学序列,采用SepConv++深度学习模型对降低帧率后缺失的帧进行插值重建。血管造影、减影和透视模式的平均PSNR分别为44.94 dB、34.84 dB和33.82 dB,SSIM分别为0.9840、0.9194和0.7752。九名介入放射科医生的主观评价显示插值序列与真实序列间差异极小。
要点
- 血管造影、减影和透视模式的平均PSNR分别为44.94 dB、34.84 dB和33.82 dB。
- 对应SSIM分别为0.9840、0.9194和0.7752。
- 主观实验中真实序列获33票、插值序列获27票、不确定75票,差异极小。
核心结论
- 该方法对低帧率介入放射学序列进行插值,能够生成高质量的介入放射学图像。
- 该模型可能在介入放射学图像采集过程中降低帧率,从而减少辐射暴露。
研究设计与样本
- 回顾性研究,纳入167例儿童患者的1634个介入放射学序列,数据来自重庆医科大学附属儿童医院,采集时间为2014年3月12日至2022年1月7日。
- 数据预处理后保留1367个序列共95308幅图像,按9:1随机分为训练集和测试集。
- 采用SepConv++深度学习模型,分别在三种模态各自训练集及三模态联合训练集上训练。
- 以PSNR、SSIM和RMSE为客观指标,并由九名介入放射科医生进行主观视觉质量评价。
- 主观实验选取15个代表性序列(6个血管造影、6个减影、3个透视)。
关键影像表现/征象
- SepConv++在三种模态上均优于基线Average方法,各模态PSNR的K-S检验P值均小于0.05。
- SepConv++在数据集上的表现也优于FLAVR方法。
- 视觉比较显示SepConv++有效恢复中间帧,而Average常产生模糊边缘。
- SepConv++ All在血管造影序列上表现最佳,在减影和透视序列上取得接近最佳的第二好结果。
- 仅用单一模态训练的变体在其对应模态上表现更优,归因于不同模态间的域偏移。
诊断标准与关键数值
- 血管造影模式平均PSNR为44.94 dB,SSIM为0.9840。
- 减影模式平均PSNR为34.84 dB,SSIM为0.9194。
- 透视模式平均PSNR为33.82 dB,SSIM为0.7752。
- 主观投票中真实序列33票、SepConv++序列27票、不确定75票,P值小于0.05。
- 投票与模态、帧率、工作经验的独立性检验P值分别为0.787、0.768、0.961。
临床应用与阅片要点
- 作者认为插值帧具有较高的诊断和视觉质量,SepConv++在临床操作中具有应用潜力。
- 作者指出通过降低采集帧率可减少辐射暴露时间,从而降低医生和患者的辐射剂量。
局限性
- 本研究为回顾性研究,通过人工隔帧抽取模拟高帧率介入放射学序列。
- 原文指出介入放射学序列帧插值用于辐射剂量缩减的研究仍处于早期阶段,相关研究有限。
全文中译8 节 · 点击展开
引言
介入放射学(IR)成像是诊断血管疾病的金标准[1]。过去几十年来,该领域随着血管内技术的进步而经历了长足发展[2]。然而,该操作使患者和介入医师均暴露于电离辐射,本质上构成健康风险。复杂的解剖结构和操作复杂性会放大辐射暴露,从而加剧这些风险[3]。值得注意的是,与成人相比,儿童往往表现出更高的放射敏感性,导致辐射暴露后生存时间更长以及放射致癌风险持续时间更长。因此,儿科患者往往比成人面临更严重的辐射相关风险[4]。我们研究的目的是探索在介入放射学中降低辐射剂量的新潜力。
德国医师协会制定的IR防护指南[5]概述了在IR成像中减轻辐射暴露的各种策略。首先,通过实时数字透视程序和采用更低的帧率可实现辐射剂量的降低[6]。其次,通过在IR检查期间实施脉冲透视而非连续透视[5],或通过增加患者与辐射源之间的距离[7],可缩短暴露时间。此外,防护屏蔽,无论是设施层面[7]还是如[5]所示的个体层面,在保护患者和介入人员免受辐射暴露方面发挥着关键作用。然而,目前仍缺乏关于优化电压、电流、暴露时间和帧率等关键参数的研究[2],以在保持临床诊断所需的IR序列视觉质量的同时有效降低IR成像中的辐射。
为尽量减少患者和介入医师的辐射暴露,可通过选择合适的采集模式在所采集IR序列的帧率与辐射剂量之间实现最佳平衡。每帧剂量和帧率(帧/秒,即FPS)是IR成像系统中的关键参数。提高IR成像质量通常需要增加每帧剂量或帧率,从而导致更高的辐射暴露。较低的IR帧率通常被倾向于作为默认设置。然而,低帧率IR序列经常出现闪烁伪影,可能损害介入医师对复杂血流和病变的评估[3, 8]。
近年来,人工智能和深度学习技术的重大进展令我们备受鼓舞。这些进展显著推动了视频增强任务和医学图像分析的发展[9–11]。然而,用于降低辐射剂量的IR序列帧间插值研究仍处于早期阶段,探索深度学习方法应用于无明显运动的DSA序列的研究有限[12–15]。也有研究提出将高剂量帧与低剂量帧交错采集以同时获取两种序列,从而降低辐射剂量。DSA领域的其他深度学习研究主要集中于减影序列的生成,仅少数涉及辐射剂量问题。本研究旨在开发并验证一种有效的深度学习模型,能够以低帧率采样数字减影血管造影(DSA)图像。从而在降低辐射剂量的同时,确保仍能恢复满足临床要求的高质量IR图像。据我们所知,本研究首次在具有明显运动的IR图像上探索该应用,并通过主观和客观实验进行验证。这一创新有望促进儿科介入放射学的实施并降低辐射风险。
材料与方法
数据收集与处理
回顾性收集了2014年3月12日至2022年1月7日期间在重庆医科大学附属儿童医院接受检查和治疗的167名儿童的1634个IR图像序列。该研究已在中国临床试验注册中心注册(ChiCTR2200058971),并按照《赫尔辛基宣言》(DoH)开展,获得机构伦理审查委员会批准(文件号2022,69)。豁免知情同意。
为确保模型准确学习血流插值,我们排除了因相机或人体运动导致运动模糊的异常IR序列,以及缺乏血流的静态序列[16]。此外,缺乏呼吸运动、提供血管运动信息有限的IR序列也被剔除。因此,经过数据预处理后,共保留1367个序列,包含95,308张图像。这些序列涵盖了不同解剖区域的动脉、静脉和门静脉造影成像。
IR序列包括三种模式:血管造影、减影和透视。每种模式均有90%的序列被随机分配至训练集,其余10%分配至测试集。血管造影序列直接从IR成像设备获取而未经处理,通常帧率为4至10 FPS,图像尺寸范围为500 × 500至1200 × 900。减影序列由血管造影衍生而来,去除骨骼和软组织信息以突出血管可视化[16]。减影序列的图像尺寸通常范围为200 × 200至500 × 500。透视序列由医师在DSA监视过程中录制,提供的血管信息有限,帧率为7至15 FPS,图像尺寸为100 × 100至900 × 900。表1总结了数据序列和患者特征的详细信息。所获得的高帧率IR序列被视为训练集和测试集中的原始序列。为创建相应的低帧率IR序列,从每个高帧率IR序列中每隔一帧剔除一帧,同时始终保留第一帧。整体数据预处理流程如图1所示。
用于IR序列插值的深度学习模型
我们采用SepConv + +深度学习模型[8]进行IR帧插值,因其在视频帧插值任务中表现出良好性能。SepConv + +是一种轻量级模型,参数量少于2000万,能够每秒处理5至20帧。它采用U-Net风格的主干网络[17],首先通过卷积收缩为小尺度特征图,然后扩展至原始尺寸,同时通过跳跃连接保留详细信息。SepConv + +提取特征以估计两组卷积核,这些卷积核指定帧间的运动。这些卷积核应用于前一帧和后一帧的卷积过程中,其输出特征被融合以生成插值的中间帧。训练分别在每种IR模式的训练集上以及包含所有三种IR模式序列的组合训练集上进行。SepConv + +以PyTorch[18]实现,在NVIDIA RTX 3060 GPU上运行。
模型验证与统计分析
采用客观指标和视觉质量评估,在DSA帧插值测试集上评估SepConv++网络的性能。虽然SepConv++是一种标准的深度神经网络,能够泛化于不同患者特征(如年龄、体型和性别),但本研究专门评估其对不同模态和帧率的IR序列的影响(图2)。我们使用客观指标,包括峰值信噪比(PSNR)、结构相似性(SSIM)[19]和均方根误差(RMSE),来量化插值帧与原始序列中对应帧之间的差异。通常,较高的PSNR和SSIM值(较低的RMSE值)表明更好的插值性能[8, 20, 21]。此外,我们进行了视觉质量比较,以印证定量结果。此外,进行了双样本Kolmogorov–Smirnov(K-S)检验[22],以确定比较结果的统计显著性。除该评估外,我们还比较了SepConv++与最先进(SOTA)视频帧插值(VFI)方法FLAVR[23]。FLAVR利用3D-UNet从前、后提取多帧以合成中间帧。它在合成常见视频方面表现出强大性能。
为评估SepConv++的潜在临床应用,我们在受控环境中开展了涉及九名专业介入放射科医师的主观实验。首先,我们从测试集中选取15个具有代表性的IR序列作为“真实值”。这些序列包括6个血管造影序列、6个减影序列和3个透视序列。随后,对于每个序列,我们通过去除每隔一帧来为每个序列生成低帧率序列。接下来,作为基线方法,我们通过对其两个相邻帧取平均来合成每个被去除的帧。所得帧分别标记为“SepConv++”和“Average”。在实验中,向介入放射科医师展示包含上述15个代表性序列的“Input”“Average”“Ground Truth”和“SepConv++”四个象限,且全部同时展示。“Input”和“Average”象限作为视觉参考,而“Ground Truth”和“SepConv++”用于比较(参见图3和图4)。在图5a中,要求每位介入放射科医师根据视觉质量在“Ground Truth”和“SepConv++”之间选择更优选项。如果候选者看起来相当,他们也可选择“Uncertain”。重要的是,放射科医师事先并不知晓候选者的身份。为保证可信度,参与主观实验的介入放射科医师选自六家医院,且拥有五年以上工作经验(例如,分别为5、5、5、8、10、15、16、16和34年)。他们的参与与本研究的利益无关。
结果
总体性能
在本研究中,为评估SepConv++(也称为SepConv++ All)在介入放射学(IR)帧插值中的性能,我们将其与基线方法“Average”进行比较,后者通过对相邻帧取平均来生成中间帧。该比较分析涵盖了血管造影、减影和透视模态的IR序列。表2和图4显示,SepConv++在三种模态中均优于“Average”。比较SepConv++和“Average”的PSNR结果所得的Kolmogorov–Smirnov(K-S)检验p值在每种模态中均小于0.05,表明两种方法之间存在显著差异。对于SSIM和RMSE等其他指标也得出了类似结论。此外,在我们的数据集中,SepConv++与FLAVR方法相比也表现出更优的性能,如表2所示。SepConv++生成的中间帧与相应的真实帧在视觉上具有极高的相似性,这些指标的组合证明了这一点。因此,这些帧可以无缝整合到现有帧中用于临床诊断。图3中“Average”和SepConv++的视觉比较显示,SepConv++有效恢复了中间帧,而“Average”经常产生模糊边缘。这些结果支持SepConv++在IR序列插值中的应用。
SepConv++在不同IR模态上的性能
为评估SepConv + + 在不同IR模态上的插值性能,我们训练了SepConv + + 的四种不同变体。初始变体SepConv + + All使用了涵盖血管造影、减影和透视模态的所有IR序列。随后,SepConv + + A、SepConv + + S和SepConv + + F变体分别仅在血管造影、减影和透视模态的序列上进行训练。我们使用每种单独IR模态的序列进行检查,得出了如表2所示的有见地的结果。
首先,SepConv + + All在血管造影序列上始终取得最高性能,并在减影和透视序列上获得次佳结果(接近最佳)。这些结果表明,在来自三种模态的所有IR序列上训练SepConv + + 产生了具有强大泛化能力的高效帧插值。
此外,仅使用来自单一模态的IR序列训练SepConv + + 导致相应变体SepConv + + X(其中“X”代表“A”、“S”或“S”)在各自血管造影、减影或透视模态内的IR序列上表现更优。这主要可归因于不同模态之间存在域偏移,这对SepConv + + 在帧插值中的泛化能力产生了负面影响。
最后,变体SepConv + + A(或SepConv + + C)在透视(或血管造影)序列上表现出优于Average和SepConv + + S的性能。这可归因于血管造影和透视序列之间的图像风格比减影序列更接近。因此,SepConv + + S在血管造影或透视序列上表现最差。
主观实验
图5所示的主观实验表明,“Ground Truth”(33票)和“SepConv++”(27票)之间的投票差异极小,大多数投票归类为“Uncertain”(75票)。这些结果强烈表明生成图像与真实图像之间具有显著相似性,并得到p值 < 0.05的支持。这些一致的发现持续存在于所有模态、帧率以及具有不同经验年限的放射科医生中(如表3和图5b所示)。值得注意的是,即使以真实图像为参考,医生也无法辨别任何显著差异,这表明插值帧具有高诊断质量和视觉质量。因此,SepConv++在临床操作中具有广阔的应用潜力。
此外,为了获得更深入的见解,我们在表3中呈现了研究结果,并进行卡方检验以考察投票与模态、IR序列的FPS以及放射科医生工作经验之间的相关性。在投票与模态、FPS和工作经验的独立性检验中,p值分别为0.787、0.768和0.961。这表明接受原假设,并说明投票结果与这些因素相互独立。总之,由SepConv++插值生成的合成IR序列在视觉质量和血流方面与真实序列表现出惊人的相似性,且适用于各种模态和FPS。
讨论
介入和诊断成像程序均涉及使用电离辐射,电离辐射可在细胞或分子水平引起结构损伤,并可能导致DNA损伤,从而增加癌症风险[24]。组织对辐射诱导损伤的敏感性因其细胞增殖速率和细胞分化程度而异。因此,以细胞快速更新为特征的血生成(淋巴增殖性)器官表现出较高的敏感性,而细胞更新极少或无更新的神经组织则表现出较低的敏感性。因此,儿童由于对辐射的敏感性增高而构成特别脆弱的群体,与成人相比,在同等辐射暴露下遭受伤害的风险显著更高,且该风险持续时间更长。
介入放射学的应用在诊断检查和治疗方面均显著增加,旨在提高诊断准确性并减少对侵入性操作的需求[25]。然而,尽管围绕介入检查和治疗对儿童的即时和长期获益已有广泛讨论,相关风险却常被忽视。与成人相比,儿童对电离辐射的脆弱性更高,儿科患者在甲状腺、性腺和骨髓等组织中表现出更高的放射敏感性。此外,由于身材较小,儿童接受的辐射剂量高于成人[26]。而且,儿童在辐射暴露后的生存期更长,面临辐射诱导癌症风险的持续时间更长,因此经历的辐射风险比成人更为严重[27]。
电离辐射长期效应的可能性是概率性的,取决于总辐射剂量,但这些效应的严重程度不能仅归因于辐射。其他因素,包括环境和遗传因素,也起着重要作用。辐射诱导的癌症,如骨髓瘤、白血病、肺癌、甲状腺癌、乳腺癌、骨癌和皮肤癌,可能在暴露后数十年才显现[28]。因此,在儿童接受介入操作时尽量减少电离辐射暴露至关重要。
来自患者的散射辐射是介入手术过程中介入医生辐射暴露的主要来源[29]。因此,旨在减少患者辐射暴露的干预措施可以同时最大限度地减少介入医生的辐射暴露。传统辐射防护措施主要强调三个方面:暴露时间、与X射线源的距离以及屏蔽装置的使用[30, 31]。由于解剖结构和介入技术的日益复杂,数字减影血管造影(DSA)成像系统经常需要更长的透射时间以获得高质量的图像序列。不幸的是,这种延长的暴露不可避免地导致患者和介入医生的辐射暴露增加[4]。因此,引入创新的技术解决方案势在必行,旨在减少与介入手术相关的辐射暴露,同时保持介入放射学(IR)图像的质量。
近年来,随着人工智能技术的重大进展[14, 15, 32],特别是在基于深度学习的图像处理方面,这些技术已在视频帧插值、慢动作生成、图形动画和渲染等多个领域得到广泛应用。此外,越来越多的研究人员选择将这些新兴的深度学习图像处理技术整合到传统医学领域。在本研究中,我们提出将人工智能的视频插值技术与介入放射学图像相结合。目标是生成降低帧率的放射学和介入图像,随后可以重建和恢复至高质量,而不影响深度学习模型所辅助的临床判断。因此,通过降低采集帧率,可以减少辐射暴露时间,从而降低对医生和患者的辐射剂量。
我们的研究采用回顾性方法模拟高帧率介入放射学(IR)序列。这是通过以单帧间隔人工提取帧来实现的。随后,我们采用一个稳健的深度学习模型,即SepConv++,能够插值帧以重建原始高帧率IR序列。结果令人满意,因为SepConv++有效恢复了原始IR图像,客观评价指标包括峰值信噪比(PSNR)、结构相似性指数(SSIM)和均方根误差(RMSE)表明了这一点。在我们的实验结果中,不同专业水平的介入医生难以区分生成图像与原始图像。此外,由SepConv++恢复的高帧率IR图像被认为无临床相关性。
我们的研究表明,在血管造影和透视模式下,对插值序列的偏好优于真实序列。然而,在减影序列中,SepConv++获得的选择少于原始序列。这种差异可归因于减影序列中存在的不规则伪影,破坏了合成IR序列中相邻帧之间的平滑过渡。
我们的结果强调了SepConv++在不同模态和帧率下的稳健性。此外,我们观察到其插值性能与IR序列的帧率呈正相关。使用所有三种模态的序列训练的“SepConv++ All”模型在各自模态的IR序列上始终表现出良好的性能。此外,当SepConv++在特定IR模态上训练时,它在相应模态内的IR序列上实现了最佳插值结果。然而,在血管造影模态的情况下,变体“SepConv++ A”(用血管造影序列训练)的性能略逊于“SepConv++ All”。这表明来自其他两种模态的数据对SepConv++在血管造影序列插值方面的训练略有积极贡献。“SepConv++ All”在各种帧率的IR序列上表现出优异的性能,并对更高帧率的IR序列实现了更优的插值结果。
本研究存在若干值得考虑的局限性。首先,我们的IR序列获取自单一影像中心接受外周介入治疗的儿科患者。然而,应当注意,从不同医疗机构获取的序列可能因IR成像设备的参数设置(如电压和图像分辨率)差异而表现出图像质量的变化。我们的深度学习模型的适用性需要在来自不同成像设备的序列上进一步验证。此外,由于不同患者群体(成人或儿科)表现出不同的血流状况,在儿科数据集上训练的模型向成人的可迁移性需要研究,值得进一步探讨。我们的最终研究目标是开发一个适用于各种模态、患者人群和病变位置的模型。其次,我们的研究未纳入具有显著运动的IR序列,例如用于心脏介入的序列。虽然腹部介入可能涉及呼吸运动,但与心跳引起的运动相比,其程度明显较轻。因此,我们的模型无法保证对心脏介入具有同样令人满意的性能。应沿此方向开展进一步的实验。
考虑到这些局限性,我们工作更广泛临床应用中的主要挑战在于训练集分布与真实世界场景之间差异所产生的域间隙。成像设置、患者人口学特征(如年龄、性别)和运动水平方面的差异导致了这种差距。虽然我们的方法在实验中表现出高适应性和泛化能力,但我们预计在真实世界场景中性能会略有下降。尽管如此,借助从其他模态获得的知识,我们预期可获得可接受的视觉质量。
总之,我们采用了一种有效的深度学习模型,用于腹部介入治疗中IR序列的精确帧插值。该模型具有降低患者和介入人员在IR检查和治疗过程中辐射剂量的潜力。我们未来的工作将涉及通过临床动物试验评估该模型的性能,以量化辐射剂量的降低,旨在为未来介入放射学手术建立可靠性。
引用
- Tang Z, Xiong Q, Wu X, et al. Radiation reduction for interventional radiology imaging: a video frame interpolation solution. Insights Imaging. 2024. PMID: 38353771. doi:10.1186/s13244-024-01620-z
- 全文:PMC10866829(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10866829/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。