使用深度学习预测术前肺消融区
本研究基于113例微波肺消融的术前CT、消融功率与时间及施加器位置,构建U-net深度学习模型预测术后1个月随访CT上的消融区。模型预测体积无偏倚(p=0.169),而厂商模型有显著偏倚(p<0.001);Dice评分中位数0.62±0.12,较厂商模型0.56±0.16提高11%。
要点
- 模型预测消融区体积无偏倚(p=0.169),厂商模型有显著偏倚(p<0.001)。
- 模型Dice评分中位数0.62±0.12,较厂商模型0.56±0.16提高11%。
- 模型精确率中位数0.65±0.22,高于厂商模型0.43±0.23。
核心结论
- 患者特异性深度学习模型可在术前预测肺消融区,较厂商模型有更高Dice评分、更小体积变异性及体积与形状偏倚,有望改善治疗计划、实现完全消融并减少肿瘤复发。
研究设计与样本
- IRB批准的回顾性研究,纳入2015年1月至2019年1月单施加器/单次消融/单厂商的113例消融(72例患者);最终用于训练/验证的为52例消融(40例患者),要求目标配准误差≤2 mm。
关键影像表现/征象
- 模型预测消融区不延伸入血管或气道,与真实消融区一致,而厂商模型高估并延伸入血管及背景肺实质。
- 模型预测消融区可沿叶间裂、胸壁及纵隔边界走行,厂商模型则超出边界或低估/高估。
- 模型可预测消融区因邻近血管结构导致的不对称狭窄或旋转,而厂商模型高估。
- 模型在消融区含大空洞时未能纳入空洞,在施加器后段预测过宽过远,在瘢痕样背景处错误延伸。
诊断标准与关键数值
- 模型Dice评分中位数0.62±0.12(CI: 0.56–0.64),厂商模型0.56±0.16(CI: 0.49–0.59),提高11%。
- 模型精确率中位数0.65±0.22(CI: 0.60–0.75),厂商模型0.43±0.23(CI: 0.39–0.54)。
- 模型召回率中位数0.70±0.22(CI: 0.60–0.73),厂商模型0.89±0.14(CI: 0.79–0.89)。
- 模型体积偏倚–780,厂商模型2410,差异显著(p<0.001);模型偏倚与0无显著差异(p=0.169),厂商模型偏倚显著(p<0.001)。
- 球度偏倚模型0.15 vs 厂商0.22,表面积体积比偏倚模型–0.12 vs 厂商–0.24,均p<0.001。
临床应用与阅片要点
- 作者认为模型可用于术前规划施加器轨迹、功率和持续时间,以优化消融边缘。
- 作者认为模型可识别消融「薄弱点」并可能需额外治疗。
- 作者认为预测速度快允许操作者实时调整,并可通过预设最小消融边缘选择「最优方案」。
- 作者指出模型精确率提高而召回率下降,可能避免肿瘤治疗不足、局部复发和重复操作。
局限性
- 数据集小,限制当前模型对不常见消融区的泛化能力。
- 模型未纳入术中变化,可能解释部分失败病例。
- 模型假设施加器位置准确,但某些病例从随访影像难以确定。
- 模型训练用于预测1个月随访扫描上的消融区,该扫描与坏死组织相关。
- 排除多次消融或多施加器的病例,限制模型泛化性。
全文中译16 节 · 点击展开
引言
微波肺消融(MWA)用于消除肺部肿瘤[1],并提供了一种低发病率且廉价的替代手术切除的方法[2]。此外,MWA对肺功能未显示出可检测到的长期影响,使其成为立体定向体部放疗的有吸引力的替代方案[3]。然而,MWA的广泛采用受到较高局部复发率的阻碍[4],这是由于消融不完全、肿瘤边缘不足所致[5]。
通过MWA实现足够的边缘(> 5 mm)具有挑战性[5]。消融设备供应商提供了一张预期消融/治疗区尺寸随功率和时间变化的图表(以下简称供应商模型),用于术前规划。供应商模型基于离体动物器官的消融。然而,临床消融区受到邻近血管和气道作为热沉的影响、胸膜边界导致的变形以及患者体位和呼吸导致的复杂肺变形的影响。观察到的消融区在大小和形状上表现出与供应商模型的显著偏差[6–8]。即使对于相同的功率和时间设置,消融区也存在很大变异性[6, 9, 10]。因此,基于供应商模型的治疗计划可能与实际治疗显著不同,可能导致肿瘤热毁损不完全以及未能建立足够的边缘。
试图通过求解描述MWA期间物理过程的偏微分方程来模拟消融区的生物物理模型[11, 12]在考虑患者特异性组织特性方面的能力有限,缺乏临床验证,并且计算需求过高而不适合临床应用。在一项最近的研究中,作者将“天线做功”(功率×时间)与消融区体积相关联,注意到相似做功下体积范围广泛,并强调了考虑患者特异性特征的重要性[10]。
在本工作中,我们引入一种新的、数据驱动的消融预测方法。我们假设术前计算机断层扫描(CT)强度特征包含患者特异性特征,可以为消融区的大小和形状提供信息,并且与消融设置一起,可预测最终消融区的范围。我们将该问题视为学习一个基于深度神经网络的参数化函数,该函数以术前CT、施源器位置以及消融功率和时间为输入,并预测术后消融区作为输出。我们的目标是在术后第一次随访扫描时预测最终消融区。
材料和方法
数据
数据作为机构审查委员会批准(IRB/隐私委员会-A,方案17-353)1的回顾性研究的一部分获得,该研究纳入了2015年1月至2019年1月期间在我们机构接受MWA的患者。排除标准包括使用除NeuWave PR(Ethicon US)以外的探头、在同一部位进行多个探头或多个消融、两个或更多相邻部位具有重叠消融区,或背景肺实质无法与消融区区分,最终纳入72例患者的113次独特消融(见图1)。处理了术前和术后1个月随访CT扫描。MWA功率和时间从放射学报告中获得。
预处理流程
图2b、c概述了我们流程中的预处理步骤。肿瘤和消融区分别由一位具有>15年经验的放射科医师在术前和随访扫描中手动分割(图2b)[13]。在3D Slicer软件(v4.11.1)[14]中,于轴位CT图像层面上绘制轮廓标记肿瘤和消融区的边界,并在冠状位和矢状位视图上进一步编辑。由于消融区内部可能存在高或低亨氏单位(HU)的区域,绘制边界内的所有像素均被视为分割的一部分,与HU无关。施源器位置由随访扫描中消融区内可见的透射线路径确定(图2c)。
对于厂商模型,我们使用了厂商的用户界面软件(v3.1.0),该软件提供了不同功率(35 W至65 W,以5 W递增)和持续时间(1至10 min,以1 min递增)下预期消融椭球体的尺寸。消融区尺寸在这些规格之间按功率和持续时间进行线性插值。
我们对消融手术应用了一种新型可变形图像配准方法,利用基于B样条变换的自由形变模型[15]对术前和随访扫描进行配准(图2b)。首先进行初始刚性配准以实现粗对齐,随后进行由粗到细的多分辨率可变形配准,其中每个分辨率的结果作为下一分辨率的输入[16]。我们通过聚焦于肿瘤和消融区周围区域来约束配准,并对肿瘤施加刚性惩罚以避免肿瘤大幅变形。配准优化使用互信息来度量图像间的相似性,并通过正则化限制变换的过度弯曲以避免不自然变形。我们遵循Klein等人设置各种配准参数[17]。关于配准方法的更多细节见补充材料G。所有配准均使用SimpleElastix图像配准库(v0.9.1)[18, 19]完成。
为便于比较不同患者间不同位置/方向的消融区,我们定义了一个以施源器为中心的坐标系(ACCS)[20],即沿施源器方向定向、以施源器尖端为中心的斜向3D坐标网格(图2c),用于所有计算。ACCS网格尺寸设为64 × 64 × 64 mm³,每个维度采样率为1 mm。数据处理使用Numpy(v1.21.2)[21]、SciPy(v1.7.3)[22]和NiBabel(v3.2.1)[23] Python库。
模型
我们的模型是一个基于U-Net [24]架构的全卷积神经网络(图2d和补充材料A)。U-Net由以下部分组成:(1)编码器,降低输入的维度,聚合语义信息(图像中有什么),(2)解码器,通过跳跃连接将编码的语义信息与来自初始编码层的更高分辨率空间信息(图像中在哪里)相结合,并将其上采样至原始尺寸以产生输出。第一个输入通道是3D预CT扫描。消融功率/持续时间由厂商椭球体的尺寸表示,因此在放置于施源器位置后将其用作第二个输入通道。
训练
随访扫描上分割的消融区被用作训练的 ground truth,因为它们是评估肺消融区和治疗边缘的临床标准 [25, 26]。我们利用预测值与 ground truth 之间的交叉熵和Dice系数之和作为损失函数来训练网络 [27]。我们采用嵌套交叉验证 [28]进行训练和测试(补充材料B):(1)在外层循环中,我们进行7折交叉验证(CV)[29],产生7个训练-测试(TT)CV划分,其中每个划分中6折用于模型训练,剩余的第7折(训练期间未见)用于测试。所有7个TT划分在测试折上的结果取平均值以计算最终测试集性能 [29, 30]。(2)在内层循环中,每个TT划分(6折)中的训练数据进一步分为5个训练-验证(TV)CV划分,其中每个TV划分中,模型在4折上训练,并在训练期间留出的剩余第5折验证折上调优。这些进一步CV划分的目的是在来自单个TT划分的训练数据的5个TV划分上分别训练不同的模型,然后将其应用于相应的TT划分测试折,并通过平均其softmax输出来集成结果。因此,我们从每个TT划分的训练数据中训练了5个不同的模型,在整个数据集上共训练了7 × 5 = 35个模型。我们遵循Isensee等人的训练方法(补充材料B;https://github.com/MIC-DKFZ/nnUNet)[27, 31]。预处理和模型训练的代码可在https://github.com/tenres/Abl-Pred获取。
统计学
图像配准使用目标配准误差(TRE;补充材料C)[32]进行评估。我们的预测和厂商模型的体积与形状使用Bland-Altman图 [33]与 ground truth 消融区进行比较。配对t检验和两样本t检验用于检验 ground truth 与厂商模型之间的差异。Levene检验用于检验一致性界限(LOA)的差异 [34]。预测与 ground truth 之间的重叠程度使用Dice系数 [35]、精确率和召回率 [36](补充材料D)计算。计算均值和95%置信区间(CIs)[29],并与厂商模型的相应值进行比较。所有分析使用Statsmodel(v0.13.5)[37]和SciPy(v1.7.3)[22] Python库进行。
结果
排除后,共有72名参与者(中位年龄57岁,47–69(四分位距,IQR);41名女性),接受了113次MWA手术(图1)。TRE较差(> 2 mm)的病例被排除在训练/测试之外,最终纳入40名患者的52次消融(图1)。表1列出了肿瘤、癌症和CT成像的详细信息。其中17次消融使用中位功率65瓦(范围20–65瓦)、持续时间5分钟(范围1–10分钟)进行,其消融区体积的变异性(相同功率/持续时间)见图2a。最终52例的TRE见图4a,中位数为0.88,IQR(0.50–1.31)。我们算法的推理时间为不到一秒。
我们的预测模型和厂商模型在体积和形状上的偏差与变异性
比较我们的预测模型和厂商模型与真实消融区的体积和形状特征的Bland-Altman图见图3。我们的预测模型的体积偏差(图3a)(–780)低于厂商模型(2410),且该差异显著(p < 0.001)。假设与真实值的差异呈正态分布(y轴),我们的预测模型的偏差与真实值的等值线(0偏差)无差异(p = 0.169);而厂商模型的偏差显著,p < 0.001。我们的模型的一致性限(LOA)范围小于厂商模型,且该差异显著(p < 0.001)。我们的预测模型的球形度(图3b)和表面积与体积比(图3c)偏差低于厂商模型(0.15 vs. 0.22 和 –0.12 vs. –0.24,p < 0.001)。体积和形状差异表明,与厂商模型相比,我们的预测模型与真实消融区的一致性更好。
Dice评分、精确率、召回率
我们计算了我们的预测模型和厂商模型与真实消融区的Dice评分(图4b和表2)。测试集上我们的模型的中位Dice评分为0.62 ± 0.12(CI:0.56–0.64),而厂商模型为0.56 ± 0.16(CI:0.49–0.59),表明较厂商模型提高了11%。厂商模型还显示出更宽的IQR,与较大的LOA范围一致。我们的模型精确率有所改善,中位评分为0.65 ± 0.22(CI:0.60–0.75),而厂商模型为0.43 ± 0.23(CI:0.39–0.54)(图4c和表2)。厂商模型表现出更好的召回率,中位评分为0.89 ± 0.14(CI:0.79–0.89),而我们的模型为0.70 ± 0.22(CI:0.60–0.73)。
患者特异性局部解剖的影响
为更好地理解Dice评分的定量改善,我们评估了我们的预测模型和厂商模型考虑患者特异性局部解剖的能力。呈现了若干场景,每个场景各附两个示例。
热沉效应
图5a展示了邻近血管和气道产生的局部热沉效应,这些效应局部调节消融灶的形状。我们的预测不会延伸进入血管或气道,与真实值相似。相反,厂商模型高估消融灶并延伸进入血管以及背景肺实质。图5b展示了全局热沉效应对消融灶大小和形状的影响。在示例1(左)中,横截面上可见多根中小型血管(蓝色箭头)进出扫描平面,其累积效应为减小整体消融灶大小。我们的模型 closely 贴合真实消融灶,而厂商模型高估了施加器后部和两侧。值得注意的是,血管的效应并非围绕针轴对称分布。在示例2(右)中,现在可见多根血管(蓝色箭头)位于扫描平面内。同样,我们的预测符合消融灶的不对称狭窄和体积减小。图4e定量展示了这一效应,当靠近引起热沉效应的大血管时,我们的模型与真实消融的Dice重叠高于厂商模型,而远离大血管时与厂商模型相似。
边界
图5c展示了裂的影响,蓝色箭头标示的是后图像上 faint 的放射线密度线。我们的预测沿裂走行,而厂商模型延伸超出。图5d展示了胸壁边界的影响,我们的预测 closely 贴合该边界,而厂商模型在示例2中延伸超出边界。图6a展示了纵隔边界,我们的预测贴合局部边界,而厂商模型低估(示例1)或高估(示例2)消融灶。
消融形状
消融区的整体形状受肺部解剖结构影响。图6b示例1显示消融区不对称狭窄,我们的模型紧密贴合该形状,而厂商模型则高估了它。在示例2中,消融区相对于厂商模型出现旋转,可能是由于邻近血管结构所致,而我们的模型能够预测这一点。图6c示例1显示我们的预测仅在消融后端狭窄,与真实观察结果相似。补充材料H中提供了更多3D示例。
失败案例
我们还识别出我们的模型持续无法预测消融区的几类场景。图6c示例2和图5c示例2(绿色箭头)显示消融区内包含大空洞的病例,我们的模型将其排除在外。在图6d示例1中,我们的预测沿探头后方延伸过远过宽。仔细回顾术中消融图像发现,在施放器定位过程中肺发生了扭转和压缩。示例2显示了混杂的背景解剖结构,我们的模型错误地延伸超出消融区(向左),贴合了具有类似消融边界外观的瘢痕。
讨论
我们提出了一种数据驱动的深度学习模型,基于术前影像和消融参数来预测随访扫描中出现的肺部消融区。与现有厂商模型相比,我们展示了更高的Dice评分、降低的体积变异性,以及相对于真实消融在体积和形状上偏差的减少。我们的模型还能更好地考虑患者特异性局部解剖结构对消融区的影响,包括热沉效应、器官/肺叶边界以及消融区形状的变化。此外,我们注意到Dice性能的提升很可能是被低估的(见补充材料E)。
在临床上,精确率与召回率之间的权衡意义重大。偏向于高估消融区可提高召回率,但可能导致操作者对肿瘤治疗不足,从而引起局部复发。而偏向于低估消融区可提高精确率,但可能导致过度激进的治疗和潜在并发症(补充材料F)。厂商模型的低精确率和高召回率显示出显著的不匹配,在临床上转化为消融区的高估、治疗不彻底和高局部复发率。我们的模型未显示偏差,精确率显著提高,代价是召回率有所下降,有可能避免肿瘤治疗不足、局部复发和重复手术。根据位置和与关键结构的邻近程度,可以调整阈值来调节精确率-召回率的权衡。
我们的方法相较于生物物理消融建模具有若干优势。我们通过CT扫描直接纳入患者特定的观测数据,而生物物理模型依赖于多种难以测量的组织特性[11, 38]。我们直接优化随访CT上观测到的消融区的似然[29],该时间点是治疗验证的标准时间点,因此纳入了消融后过程如组织收缩和愈合[39, 40]。而生物物理模型缺乏此类反馈,仅对热剂量及随后的细胞死亡进行建模。我们的算法更快(推理仅需不到一秒),适合临床实施[11]。
本工作存在若干局限性。我们的数据集较小,限制了当前模型泛化至不常见消融区的能力。这可通过更多数据加以克服。该模型未纳入术中变化,而这些变化可能解释了此前讨论的多例失败病例。该模型还假设施加器的位置准确,而在某些病例中从随访影像难以确定。该模型经训练用于预测一个月随访扫描上的消融区,该消融区与坏死组织相关[41]。此外,在将消融区边缘与临床结局相关联的研究中,一个月随访扫描已被证明是坏死的临床相关替代指标[4, 39, 40],因此是预测的临床相关终点。值得注意的是,术后早期影像上的常见噪声来源如出血、水肿和气胸在标准护理的一个月随访扫描时已消退。我们排除了多次烧灼或多个施加器的消融病例,这限制了模型的泛化性。然而,给定足够的输入数据,我们相信该模型也能够容纳所有这些因素。我们的模型未直接纳入组织学信息,组织学有可能影响热量。但我们注意到组织学已被证明编码于CT数据中,因此可能间接编码于当前模型中[42]。纳入额外的相关非影像输入数据可在未来工作中予以考虑。
我们的方法具有若干重要的潜在临床应用[43, 44]。使用我们的模型进行术前规划可用于确定施加器轨迹、功率和持续时间。这些可被调谐以优化边缘,目标在于减少局部复发,且与用于边缘控制的术中活检相比更安全且更具成本效益[45]。需要进一步研究以建立使用我们工具的边缘评估。该模型可用于识别消融中可能需要额外治疗的“薄弱点”。预测的快速性允许操作者进行实时临床调谐。通过预先定义结节周围的最小消融边缘,我们的模型可预测一组“最优解”供操作者选择。最后,我们的方法可更广泛地应用于其他器官和其他治疗模式。
总之,我们提出了一种基于患者特异性数据驱动的深度学习方法,用于预测术后肺消融区。该工作展示了深度学习在一个常见但尚未解决的临床问题上的新颖应用,其效果优于当前标准,并且据我们所知是迄今为止的最佳结果。我们预期该方法的推广将在肿瘤学的治疗计划和预测中具有广泛的应用。
补充信息
电子补充材料
引用
- Keshavamurthy KN, Eickhoff C, Ziv E, et al. Pre-operative lung ablation prediction using deep learning. Eur Radiol. 2024. PMID: 38775950. doi:10.1007/s00330-024-10767-8
- 全文:PMC11519138(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11519138/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。