文献速递腹部技术与安全DR

利用深度学习衍生的影像特征在放射学时间序列中进行个性化预测:结肠传输数据的原理验证

Using deep learning-derived image features in radiologic time series to make personalised predictions: proof of concept in colonic transit data.
PubMed 文献 · Eur Radiol · 2023-06-07

本研究回顾性纳入2010至2020年单中心229例患者的568张结肠传输试验X线片,用孪生神经网络(SNN)识别不透射线珠并输出特征距离,再作为高斯过程回归(GPR)的特征预测检查完成时间。SNN识别珠存在的准确率、精确率和召回率分别为0.988、0.986和1;基于SNN输出的GPR预测剩余天数的平均绝对误差为0.9天,优于仅用珠数的GPR(2.3天)和指数曲线拟合(6.3天),差异有统计学意义(p < 0.05)。

要点

  • SNN识别结肠传输试验X线片上不透射线珠的准确率0.988、精确率0.986、召回率1。
  • 以SNN输出为特征的GPR预测检查完成时间MAE为0.9天,优于仅用珠数的GPR(2.3天)和指数曲线拟合(6.3天)。
  • 该方法可基于新信息动态更新个体化预测,作者认为在需评估变化的场景(如结节监测、肿瘤疗效评估、筛查)有潜在临床应用。

核心结论

  • SNN在结肠传输试验中识别不透射线珠表现良好。
  • 在时间序列预测方面,深度学习方法优于现有统计模型,能更准确地进行个体化进展预测。
  • 将影像衍生特征作为时间序列模型输入及将既往影像纳入AI模型的方法,在结肠传输试验之外的许多临床放射学领域有潜在应用。

研究设计与样本

  • 回顾性研究,纳入2010至2020年单中心所有接受结肠传输试验的患者。
  • 共检索570张X线片、230例患者;32例仅一张图像用于训练但排除于按患者分析,1例因误标为结肠传输试验被排除,最终568张图像、229例患者(每人1–5张)用于主要分析,536张图像、197例患者用于时间序列分析。
  • 患者中位年龄57岁,女性123例(54%)。
  • 数据按患者层面以80:20分为训练集和测试集,测试集为内部独立留出验证集且未用于训练。
  • 基础网络为DenseNet121,预训练于Stanford CheXpert数据集胸片;SNN含两个平行DenseNet编码器,计算特征向量间距离。

关键影像表现/征象

  • 结肠传输试验通过系列X线片追踪不透射线珠通过消化道的过程。
  • 正常消化中珠消失速率可描述为指数衰减,平均残留珠数约1天后16/20、2天后8、3天后4、4天后2、5天后1。
  • SNN在特征空间中的距离被用作结肠传输试验时间序列中进展的度量,图像间差异越大表示向检查终点进展越多。
  • 对常见假阳性和假阴性病例生成并审查了显著性图。

诊断标准与关键数值

  • 珠存在二分类的最佳模型为平衡输入数据、对比损失、权重未冻结训练的Siamese DenseNET,准确率0.988、精确率0.986、召回率1。
  • 两次X线片后,指数衰减曲线拟合预测剩余天数的MAE为6.3天,XGB回归为4.74天,GPR为2.8天,基于GPR输出的LSTM为2.3天,基于SNN输出的GPR为0.96天(原文结论处写作0.9天)。
  • 基于SNN输出的GPR显著优于基本统计指数曲线拟合(p < 0.05)。

临床应用与阅片要点

  • 作者认为该方法在需评估变化的场景(如结节监测、肿瘤治疗反应评估、筛查项目)有潜在临床应用,通过量化变化进行更个性化的预测。
  • 作者提出这是将既往影像纳入AI模型的新方法。
  • 原文未据此给出针对日常阅片或报告流程的具体推荐。

局限性

  • 作为检验新方法可行性的初步研究,样本量相对较小且采用单中心回顾性设计。
  • 上述设计限制模型的泛化能力并引入选择偏倚。
  • 任务相对简单,使用二维图像且目标与背景对比度高,这是为了聚焦时间序列方面。
  • 未来研究有必要在MR和CT等先进影像中检验这些方法。
  • 训练与验证损失未收敛。
全文中译20 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2023 Jun 7;33(11):8376–86. doi: 10.1007/s00330-023-09769-9

引言

结肠传输时间研究(CTS)涉及连续拍摄X线片,以追踪不透射线标记物通过消化系统的过程[1, 2]。当所有标记物均已通过消化道时,研究即告结束,因此可将其构建为时间序列问题。尽管时间序列方法近期取得了进展,但尚未在医学影像领域广泛应用[3]。此外,尽管有人呼吁开发能够将既往影像纳入考虑的AI模型,但很少有模型被设计用于处理此类数据[4]。然而,孪生神经网络(SNN)已被用于测量放射学研究之间的变化严重程度[5]。SNN采用两个并行神经网络,基于输入生成特征向量。可以计算两个特征向量之间在特征空间中的差异,并将其用作输入之间差异的度量。我们将这一距离作为高斯过程回归模型中的一个特征,用于预测时间序列的进展。

结肠传输

便秘是一个可能影响高达28%人口的问题,据估计,美国用于便秘检查的费用超过69亿美元[6]。因此,它显著增加了全球医疗负担。结肠传输时间研究(CTS)涉及连续拍摄X线片,以追踪不透射线标记物通过消化系统的过程。CTS用于诊断和鉴别便秘的不同病因[2]。正常消化过程中标记物的消失速率可描述为指数式[1, 2]。预测时间序列的终点可用于降低成本[1, 2]、公共卫生[7]和微生物组研究[8],并有可能为患者实现更早、更准确的诊断。因此,我们选择CTS来试验当前能够处理短时间序列数据的技术。

时间序列

“时间序列”是一种包含时间或顺序维度的数据表示;时间序列研究涉及理解随时间变化的动力学及其后果[9]。近年来,随着人工智能技术的应用以及LSTM等新深度学习模型的出现,该领域已有许多进展。这些包括工业[10]以及更近期医学[11]中的应用案例。其中许多应用案例适用于包含数千个数据点的大规模数据集。相比之下,许多临床用例在时间域内并没有大量数据点。我们将时间序列分析方法应用于预测CTS研究完成这一问题。

将既往图像纳入AI模型

近年来,人工智能与医学影像文献数量有所增加。然而,这些研究大多集中于针对窄范围用例的分割和分类[3]。很少有研究深入探讨图像之间的变化问题,或随时间变化的预测问题。例如,医学影像领域最大的开放获取数据存储库不包含时间信息[12]。这与直觉相悖,因为临床放射学中最重要的步骤之一是将一次检查与既往检查进行比较,以分析或量化变化程度。这促使人们呼吁开发能够纳入既往图像的模型。事实上,此类模型已被描述为在该领域“提供有意义改进所必需的”[4]。虽然已经提出了若干基于人工智能的变化检测方法[13],但很少有在放射学中进行测试的[4]。尽管该领域确实存在一些研究[5, 14–17],但考虑到更广泛机器学习文献中的最新进展[18],通过使用更广泛的技术,医学影像领域仍有进步的机会。

孪生神经网络

SNN采用两个并行神经网络,基于输入产生特征向量。可以计算两个特征向量之间在特征空间中的差异,并将其用作输入之间差异的度量。这种架构最初被描述为一种单样本图像识别方法[19]。一个Facebook团队也使用了类似的架构作为面部识别方法[20]。最近,它已被应用于关节炎[5, 21]和Covid-19[16]的放射学图像。

进展

有必要定义我们实际上试图用SNN量化的是什么。在医学文献中,进展通常指疾病的恶化[22]。时间序列方法已被用于医学文献中预测疾病的进展[22–25]。然而,通过时间序列体现的进展不一定具有负面含义。如前所述,SNN测量两幅图像之间在特征空间中的距离。该距离此前已被用作疾病严重程度的替代指标[5, 21]。在本研究中,我们使用距离作为通过CTS(一个时间序列)的进展度量。图像之间更大的差异被用作向测试终点迈出更大一步(更多进展)的标志。

目的

我们的目的是利用深度学习识别X线片上的不透X线珠作为CTS的一部分,评估X线片之间的间期变化,并在患者特异性基础上预测研究过程中的进展。

贡献

在本文中,我们描述了神经网络衍生的医学影像数据特征的一种新用途:将SNN的输出作为时间序列模型中的特征来预测进展。我们的方法可能在变化评估至关重要的领域具有潜在临床应用,例如肿瘤影像学、治疗反应监测和筛查项目。我们还展示了一种将既往图像纳入AI模型的新方法。

方法

这项回顾性研究获得了本机构研究伦理委员会的批准。前瞻性知情同意的要求被豁免。本手稿依据CLAIM清单[26]编写。

数据

纳入2010年至2020年在单一三级转诊中心接受结肠传输研究的所有患者。

数据分两步进行预处理。首先,将图像裁剪至原始图像的93%,以便于去除解剖学侧标记(左侧“L”或右侧“R”),因为这些标记在我们的预试验数据中已被模型识别。然后将裁剪后的图像调整为224 × 224。

数据采用两阶段匿名化技术进行匿名处理,首先与我们的SIEMENS PACS系统集成,其次使用修改自先前符合HIPAA标准的项目的Python脚本 [27]。

三十二名患者仅纳入一张图像,我们将这些图像纳入训练,但在逐患者分析中将其排除。

ground truth(金标准)确定为图像中存在的珠子总数。该数据从放射学报告中记录,并由两位放射科医生作者核实。未观察到阅片者间差异。未使用标注工具。时间序列数据从DICOM元数据中的时间戳检索。

我们将数据按80:20的比例分为训练集和测试集。数据在患者层面进行划分。我们的代码可在GitHub上获取(https://github.com/pmath2012/ColonicTransit)。

模型

DenseNet121 [28] 的基础网络(Vanilla DenseNet网络)使用斯坦福CheXpert数据集 [12] 中的胸部X线片进行预训练。我们的预试验研究使用vanilla DenseNet作为基线模型。基线架构如图1所示。它由孪生神经网络(SNN)架构组成,包含两个平行的DenseNet。DenseNet代表学习特征表示向量的编码器。我们计算两个特征向量之间的距离,最终分类器(三个全连接层,第一层和第二层之间有一个归一化层(N)(2048 − > N -> 512 − >1))学习决策边界以区分相似与不相似的图像。SNN的每个分支由相同的基础CNN网络组成。因此,孪生编码器接收两张图像并产生输入差异向量的表示。该表示使用对比学习进行微调,然后馈入分类网络(图2a)。每个epoch的准确率和损失见图3a和b。

对提取的特征应用主成分分析(PCA)进行降维,以提供决策边界的可视化(图4)。

对于时间序列分析,我们将假设指数衰减的基本统计曲线拟合与其他最先进方法进行比较,包括XGBoost回归、长短期记忆网络(LSTM)、高斯过程回归器(GPR)、在GPR输出上训练的LSTM,以及最终使用每个时间点SNN输出(距离度量)进行训练的方法(图2B)。生成并审查了常见假阳性和假阴性病例的显著性图。

图1 标题 基线网络架构 查看原图 ↗
图2 a 标题:孪生分类器网络。图注:孪生分类器的表示(a),(b)孪生网络的分支,包含相同的基础网络(DenseNet121),每个网络具有与图1相同的结构(c)所产生特征向量V1与V2之间的欧几里得距离(d)差值向量的表示。分类器网络包含三个全连接层,第一层与第二层之间有一个归一化层(N)(2048 −> N −> 512 −>1)(e)最终预测标签。b 标题:高斯过程回归器。图注:高斯过程模型的表示,该模型使用孪生网络的输出作为特征。当前观测的特征向量(V1)与先前观测的特征向量(V2)在特征空间中的欧几里得距离(V3)作为特征输入GPR 查看原图 ↗
图3 所提出模型训练日志中的准确率(a)和损失(b)曲线。图注:每 epoch 的准确率和训练损失,采用早停以最小化过拟合。训练损失与验证损失未收敛 查看原图 ↗
图4 标题:对孪生网络提取的特征进行PCA。图注:PCA表明孪生网络已学习到能够准确区分各类别的特征。真负例在特征空间中与真正例良好分离,允许存在一些假正例 查看原图 ↗

训练

SNN的训练分两步进行:首先,使用对比损失训练SNN,以学习差值向量的最优表示。在孪生编码器后附加一个投影网络,并使用对比损失进行训练[29]。学习率设为1e-4,对比损失的温度设为0.08,并使用Adam优化器。

在对比训练之后,编码器网络被冻结,仅训练分类网络。学习率设为1e-4,使用Adam优化器和二元交叉熵损失。使用早停工具以减少净训练时间。

SNN的输入通过两种策略生成:偏置策略和平衡策略。在偏置策略中,SNN的一个输入固定为单一类别。在所提出的策略中,一个分支被设置为始终接收包含不透射线珠的图像,称为正图像。网络的第二个分支接收正图像或负图像的随机选择。在平衡策略中,两个分支均可接收正图像或负图像。当两幅图像均为正时,分类标签确定为阳性(1);当任一图像为负时,确定为阴性(0)。网络及所有计算均在NVIDIA GTX1080 Ti处理器上使用Keras(TensorFlow后端)进行。

数据在每个批次层面(批次大小 = 4)进行随机增强,随机应用图像尺寸10%的宽度和/或高度平移和/或水平翻转。

对于时间序列部分,基线模型使用每张X线片中剩余珠的总数进行训练。高斯过程的结果用于训练LSTM(有效地堆叠GP和LSTM)。最后,使用孪生网络在每个时间点的输出(距离度量)训练GPR。对XGBR和GPR采用网格搜索进行超参数优化。

评估

我们的模型在一个内部来源但独立的留出验证集上进行了测试,该验证集占数据的20%。这20%的数据未用于训练。我们使用准确率、受试者操作分析曲线下面积(AUC)、精确率-召回率和相关性的组合来评估我们的模型。在类别平衡的实验中,我们倾向于将准确率作为指标[30]。平均绝对误差用于评估时间序列模型。对假阳性和假阴性(FP、FN)的显著性图进行了审查,以更好地直观理解可解释性和可解读性,但未明确用于定位[31]。回归模型之间的统计比较使用Student's T检验和95%置信区间的计算进行。

结果

人口统计学

共检索到230名患者的570张X线片。32名患者仅有一张图像,未用于时间序列分析。一例在质量控制过程中被排除,因其被错误标记为CTS,留下229名患者的568张图像(每名患者范围1–5张)用于主要分析,以及197名患者的536张图像用于时间序列分析。纳入患者的中位年龄为57岁,123名(54%)为女性。

分类

不同训练条件下不同模型的分类结果见表1。对于存在或不存在珠子的二分类,表现最佳的模型(表1,粗体)为孪生DenseNET,在平衡输入数据上以对比损失训练且权重未冻结,其准确率、精确率和召回率分别达到0.988、0.986和1。图4显示了同一模型在测试集上的PCA结果。PCA是针对一张图像1024个特征的2个成分计算的。

表1 标题 分类结果 查看原表 ↗

时间序列

对于预测直至最后一颗珠子排出的天数,我们测试并比较了不同模型,使用平均绝对误差(MAE)(天数)进行评估。性能如图5a所示。

在两张X线片(时间序列上的两个点)之后,假设指数衰减的基本统计曲线拟合的MAE为6.3天。给定剩余珠子数量,XGB回归器的MAE为4.74,高斯过程回归器(GPR)为2.8。在GPR输出上训练的LSTM达到了2.3天的MAE。最后,在SNN输出上训练的GPR(其使用的信息来自整个图像而不仅仅是珠子的原始数量)的MAE为0.96天。这代表了相对于其他模型的巨大改进,并显著优于基本统计指数曲线拟合(p < 0.05)。

图5b显示了预测的置信度如何随时间序列中的每一步而收窄。预测随着新信息的加入而改善。

图5 a 标题:时间序列结果。图例:不同模型对序列中最后一天预测的平均绝对误差(天)。b 标题:GPR的预测和置信区间。图例:预测如何随时间序列中的每一步动态变化的可视化。 查看原图 ↗

显著性图

为所有病例生成了显著性图,并由两位放射科作者审查。代表性图像如图6所示。

图6 a–d 标题:说明性TP、TN、FP和FN病例的显著性图。图例:a显示代表性真阳性图像,b为代表性真阴性。c为假阳性示例,(d)为假阴性病例 查看原图 ↗

讨论

在本研究中,我们构建了一个深度学习模型,用于在X线片上识别不透射线珠作为胶囊内镜吞咽检查(CTS)的一部分。我们采用了较少使用的方法,利用孪生神经网络(SNN)架构评估X线片之间的间期变化。此外,我们通过利用时间序列方法在患者个体化基础上预测检查完成时间,在医学影像领域引入了一种创新应用。具体而言,我们首先使用SNN量化同一患者在不同时间点的两张图像之间特征空间的距离,然后利用该距离度量对该患者未来的临床病程(进展)进行预测。我们的方法可能在变化评估至关重要的领域具有潜在临床应用价值,例如肿瘤影像学、治疗反应监测和筛查项目。我们还提供了一种将既往图像纳入AI模型的新方法。

SNN使用两个相同的并行模型来学习特征表示向量,其判别能力来源于计算并行模型中特征向量之间的距离。虽然SNN在放射学文献中的使用较为少见,但在变化检测应用场景中正变得越来越流行,例如纵向肺结节进展 [32]、比较当前与既往乳腺X线片 [33],以及在胸部X线摄影中将肺水肿严重程度作为“连续值”计算 [34]。这就是我们选择该方法来区分两张不透射线珠数量不同的相似X线片的原因。其在“单样本”和“少样本”[34]学习方法中的应用表明,该方法对小样本量和类别不平衡具有鲁棒性,而这在CTS等临床应用中往往是常见情况。

“时间序列”是一种包含时间或顺序维度的数据表示形式;时间序列研究涉及理解动态变化和随时间变化的后果 [9]。近年来,时间序列方法已与影像组学及其他临床和生物医学信息相结合,应用于疾病进展预测 [35]。CTS应用场景适合试用时间序列分析方法,原因有多方面,包括明确的起点和终点以及相对明确的金标准。此外,由于目标(珠子)与背景(正常解剖结构)之间高对比度,计算机视觉任务复杂度较低。CTS使用的是单张二维图像,而其他模态使用的是多模态三维数据。这些特性使我们能够聚焦于问题的时间序列方面。时间序列中的进展假定为指数衰减,平均而言剩余16/20颗珠子(摄入后1天)、8颗(2天后)、4颗(3天后)、2颗(4天后)和1颗(5天后)。因此,我们的基线方法是使用简单指数衰减函数进行统计曲线拟合,并尝试使用机器学习方法改进该性能。

XGBoost模型较基线模型有一定改善,但显然GPR能更好地捕捉变化的动态后果,图5给出了示例。GPR模型允许我们为每个预测提取置信区间,随着纳入更多时间步,置信区间变窄,表明随着样本数量增加,预测在稳步改善。我们研究了使用LSTM通过一种称为堆叠的集成方法来预测进展,该方法将GPR模型的输出与LSTM结合,从而使性能进一步提高。

虽然这些方法取得了合理的性能,但它们仅基于每张图像中剩余珠子的数量进行训练。射线照片中包含的信息远不止珠子数量。为了捕捉这些额外信息,我们进而使用SNN的输出来训练GPR。该模型是我们在预测“通过时间”方面表现最佳的模型。该方法显著优于基本的统计曲线拟合,并能产生可根据新信息动态变化的个性化预测。其成功表明,SNN输出的距离函数捕捉到了两幅图像之间差异的有意义信息,超出了珠子数量变化所反映的内容。

除CTS之外,这种模型还有许多潜在应用。临床放射学的许多内容涉及间期变化,并可应用于肺结节监测、肿瘤影像学治疗反应评估、多发性硬化患者随访或作为筛查规划的一部分等领域。扩大医学影像计算机视觉领域正在处理的任务范围,并开始回答上述临床相关问题,将需要转变关注重点[4]。

局限性

由于这是一项考察新方法可行性的初步研究,我们的样本量相对较小,并采用了单中心回顾性设计。这将限制模型的普适性,也会引入选择偏倚。然而,我们在分类任务中达到了较高准确率,增加样本量应会使时间序列方面更容易处理。如前所述,该任务相对简单,使用目标与背景之间高对比度的2D图像,这是为了能够聚焦于研究的时间序列方面。未来研究应考察这些方法在MR和CT等先进成像中的应用,这一点很重要。

结论

孪生网络在识别CTS中的不透X线珠方面表现良好。对于时间序列预测,深度学习的使用较现有统计模型提高了性能,能够更准确地进行个性化进展预测。将放射学图像衍生特征作为时间序列模型的输入,并将既往图像纳入AI模型,在CTS之外的许多临床放射学领域具有潜在应用。

引用

  1. Kelly BS, Mathur P, Plesniar J, et al. Using deep learning-derived image features in radiologic time series to make personalised predictions: proof of concept in colonic transit data. Eur Radiol. 2023. PMID: 37284869. doi:10.1007/s00330-023-09769-9
  2. 全文:PMC10244854(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10244854/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。