文献速递泌尿生殖腹部MR

深度学习模型自动评估自动分割轮廓质量

Quality assurance for automatically generated contours with additional deep learning.
PubMed 文献 · Insights Imaging · 2022-08-17

本研究构建了一个深度学习模型,通过输入图像与自动分割轮廓对,预测Dice相似系数以评估分割质量。模型在60例前列腺T2加权MRI图像和80个自动分割掩膜上训练,平均绝对误差为0.020±0.026(平均百分比误差2.2%),错误分割识别准确率达99.6%。该模型可与自动分割工具联用,实现质量保证。

要点

  • 模型能高精度预测Dice系数(MAE 0.020),并正确识别错误分割(准确率99.6%)。
  • 预测与目标Dice的秩相关系数为0.42,可区分轮廓质量的相对好坏。
  • 对空轮廓、均匀噪声、全1矩阵和移位真值等失败案例,模型整体误判仅2/480。

核心结论

  • 深度学习模型可准确预测自动生成的前列腺轮廓的Dice系数,平均绝对误差0.020,错误分割识别准确率99.6%。
  • 模型可作为质量保证工具,与自动分割工具联用,及时发现并干预不良分割行为。

研究设计与样本

  • 研究类型为回顾性方法学开发与验证,使用60例前列腺轴向T2加权MRI图像和80个自动生成分割掩膜。
  • 图像来自1.5T扫描仪(层厚3.0–3.6 mm,层间距0.3 mm,像素间距0.59×0.59 mm,TE 118 ms,TR 3780 ms),经N4偏场校正。
  • 参考标准为两位经验>5年放射科专家共识手动分割的真值掩膜。
  • 采用五折交叉验证,并使用大量数据增强扩充训练样本。
  • 基线模型使用临床变量(年龄、前列腺体积、ISUP分级、PI-RADS评分、iPSA、风险分级)通过CatBoost进行预测。

关键影像表现/征象

  • 模型预测Dice的平均绝对误差为0.020±0.026(2.2%平均百分比误差),最大绝对误差0.066(7.3%偏差)。
  • 预测Dice与目标Dice的秩相关系数为0.423。
  • 在包含80个标准测试样本、320个失败案例样本和80个真值样本的480例中,仅2例误分类,总体准确率99.6%。
  • 失败案例中,空轮廓MAE 0.317,移位真值MAE 0.233(秩相关0.522),全1矩阵MAE 0.182,二值噪声MAE 0.126。
  • 基线CatBoost模型MAE为0.016,但预测与目标秩相关为−0.155,预测值变化极小;最重要特征为iPSA(68%)和体积(21%)。

诊断标准与关键数值

  • 质量评估指标为Dice相似系数,取值范围0到1,1表示完全重叠,0表示无交集。
  • 模型性能评估采用预测Dice与目标Dice的平均绝对误差和Spearman秩相关系数。
  • 预测失败定义为:预测Dice<0.75且目标Dice>0.8,或预测Dice>0.8且目标Dice<0.75。
  • 自动生成轮廓的Dice值范围为[0.847, 0.943]。
  • 模型在RTX 3090 GPU上每例预测耗时0.02秒。

临床应用与阅片要点

  • 该模型可嵌入自动分割流程,对每个自动轮廓实时输出Dice预测值,辅助识别低质量分割。
  • 当预测Dice低于0.75而目标可能高于0.8时需警惕假阳性报警,建议结合临床复核。
  • 临床变量(如iPSA、前列腺体积)不能可靠预测分割难度,不应单独用于筛选病例。

局限性

  • 数据集较小(60例图像,80个轮廓),且仅涉及前列腺MRI,泛化性需进一步验证。
  • 模型未在Dice为0的轮廓上训练,对极低质量轮廓的预测可能不准确。
  • 研究为单中心回顾性设计,未在独立外部数据集上验证。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 Aug 17;13:137. doi: 10.1186/s13244-022-01276-7

要点

训练一个深度学习模型来预测分割质量。

数据增强提供了一种几乎无限扩展数据集的手段。

该模型达到99.6%的准确率和2.2%的平均百分比误差。

该模型可用于确保达到期望的标准。

引言

医学图像中解剖结构的分割是许多临床领域(包括放射学、病理学、眼科学、皮肤病学和显微镜检查)中的关键步骤[1–4]。例如,在放射治疗计划中,准确勾画邻近器官对于计算剂量和评估风险至关重要[5]。当代医学图像分割研究大多集中于开发和应用自动分割流程,主要采用深度学习(DL)模型,以减少临床医生的工作量、加快勾画过程并提高分割质量。随着这些模型性能的提升,各机构正寻求开始在临床实践中试用这些模型。然而,在集中于开发和验证模型的研究过程中,模型部署的若干方面仍未得到解决,包括模型漂移、欠指定(即流程可能返回许多在训练性能上相当、但部署性能差异很大的预测器)[6]、数据集和模型偏倚以及质量保证。事实上,近期一篇关于放射肿瘤学中人工智能(AI)的综述[5]的作者认为,对于在临床实践中实施和使用AI模型的指导存在未满足的需求。

质量保证(QA)是部署任何AI算法或模型的关键步骤[5, 7–10]。一般来说,它指的是监测已部署方法或模型的输出、性能和用户体验,以确保其按预期工作的实践。这在医疗环境中尤为重要,因为患者的结局可能受到危害。此前,人类在这一步骤中的作用大多被归并,但似乎没有原则性理由说明为何这不能同样由AI算法来完成。尽管AI和机器学习(ML)用于QA的潜在益处已被认识到[11],但关于该主题的文献却出奇地少,尤其是在图像分割领域。

在普通分类任务中,模型的输出通常是一个概率向量,表示模型对给定样本的确定性。该向量可用于向用户提供模型对给定预测的置信度度量(尽管这种置信度估计的可靠性存在争议——参见所谓的校准问题)。另一方面,对于分割模型,输出通常是逐像素的概率集合,这使得其直接使用存在歧义。克服这一问题的一种方法是使用多个分割模型的集成,基于其预测的方差构建不确定性预测模型,如[12]所建议。然而,集成多个模型需要显著更多的时间和资源,特别是在深度学习(DL)的情况下。另一种方法是使用贝叶斯框架,该框架本质上对不确定性进行建模[13]。Men等人[14]试图通过研究质量的二值定义(例如,错误存在/不存在)来解决该问题,而其他研究人员建议使用源自几何属性的规则模型[15, 16],或基于纹理[17]、基于体积[18]和/或基于形状和强度[19]的特征结合机器学习和统计模型。虽然这些方法可以改善轮廓的质量评估,但它们受限于手工构建模型的固有局限性,这些模型通常较为粗糙且通常产生较差的结果。在此背景下,深度学习模型已在众多其他图像分析领域中展示了其卓越的特征提取和推理能力,可能提供宝贵的优势。

关于深度学习(DL)分割模型质量保证(QA)的研究非常有限。Chen等人[20]基于ResNet-101对680例乳腺癌患者CT图像进行了QA研究。他们的方法取得了良好的性能,但使用的是离散分类而非连续回归方法,如果需要灵活性(因为分类阈值无法动态更改),这在临床环境中可能是一个局限。另外两种相关方法是不确定性预测和越界检测领域。在不确定性预测问题中,任务是给定输入预测对来估计网络的不确定性。(这通常在回归问题中研究,其中网络输出不以确定性表示。)该领域的传统方法使用贝叶斯框架对不确定性进行建模,通常需要真实值分布的显式模型[21–23]或与不确定性网络的联合训练[24]。虽然联合训练可以是一种有效且成熟的方法,但按理说它无法在训练后实施。相反,越界检测只是试图检测与训练分布差异很大的样本。这些检测器通常依赖于人工创建的分布外样本(可能使用生成器神经网络[25])[26],这本身就是一个困难的问题,引入了另一个维度的偏差。由于直接与QA相关的研究稀缺,从其他直接从图像预测(连续)结果的领域汲取灵感可能是有用的。一个例子是年龄估计,其任务是从人脸图片预测一个人的年龄(参见,例如,[27–30])。值得注意的是,该领域所有最先进的模型都是DL架构。然而,区分分割QA与年龄估计的一个关键点是图像与轮廓之间 presumed 的样本内交互:仅通过纯粹观察分割(或图像)是不可能判断分割质量的。

预测自动生成轮廓性能主要有三种方法:直接回归性能指标、预测某种离散或定性性能度量(如好/中等/差)、或预测按质量排序的样本排名(即序数回归/分类)。第二种方法在精确真实值分割不可用、或时间限制影响训练数据标注质量时有用,因为临床医生将样本分配到定性类别比生成可靠的真实值分割更快更容易。第三种方法在仅样本排序重要时有益,但缺点是单样本推理不直接,特别是对于分布外样本。我们选择了第一种方法,因为它适用于有许多训练样本可用的情况,最好是在真实值分割分数分布广泛的情况下。它允许使用基于距离的损失指标,这些指标对差预测的惩罚大于好预测。在这项工作中,我们试图:构建一个卷积DL模型来预测自动生成轮廓的质量。该模型可用于QA,使自动分割模型具有更大的透明度。

将模型与仅根据患者特征预测分割性能的朴素基线进行比较。如果仅凭临床变量就能估计出较差的性能,临床医生或许能够利用这一信息来排除那些自动分割方法产生较差结果的患者亚组。

研究模型何时能够正确处理可能出现的失败情况,如预测含噪声、为空或未对齐。识别失败案例是质量保证中的关键步骤,分析这种行为可能有助于深入了解潜在的模型偏倚和模型行为。

方法

数据集

为了训练质量预测模型,我们使用了60例前列腺MRI图像以及自动生成的轮廓,这些轮廓此前由一个定制深度学习分割网络[38, 39]生成,该网络采用改进的3D适配EfficientDetB0 [36]架构(关于该架构的更多细节见第2.4节)。每个图像-轮廓对都附有相应的真实分割掩膜,用于计算自动生成轮廓的质量。真实分割由两位专家放射科医生(经验> 5年)协商一致后手动生成。此外,20例图像还有一组由略有不同的网络生成的自动轮廓,以便模型能够学会区分同一图像上不同轮廓之间的差异。总计有60例前列腺图像和80个自动生成轮廓。轮廓的Dice值均在[0.847, 0.943]范围内。

用于分割的图像为使用1.5 T扫描仪采集的前列腺轴位T2加权MRI扫描(层厚3.0–3.6 mm,层间距0.3 mm,像素间距0.59 × 0.59 mm,回波时间118 ms,重复时间3780 ms)[31, 32]。所有图像在分割和模型训练前均接受了N4偏场校正(SimpleITK 2.0.2,默认参数),且所有图像具有相同的体素大小。

每位患者可获得以下临床特征用于基线模型:年龄、前列腺体积、ISUP分级、PI-RADS评分、iPSA和风险分级。

本研究在提交给IRCCS Istituto Europeo di Oncologia和Centro Cardiologico Monzino伦理委员会的通知范围内进行(地址:via Ripamonti 435, 20,141 Milano, Italy)(CE通知编号UID 2438)。所有患者均已同意将其数据用于研究和教育目的。

预测轮廓质量

我们将质量保证问题设定为回归问题,模型的输入为图像-轮廓对,输出为质量度量(示意性概述见图1)。我们选择的具体质量指标为Dice系数,因为它在数学上定义明确、易于解释、有界,且在医学影像领域被广泛使用。

对于两个二值像素阵列(例如分割图)A和B,Dice系数定义为

其取值范围为0到1,其中1对应于完全重叠的分割,0对应于无交集。

为了衡量质量预测模型的性能,我们使用了预测Dice值与目标Dice值之间的平均绝对误差(MAE),以及两者之间的Spearman秩相关。Spearman相关衡量的是一个有序集合的顺序正确的程度,范围从1(所有样本都按正确顺序排列)到−1(所有样本都按相反顺序排列)。随机排列的期望秩相关为零。因此,它直观地反映了算法区分好轮廓和差轮廓的能力。在本工作中,每当提到相关性时,均隐含使用秩相关。

图1 器官分割质量预测问题的概述。首先,分割模型(本文不涉及)以图像为输入并生成分割图。然后,我们的质量预测模型以图像和分割图两者作为输入,并产生对分割质量的估计——在本例中为Dice相似系数。好的轮廓具有高Dice值,差的轮廓具有低Dice值。注意,我们需要真实标注分割才能计算真实Dice值,并以监督学习方式训练质量预测模型。在本研究中,我们使用了60个真实标注分割和80个自动生成的掩膜,并结合大量数据增强来训练质量预测模型 查看原图 ↗

基线质量预测模型

基线模型试图仅根据患者的临床变量来预测任意分割算法在该患者上的表现如何。其理由在于检验是否有任何临床变量能够预测给定前列腺的分割难度。由于该模型不使用图像,它无法区分同一患者的不同分割结果,但作为分析工具和基准仍然有用。作为基线模型架构,我们选择了在Python 3.7下通过CatBoost 1.0.3版[33]实现的梯度提升决策树模型。对于具有两种不同分割的20幅图像,我们使用Dice系数的均值作为目标值。

为了训练该模型,我们首先使用Optuna Python包[34]以默认设置执行64步参数搜索,以找到合适的参数。搜索空间见表1。每组参数通过八次重复随机五折交叉验证后的平均绝对误差进行评估。然后,最佳模型通过64次重复随机五折交叉验证进一步评估。

为了评估基线模型的实用性,我们将其性能与一个预测所有样本平均Dice值的朴素基线进行了比较。

表1 基线CatBoost模型通过Optuna参数搜索所搜索的参数空间 查看原表 ↗

质量预测网络

我们训练的用于预测分割质量的深度学习模型是一种改进的EfficientDet [35]架构(见图2)。该架构是EfficientNet模型[36]的扩展,针对目标检测进行了定制——它包含一个EfficientNet骨干网络,具有七个层级(P1至P7),连接到重复的“BiFPN”模块(双向特征金字塔模块)。我们的修改包括适配3D卷积以及缩减扩展因子(从6降至2)和自定义回归头。回归头由串联的快速归一化融合节点(详见[35])组成,随后依次为批归一化、PReLU、单通道卷积和最终的sigmoid激活函数。EfficientNet [36]骨干网络为B0类型,P1至P7层级的默认滤波器参数分别为32、16、24、40、80、112和192通道。我们的BiFPN模块重复三次,每次使用64个滤波器(图3)。

为降低模型的内存消耗,图像从320 × 320 × 28体素中心裁剪至160 × 160 × 28体素。图像还通过将第0和第99百分位数线性映射至[0, 255]范围进行归一化,之后追加第100百分位数值。MRI图像和分割图在通道维度上拼接,形成每个样本形状为160 × 160 × 28 × 2的4D张量。这些4D张量用作模型的输入。

网络使用MSE损失和批大小2训练了200个epoch。我们使用Adam优化器,学习率为0.002,在120个epoch后降至0.0002。模型验证采用随机五折交叉验证。

为使网络能够在前列腺分割典型的狭窄目标Dice值范围之外进行插值,我们使用了精细的数据增强方案来生成新轮廓。在每个epoch中,两个样本之一将其对应轮廓替换为从训练集中随机选择的另一个轮廓,使得每个批次包含一对真实图像轮廓和一对“虚假”图像轮廓。然后虚假轮廓按[0.55, 1.8]范围内的随机因子缩放。此过程之后,我们还对两个样本(按顺序)应用标准数据增强:水平翻转、均匀面内旋转(在范围内)、均匀2D x和y平移(在± 10%内)、均匀缩放(在± 10%内)以及弹性形变。此过程还消除了仅使用单一分割模型轮廓可能引入的偏差。

图2 网络架构。EfficientNet B0骨干网络连接至三个重复的双向特征金字塔模块(BiFPN)。回归头由串联的快速归一化融合节点组成,最后为批归一化(BN)、PReLU、单通道卷积和sigmoid激活。数字表示各层级相对于输入的分辨率。图像改编自[35] 查看原图 ↗
图3 基线CatBoost模型的预测Dice值与目标Dice值对比,该模型仅使用临床变量预测分割质量。虚线表示完美的x = y预测。该模型的预测往往变化极小(非常接近朴素模型),表明临床变量不能指示分割性能 查看原图 ↗

失败案例研究

我们评估了模型对不同失败轮廓变体质量的预测效果,这些变体的预测Dice评分应当较低。研究了以下失败模式(图示见图7):空轮廓(数组中每个像素均为零——未识别出前列腺组织),

均匀二值噪声(数组中每个像素被随机赋值为零或一),

全一填充矩阵(数组中每个像素均为一——整幅图像被识别为前列腺组织)

平移的 ground truth 掩膜(ground truth 分割在 x 和 y 方向上随机均匀平移 ± 50%)。

这些病例由测试集中的 16 例患者在每个验证折上构建,使得每个失败病例在交叉验证过程中生成 80 个独立样本。

此外,我们在每个验证折上对 16 个未见过的 ground truth 分割进行了预测评估(共 80 幅 ground truth 图像)。这使我们能够在域的另一端测试模型性能,即所有目标值均为 1 的情况。

我们还定义了一个全局准确率评分,以指示模型在所有测试样本(80 个来自标准测试集、320 个失败病例样本和 80 个 ground truth 样本)上的整体表现。这很有用,因为 MAE 并不总能反映模型预测的实用性。例如,如果某个分割的真实 Dice 值为 0.0,而模型预测的 Dice 值为 0.5,该轮廓仍会被标记为“质量差”,因为 0.0 和 0.5 的 Dice 值均被认为是不好的。这意味着尽管 MAE 为 0.5 很大,但预测在定性上是正确的。对于预测 Dice 值 ŷ 和目标 Dice 值 y,我们将失败预测定义为以下任一情况:(ŷ < 0.75)∧(y > 0.8),即当目标 Dice 值大于 0.8 时预测 Dice 值小于 0.75,或

(ŷ > 0.8)∧(y < 0.75),即当目标 Dice 值小于 0.75 时预测 Dice 值大于 0.8。

结果

基线模型

基线 CatBoost 模型的预测 Dice 值见图3,CatBoost 和朴素基线模型的性能总结于表2。两种模型的 MAE 均为 0.016,CatBoost 模型的预测-目标相关性为 − 0.155。CatBoost 模型中最重要的特征为 iPSA(68%)和体积(21%)(图4)。

表2 基线 CatBoost 和朴素模型的平均绝对误差(MAE)和秩相关,这两种模型仅利用临床变量预测分割质量。朴素方法预测所有样本的平均目标值。括号表示标准差。数值汇总自 64 次重复五折交叉验证 查看原表 ↗
图4 图2所示深度网络的预测 Dice 值与目标 Dice 值对比。虚线表示完美的 x = y 预测 查看原图 ↗

质量预测网络

Dice 值预测的平均绝对误差为 0.020 ± 0.026(平均绝对百分比误差 2.2%),其与目标值的相关性为 0.423(图5和图6)。最大绝对误差为 0.066(相当于偏离目标值 7.3%)。在 RTX 3090 GPU 上每位患者生成预测所需时间为 0.02 s。网络的典型训练曲线见图4。

图5 质量预测深度学习网络的预测Dice值、目标值及各自的绝对误差。平均绝对误差为0.02,预测值与目标值之间的相关性为0.42 查看原图 ↗
图6 深度质量预测网络的典型训练曲线。该图是所有不同验证折的汇总。验证损失在训练早期经常出现尖峰,然后在120个epoch时学习率降低后消失 查看原图 ↗

失败案例研究

对构建的失败案例的预测结果如图7所示,同时展示了每种失败类型的一个分割示例。表现最差的案例是空轮廓(0.317 MAE),其次是偏移的GT分割(0.233 MAE)、全1分割(0.182 MAE)和二值噪声(0.126 MAE)。偏移GT案例的MAE排名倒数第二,但与目标值的相关性最好:0.522。空轮廓和GT轮廓的相关性未定义,因为它们的目标值分别为全零和全一。

就总体准确率而言,480个案例中仅有2个被误分类,准确率达99.6%。第一个案例是一个全为1的分割,预测Dice值为0.81,目标Dice值为0.11;第二个案例是一个偏移的GT掩码,预测Dice值为0.82,目标Dice值为0.72。

图7 质量预测模型在不同失败分割案例上的性能(预测Dice评分的MAE和秩相关):完全空轮廓、纯噪声、全1矩阵和偏移的真值(GT)。同时展示了在真实GT分割图上的性能。所有结果均在5个不同验证划分上汇总,每类共80个样本 查看原图 ↗

不成功的实验

除上述实验结果外,我们还提供在为本工作做准备时进行的一些基础测试的观察结果。

我们测试的一种架构使用了置信分支,这是一种可对任意网络进行的扩展[37]。置信分支被训练为输出网络对其预测置信度的估计。这可以通过在训练期间让网络“偷看”正确答案(带惩罚)以实现输出更多正确答案来达成。其背后的直觉是,偷看仅对本质上不确定的预测有利。我们未能让该分支输出有用的值——所有样本的置信度始终收敛到0或1,即使在引入预算参数后也是如此。

我们实验的另一种深度学习网络直接在EfficientNet主干上添加了回归头,这需要更少的内存和训练时间。这在训练MSE方面表现良好,但噪声极大。当我们将最终网络架构使用更少的BiFPN层和/或滤波器进行训练时,也出现了类似的情况。

讨论

我们的深度学习(DL)质量预测模型准确预测了自动生成前列腺轮廓的Dice评分,平均绝对误差(MAE)为0.020。这相当于与真实Dice值的平均偏差仅为2.2%。特别是,所有误差均未超过0.066(与目标值偏差7.3%),表明具有高度的稳健性和可靠性。预测值与目标值之间0.42的中等相关性表明,该模型还能够正确区分轮廓之间的定性差异(即哪些更好/更差),即使差异很小。

从失败案例的MAE值来看,其表现可能令人担忧,MAE范围从二值噪声的0.126到空轮廓的0.317。然而,这在实际中可能不会是大问题,因为模型的总体准确率为99.6%。例如,当目标Dice值和预测Dice值均较低时,较大的MAE并不一定表明模型失败。我们的模型未在任何目标Dice值为0.0的轮廓上进行训练,因此无法插值到这一区间。预先考虑失败案例并将其纳入训练集是提升模型可靠性的一种方法。此外,一个构建良好的分割模型在实际部署中不应输出明显较差的分割结果(假设无模型漂移),而且此类失败通过简单检查即可容易发现,无需外部质量保证模型。

对每位患者预测目标Dice值均值的朴素模型达到了0.016的MAE,低于DL模型的MAE 0.02。然而,朴素模型无法识别失败案例和轮廓之间的定性差异,因为其所有预测值完全相同。同样,我们的基线CatBoost模型仅使用临床特征来预测自动生成轮廓的质量,其MAE也为0.016。低方差以及CatBoost预测的负相关(图3和表2)表明该模型相较于朴素模型没有任何优势,实际上使其在实践中毫无用处。这表明自动分割模型的性能无法仅从临床特征推断。鉴于该模型无法区分同一患者的不同分割结果,这并不令人意外。

一个显而易见的问题是:如果我们需要一个深度网络来保障分割网络的性能,那么是否也需要一个深度网络来保障保障网络的性能?困境在于,如果第一个网络的性能可以得到保证,我们首先就不需要保障网络;如果不能保证,我们可能需要无限 chain 的网络。然而,沿 chain 越往下,此类网络的效用很可能越递减,因为每一步误差必然以减少非零量为代价。可以类比梯度提升机,它是在传播误差信号上训练的预测模型 chain。这些模型通常使用决策树训练,因为决策树训练速度极快。另一方面,对于计算机视觉中的DL模型,训练时间通常超过数小时甚至数天,显然使用超过几个 chain 的保障网络在实际中是不可行的。

虽然我们发现的类似研究集中于二分类错误检测或离散化序数回归,但我们的模型执行的是连续回归。一般来说,这应是更可取的做法,因为它更具通用性,并且通常能带来更好的性能。这种方法还使得错误检测的动态定义成为可能,该定义可以即时更改,这在医学背景下可能很有价值。我们发现的唯一另一项直接回归Dice评分的研究在乳腺癌分割上达到了0.06的平均绝对误差(MAE)[20],这是我们MAE(0.020)的三倍。

需要注意的一点是,如果Dice预测网络足够准确,原始分割网络可以利用预测的Dice值来为其自身的梯度提供信息,例如将Dice预测网络用作生成对抗网络(GAN)训练方案中的判别器。这是未来研究的一个潜在方向,但超出了本研究的范围。

尽管本文展示了一种评估自动生成轮廓质量的新方法,但需要注意的是,在这些方法能够可靠地应用于实践之前,需要进行外部且严格的验证。鉴于仅有80名患者的有限数据集,本文的结果只能被视为概念验证。理想情况下,应使用未见数据的测试集来评估真实的样本外性能和可重复性,但我们选择不使用留出集,以便为训练集和验证集提供更大的覆盖范围。过小的数据集有被随机效应过度主导的风险,这可能损害学习到的表征和性能估计。目前,对于这些权衡尚无普遍接受的解决方案,尤其是在小数据场景下。还可以讨论的是,在临床实践中使用一个人工智能算法来评估另一个人工智能算法的输出是否明智,以及何时应请求人工监督。至少,在人工智能应用于医疗保健的早期阶段,要求人工监督似乎是理所当然的。像我们这样的质量保证(QA)模型的一个好处是,它们可以很容易地与人类专业人员一起部署,以减轻工作量并改善其判断。

结论

在这项工作中,我们训练了一个深度学习模型,以预测值与真实标签之间的Dice相似系数来衡量前列腺轮廓的质量。该模型可在实践中用于确保质量和监测已部署的自动轮廓模型的性能。我们的结果显示,与目标值的绝对偏差仅为0.016,相当于1.7%的偏差。经过适当的重新训练,该模型也可以应用于任何其他分割任务。

引用

  1. Isaksson, Summers, Bhalerao, et al. Quality assurance for automatically generated contours with additional deep learning. Insights Imaging. 2022. PMID: 35976491. doi:10.1186/s13244-022-01276-7
  2. 全文:PMC9385913(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9385913/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。