双参数MRI前列腺癌影像组学中深度学习掩膜分割替代手动分割
该回顾性多中心研究纳入524个前列腺癌病灶的双参数MRI影像组学数据,比较深度学习掩膜自动固定VOI分割与专家手动分割对临床显著前列腺癌的诊断效能。测试集中18 mm直径DLM模型AUC为0.76,显著高于手动分割的0.62(p=0.0198),且每病灶分割时间平均少于10秒,较手动分割约5分钟缩短超过97%。
要点
- 18 mm DLM自动固定VOI模型测试集AUC 0.76(95%CI 0.66–0.85),高于手动分割模型0.62(95%CI 0.52–0.73),差异显著(p=0.0198)。
- DLM法每病灶平均耗时少于10秒,专家手动分割平均约5分钟,时间减少超过97%。
- DLM法仅需在视觉ADC最低处单击一次,由深度学习前列腺分割去除腺外体素,无需逐层勾画病灶。
核心结论
- DLM自动固定VOI分割可为临床显著前列腺癌提供比专家手动分割可能更准确的影像组学诊断,同时将专家时间投入减少超过97%。
研究设计与样本
- 回顾性多中心数据集,共930例患者、1151个已赋PI-RADS评分的病灶,最终纳入427例患者的524个病灶(其中204个为临床显著前列腺癌)。
- 数据来自9个医疗中心(2个三级学术机构、7个非学术机构),MRI设备为8台不同系统(含1.5 T和3.0 T、2个厂商),时间跨度为7年。
- 临床显著前列腺癌定义为ISUP分级≥2;病灶需有MRI后最多6个月内靶向穿刺或前列腺切除标本的ISUP分级。
- 所有病灶均行DLM自动固定VOI分割(平均每病灶少于10秒)和专家(8年经验)手动分割(平均每病灶5分钟),并按4:1分为训练集(419个病灶,155个CS PCa、264个非CS)和测试集(105个病灶,49个CS PCa、56个非CS)。
- 深度学习分割采用3D U-Net架构,在开源多中心前列腺MRI分割数据集(n=116)上训练,Dice评分为0.9683。
关键影像表现/征象
- DLM自动固定VOI以病灶ADC最低体素为中心构建球状VOI,并用深度学习全前列腺分割去除腺外体素。
- 手动分割按PI-RADS v2.1标准在轴位T2加权序列和空间匹配的ADC图上逐层勾画病灶。
- 图1A显示ADC图上外周带可疑病灶(PI-RADS 4),图1B示18 mm自动固定VOI因病灶位置包含大量腺外体素,图1C示深度学习掩膜去除腺外体素后的结果。
- 图3示73岁男性外周带病灶(PI-RADS 4,主要基于DWI),手动分割、无DLM调整的18 mm VOI、深度学习全前列腺分割及DLM调整后VOI的对比。
- 图4示74岁男性移行带病灶(PI-RADS 3,主要基于DWI),最终病理为非临床显著前列腺癌,同样展示上述分割对比。
诊断标准与关键数值
- 手动分割模型测试集AUC为0.62(95%CI 0.52–0.73),在优化阈值0.181时敏感度0.84(95%CI 0.73–0.94)、特异度0.45(95%CI 0.32–0.57)。
- 18 mm DLM自动固定VOI模型测试集AUC为0.76(95%CI 0.66–0.85),显著高于手动分割模型(p=0.0198),在优化阈值0.385时敏感度0.76(95%CI 0.63–0.86)、特异度0.71(95%CI 0.59–0.84)。
- 16 mm DLM模型AUC为0.72(95%CI 0.62–0.81),与手动分割模型AUC差异未达统计学显著(p=0.051)。
- 18 mm DLM模型使用22个特征(含11个特征中8个为纹理特征),6 mm最小直径模型仅使用2个纹理特征。
临床应用与阅片要点
- DLM自动固定VOI仅需在视觉ADC最低处单击一次,通常10秒内完成,可大幅减少影像组学分析中病灶分割的时间投入。
- DLM法并非精确勾画病灶,其VOI包含病灶边缘及健康前列腺组织,作者认为边缘梯度和锐度信息结合健康组织似乎可改善前列腺癌影像组学。
- 作者认为18 mm直径可能仅适用于当前数据集而不具泛化性,但本研究使用了9个中心、8台设备、跨7年的大型多中心数据集,该论点似乎不成立。
局限性
- Burnese等研究报告的平均准确率约0.97,但其患者数少(n=62)且无独立留出测试集,这可能是准确率偏高的更合理解释。
- 18 mm最佳直径是在13种直径中优化选出的,作者指出可认为该直径仅适用于当前数据集而不具泛化性,但认为大型多中心数据集使该论点似乎不成立。
全文中译13 节 · 点击展开
引言
前列腺癌(PCa)仍然是西方男性中最常见的癌症 [1]。多参数磁共振成像(mpMRI)可用于检测临床显著(CS)前列腺癌并将其与非显著病变区分开来 [2]。然而,mpMRI 的定性判读需要丰富的经验 [3],并且可能遗漏一些显著癌症 [2]。
近期研究表明,放射组学模型在临床显著前列腺癌诊断中具有良好前景 [4]。该领域绝大多数研究使用费时费力的人工分割来提取放射组学特征 [5]。此外,大多数放射组学临床研究使用的是相对较小的标注单中心数据集(n < 300)[6],这可能与人工分割的耗时性有关。前列腺癌影像研究可采用多种分割方法。一些研究不需要任何手动病灶分割,而是使用全自动深度学习算法对病灶或不同区域(例如整个图像、整个腺体或前列腺分区)进行分割或使用这些区域 [7]。其他分割选择包括半自动(手动与自动相结合)方法或基于专家的手动分割 [8]。放射组学主要涉及对感兴趣容积(VOI)进行手动分割 [5],提取的特征可提供关于 VOI 内部结构(例如前列腺癌病灶)的具体信息。这允许使用影像生物标志物对肿瘤表型进行量化,可能有助于构建可解释的人工智能模型。然而,手动分割是一项繁琐且耗时的任务,因此需要一种新的分割方法来更快速地提取放射组学特征。这将有助于开展更大规模(多中心)研究,以提高放射组学模型的诊断性能和泛化能力 [9–11]。这可能最终增加放射科医师和临床医师在日常工作流程中对临床显著前列腺癌实施基于 mpMRI 的放射组学分析的意愿。
在先前的一项研究[12]中,我们表明,基于放置在病灶体素(表观扩散系数(ADC)最低)周围的球形感兴趣体积(VOI)(“自动固定VOI”)从mpMRI数据集中提取的影像组学特征,可以作为视觉评估诊断临床显著性前列腺癌(CS PCa)的有价值补充[12]。自动固定VOI可以大幅减少专家的后处理时间,因为它只需要选择视觉上ADC值最低的体素,这可以在几秒钟内完成。此外,如果以定量方式检测ADC值最低的体素,放射科医师的影响也可以减少。通过半自动检测,纹理特征的矩阵始终以ADC最低的区域为中心,从而标准化了VOI勾画和特征计算。然而,在专家指示的参考点周围区域进行半自动球形放置时,偶尔会纳入前列腺外的体素,这会在影像组学模型中引入不需要的信息(图1A、B)。我们提出将自动固定VOI方法与基于深度学习的分割相结合,从VOI中去除所有位于前列腺外的不需要体素(图1C)。由于深度学习掩膜(DLM)自动固定VOI并不像手动分割那样精确勾画病灶,自动固定VOI将包含病灶边缘区域和健康前列腺组织(即病灶组织向健康前列腺组织的过渡区)。边缘和健康组织信息可能有助于影像组学的纹理和强度相关特征。病灶边缘的梯度和锐利度可能包含有趣的信息,而加入一些健康组织则允许进行轻微的强度校正。我们假设,在用于诊断CS PCa的bpMRI影像组学模型中,DLM自动固定VOI比完全手动分割的VOI更快且非劣效。
因此,本研究的目的是确定DLM自动固定VOI分割方法作为手动分割的替代方案,在bpMRI上基于影像组学诊断CS PCa中的价值。
材料与方法
患者数据
本研究的患者数据(n = 930)由来自9个不同医疗中心(2个三级学术医疗机构,7个非学术机构)的多中心数据集组成。来自7个非学术机构的所有患者(连同其MRI、病理及所有其他临床数据)作为临床诊疗的一部分被转诊至2个三级学术中心进行图像引导活检。2个三级学术机构的机构审查委员会批准了本研究,并豁免了知情同意的需要。多中心数据集中930名患者的设置、扫描仪和病灶分级的详细描述可见电子补充材料1。
患者特征与病灶选择
若基于可用的靶向活检(经直肠超声融合活检、认知融合活检、MRI引导下靶向活检)或MRI后最长6个月内行前列腺切除术标本能够确定相应的ISUP分级,则纳入930例患者的病灶。临床显著性前列腺癌(CS PCa)定义为国际泌尿病理学会(ISUP)分级≥2。若ISUP分级仅能基于非靶向经直肠超声活检确定,以及活检在MRI之前进行,则排除该病灶。在1151个被赋予PI-RADS评分的病灶中,最终纳入来自427例患者的524个病灶(图2)。研究人群的患者信息及活检和分级详情见电子补充材料2。
深度学习模型(DLM)自动固定感兴趣体积(VOI):开发与优化
既往报道的自动固定VOI方法基于放置在ADC最低的病灶体素周围的球形VOI,从双参数MRI(bpMRI)数据集中提取影像组学特征[12]。然而,该方法存在纳入前列腺外体素的问题(图3)。为消除前列腺外体素,加入了一种分割整个前列腺的深度学习算法,以将自动固定VOI限制在前列腺边界内。由此,开发了一种用于提取影像组学特征的DLM自动固定VOI方法。该深度学习算法采用3D U-Net架构[13],并在用于前列腺MRI分割的开源多中心数据集[14](n = 116)上进行训练。使用开源数据集是因为需要一个准确且经过测试的整个前列腺分割数据集。3D U-Net使用Tensorflow/Keras 2.2.0版本在32 GB V100 GPU上进行训练。U-Net由包含2个连续3D卷积操作(卷积核大小为3 × 3 × 3)的卷积块构成,并包含三个下采样和上采样操作。在模型收缩路径中使用最大池化(3 × 3 × 2)对图像进行下采样,而上采样采用最近邻插值,卷积核大小同样为3 × 3 × 2。在每个更低的图像尺度之后,计算的滤波器数量加倍,初始卷积块从64开始。最多使用400个epoch,若验证损失在40个epoch后未改善则提前停止。由于GPU内存限制,批大小设置为1。使用Adam优化器[15],初始学习率为1e−4。未实施权重衰减;然而,对每个卷积层的卷积核应用了因子为1e−4的L2正则化。模型使用T2加权图像作为输入,图像经线性插值重采样至体素间距0.5 mm、层厚3 mm,随后裁剪至135 × 135 × 14的体积。对每幅图像应用Z分数归一化,将每幅图像的体素强度分布调整为均值为0、标准差为1。在10%的随机样本上对前列腺分割进行视觉评估均成功,以验证整个前列腺分割的正确性。
DLM自动固定VOI方法允许(泌尿)放射科医师通过单次鼠标点击在视觉上ADC最低的位置自动创建定制VOI,该过程通常耗时不到10秒,因为放射科医师只需在单个层面上选择病变中视觉上ADC最低的部分。为确保一致地选择ADC最低的确切体素(即定量获取强度最低的体素),在单次鼠标点击周围区域进行自动双曲线VOI居中。算法检查鼠标点击的三维邻域(56连通性),并在需要时自动重新定位至ADC值最低的体素,而不受单体素离群值的影响。由于视觉上选择最低ADC体素应位于的区域相对容易,以及随后的三维邻域检查,实现了对正确体素的定量选择。围绕该体素构建一个球体,并使用全前列腺分割进行掩膜处理。添加了分割质量控制以确保掩膜处理未移除索引体素(最低ADC查找算法),因为该体素始终位于病变内部,因此位于前列腺内。该质量检查从未被触发,证实了前列腺分割算法的质量。图3显示了DLM自动固定VOI分割的一个示例。接下来,为了优化初始球形VOI固定直径的大小,测试了不同直径对bpMRI放射组学模型诊断性能的影响。为此,使用了从6至30 mm、以2 mm递增的直径范围。这些直径的大小基于先前报道的平均PCa直径10 mm [16],以及我们在上述524个病变中手动分割的结果,其中平均最大PCa直径被证明为23 mm。
手动分割
一位泌尿放射学专家(D.Y.,8年经验)根据PI-RADS 2.1版标准[17],在轴位T2加权序列和空间匹配的轴位ADC图上手动分割了全部524个病灶。使用ITK-SNAP[18],每个病灶逐层进行分割。对整个分割过程进行计时,以便后续提供每个分割病灶的平均时间。该放射科医师对所有临床信息包括病理结果均设盲。图3B展示了手动分割的一个示例。
影像组学特征
影像组学特征通过基于总体VOI计算DLM自动固定VOI(初始球形VOI具有13种不同直径)和手动分割VOI来提取。bpMRI研究中包含的所有序列(T2加权、DWI和ADC)均用于此提取,基于同一组524个病灶共产生14个影像组学数据集。每个影像组学数据集包含644个不同特征(属于6个不同特征组,手动模型为8个),使用PyRadiomics v3.0.1计算[19]。提取的所有特征均属于PyRadiomics标准特征集,其名称和描述可在文档(或网站)[19]中找到。特征组包括试图区分体素强度分布的一阶或基于统计的特征,以及五个基于纹理的特征组:灰度共生矩阵(GLCM)、灰度游程长度矩阵(GLRLM)、灰度尺寸区域矩阵(GLSZM)、灰度依赖矩阵(GLDM)和邻域灰度差矩阵(NGTDM)特征。此外,基于手动分割的模型还包括来自基于形状的2D和基于形状的3D PyRadiomics组的特征。纹理矩阵的邻域距离规格保持为1,未应用加权,即返回各独立矩阵的平均值。特征以强制2D提取方式计算,因为未对多中心数据集应用重采样,且由于各向异性体素和切片维度(z轴)的大差异,3D计算预计会导致特征稳健性降低[20]。使用强制2D提取和固定邻域距离为1导致纹理特征(GLCM、GLSZM、GLRLM、NGTDM、GLDM)连通性为8。应用了基于图像的归一化,灰度级以固定箱水平离散化(箱宽30,导致灰度箱数范围为30至130)[20]。由于先前已证明影响不足[12],未应用PyRadiomics图像滤波器。
贝叶斯模型优化
影像组学特征选择采用多变量联合互信息最大化方法[21]完成,相关特征被输入极端梯度提升模型[22]。在优化和训练整个特征选择与模型流程之前,数据集被分为训练集和测试集。14个数据集(13个深度学习模型(DLM),1个手动)均采用4:1的训练集与测试集比例。训练集包含419个病灶(155个临床显著前列腺癌(CS PCa),264个非临床显著),测试集包含105个病灶(49个临床显著前列腺癌,56个非临床显著)。测试集仅在最后使用一次,并与训练集完全分开。特征选择和超参数优化采用贝叶斯优化进行,该方法已显示出极好的可重复性且较少受偏倚结果影响[23]。使用Optuna[24]——一个自动化超参数优化框架——将贝叶斯优化实现为序贯基于模型的优化。Optuna目标函数由嵌套的随机化五次重复k折拆分用于特征选择,随后对模型超参数和最优树数量进行10折交叉验证组成。通过优化10折模型交叉验证所得的平均精确率-召回率曲线下面积,Optuna可迭代以达到最佳特征集和参数集。使用随机化嵌套拆分进行联合互信息最大化确保了稳健的特征选择。随后,14个训练数据集各自表现最佳的参数集(所选特征、模型超参数)在测试数据集上进行测试。
统计分析
14个数据集各自的诊断性能指标在测试数据集中进行评估。多读者、多病例分析(iMRMC,版本4.0.1[25])对基于DLM自动固定点的模型和基于专家手动分割的模型进行。在估计p值、方差和置信区间时,iMRMC考虑了模型与测试病例之间的变异性和相关性。计算所有测试结果的受试者工作特征曲线下面积(AUC),并估计95%置信区间(CI)。最后,将表现最佳的基于DLM自动固定点的模型与基于专家手动分割的模型进行比较。
结果
3D U-Net开发
3D U-Net的总训练耗时3小时。使用加权分类交叉熵作为损失函数,采用Adam优化器,背景类权重为0.5,目标类权重为1。训练模型在随机选取的、留出的验证集(随机10%的数据;训练:105/验证:11)上达到Dice评分0.9683。
专家手动分割
单次手动病灶分割的总过程(即对病灶出现的每个层面进行分割)平均耗时约5分钟。基于专家手动分割的影像组学模型(增强器:gbtree,提升轮数:9,最大深度:3,特征数:31)在测试中达到AUC 0.62(95% CI:0.52–0.73)。在优化阈值(0.181)下,专家手动分割的测试敏感度和特异度分别为0.84(95% CI:0.73–0.94)和0.45(95% CI:0.32–0.57)。最终模型特征列表见电子补充材料3。
DLM自动固定感兴趣体积(VOI)探索
图5显示了根据初始自动固定球形VOI的13种不同直径,DLM自动固定VOI bpMRI模型对CS PCa的诊断性能。得分最高的模型(直径18 mm,booster:gbtree,boosting轮数:17,最大深度:4,特征数:22)达到AUC 0.76(95% CI:0.66–0.85),显著高于手动分割模型的AUC 0.62(95% CI:0.52–0.73)(p = 0.0198)。得分第二高的模型(直径16 mm)达到AUC 0.72(95% CI:0.62–0.81),与手动分割模型的AUC无显著差异(p = 0.051)。最佳模型在优化阈值(0.385)下的相应测试灵敏度和特异度分别为0.76(95% CI:0.63–0.86)和0.71(95% CI:0.59–0.84)。图6显示了最佳DLM模型和基于专家手动分割的模型的ROC曲线。18 mm模型的模型特征列表见电子补充材料4。
讨论
本研究表明,我们的DLM自动固定VOI方法比基于手动的方法快得多,并且在诊断CS PCa方面更准确。DLM自动固定VOI的初始直径18 mm提供了最高的诊断性能。由于新开发的DLM自动固定VOI方法只需在视觉上ADC最低的位置单击一次鼠标(通常可在10 s内完成),而完整的手动分割则相当费力(通常约需5 min,与自动固定相比增加> 97%),因此前者在临床工作流程和更大数据集的研究中使用起来更具吸引力。
可以认为,深度学习模型(DLM)自动固定感兴趣体积(VOI)模型优于完全手动VOI分割模型,因为在优化实验中,表现最佳的初始自动固定VOI直径(18 mm)是从不少于13种不同直径中选出的。因此,可以断言,这一18 mm直径仅适用于当前数据集,而不具有对其他数据集的普遍适用性。然而,由于使用了一个大型且多样化的多中心数据集(来自9个不同医学中心的MRI数据,使用来自2个不同厂商的8种不同MRI系统[包括1.5 T和3.0 T]、在7年时间跨度内采集),这一论点似乎并不成立。此外,仅使用了已发表的标准化放射组学后处理(基于图像的归一化和灰度离散化),未进行复杂的后处理或变换。有趣的是,Wolters等[16]的一项既往研究报告前列腺癌(PCa)病灶平均直径为10 mm。然而,由于病灶通常并非完美球形,且可能沿某一方向拉长(例如图3所示病灶),因此只有大于10 mm的VOI直径才预期能够包含必要的、相关的病灶信息。基于理论和其公式,纹理特征应比小群体或单个体素更能从较大体积中提取空间信息。以下事实证实了这一假设:6 mm(最小直径)自动固定VOI模型仅使用了2个纹理特征,而18 mm自动固定VOI模型在总共11个特征中使用了8个纹理特征。然而,当球形VOI直径增加过多时,无关的前列腺规则组织信息开始影响性能。这种平衡(即大于10 mm,但不过大)如图4所示,在VOI直径约18 mm处存在性能峰值,而在更低和更高直径时性能下降。最后,关于病灶边缘信息和健康组织可能有助于放射组学的预测,可进一步解释手动与DLM之间的差异。尽管难以确切证明,但除了显著更好的评分外,病灶边缘的梯度和锐度与健康组织相结合似乎改善了PCa放射组学。
先前有几项研究尝试利用影像组学在MRI上开发诊断临床显著前列腺癌(CS PCa)的算法[4, 26]。然而,所有这些研究在其影像组学模型中均使用手动分割或最初基于手动分割的自动分割作为输入[4],这仍然需要耗时且繁琐的初始手动分割病灶任务。DLM自动固定VOI方法不受手动分割可用性的限制,并允许更快速的分析。据我们所知,尚无其他研究将基于深度学习的半自动分割技术与影像组学建模相结合,用于在mpMRI上诊断CS PCa。尽管如此,仍可与Brunese等[27]的研究进行一些比较,该研究旨在通过利用一组影像组学特征的深度神经架构来预测PCa的Gleason评分。虽然仍基于手动分割,但Burnese等[27]确实将一组影像组学特征与深度学习方法相结合来预测Gleason评分。他们的方法,特别是预测模型,具有大得多的深度学习成分,因为我们的模型仅包含影像组学特征。这可能也反映在其平均约为0.97的准确率上。然而,对Burnese等[27]研究中这一相对较高准确率的更合理解释是患者数量少(n = 62)、无留出测试集,以及使用了准确率——该指标易受标签不平衡影响[28]——而未报告初始标签分布。另一项与当前所提技术有部分重叠的研究由Jing-Wen等[29]完成。他们开发了一种基于深度学习的半自动分割方法,随后用于计算影像组学特征。与本研究相似,他们的方法与手动分割相比大幅减少了时间,并且也设法获得了高于基于手动分割的模型的评分。然而,Jing-Wen等[29]的研究涉及胃癌中的双能计算机断层扫描,这与本研究的临床背景存在相当大的差异。
本研究存在一些局限性。第一,纳入的524个病灶中有320个为非CS实体,这导致了轻微的标签不平衡。然而,通过向贝叶斯优化引入权重因子已对此加以考虑,其参数空间围绕训练集中非CS实体之和除以CS PCa病灶之和设定。此外,使用精确率-召回率曲线下AUC作为Optuna目标函数的优化指标解决了剩余的标签不平衡问题。第二,当前数据集由所有前列腺区域的病灶组成。由于影像组学特征在各区域间存在显著差异[30],未来需要研究更复杂的影像组学模型——可使用本研究中提出的新分割技术——以考虑这些差异。此外,DLM直径的优化是针对总数据集而非各独立区域进行的。对测试数据按各区域拆分进行的小型实验未显示各区域模型性能存在任何差异。然而,若正确优化,性能或许可以改善。尽管如此,该优化所需的深度学习区域分割超出了当前工作的范围。
总之,深度学习模型(DLM)自动固定感兴趣体积(VOI)分割可提供比专家手动分割潜在更准确的临床显著前列腺癌(CS PCa)诊断,同时还将专家时间投入减少97%以上。
补充信息
ESM 1(DOCX 35 kb)
引用
- Bleker J, Kwee TC, Rouw D, et al. A deep learning masked segmentation alternative to manual segmentation in biparametric MRI prostate cancer radiomics. Eur Radiol. 2022. PMID: 35420303. doi:10.1007/s00330-022-08712-8
- 全文:PMC9381625(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9381625/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。