单中心与多中心双参数MRI影像组学方法对临床显著性外周带前列腺癌的鉴别研究
本研究基于既往开发的单中心单厂商影像组学bpMRI算法,收集9中心2厂商262个外周带前列腺癌病灶建立多中心算法,并交叉验证。单中心算法在多中心数据上AUC从0.82降至0.59(降低27.2%);新多中心模型多中心验证AUC 0.75,单中心验证AUC 0.66(p=0.114)。结论:单中心模型不能泛化至多中心数据,多中心模型可泛化且单中心性能相当、多中心数据表现更好。
要点
- 单中心训练的影像组学bpMRI模型在多中心数据上AUC由0.82降至0.59,性能降低27.2%。
- 多中心训练的模型多中心验证AUC 0.75(95%CI 0.64-0.84),单中心验证AUC 0.66(95%CI 0.56-0.75),差异无统计学意义(p=0.114)。
- 多中心模型在多中心数据上的性能与单中心模型在单中心数据上的性能相似,但显著不同于单中心模型在多中心数据上的性能(p=0.03、0.012)。
核心结论
- 单中心训练的影像组学bpMRI模型不能泛化至多中心数据;多中心训练的影像组学bpMRI模型可泛化,单中心性能相当且在多中心数据上表现更好。
研究设计与样本
- 研究起点为既往开发的单中心单厂商外周带临床显著性前列腺癌算法,单中心数据集验证;另收集9中心2厂商262个外周带前列腺癌病灶,以相同方法开发多中心算法;进行单-多验证、多-多验证和多-单验证,采用bootstrapping比较AUC。
诊断标准与关键数值
- 单中心算法单中心验证AUC 0.82(95%CI 0.71-0.92);单中心算法多中心验证AUC 0.59(95%CI 0.51-0.68),性能降低27.2%。
- 多中心算法多中心验证AUC 0.75(95%CI 0.64-0.84);多中心算法单中心验证AUC 0.66(95%CI 0.56-0.75),与多中心验证相比差异无统计学意义(p=0.114)。
- Bootstrapping比较显示单中心性能相似,多中心性能显著不同(p值:0.03、0.012)。
局限性
- 原文未报告局限性
全文中译14 节 · 点击展开
要点
基于多中心放射组学的bpMRI模型可泛化至新的多中心及单中心数据。
基于单中心、单供应商放射组学的bpMRI模型缺乏多中心泛化能力。
多中心开发的模型在单中心验证中与单中心模型的表现相当。
在多中心验证中,多中心开发的模型优于单中心模型。
引言
2020年,前列腺癌(PCa)预计将成为西方男性中最常见的癌症,其死亡率位居第二[1]。多参数磁共振成像(mpMRI)提高了临床显著(CS)前列腺癌的诊断性能[2]。然而,诊断性能仍不理想[3],且需要丰富的放射学经验才能达到可接受的csPCa准确率[4]。
近期许多旨在提高csPCa诊断性能的研究采用了某种形式的人工智能(AI)[5]。然而,在这些研究中,缺乏适当的外部验证[6]。绝大多数研究在单中心、单供应商(ScSv)数据集上开发模型,使其可能易受中心和MRI依赖性的影响。对于大多数AI方法,例如基于特征的技术(如放射组学[7]),中心、供应商或扫描方案的差异可能影响MRI体素强度范围,进而影响泛化能力[8]。尽管已采取措施对特征进行标准化[9],但尚无研究探讨ScSv模型在外部多中心、多供应商(McMv)验证中的表现。
在既往一项研究中,基于放射组学的双参数MRI(bpMRI)方法在区分外周带(PZ)csPCa与非CS PCa方面显示出诊断潜力[10]。在该既往研究中,选取了公开可用的ScSv挑战数据集(n = 262,仅包含ProstateX的PZ病灶)[11]用于训练和测试。该方法与当时其他已发表的放射组学研究一致,均基于ScSv数据集[6]。在放射组学中,用户试图通过提取多种基于统计和纹理的特征来量化肿瘤影像数据。提取后,目标是寻找这些特征与病灶标签(CS PCa vs. 非CS PCa)之间的相关关系,即监督学习。随后将相关特征提供给模型,旨在量化肿瘤表型,理想情况下应能对新的、从未见过的MRI前列腺癌数据进行CS PCa预测。然而,在实践中,良好的泛化能力是放射组学最大的挑战之一[12, 13]。流行的单中心开发模型的中心和机器依赖程度及其在新外部数据上的表现仍不清楚。我们假设单中心模型在多中心数据上使用时性能会下降,即使在多中心数据上训练也是如此。
在本研究中,我们研究了先前开发的csPCa放射组学方法在混合使用ScSv或McMv数据集进行训练和验证时的诊断性能。
材料与方法
患者数据
数据收集获得各主要参与医学中心机构审查委员会的批准,这些中心被接洽进行回顾性收集:格罗宁根大学医学中心(UMCG,荷兰格罗宁根)和格罗宁根Martini医院(荷兰格罗宁根)。由于研究的回顾性性质,知情同意被豁免。由于临床怀疑前列腺癌(PCa),2014年至2020年间对930例患者(几乎全部为欧洲白人男性)进行了联合MRI(9家医院、2家厂商、8种类型;附加文件1)和系统或靶向活检技术(MRI后,最长1年)检查。MRI检查遵循前列腺影像报告和数据系统指南[14]中的方案建议;因此,方案设置(如b值和相应ADC图)差异不大(方案设置:附加文件1)。
在这930例患者中,共1151个病灶由两位经验丰富的泌尿放射科医师(D.Y. 8年,D.R. 10年)赋予PI-RADS评分(1–5)。1151个病灶中约一半由一位泌尿放射科医师独立分级,其余一半由另一位泌尿放射科医师独立分级。前列腺MRI按照PI-RADS v2指南[15]判读,每位放射科医师对病理结果和临床随访设盲。分析DWI和T2W图像以检测可疑病灶。对于外周带(PZ),DWI是主要决定序列。然而,所见始终与T2W图像相关联。由于独立分级且病灶组之间无重叠,无需做出共识决定。
共641个病灶为活检初治,304个病灶既往经直肠超声活检(TRUS)为阴性,206个病灶既往TRUS活检为阳性。PI-RADS 3–5病灶随后接受非靶向TRUS活检、靶向MRI-TRUS融合、靶向认知TRUS融合、前列腺切除术或腔内MR引导处理。MRI后所有活检均在两个主要参与中心进行:格罗宁根大学医学中心(UMCG,荷兰格罗宁根)和格罗宁根Martini医院(荷兰格罗宁根),分布见表1)。活检后,以病理分配的国际泌尿病理学会(ISUP)分级[16]作为参考标准。ISUP分级≥2被视为临床显著(CS)病灶,而ISUP分级为1的病灶被视为非显著(non-CS)实体。扫描仪类型和厂商概览见附加文件1。
基于放射组学的双参数MRI(bpMRI)方法
先前开发的基于影像组学的 bpMRI PZ csPCa 方法 [10] 基于 T2 加权成像和扩散加权成像(DWI,b 值:800 和 1400 s/mm2)以及表观扩散系数图(ADC 图)。纳入动态对比增强成像特征并未显著提高性能,因此为节省时间并降低成本而将其省略 [10]。该方法在公开可用的单中心、单厂商 ProstateX 挑战数据集上开发,该数据集由前瞻性分级的 PI-RADS 3–5 病灶组成 [11]。ProstateX 数据集患者于 2012 年在 Radboud 大学医学中心(荷兰奈梅亨)使用 3T MRI 扫描仪(Siemens Healthcare)进行扫描。ProstateX 患者的中位年龄为 66 岁(范围 48–83 岁),中位 PSA 水平为 13 ng/ml(范围 1–56 ng/ml)。使用 206 例患者的 262 个病灶进行方法开发,分为包含 171 个病灶的训练数据集和包含 91 个病灶的测试数据集。使用自动固定感兴趣体积(VOI)为每个病灶提取了共 564 个特征。这些特征属于以下类别:一阶统计量、灰度共生矩阵、灰度游程长度矩阵、灰度尺寸区域矩阵、邻域灰度差矩阵或灰度依赖矩阵。省略了额外图像滤波器的添加,因为这些滤波器未能在先前开发的方法上带来改善 [10]。自动固定 VOI 是一种半自动分割技术,由操作者定义病灶中最具侵袭性的位置,即 ADC 值最低的病灶体素。围绕该体素构建一个 12 mm 的球形 VOI,并用于基于 VOI 的影像组学特征提取。该技术的 bpMRI 示例可见于附加文件 1。ProstateX 病灶坐标此前已由一位专家放射科医师(D.Y.,8 年经验,对病理结果和临床随访设盲)核查,并在需要时进行调整以确保位于肿瘤中的适当位置 [17]。使用 PyRadiomics 提取特征后,对特征进行离散化 [9],并使用联合互信息最大化多变量特征选择方法选择最相关的特征 [18]。相关特征被提供给极端梯度提升算法 [19],并优化模型超参数。先前研究中表现最佳的 ScSv 模型在单中心验证(单–单验证)中达到曲线下面积(AUC)为 0.816(95% CI 0.710–0.920)。图 1 概述了用于开发和验证的数据集。
数据选择
为了进行单中心-多中心验证(即对基于影像组学的双参数MRI外周带临床显著性前列腺癌(csPCa)方法所建立的ScSv模型进行McMv验证),需要多个数据筛选步骤以模拟ProstateX数据集的结构和参数(图2)。PI-RADS评分低于3的病灶被排除,因为临床实践中这些病灶不进行活检,且原始开发数据集(ProstateX)也由前瞻性评级的PI-RADS 3–5病灶组成。模型所使用的特征集要求MRI检查包含T2加权和DWI(b值800、1400 s/mm²)序列以及ADC图。最后,病灶必须位于前列腺外周带(PZ),且ISUP分级必须基于MRI检查6个月内获取的空间匹配病理标本(即MRI-经直肠超声融合、认知性靶向经直肠超声融合、前列腺切除术或MR引导下腔内活检)。
单中心、单 vendor 模型的多中心、多 vendor 验证
按照图2所述的数据筛选步骤,剩余一组符合模型使用条件、具有可比性的McMv病灶。为确保单中心模型验证与新的多中心模型验证之间进行适当无偏的比较,在保持数据集分布的前提下随机选取了262个病灶。为遵循基于影像组学的bpMRI PZ csPCa方法并确保验证比较(即创建与ProstateX数据集相同的训练和测试分布),该组进一步分为包含171个病灶的训练数据集和包含91个病灶的验证集。除作为训练数据集外,这171个病灶还用于单中心-多中心验证,并直接输入先前训练的ScSv模型,计算性能指标(灵敏度、特异度、受试者工作特征(ROC)分析及相应AUC)。详细概述见图1。
多中心、多 vendor 模型的开发与验证
先前开发的基于影像组学的bpMRI PZ csPCa方法[10]被用于开发基于McMv的模型。如前所述,262个McMv病灶的开发数据集已经建立并划分(n = 262,训练集 n = 171,验证集 = 91)[10]。使用先前作为bpMRI PZ csPCa方法一部分开发的相同的半自动“自动固定”12 mm VOI策略,共提取了564个多中心影像组学特征(特征类别见基于影像组学的bpMRI方法段落)[10]。一位经验丰富的泌尿放射科医师(D.Y.,8年经验)回顾性地勾画了病灶区域,并在其中选择ADC值最低的体素(即病灶 pinpoint)。该放射科医师对所有临床信息包括病理结果均设盲。训练数据集被用于开发新的McMv模型,严格遵循bpMRI PZ csPCa方法。与先前随机特征选择 and 超参数优化不同,由于贝叶斯优化的计算速度以及可重复和无偏的特性,本研究优先将其用于特征选择和超参数优化[20]。特征选择方法仍为基于滤波器的联合互信息最大化,该方法在bpMRI PZ csPCa方法的开发过程中被发现最为成功[10, 18]。贝叶斯优化通过Optuna[21]以序列基于模型的优化方式实现,并且由于是一个自动化超参数优化框架而易于重复。通过在Optuna模型优化内部为JMIM创建嵌套交叉验证,并选择在每个随机折中出现的特征,特征选择应当具有可重复性,并对多中心数据的不同组成具有稳健性。多-多验证通过在单独的91个多中心病灶上验证所得McMv模型来进行。随后,多-单验证通过在新的模型上验证171个单中心病灶来进行,这些病灶曾用于初始ScSv基于影像组学的bpMRI模型开发(ProstateX,训练数据集[10])。这为两个模型的总开发数据集和验证数据集提供了相同数量的病灶(n = 171和n = 91),从而允许进行无偏的验证比较。
统计分析
所有性能指标的95%置信区间通过对模型测试结果进行5000次自助法重采样生成。所有验证均获取了敏感性、特异性、AUC值和ROC曲线。约登指数用于寻找敏感性和特异性的最佳截断值。对所有验证的ROC曲线进行比较,共创建四项比较。由于存在多重比较,应用Bonferroni校正,产生新的p值界限为0.0125。两项比较均使用5000次ROC自助法重采样计算。所有分析均使用R(版本4.0.3 版权所有(C)2020 The R Foundation for Statistical Computing)及pROC包[22]进行。
结果
多中心数据集特征
在总共1151个McMv病灶的数据集中,有335个病灶符合数据选择标准(图2)。共有236个病灶在A医院或B医院进行扫描,而其余99个病灶在七家较小的区域医疗中心进行扫描。335个合格病灶的活检技术分布见表1。最终数据集包括79个PI-RADS 3病灶、219个PI-RADS 4病灶和30个PI-RADS 5病灶。在最终数据集中,94个病灶在MRI后靶向活检为阴性,89个病灶为ISUP 1,另有98个为ISUP 2,31个为ISUP 3,11个为ISUP 4,12个为ISUP 5。
从335个合格的McMv病灶中,在保持数据集分布的前提下随机选取了262个McMv病灶。这262个PZ PCa病灶组包括113个CS病灶和149个非CS实体。患者年龄范围为60至87岁,中位数为69岁,而PSA水平范围为0.79至34 µg/L,中位数为7.9 µg/L。为与既往开发保持一致,病灶被分为171个病灶的训练集和91个病灶的测试集。
单中心–多中心验证
ScSv模型在McMv病灶上的验证结果显示,在使用优化阈值区分PZ中CS PCa与非CS PCa的能力方面,敏感度为0.30(95% CI 0.20–0.40),特异度为0.88(95% CI 0.82–0.95),AUC为0.59(95% CI 0.51–0.68)(图1,单中心–多中心验证)。单中心–多中心验证的混淆矩阵见表2。对单中心–多中心验证与先前获得的单中心–单中心验证进行Bootstrap比较,显示性能显著下降(p值:0.002)。为更好地理解单中心–多中心验证,图4给出了ScSv模型总共76个模型特征中最重要的前25个特征的概览。
多中心–多中心验证
新开发的McMv模型实现了多中心验证敏感度0.50(95% CI 0.35–0.65)、特异度0.88(95% CI 0.79–0.98)和AUC 0.75(95% CI 0.64–0.84)(图1,多中心–多中心验证)。多中心–多中心验证混淆矩阵见表3。
多中心–单中心验证
McMv模型的ScSv验证实现了敏感度0.37(95% CI 0.23–0.54)、特异度0.90(95% CI 0.85–0.95)和AUC 0.66(95% CI 0.56–0.75)(图1,多中心–单中心验证)。多中心–单中心验证的混淆矩阵见表4。对多中心–多中心验证与多中心–单中心验证进行Bootstrap比较,未显示显著差异(p值:0.114)。为更好地理解单中心与多中心影像组学模型之间的差异,图5给出了McMv模型总共56个模型特征中最重要的前8个特征的详细概览。
对单中心和多中心验证结果的ROC进行Bootstrap比较显示,两个模型具有相似的单中心性能(p值 = 0.03)。进一步的ROC Bootstrap比较显示,多中心模型具有显著更好的多中心性能(p值:0.012)。所有验证ROC(包括先前的单中心–单中心验证[10])见图3,相应AUC见表5。
讨论
基于ScSv影像组学的bpMRI前列腺癌(PCa)模型在多中心、多厂商(McMv)环境中使用时性能显著下降(−28.1%,与单中心验证AUC相比:0.594 vs. 0.816,p值:0.002)。使用McMv模型在多中心与单中心验证之间未出现显著性能下降(−12%,AUC:0.750 vs. 0.660,p值:0.114),且在多中心数据上的表现甚至优于单中心模型(AUC 0.750 vs. 0.594,p值:0.012)。多中心模型在多中心与单中心验证之间的下降不显著,似乎提示使用McMv数据集可改善泛化能力。
有趣的是,尽管多中心-多中心验证评分看起来并不那么高,但多中心模型具有更好的泛化能力,受依赖性的影响更小,并且在多中心环境中表现显著优于单中心开发方法。虽然从数值上看,单中心-单中心验证似乎明显更高,但在多重比较校正后,这一差异并不显著。尽管单中心模型似乎更容易获得更高的评分,但这可能可以用单中心数据集复杂度较低来解释。由于缺乏诸如多样化协议、更大的影像组学特征范围以及不同中心、供应商和机器依赖性等问题,特征选择可以集中于与标签(临床显著性前列腺癌(CS PCa) vs. 非CS)高度相关的特征,从而提高性能。这在大量被发现对最终预测重要的特征中也有所体现(图4)。图中仅给出了排名前25的特征,但全部76个模型特征似乎都在最终预测中发挥作用。由于数据集的整体同质性,在交叉验证优化过程中所选的特征并非专门针对同一数据的不同分布而选择。而多中心模型似乎确实如此(图5),因为56个特征中仅有8个似乎影响最终预测。其余特征并非冗余,而是更为特化,在最终的梯度提升树中不会大量出现。共有22个特征同时出现在McMv和ScSv模型中,其中11个特征提取自b值1400 s/mm²的弥散加权成像(DWI),8个特征来源于表观弥散系数(ADC)图,最后2个特征基于T2加权成像。有趣的是,这22个特征几乎全部是一阶特征或灰度共生特征,这可能提示这些特征类型对数据集分布变化略为更稳健。在这22个特征中,仅有2个特征同时影响McMv和ScSv模型的最终预测:ADC图的一阶均方根以及b值1400 s/mm²的DWI的灰度共生聚类倾向。均方根是所有图像强度值平方均值的平方根,是图像值幅度的度量;而聚类倾向是强度值相似的体素分组程度的度量。多中心数据集复杂度的增加可能是其性能看似较低的另一个解释。患者研究在不同供应商的不同机器上创建,使用了多样化的MRI设置(附加文件1)。特别是体素间距或其他影响体素强度范围的协议设置预计会影响影像组学特征范围[23]。数据集处理可能解决多中心复杂度问题[9],但由于先前开发的基于影像组学的双参数MRI(bpMRI)方法的同质性以及缺乏bpMRI前列腺癌影像组学的标准,该步骤被省略。若适当纳入这些步骤,预计新的多中心模型的单中心和多中心验证性能均将提高[9, 24]。然而,正确实施需要大量的优化实验,因为仅选择一组看似合理的后处理设置并不必然带来改善[25]。此外,观察多中心模型当前的泛化能力可以推测,即使省略这些预处理步骤,多中心训练也能够学习关于多样化数据的信息。观察图4和图5中给出的特征重要性评分可能提示,T2加权和ADC特征对依赖性的敏感程度低于从计算b值的DWI中提取的特征,尽管模型特征总数与多中心模型中被认为重要的特征数量之间的差异妨碍了得出任何确切结论。
利用影像组学在单中心数据集上开发前列腺癌(PCa)机器学习方法的研究数量众多[6]。然而,后续在McMv数据上研究其方法或模型性能的研究仍然缺乏[6]。近期仅有Castillo等人[25]的一项研究探讨了用于前列腺癌分类的影像组学模型的泛化能力。尽管该研究与当前研究不同,且使用了一种次优的后处理方法,他们同样发现单中心模型的泛化能力不足[25]。其单中心模型的测试AUC低于我们的模型(0.816 vs. 0.75),且多中心模型即便经过预处理也未能在此基础上有所改善。此外,研究未进行模型间的比较。Bournonne等人[26]近期发表的一项关于MRI衍生影像组学模型预测高危前列腺癌术后生化复发的研究同样聚焦于验证。尽管Bournonne等人模型的目标、序列和开发方式与我们的不同,但其仍使用了ADC衍生的影像组学特征,即使经过模型再训练,也未能在外部队列验证集上取得良好评分。应用ComBat补偿——一种专门为补偿因不同中心、供应商和扫描仪所产生的特征差异而开发的技术——并未带来显著差异。遗憾的是,其模型仅使用了一个影像组学特征,因此真正排除ComBat补偿用于未来预处理优化可能并不明智,尤其是考虑到Orlhac等人[27]发现的ComBat补偿对多中心MR影像组学特征的积极效应。
我们当前的研究存在三个主要局限性。第一,所有研究均在PZ(外周带)的PCa(前列腺癌)病灶上进行。虽然预期多中心开发的建议适用于所有前列腺区域,但不能排除移行带(TZ)病灶对中心、供应商或协议依赖性具有不同的易感性。幸运的是,绝大多数PCa病灶位于PZ;仅约20%可见于其他区域[28]。然而,TZ病灶对于未来临床实施仍然重要。未来的研究将不再受限于既往方法验证和数据可用性,应纳入TZ病灶。第二,除当前的归一化和灰度值离散化外,纳入额外的预处理可能会对ScSv和McMv模型的泛化产生影响。近期,Ligero等人发现,通过实施插值和强度协调(ComBat补偿)可显著降低计算机断层扫描放射组学特征变异性[29]。此外,Delli Pizzi等人[30]基于三个重采样数据集成功创建了一个预测肿瘤治疗反应的MRI放射组学模型。然而,适当实施插值和强度协调需要大量优化实验,因为MRI PCa放射组学尚无循证标准。即使进行了大量实验,各种预处理对改善模型泛化的效果仍是研究课题。例如,Castillo等人[25]为其放射组学MRI PCa模型实施了预处理,但并未带来更好的性能(AUC单中心模型0.75 vs. AUC多中心模型0.75)。所有这些技术旨在改善多中心数据的泛化。我们的研究聚焦于另一方面,即单中心数据泛化不良的局限性。我们展示扩展到多中心数据更好,但在多中心数据中优化需要进一步的放射组学技术研究。第三,由于使用了不同的活检技术,作为标签的金标准不统一。由于广泛的多中心数据收集并希望纳入尽可能多的数据,对于较大数据集这几乎不可避免,但仍应被视为一项局限性。
总之,基于ScSv训练的放射组学bpMRI(双参数MRI)模型不能泛化至McMv数据。基于McMv训练的放射组学bpMRI模型确实能够泛化,具有相同的单中心性能,并在多中心数据上表现更好。
补充信息
附加文件1。详细的MR扫描仪信息及自动固定感兴趣区的放置示例。
引用
- Bleker J, Yakar D, van Noort B, et al. Single-center versus multi-center biparametric MRI radiomics approach for clinically significant peripheral zone prostate cancer. Insights Imaging. 2021. PMID: 34674058. doi:10.1186/s13244-021-01099-y
- 全文:PMC8531183(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8531183/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。