双参数MRI深度学习辅助前列腺癌检测:最低训练数据量要求与先验知识的影响
多中心回顾性研究纳入2734例活检初治、PSA升高(≥3 ng/mL)的疑似前列腺癌男性,用PI-RADS v2标注的双参数MRI训练深度学习算法检测临床显著前列腺癌。结果显示训练数据量和分区先验知识显著影响性能,最佳模型在外部测试集检测Gleason>6病灶敏感度85%(79/93,95%CI 77-83)@1个假阳性/例,低于专家共识组91%(85/93,95%CI 84-96)@0.3个假阳性/例。
要点
- PI-RADS训练的深度学习算法可准确定位Gleason>6病灶,外部测试集病灶敏感度85%(79/93)@1个假阳性/例。
- 训练数据量显著影响性能,AUC从50例训练时的0.73升至1586例时的0.85,超过2000例后仍有提升趋势。
- 加入前列腺分区自动分割作为先验知识可显著提高各数据量模型的敏感度和AUC,如1586例模型1个假阳性/例敏感度由83%升至87%。
核心结论
- PI-RADS训练的深度学习算法可准确检测和定位Gleason>6病灶,达到专家水平需要远超2000例训练病例并结合分区先验知识。
- 深度学习算法在外部测试集检测Gleason>6病灶的敏感度为85%(79/93,95%CI 77-83)@1个假阳性/例,专家共识组为91%(85/93,95%CI 84-96)@0.3个假阳性/例,后者显著更高。
- 深度学习算法与放射科医师(PI-RADS阈值)在患者层面的kappa一致性为0.53,与病理医师为0.5,放射科医师与病理医师之间为0.61,均为中等一致性。
研究设计与样本
- 回顾性分析两个中心数据,中心1为2016年1月至2018年1月荷兰Radboudumc连续临床病例(n=2438),中心2为2015年3月至2017年1月荷兰Ziekenhuis Groep Twente前瞻性诊断准确性研究病例(n=296),荷兰试验注册号NTR5555。
- 深度学习算法在中心1数据(n=1952)上训练,以PI-RADS≥4病灶(n=1092)为目标,输入为双参数MRI(T2W三平面、ADC图、高b值DWI),排除DCE成像。
- 中心2独立测试集(n=296)含病理结果(系统穿刺和MRI靶向穿刺),用于比较放射科医师与深度学习算法的性能;共782例未见病例(中心1 486例、中心2 296例)用于评估PI-RADS 4-5和Gleason>6病灶检测性能。
- 采用自由响应ROC(FROC)和ROC分析评估性能,以2000次bootstrap生成95%置信区间。
关键影像表现/征象
- 深度学习算法的输入为轴位T2W、ADC和高b值DWI stacked通道,输出为病灶位置热图;分割网络以T2W三平面为输入输出外周带和移行带分割。
- 原文图6示例:64岁男性PSA 7.5 ng/mL,左侧外周带PI-RADS 4病灶,靶向穿刺Gleason评分3+5。
- 原文图6示例:54岁男性PSA 25.6 ng/mL,左侧移行带前部PI-RADS 5病灶,靶向穿刺Gleason评分3+4前列腺癌。
- 原文图6示例:73岁男性PSA 8.7 ng/mL,中央区及外周带PI-RADS 4病灶,靶向穿刺Gleason评分3+4前列腺癌。
- 原文图6假阴性示例:65岁男性PSA 5.3 ng/mL,移行带PI-RADS 2病灶,系统穿刺未发现前列腺癌。
诊断标准与关键数值
- 本研究将PI-RADS 4-5定义为「PI-RADS csPCa」、PI-RADS 1-3定义为「PI-RADS non-csPCa」,用于训练深度学习模型。
- 评估深度学习模型和专家放射科医师检测csPCa性能时,将Gleason评分>6或GG≥2定义为「Gleason csPCa」,符合EAU指南。
- 深度学习算法检测PI-RADS≥4病灶的敏感度为87%(193/223,95%CI 82-91)@平均1个假阳性/例,AUC为0.88(95%CI 0.84-0.91)。
- 深度学习算法检测Gleason>6病灶的敏感度为85%(79/93,95%CI 77-83)@1个假阳性/例,专家共识组为91%(85/93,95%CI 84-96)@0.3个假阳性/例。
- 最佳深度学习模型在中心2测试集患者层面的AUC为0.85(95%CI 0.79-0.91),放射科医师(PI-RADS阈值)患者层面敏感度91%、特异度77%。
临床应用与阅片要点
- 作者建议前列腺MRI深度学习算法应使用远超2000例的病例、结合专家标注(PI-RADS、穿刺Gleason分级和随访)和先进先验知识进行训练。
- 以PI-RADS标注训练可使深度学习算法泛化至组织病理证实的csPCa,即使其难以完全复现放射科医师的评分。
- 深度学习算法的独立性能需至少匹配专家水平才能在临床实践中有效,而机器学习CAD未达到所需的专家性能。
局限性
- 所有数据来自同一MRI厂商(Siemens),虽使用外部中心独立数据,结论不能推广至所有前列腺MRI厂商,需用其他厂商更多数据扩展训练。
- 研究使用PI-RADS v2而非更新的PI-RADS v2.1,PI-RADS将持续演进,更新标注是所有CAD研究者/开发者面临的挑战。
- 深度学习系统仅设计使用双参数MRI,未纳入临床变量(如PSA密度),加入更多信息(DCE、PSA、年龄等)可能带来进一步改善。
全文中译16 节 · 点击展开
引言
前列腺MRI现已被纳入国际指南,作为疑似前列腺癌(PCa)男性的首选检查。已有高级别证据表明,前列腺MRI能够检测并定位临床显著性前列腺癌(csPCa)。与系统性经直肠超声引导活检(TRUSGB)相比,MRI可避免20–50%的活检,且不影响csPCa的检出[1–3]。多参数MRI(mpMRI)的判读在很大程度上依赖于专业经验,读者间变异性高即为佐证[4, 5]。前列腺影像报告和数据系统即PI-RADS(目前为PI-RADS v2.1)旨在减少采集、判读和报告中的差异[6]。目前PI-RADS对读者间变异性的影响为中等程度[5, 7, 8]。本文中,我们将重点关注计算机辅助诊断(CAD)在辅助检测和定位csPCa方面的作用。
CAD和人工智能(AI)正日益受到探索,但需谨慎对待。多项研究显示,机器学习(ML)-CAD对前列腺MRI判读的影响有限[9–12]。尤其是,一个主要问题是ML-CAD未能达到独立专家的性能[13]。ML算法通过手工设计的专家特征编程输入至为诊断任务训练的简单分类器。尽管可用的数据已越来越多,ML-CAD的熟练程度仍低于专家水平。深度学习(DL)是AI中新近涌现的分支,能够超越传统ML[14, 15]。DL可利用当前可获得的日益庞大的数据集,推导出高度复杂、数据驱动的特征和分类器。DL-CAD的性能在很大程度上取决于训练数据量[15],而最低要求尚不明确。
通过将先验知识纳入DL模型,可降低CAD训练数据量的要求。我们采用两种策略整合先验知识。首先,我们整合带区解剖的概念,因为约70–75%的前列腺癌起源于外周带(PZ),25–30%起源于移行带(TZ)。此外,根据带区解剖,每个病灶的PI-RADS分类赋值基于mpMRI序列的评分[6, 16, 17]。其次,我们通过使用PI-RADS检出的csPCa病灶训练DL-CAD来整合专家放射科医生的知识。PI-RADS凝聚了国际专家放射科医生多年积累的知识[6]。我们假设DL-CAD能够超越其训练标注进行泛化,并可靠地检测经组织病理学证实的csPCa。
在本研究中,我们探讨训练数据量对DL-CAD诊断性能的影响,并研究将CAD生成的前列腺带区分割作为先验知识纳入的效果。我们还评估了使用PI-RADS病灶训练的DL-CAD模型在具有组织病理学参考标准的外部数据集上检测csPCa病灶(Gleason评分 > 6)的性能,并将其与已报道的临床评估性能和专家放射科医生共识小组进行比较。
材料与方法
研究分组
本回顾性分析使用了两个中心的数据。中心1队列(n = 2438)为一组连续临床病例,其回顾性科学用途已获机构伦理委员会批准(CMO2016-3045/20011)。中心2队列(n = 296)为来自外部中心的一组病例,该队列被纳入一项先前报道的前瞻性研究,该研究评估了mpMRI检测csPCa的诊断准确性[1]。该试验已获批准并在荷兰试验注册处注册,标识符为NTR5555。
中心1队列的纳入标准为2016年1月至2018年1月在荷兰奈梅亨Radboudumc连续采集的常规临床mpMRI。所有男性均为活检初治,PSA水平升高和/或直肠指检结果可疑,无PCa病史。
中心2队列的纳入标准为2015年3月至2017年1月在荷兰阿尔默洛Ziekenhuis Groep Twente连续采集的mpMRI,作为一项前瞻性诊断准确性研究的一部分。所有男性均为活检初治,无PCa病史,年龄50–75岁,PSA水平为[1]。图1显示了队列选择流程图。
MRI方案
中心1队列的MRI在3-T MR扫描仪上进行(Magnetom Trio/Skyra(90%)/Prisma(10%);Siemens Healthineers)。中心2的MRI同样在3-T MR扫描仪上进行(Magnetom Skyra;Siemens Healthineers)。所有MRI均按照PI-RADS技术建议和标准采集[18, 19]。描述扫描仪特征的补充信息见附录A。
对于两个队列,均选取双参数MRI(bpMRI)数据,包括三个平面的T2加权成像(T2W)、扩散加权成像(DWI)计算的表观扩散系数(ADC)图以及高b值DWI图像(b)(HBV),因此排除动态对比增强(DCE)成像。鉴于DCE药代动力学建模的挑战、DCE的有限作用以及bpMRI的新兴应用[6, 20],DL-CAD系统基于bpMRI开发。
病灶评估
中心1队列的所有mpMRI在临床常规工作中由6名放射科医师(经验4至25年)中的至少一名使用PI-RADS v2对每个检出的病灶进行评分判读。疑难病例与一名专家放射科医师(经验5至25年)协商后进行检查。共检出并评分3379个病灶。
中心2队列中的所有mpMRI均由受过培训的放射科医师(至少3年经验)使用PI-RADS v2进行解读,对每个检出的病灶进行评分。活检前,两名经验丰富的放射科医师(分别具有5年和25年前列腺MRI经验)对每个病例进行复核。若读片结果不一致,则由两名经验丰富的放射科医师进行共识评估作为最终决定。共检出并评分449个病灶。所有患者均由泌尿外科医师行12针系统经直肠超声引导活检(TRUSGB)(使用18G针头,取样长度为17 mm)[1]。此外,对于所有可疑MRI(定义为存在PI-RADS ),对所有PI-RADS 3–5病灶行磁共振腔内引导活检(MRGB)(使用18G针头,取样长度为17 mm),每个病灶取2至4针[1]。一名经验丰富的泌尿病理学家(25年经验)使用Gleason评分(GS)复核所有活检,独立于非学术机构病理学家的结果和mpMRI结果[1]。对于中心2队列,“病理csPCa”定义为MRGB或TRUSGB任一活检针道中GS(GG )阳性。表1显示了病灶的临床评估。
临床显著性前列腺癌(PCa)的定义
在本研究中,我们将PI-RADS 4–5定义为“PI-RADS csPCa”[21],将PI-RADS 1–3定义为“PI-RADS non-csPCa”。此定义用于训练深度学习(DL)模型。为评估DL模型和专家放射科医师检测csPCa的性能,我们将GS或GG 定义为“Gleason csPCa”,这符合欧洲泌尿外科学会(EAU)指南[22]。
病灶标注
在中心1队列中,选取所有“PI-RADS csPCa”病灶(n = 1092);在中心2队列中,选取所有“Gleason csPCa”病灶(n = 93)。由2名研究者根据临床报告中给出的大小和位置信息,在一名放射科医师(具有7年前列腺MRI经验)的共识与监督下,手动勾画其三维感兴趣体积(VOI)。共分割1185个病灶。病灶的临床特征和评估见表1。
深度学习框架
所提出的深度学习框架如图2所示。我们使用两个卷积神经网络(CNN)开发了一个两阶段级联框架。在框架的第一阶段,我们使用了多平面各向异性3D U-net网络[23]。该模型是先进分割模型3D U-net[24]的各向异性、多方向扩展版本,后者此前为前列腺分割而开发[23]。分割网络以全部三个T2W序列(轴位、矢状位和冠状位)为输入,输出外周带(PZ)和移行带(TZ)的分割结果。
对于病灶检测和定位,我们在框架的第二阶段使用了U-net模型[25]。该检测模型的输入为所有bpMRI序列(轴位T2W、ADC和HBV)的2D图像,按不同通道堆叠。该模型经训练后输出热图,在检测到的病灶位置出现峰值。有关所提出框架的更多细节见附录B。
实验
实验1
我们进行了实验,以确定训练数据集大小对测试集错误率的影响。为了在这些实验中进行公平比较,我们固定了除训练扫描数量之外的所有因素(包括验证集)。模型使用不同大小的训练集(50、200、500、1000、1586)进行训练。
实验2
我们研究了前列腺分区信息作为先验知识的作用。我们在基线模型的输入中使用计算机生成的分区分割作为额外通道,以将分区先验知识纳入模型。该实验在与实验1相同的训练/验证/测试条件下进行。
统计分析
我们使用受试者工作特征(ROC)和汇总指标曲线下面积(AUC)评估DL-CAD模型以比较基于患者的准确性,并使用自由响应ROC(FROC)及平均每例0.5、1和2个假阳性(FP)时的灵敏度进行基于病灶的分析。为了将DL-CAD预测与放射科医生生成的“PI-RADS csPCa”在活检结局上进行比较,我们对ROC和FROC曲线进行了描述性分析。我们使用Cohen's kappa [26]量化DL-CAD、放射科医生和病理学家之间患者层面的一致性。我们使用2000次bootstrap样本的bootstrap法生成95%置信区间,并认为具有统计学显著性。
结果
DL-CAD模型的性能在多个实验中进行了比较,包括纳入和不纳入分区分割以及不同大小的训练数据集。
训练集、验证集和测试集
将中心1数据集分为“PI-RADS csPCa”患者(n = 1540)和“PI-RADS non-csPCa”患者(n = 898)后,我们从每个拆分中随机选择20%形成测试集(n = 486),15%形成验证集(n = 366)。剩余数据被随机分为具有(50、200、500、1000、1586)次扫描的数据集,其“PI-RADS csPCa”和“PI-RADS non-csCPa”患者比例相同。每个训练集是更大训练集的子集。作为外部测试集,我们使用了中心2的所有患者。
基于病灶的结果
中心1测试集中检测“PI-RADS csPCa”病灶的FROC曲线如图3所示。结果表明,使用较大训练集训练的模型表现优于使用较小训练集(从50到1586)训练的模型( )。通过比较在有和無分区分割作为先验知识的两个实验中每例0.5、1和2个FP时的灵敏度(分别为图3 a和b),我们看到使用较大训练集时性能有所提高。表2显示,在相似FP水平下,所有模型在添加分区分割作为先验知识后灵敏度均显著提高,例如,使用50、200、500、1000和1586例训练的模型在每例1个FP时的灵敏度分别提高了2.5%、5.9%、6.7%、6.1%和4%。在每例1个FP时,使用所有训练病例训练的模型达到了83%(95% CI:77–87)的灵敏度,而在添加分区分割作为先验知识后灵敏度提高至87%(95% CI:82–91, )。
为了比较深度学习计算机辅助诊断(DL-CAD)与放射科医师的表现,在独立测试集(中心2)上使用最佳DL模型(最大训练集,包括分区分割模型)评估临床显著性前列腺癌(csPCa)病灶检测的性能。DL-CAD的FROC曲线见图4a。DL-CAD在每例患者1个假阳性时达到85%(79/93,95% CI:77–83)的敏感性。专家放射科医师共识小组(采用PI-RADS阈值)在每例患者0.30个假阳性时具有91%(85/93,95% CI:84–96)的敏感性,显著更高。
基于患者的结果
ROC曲线见图3c、d(“PI-RADS csPCa”检测)和图4b(“Gleason csPCa”检测)。使用较大训练集训练的DL-CAD性能显著优于( )使用较小训练集训练的模型。训练集为50、200、500、1000和1586次扫描时,AUC分别为0.73、0.80、0.81、0.83和0.85。将分区分割作为先验知识纳入显著提高了AUC( )。对于使用50、200、500、1000和1586次扫描训练的模型,AUC的增加分别为0.066、0.029、0.039、0.039和0.028。
使用最大训练集并纳入分区分割作为先验知识训练的DL-CAD模型在中心2测试集上的AUC为0.85,与文献相比性能相似,略低于专家放射科医师小组(PI-RADS阈值下Sens = 91%,Spec = 77%)(图5)。图6展示了所提出的DL-CAD模型预测Gleason csPCa病灶的三个示例,以及一个假阴性病例。表3总结了DL-CAD模型在两个测试集中基于患者的诊断性能。
我们使用Cohen kappa系数评估放射科医师(PI-RADS)、病理科医师(GS)和DL-CAD模型在外部队列上患者层面的一致性。放射科医师在基于患者的诊断中达到91%的敏感度和77%的特异度。在我们的DL-CAD上以0.96的概率阈值,其运行于相同的特异度。在该工作点,DL-CAD与放射科医师和病理科医师之间的kappa一致性分别为0.53和0.5,反映中等一致性。放射科医师与病理科医师之间的kappa为0.61。
讨论
多参数MRI已被纳入疑似前列腺癌且未接受过活检男性的诊断路径,作为一项前置检查。它有助于避免不必要的活检、减少过度诊断和过度治疗,并支持靶向活检。准确解读前列腺MRI至关重要,但在很大程度上取决于专业经验。深度学习计算机辅助诊断(DL-CAD)有潜力帮助提高诊断准确性。DL-CAD需要足够数量的数据和合理设计,才能实现良好的独立诊断性能,而这对于成功应用至关重要。本研究考察了两个关键方面:(1)训练数据量的影响;(2)使用分区分割作为先验知识对深度学习人工智能在疑似前列腺癌且未接受过活检男性中检测临床显著前列腺癌(csPCa)诊断性能的影响。我们的大型数据集(2736例)使我们能够研究在较小数据集上进行训练的效果。我们的结果显示,在固定366例验证病例的情况下,改变训练数据量(50至1586例训练)会对性能产生显著影响(AUC 0.80至0.87)。结果还显示,即使在1952例时,仍有改善趋势。其次,我们表明,加入分区分割作为先验知识可通过帮助DL-CAD模型利用领域特异性临床知识显著提高性能,即前列腺癌的发生和表现取决于其分区位置。
我们最佳的DL-CAD模型在独立外部数据集上评估时取得了较高的诊断性能(AUC = 0.85 [95% CI:0.79–0.91])。该性能接近读者预测经组织病理学证实的csPCa的表现(GS > 6,MRI-FIRST研究,PI-RADS阈值[2]时灵敏度 = 83%,特异度 = 75%),但略低于专家放射科医师共识小组的表现(GS > 6,4M研究,PI-RADS阈值时灵敏度 = 89%,特异度 = 73%)。我们研究中报道的DL-CAD与放射科医师之间的kappa一致性(κ = 0.53)支持这种性能相似性,该一致性可与读者间一致性[7]相比。为使DL-CAD在临床实践中有效,其独立性能至少应与专家性能相匹配。因此,我们的建议是,用于前列腺MRI的DL-CAD应使用远多于2000例的病例进行训练(见图5b),并具备专家标注(PI-RADS、活检Gleason分级和随访),同时结合最先进的先验知识进行开发。
我们假设深度学习计算机辅助诊断(DL-CAD)能够在PI-RADS上有效训练,超越其训练标注进行泛化,并可靠地检测经组织病理学证实的临床显著前列腺癌(csPCa)。PI-RADS标注代表了患者的完整分布,可直接从放射学报告中检索,且无需收集活检结果。该策略有助于增加训练数据的规模。我们预期并观察到DL-CAD随后无法完全复现放射科医师的评分。有趣的是,放射科医师之间在识别Gleason csPCa方面的性能差异要小得多,甚至达到无显著性的程度。我们的DL-CAD在大型PI-RADS数据集上训练,与近期最先进的DL-CAD研究相比表现出具有竞争力的测试性能,后者仅在活检确诊病例上训练并在较小规模的测试集上测试[27–31]。这表明,尽管DL-CAD模型是在其难以复现的“不完美”PI-RADS标注上训练的,但它仍能很好地泛化。这种有趣的泛化差异是进一步研究的课题。
许多前列腺计算机辅助诊断(CAD)论文声称接近放射科医师的性能,但同时与本地放射科医师进行比较和/或在性能差异巨大的小型测试集上报告[13, 31]。许多放射科医师报告的经病理证实的csPCa检测性能远低于我们的专家放射科医师共识小组(PI-RADS的敏感度=88%,特异度=50%[27])。前列腺MRI最重要的主张是它可以避免不必要的活检,但要最佳地实现这一目标需要专家级性能、高阴性预测值和良好的图像质量。专家特别提到这些是必要条件[1, 32]。机器学习计算机辅助诊断(ML-CAD)未达到所需的专家级性能[16]。深度学习可以超越ML-CAD,但需要更多病例来训练。近期的DL-CAD论文并未反映这一点。例如,[27–29, 32]使用了150–690个病例。他们的CAD可能与本地放射科医师的水平具有竞争力,但无法达到避免活检所需的全球专家水平。我们的训练规模观察结果得到先前DL-CAD文献的支持,这些文献表明在肺癌CT[33]和乳腺X线摄影[34]中达到专家水平所需的训练规模。我们的观察是,为前列腺MRI实现专家级DL-CAD所需的训练数据规模远大于目前报告的水平。
我们的研究有几项局限性。第一,所有数据均来自一家MRI供应商(Siemens)。尽管我们使用了来自外部中心的独立数据,但我们无法将结论推广到所有前列腺MRI制造商。这种推广需要使用来自其他供应商的更多数据来扩展训练。我们计划通过收集多供应商数据来扩展数据集,以在未来开发更通用的DL-CAD模型。我们正在探索归一化方法以补偿扫描仪和扫描仪设置的差异[35]。第二,我们在研究中使用了PI-RADS v2而非更新的PI-RADS v2.1。PI-RADS将继续演进,更新标注是所有CAD研究人员/开发者面临的挑战。最后,我们将DL-CAD系统设计为仅使用双参数MRI(bpMRI),且无法获取临床变量(如PSA密度)。向DL-CAD添加更多信息(动态对比增强(DCE)、PSA、年龄等)可能会提供进一步的改善。
总之,我们描述了一个可在 bpMRI 上检测并定位 csPCa 的 DL-CAD 模型。我们的研究表明,通过利用基于深度学习的区域分割的先验知识,DL-CAD 系统在活检初治男性中检测和定位 csPCa 的性能得到提高。更大的数据集可带来性能提升,当使用远超 2000 例训练病例时,其性能有可能达到专家水平。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 21 KB)
引用
- Hosseinzadeh M, Saha A, Brand P, et al. Deep learning-assisted prostate cancer detection on bi-parametric MRI: minimum training data size requirements and effect of prior knowledge. Eur Radiol. 2021. PMID: 34786615. doi:10.1007/s00330-021-08320-y
- 全文:PMC8921042(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8921042/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。