深度学习算法在前列腺MRI体积评估中表现与放射科医生相当
该回顾性多中心研究纳入124例前列腺根治术前MRI患者,评估商用深度学习算法(PVDL)与PI-RADS 2.1椭球公式(PVEF)测量前列腺体积的一致性,以专家手动平面测量(PVMPE)和标本重量(PVSW)为参考标准。结果显示PVDL与参考标准的平均差异和95%一致性界限均优于两位放射科医生的椭球公式测量,结论认为深度学习算法至少不劣于椭球公式。
要点
- 深度学习算法测量前列腺体积与手动平面测量的一致性优于椭球公式,平均差异更小、一致性界限更窄。
- 椭球公式倾向于低估前列腺体积,尤其对较大前列腺低估更明显,深度学习低估程度较轻。
- 两位有经验放射科医生使用椭球公式的读者间一致性良好(ICC 0.93)。
核心结论
- 深度学习算法在前列腺MRI体积评估中表现与放射科医生相当,至少不劣于基于PI-RADS 2.1的椭球公式。
研究设计与样本
- 回顾性多中心研究,纳入124例接受机器人辅助前列腺根治术且术前1年内行前列腺MRI的患者。
- MRI扫描来自7家医院、8台扫描仪、7种型号、2个厂商、1.5T和3T两种场强,采用多种T2横轴位层角。
- 以一位专家放射科医生手动平面测量(PVMPE)为参考标准,并以根治标本重量计算的体积(PVSW)进行敏感性分析。
- 评估商用深度学习算法(AI-Rad Companion Prostate MR VA20A_HF02,Siemens Healthcare AG)自动分割计算的体积(PVDL),与两位放射科医生用椭球公式测量的体积(PVEF1、PVEF2)进行比较。
关键影像表现/征象
- 深度学习算法在非标注T2横轴位图像上完成全腺体分割,轮廓以烧录形式呈现,体积以文本形式输出。
- 与专家手动平面测量相比,深度学习算法的平均差异为−0.33 mL(95%一致性界限−10.80至10.14 mL),椭球公式PVEF1为−3.83 mL(−19.55至11.89 mL),PVEF2为−3.05 mL(−18.55至12.45 mL)。
- 以标本重量为参考标准时,深度学习算法的平均差异为−4.22 mL(−22.52至14.07 mL),PVEF1为−7.89 mL(−30.50至14.73 mL),PVEF2为−6.97 mL(−30.13至16.18 mL)。
- 两种参考标准下,深度学习和椭球公式均倾向于低估大前列腺体积,但深度学习低估程度较轻。
诊断标准与关键数值
- PI-RADS 2.1推荐的椭球公式为:体积 =(宽 × 深 × 高)×(π/6)。
- 两位放射科医生使用椭球公式的读者间平均差异为−0.78 mL(95%一致性界限−15.08至13.51 mL),ICC(95% CI)为0.93(0.96;0.953)。
- 有经验与无经验放射科医生手动平面测量的读者间平均差异为−3.73 mL(95%一致性界限−11.90至4.45 mL),p<0.001,95% CI −4.47至−2.99。
- 有经验读者手动平面测量的平均耗时在14例中记录,每例平均8分4秒。
临床应用与阅片要点
- 商用深度学习算法可自动完成前列腺全腺体分割和体积测量,有望替代耗时的手动椭球公式测量,将放射科医生资源重新分配到更复杂的工作任务。
- 深度学习算法测量值与手动平面测量和标本重量参考标准的一致性均优于椭球公式,平均差异更小、一致性界限更窄, precision更好。
- 椭球公式和深度学习均倾向于低估大前列腺体积,深度学习低估程度较轻,在报告大前列腺体积时需注意此系统性偏差。
- 该算法未提供移行带和外周带的亚分割,无法直接计算前列腺体积指数或移行带PSA密度等参数。
局限性
- 仅评估了一种商用深度学习算法,且MRI数据集中一个厂商占主导,该厂商也是被评估算法的背后公司。
- 队列仅包括前列腺根治术患者,不能反映临床实践中癌症和非癌症患者混合的更广泛人群。
- 仅一位有经验放射科医生执行手动平面测量作为参考标准,但通过第二位经验较少医生执行手动平面测量及以标本体积进行敏感性分析来部分弥补。
- 由于公开数据集已被纳入算法早期训练,无法在公开数据集上进行验证测试,训练、验证和测试数据集必须始终唯一且分离。
全文中译12 节 · 点击展开
引言
前列腺体积(PV)是良性和恶性前列腺疾病检查中的一个重要参数[1–3]。将前列腺特异性抗原(PSA)值与PV结合可得出PSA密度(PSAD)[4–6]。较高的PSAD(通常采用0.15 ng/ml2的阈值)提示较高的前列腺癌风险[7, 8]。PSAD在决定哪些患者将接受活检方面是一个日益重要的因素[4]。近年来向“MRI优先”模式的转变[9, 10]——即患者在活检前接受磁共振成像(MRI)检查——使MRI成为确定PV的基石。PIRADS[11]推荐使用椭球公式法测定PV;放射科医师测量前列腺的高度、深度和宽度。该椭球公式(EF)被视为金标准,并已被证明相对准确[12],但其存在一些局限性。使用EF耗时、依赖阅片者,且由于前列腺并非对称的几何椭球体,容易出现乘法误差,在勾画尖部和腹侧部分时存在解剖学挑战[4, 13, 14]。在MRI上评估PV最准确的方法是手动平面测量法[12, 15, 16],即放射科医师使用外部软件在三个平面的T2加权MRI上手动勾画前列腺边界。然而,手动平面测量法过于耗时,难以成为临床常规中的现实替代方案[17]。
在过去几年中,放射学领域对基于人工智能(AI)的算法的开发兴趣日益增长。影像学中最常用的AI方法是基于深度学习的卷积神经网络算法[18]。多项研究显示AI在自动化辅助PV评估方面表现良好[18–20],但关于外部验证、泛化性以及算法在具有异质性数据的不同临床背景下的表现如何,仍存在疑问。美国食品药品监督管理局(FDA)批准的算法数量持续增长[21],但人们日益关注算法在其训练和验证机构之外的临床环境中的真实性能。为解决这些问题,我们设计了这项多中心、多扫描仪研究。我们使用了一个专有的、市售的基于深度学习的系统[22],该系统此前未接触过该数据集。为使PV方法之间的比较尽可能全面,我们将其与经直肠超声和前列腺切除标本的PV进行了比较[23–25]。
本研究的主要目的是评估一个此前未接触过数据的深度学习算法能否替代基于PI-RADS 2.1的椭球公式,用于从前列腺MRI的异质性数据集中计算PV。
次要目的是评估两位放射科医师使用基于PI-RADS 2.1的椭球公式的阅片者间一致性,以及经验丰富与经验不足的放射科医师进行手动平面测量法的一致性。
材料与方法
研究设计与人群
这项回顾性多中心研究获得了隆德大学当地伦理审查委员会的批准(登记号 2014-886)以及瑞典伦理审查局的批准(登记号 2019-03674)。研究纳入2018年在马尔默大学医院接受机器人辅助根治性前列腺切除术的所有连续患者,并对其进行资格评估。若患者在手术前1年内接受过前列腺MRI检查,则纳入研究。两名患者被排除,原因分别是在我们医疗区域以外的医院接受MRI检查以及患者退出,最终纳入124名患者。数据收集流程见图1。每名患者计算8种不同的PV(表1)。
MRI技术
MRI扫描在七家不同医院进行,使用八台不同扫描仪,包括来自两家供应商的七种不同扫描仪型号、两种不同场强(1.5T和3T)以及两种不同的T2横断面(轴位)层厚角度。不同中心根据当地常规使用不同的成像采集参数。所有方案均包括横断面、冠状面和矢状面T2加权 turbo spin-echo 图像,用于椭球公式计算;以及T2轴位图像,用于手动面积测量和深度学习轮廓勾画。T2轴位的参数列于电子补充材料中的补充表1。
基于影像的前列腺体积计算
所有MRI检查均由三名咨询放射科医师(E.T.、J.B.和J.E.)进行回顾性阅片,他们均具有至少5年前列腺MRI经验。一名放射科医师(J.E.;在三级转诊中心具有5年融合活检计划经验,对手动面积测量高度熟练)使用外部软件(MIM Software,Inc.)在三个平面的T2图像上手动勾画前列腺边界进行手动面积测量,并对所有其他体积计算设盲。该体积PVMPE被用作参考标准,并在部分检查(14名患者)中测量了该手动面积测量整个工作流程的耗时。
另一名对手动面积测量缺乏经验的放射科医师(E.T.)使用相同软件进行手动面积测量(PVMPU),但在不同服务器上进行以确保设盲。两名放射科医师(E.T.和J.B.)根据PIRADS [11]使用椭球公式法([宽 × 深 × 高] × [π/6])计算PV,见图2b、c。该计算独立完成,并对所有其他PV设盲;这些体积缩写为PVEF1和PVEF2。
PV还根据椭球公式由经直肠超声计算。超声在泌尿科常规临床就诊期间获得,并从患者记录中收集。
深度学习算法
所用算法为市售专有产品(AI-Rad Companion Prostate MR VA20A_HF02,Siemens Healthcare AG),是一种使用卷积神经网络深度图像到图像(DI2IN)网络的机器学习深度学习算法。该算法此前未接触过本研究队列中的图像,全腺体分割按照Yang [26]所述在未标注的T2轴位图像上进行。轮廓和体积计算(PVDL)导出回并保存在图像存档与通信系统(Sectra IDS7)中。结果以烧录轮廓和文本形式的PV呈现。深度学习算法和专家放射科医师勾画的轮廓如图2a所示。
前列腺切除标本
前列腺切除标本按照国际标准病理程序处理制备 [27],包埋所有材料,包括精囊和前列腺外组织。从病理报告中获取标本三个平面的尺寸和重量。标本体积使用椭球公式计算(PVSD)[12]。标本重量和前列腺密度系数(1.05 g/mL)[24, 25]也用于计算PV(PVSW)。
统计分析
描述性统计用于描述研究队列,以中位数和范围表示。使用箱线图呈现不同方法下体积的分布。
体积测量方法之间的一致性使用Bland Altman图评估。首先,我们将深度学习和椭球公式确定的体积(即PVDL vs. PVEF1和PVEF2)与手动平面测量标准(即PVMPE)进行比较。其次,我们进行敏感性分析,比较深度学习和椭球公式确定的体积与基于标本重量确定的体积(即PVSW)。
使用Bland Altman图,分析一位经验丰富和一位经验不足的放射科医师进行手动平面测量(即PVMPE vs. PVMPU)之间以及两位放射科医师使用椭球公式进行体积评估(即PVEF1 vs. PVEF2)之间的读者间一致性。后者还使用组内相关系数(ICC)测量读者间一致性。使用随机效应、绝对一致性和单评分者测量的公式。配对t检验用于比较经验丰富和经验不足的放射科医师进行手动平面测量的平均差异,带Bonferroni校正的配对t检验用于比较体积方法。所有统计分析均在R版本4.0.2中完成 [28]。
结果
队列由124例患者组成,中位年龄66岁(范围45–76岁),术前PSA中位数6.90 μg/L(最小0.88;最大39)。
如图3a所示,观察到的PVDL与PVMPE之间的平均差异低于观察到的PVEF与PVMPE之间的平均差异(平均差异[95%一致性界限] PVDL:−0.33 mL [−10.80; 10.14 mL],PVEF1:−3.83 mL [−19.55; 11.89 mL],PVEF2:−3.05 mL [−18.55; 12.45 mL])。PVDL的一致性界限略窄于PVEF,表明精密度更好。
以PVSW为参考标准的敏感性分析以Bland Altman图的形式展示于图3b。以PVMPE为参考标准时,PVDL的平均差异(偏倚)低于PVEF1或PVEF2,且PVDL对应的95%一致性界限(均值+1.96 SD和均值−1.96 SD)较PVEF1或PVEF2更窄(平均差异[95%一致性界限] PVDL:−4.22 mL [−22.52; 14.07 mL],PVEF1:−7.89 mL [−30.50; 14.73 mL],PVEF2:−6.97 mL [−30.13; 16.18 mL])。在两幅Bland Altman图(图3a、b)中,与手动平面测量法和标本重量相比,深度学习和椭球公式均倾向于低估增大前列腺的体积,但深度学习对大体積的低估程度似乎小于椭球公式。
两位放射科医师进行手动平面测量之间的读者间一致性见图4a,显示经验不足的读者系统性地计算出更低的体积,但精确度优于两位放射科医师使用椭球公式之间的一致性(平均差异[95%一致性界限] PVMPE vs. PVMPU:−3.73 mL [−11.90; 4.45 mL],p<0.001,配对t检验;95%置信区间[CI] −4.47; −2.99)。PVEF1与PVEF2之间的读者间一致性见图4b。读者1与读者2之间的平均差异(95%一致性界限)为−0.78 mL(−15.08; 13.51 mL)。ICC(95% CI)为0.93(0.96; 0.953)。
表2和图5中的箱线图展示了所有比较体积的均值、中位数、最小值和最大值。电子补充材料中的补充表2显示了所比较体积的哪些组合之间存在统计学显著差异。对经验丰富的读者进行平面测量的计时观察记录于14/124例患者中,每例平均耗时8分4秒。
讨论
本研究表明,与目前推荐的由放射科医师执行的黄金标准方法相比,使用市售深度学习算法从MRI获得的PV与两种参考标准体积具有更好的一致性和精确度。两位经验丰富的放射科医师使用椭球公式时,读者间一致性良好。此外,本研究表明,在评估经验丰富与经验不足的放射科医师执行手动平面测量法时的读者间一致性时,存在虽小但显著的平均差异(低偏倚),且精确度良好。
2013年,Turkbey等[29]在99例患者中采用相关性和Dice相似系数[30](Pearson系数0.88–0.91,DICE 0.89)进行比较,显示一种非商业可用的深度学习算法与标本体积相比可提供高度准确的前列腺体积(PV)估计。他们报告与手动平面测量法相比无差异。本研究结果与此相似,因为深度学习算法与手动平面测量法之间的偏差接近于零(−0.33 mL)。2018年,Bezinque等[12]在99例患者中显示,与由经验丰富的阅片者进行的手动平面测量法相比,最可靠的PV测量方法是由经验不足的阅片者进行的手动平面测量法(ICC 0.91),其次是MRI上的椭球公式(ICC 0.9)。作者得出结论,由商业可用软件进行的自动分割(ICC 0.38)必须针对准确性进行个体化评估,这与本研究结果相矛盾。可用于算法的训练数据量正在迅速增加,这可能解释当前研究与较早研究之间的性能差异。2020年,Lee等[19]以手动平面测量法作为参考标准,在330例MRI(260例训练集和70例测试集)上评估了一种非商业可用的深度学习算法。作者得出结论,与通过椭球公式获得的PV估计(ICC 0.92)相比,该算法提供了可靠的PV估计(ICC 0.90)。算法与手动平面测量法之间的平均误差为2.5 mL(本研究中为0.33 mL),椭球公式与手动平面测量法之间为3.3 mL(本研究中为3.05–3.83 mL)。2021年,Salvaggio等[31]在103例患者队列中评估两种用于前列腺分割的深度学习算法时,使用手动平面测量法作为参考标准。作者得出结论,中叶增大可能导致椭球公式高估,并推荐一种分割方法。2021年,Cuocolo等[32]在204例患者(99例训练集和105例测试集)中使用手动平面测量法作为参考标准,比较了不同的深度学习算法。高效神经网络(ENet)表现出最佳性能,与参考标准相比具有最低的相对体积差异。
在本研究中,与标本重量体积(使用标本比重公式)相比的平均差异在深度学习算法和两种椭球公式测量中均小于零(分别为−4.22 mL、−7.89 mL和−6.97 mL),表明存在系统性低估,这与Bezinque等[12]一致。另一方面,Paterson等[13]显示椭球公式平均高估1.4 mL,Lee等[19]显示其高估2.4%。这些不一致的结果可能与中叶肥大病例比例不同,或处理前列腺外组织时的测量困难和 inconsistently 有关。
如Salvaggio[31]所述,从MRI或根治性前列腺切除标本获得的PV之间的相关性取决于PV本身,我们在自己的材料中也看到了这一趋势,即小前列腺腺体体积被高估,大前列腺腺体体积被低估。
我们的研究显示,两名放射科医生根据PIRADS v 2.1使用椭球公式估计PV时,阅片者间一致性良好(平均差异−0.78),ICC与先前两项研究[17, 33]一致。
与本研究相比,Bezinque [12] 报道经验丰富与经验不足的放射科医生之间的一致性略好,平均差异为 −1.00 mL,ICC 为 0.91。研究队列和设计上的差异使得这些研究之间难以进行比较。只要精确度良好(如较窄的一致性界限所示),少量偏倚是可以接受的,我们的结果似乎就是这种情况。
在本研究中,我们评估了深度学习与椭球公式确定的体积相对于两种不同参考标准的一致性。第一项评估以手动平面测量法作为参考标准,Cuocolo、Lee 和 Bezinque [12, 19, 32] 也采用了该方法。为避免结果主要依赖于深度学习与手动平面测量法之间的相似方法学(即通过外轮廓进行全腺体分割),我们通过将参考标准改为基于标本重量的 PV 进行了敏感性分析,如 Turkbey、Mazaheri 和 Bulman [17, 23, 29] 所使用的那样。结果显示,对于两种参考标准,深度学习 PV 均具有更低的偏倚和更窄的一致性界限,意味着其精确度优于椭球公式体积。
为比较 PV 测量方法之间的一致性,我们将统计分析 and 可视化建立在 Bland Altman 图的基础上。此前几项比较 PV 测量方法的研究 [12, 17, 29] 使用了基于相关性的不同统计方法,另有几项研究使用了 DICE 相似系数 [19, 32]。相关系数告诉我们线性关系,但不反映一致性,一致性由一致性界限表示。我们认为,DICE 系数对本研究中所评估的方法比较没有附加价值,但在研究 MRI/超声融合活检和近距离放疗计划的外轮廓勾画质量时,它们起着关键作用。这是我们研究组计划未来研究的话题。
我们的研究具有若干优势。深度学习算法此前未接触过这些数据,且据我们所知,测试集大于以往研究 [12, 17, 19, 29, 32]。为反映真实的临床背景,我们使用了多中心、多扫描仪设置的异质性 MRI 数据集。我们使用了专有的市售深度学习算法,而 Lee [19] 评估的是一种非市售的 3D 深度学习卷积神经网络。Cuocolo [32] 比较了三种不同的深度学习网络(ENet、ERFNet 和 U-net),结论是深度学习网络能够准确分割前列腺,且 Enet 表现最佳。在本研究中,所有 MRI 检查均重采样为各向同性体素大小和相同矩阵分辨率以促进深度学习分割,而在我们的研究中,尽管 MRI 方案存在差异,但无需重采样。
我们研究了在公开可用数据集上对深度学习算法进行验证的可能性。以手动平面测量法作为参考标准的公开可用数据集[34, 35]已被纳入该算法的早期训练中,因此无法进行性能测试,因为用于训练、验证和测试的数据集必须始终是唯一且分开的。有理由相信这也适用于其他市售深度学习算法,这强调了如本研究这样的研究设计的重要性,即在测试AI模型的稳健性时使用异质性临床相关数据集。
本研究存在一些局限性。首先,仅测试了一种算法。此外,尽管MRI数据集具有异质性,但一家厂商占据主导地位,而这恰好也是被评估算法背后的同一家公司。此外,队列仅包含前列腺切除术患者,这不能反映临床环境,在临床环境中扫描的癌症和非癌症患者变异更大。被评估的算法不提供移行区和外周带的分别亚分割。亚分割将能够实现更精细的密度计算,如前列腺体积指数和移行区PSAD [36, 37]。这些测量可在包含混合患者(有癌症、无癌症和炎症)的临床环境中增加预后价值。然而,在本研究中,仅有癌症病例,它们的作用较小。我们计划在未来研究中处理这些局限性,通过评估来自不同扫描仪厂商的多种算法以及更多异质性的患者群体。未来的研究理想情况下应设计为非劣效性研究,并进行功效计算以确定足够的队列规模。仅有一位经验丰富的放射科医师进行了手动平面测量。然而,众所周知,手动平面测量存在阅片者间变异性[38]。我们试图通过让第二位放射科医师(经验较少)也进行手动平面测量,并通过使用标本体积进行敏感性分析来考虑这一点。
临床意义
美国FDA批准的商业AI/深度学习算法的数量正在迅速增加[21],但人们担心这些算法在临床常规应用中伴随的挑战。当我们在日常实践中开始使用这些算法时,需要进行结构化监测和随访。
据我们所知,此前没有研究在如本研究这样的异质性MRI数据集上评估过专有的市售深度学习算法。本研究设置采用多中心、多扫描仪、多参数方案,类似于多样化国家或国际环境中的真实临床情况。
结论
与体内和离体参考标准相比,深度学习算法在评估前列腺体积(PV)方面至少与基于PI-RADS 2.1的椭球公式一样好。这是朝着算法帮助将放射科医师资源重新分配到比手动测量PV更复杂的工作任务迈出的有希望的一步。
补充信息
ESM 1(DOCX 41 kb)
(XLSX 13 kb)
引用
- Thimansson, Bengtsson, Baubeta, et al. Deep learning algorithm performs similarly to radiologists in the assessment of prostate volume on MRI. Eur Radiol. 2022. PMID: 36371606. doi:10.1007/s00330-022-09239-8
- 全文:PMC10017633(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10017633/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。