全自动深度学习用于临床前列腺MRI评估的模拟临床部署
该研究在2017年对284例接受3T双参数MRI及靶向联合系统穿刺的男性模拟部署U-Net深度学习算法,评估其检测、定位和分割临床显著前列腺癌(ISUP≥2)的性能。在259例可评估者中,U-Net采用动态阈值调整后模拟PI-RADS≥3和≥4决策,其敏感度和特异度与PI-RADS无统计学差异;影像PI-RADS≥4与U-Net≥d3同时阳性使患者水平阳性预测值从59%提高到63%(p=0.03)。结论认为U-Net在模拟持续临床使用中性能与PI-RADS相似,应实施定期质量保证以确保预期性能。
要点
- U-Net模拟PI-RADS≥3决策时敏感度99%、特异度24%,模拟≥4决策时敏感度83%、特异度55%,与PI-RADS无统计学差异。
- 影像PI-RADS≥4与U-Net≥d3同时阳性可将患者水平阳性预测值从59%提高到63%(p=0.03)。
- U-Net与影像评估同时阳性可提高阳性预测值,而阴性预测值保持不变。
核心结论
- U-Net在模拟持续临床使用中性能与PI-RADS相似;应实施定期质量保证以确保预期性能。
研究设计与样本
- 研究于2017年连续纳入284例接受3T单台MRI扫描仪双参数MRI检查后行靶向联合扩展系统MRI/经直肠超声融合穿刺的男性(主动监测、初诊或既往活检者)。
关键影像表现/征象
- U-Net用于双参数MRI上临床显著前列腺癌(ISUP分级分组≥2)的检测、定位和分割。
- U-Net采用动态阈值调整,以概率阈值d3和d4分别模拟PI-RADS≥3和≥4决策。
- 影像PI-RADS≥4与U-Net≥d3同时阳性时患者水平阳性预测值从59%提高到63%(p=0.03)。
- 影像评估与U-Net同时阳性可提高患者水平和病灶水平的阳性预测值,阴性预测值保持不变。
诊断标准与关键数值
- PI-RADS阈值≥3时敏感度98%(106/108)、特异度17%(25/151)。
- PI-RADS阈值≥4时敏感度84%(91/108)、特异度58%(88/151)。
- U-Net概率阈值d3(模拟PI-RADS≥3)时敏感度99%(107/108,p>0.99)、特异度24%(36/151,p>0.99)。
- U-Net概率阈值d4(模拟PI-RADS≥4)时敏感度83%(90/108,p>0.99)、特异度55%(83/151,p>0.99)。
- U-Net与PI-RADS各阈值下敏感度和特异度均无统计学差异。
临床应用与阅片要点
- U-Net在模拟持续临床使用中性能与PI-RADS相似,可作为影像评估的参考。
- U-Net与影像评估同时阳性可提高阳性预测值,阴性预测值保持不变。
- 作者认为应实施定期质量保证以确保U-Net达到预期性能。
局限性
- 原文未报告局限性。
全文中译17 节 · 点击展开
引言
近年来,有最高级别证据表明,前列腺MRI通过为后续活检确定靶点,提高了临床显著前列腺癌(sPC)的检出率,同时减少了适当诊断sPC所需的活检针数[1–5]。前列腺MRI正日益融入诊断路径[5],并日趋标准化,最近由前列腺影像报告和数据系统(PI-RADS)第2.1版加以规范[6]。持续需要提高工作效率并尽量减少阅片者间变异[7–9]。人工智能(AI)有潜力使放射学工作流程更加高效,从而降低成本,并通过提供诊断支持以及安全网(例如以虚拟第二阅片者的形式)发挥作用。我们最近开发并验证了一个基于U-Net[10]架构的深度学习模型,其性能与临床放射学评估相当[11]。该算法使用250名男性的数据进行训练,并在62名男性的数据上进行验证,以供在我们主要机构MRI扫描仪上使用。在建立该系统后,应通过在连续患者中的持续临床应用来评估其临床效用,以进一步深入了解AI部署到临床实践中的重要方面。
我们假设,已验证的系统应在其所开发的临床环境中保持其性能。本研究的目的是模拟持续临床使用和定期质量保证周期,以部署先前开发的用于全自动评估前列腺MRI图像的U-Net。
材料与方法
这项回顾性分析在一个先前未报告的接受MRI–经直肠超声(MR/TRUS)融合活检的男性队列中进行。机构伦理委员会批准了该研究并豁免书面知情同意(S-156/2018),以允许分析完整的连续队列。所有男性均基于前列腺特异性抗原(PSA)升高、临床检查或参与我们的主动监测计划而具有活检的临床指征;于2017年1月至2017年12月期间接受活检;如果符合以下标准则被纳入:(a)影像在我们主要机构的3-T MRI系统上完成,以及(b)MRI/TRUS融合活检在我们机构完成。排除标准为(a)前列腺癌治疗史(抗雄激素治疗、放射治疗、局灶治疗、前列腺切除术);(b)MRI前6个月内接受过活检;以及(c)序列不完整或严重MRI伪影。sPC定义为国际泌尿病理学会(ISUP)分级≥2[12]。图像预处理的详细信息见补充材料S1。
MRI方案
T2加权、弥散加权(DWI)和动态对比增强MRI在单一3-T MRI系统(Prisma,Siemens Healthineers)上按照欧洲泌尿生殖放射学会指南采集,使用标准多通道体线圈和集成脊柱相控阵线圈。机构前列腺MRI方案见补充表1。
PI-RADS评估
mpMRI的PI-RADS判读由8名委员会认证的放射科医师在临床常规工作中完成(使用PI-RADS第2版)[13],其中85%的检查由具有至少3年前列腺MRI经验的放射科医师判读。为确保质量,在活检前,所有检查均在跨学科会议上进行复核,且放射科医师定期参与MRI报告和活检结果的回顾性审查。
MRI/TRUS融合活检
所有男性均在全身麻醉下接受网格引导的经会阴活检,使用刚性或弹性软件配准(分别为BiopSee,MEDCOM和UroNav,Philips Invivo)。首先,对MRI可疑病灶进行融合靶向活检(FTB)(四分位距(IQR)3–5针,每个病灶中位数4针),随后进行系统性饱和活检(22–27针,中位数24针),如前所述[14, 15]。这种FTB与经会阴系统性饱和活检(SB)相结合的活检方法已得到验证,且其与根治性前列腺切除术(RP)标本的一致性已获确认[15]。每位患者中位数取32针活检(IQR 28–37),活检针数根据前列腺体积调整[16]。组织病理学分析在一名专职泌尿病理学家(A.S.,17年经验)的监督下按照国际泌尿病理学会标准进行。
病灶分割
病灶分割由一名研究者(X.W.)根据临床报告及其附带的扇形图进行回顾性分割,该研究者为委员会认证的放射科医师,具有5年体部影像学经验和6个月在前列腺MRI方面的专注经验,在一名委员会认证的放射科医师(D.B.,具有11年前列腺MRI判读经验)的监督和共识下,使用开源MITK软件(www.mitk.org,版本2018.04)的多边形工具,分别在轴位T2加权和表观扩散系数(ADC)/DWI图像上绘制三维感兴趣体积(VOI)。
深度学习算法的应用
先前训练并验证的二维16成员U-Net集成[10]利用T2加权、b值1500 s/mm²和ADC图将每个体素分类为肿瘤、表现正常的前列腺或背景。对于集成中的每个U-Net,三个类别的输出概率在每个体素上之和为一。集成概率图是集成成员U-Net概率图的平均值。对于每次检查,集成被应用于刚性、仿射和B样条配准方案中的每一种,并将肿瘤概率最高的图用于进一步处理。深度学习在PyTorch中实现(版本1.2.0;https://pytorch.org)[17]。
联合组织病理学映射
为利用所有可用的组织病理学信息,包括PI-RADS病灶之外的sPC信息,将六分区特异性系统活检和靶向病灶组织病理学融合为联合组织学参考(补充材料S-2)。
阈值调整与统计分析
接收者操作特征(ROC)曲线根据U-Net概率预测计算得出。如补充材料S-3所述,获得了使基于患者的工作点与PI-RADS ≥ 3和≥ 4性能最为接近的U-Net概率阈值。为应用于当前队列,确定了三个U-Net阈值:固定阈值、动态阈值和极限阈值。固定阈值代表了将已发表的U-Net最直接地应用于新检查的方式,由已发表队列中最近300次检查确定。动态阈值以规律间隔重新调整,以在最近检查中保持U-Net与PI-RADS密切匹配。这些阈值最初设定为固定阈值的值,应用于随后的50次检查,然后使用最近300次检查反复重新调整。每位患者以模拟前瞻性方式仅使用最近一次调整所得的动态阈值进行评估。极限阈值通过产生U-Net与PI-RADS性能之间尽可能最接近的匹配,代表了最佳动态阈值性能的理论极限,由当前队列确定。只有固定阈值和动态阈值可前瞻性地应用于新患者,而极限阈值是用于判断阈值选择成功与否的事后参考。
计算敏感度、特异度、阳性预测值和阴性预测值,并使用McNemar检验进行比较[18]。我们使用R包DTComPair中基于相对预测值的检验,考察了U-Net和放射科医师共同检出sPC阳性男性、活检象限和PI-RADS病变对阳性预测值(PPV)和阴性预测值(NPV)的影响[19, 20]。统计分析在Python(Python Software Foundation,版本3.7.3,http://www.python.org)和R(R版本3.6.0,R Foundation for Statistical Computing)中实现,详情见补充材料S-4。p值≤0.05认为具有统计学显著性。所有p值均使用Holm法进行多重比较校正[21]。我们使用Dice系数[22](一种常用的空间重叠指数),分别针对DWI、T2w及其组合比较手动和U-Net-derived病变分割。平均Dice系数由所有活检sPC阳性临床病变和U-Net-derived病变计算得出(补充材料S-5)。
结果
研究样本特征
在纳入期间就诊于本机构的604名男性中,259名男性(中位年龄64岁[IQR 61–72])符合纳入和排除标准(图1)。人口学数据和患者特征见表1。
259例男性共有420个病灶,420个病灶中299个(71%)位于外周带,420个病灶中121个(29%)位于移行带。420个病灶中17个(4%)为PI-RADS 2类,420个中180个(43%)为PI-RADS 3类,420个中170个(40%)为PI-RADS 4类,420个中53个(13%)为PI-RADS 5类。融合活检共发现420个病灶中112个(27%)为sPC阳性,112个sPC阳性病灶中93个(83%)位于外周带,112个sPC阳性病灶中19个(17%)位于移行带。259例患者中145例(56%)为初次活检,259例中55例(21%)既往曾接受活检,259例中59例(23%)参与了主动监测项目。
使用固定阈值和动态阈值比较U-Net性能
我们以U-Net ≥ f3/d3/l3和≥ f4/d4/l4的形式表示U-Net根据固定(f)、动态(d)和极限(l)阈值模拟PI-RADS ≥ 3或≥ 4决策的性能。时间上不同的动态阈值集合及由此得到的性能指标显示,d4随时间呈小幅波动性波动,d3随时间缓慢下降,如图2和表2所示。表2给出了PI-RADS与U-Net在不同阈值下对新患者性能的比较。表3给出了影响新动态阈值d3和d4计算的检查中活检结果和转诊指征的分布,表明转诊指征或活检分布无意外变化。表4显示了在300次检查回顾中PI-RADS与动态阈值调整后U-Net性能的稳定性和可比性的直接比较。使用固定阈值时,基于患者的工作点U-Net ≥ f4接近PI-RADS ≥ 4工作点(分别见图3a中的红色菱形和三角形),相应的固定阈值(f4)为0.31,几乎等于极限阈值(l4)0.30(表5),提示模型具有稳定性。PI-RADS ≥ 3与相应的固定阈值U-Net工作点U-Net ≥ f3彼此距离较远(分别见图3a中的绿色菱形和三角形),相应的固定阈值(f3)为0.20,不同于极限阈值(l3)0.14,表明使用动态阈值(d3)可更好地近似PI-RADS(图3a中的绿色十字和三角形)。图3a中蓝色ROC曲线及与极限阈值相关的工作点(红色(l4)和绿色(l3)圆圈)非常接近各自的PI-RADS工作点,表明U-Net在新队列中的ROC判别能力未下降。在基于六分仪的评估中,从U-Net ≥ f3(图3b中的绿色菱形)到U-Net ≥ d3(图3b中的绿色十字)有显著改善,而从U-Net ≥ f4(图3b中的红色菱形)到U-Net ≥ d4(图3b中的红色十字)有轻度改善。因此,在剩余模型验证中,我们采用动态阈值调整来与放射科医师进行性能比较。
使用动态阈值的U-Net性能
基于患者的性能
临床评估对PI-RADS分类≥3的敏感度为98%(106/108),特异度为17%(25/151);对PI-RADS分类≥4的敏感度为84%(91/108),特异度为58%(88/151)。U-Net对U-Net≥d3的敏感度为99%(107/108),特异度为24%(36/151,p > 0.99);对U-Net≥d4的敏感度为83%(90/108),特异度为55%(83/151,p > 0.99)(表5和图3a)。
基于六分区的性能
临床评估对PI-RADS≥3的敏感度为71%(177/251),特异度为62%(814/1303);对PI-RADS≥4的敏感度为63%(158/251),特异度为80%(1045/1303)。U-Net对U-Net≥d3的敏感度为70%(175/251;p > 0.99),特异度为66%(860/1303;p = 0.34);对U-Net≥d4的敏感度为51%(129/251;显著低于PI-RADS;p = 0.01),特异度为84%(1096/1303;显著高于PI-RADS;p = 0.02)(表5和图3b)。
U-Net与PI-RADS评估的共同检出
U-Net和PI-RADS评估在不同阈值下对患者、六分区和病灶的共同检出情况见表6。在个体患者中,PI-RADS≥4与U-Net≥d3共同检出时,阳性预测值(PPV)从59%(91/154)升高至63%(91/145;p = 0.03),阴性预测值(NPV)从84%(88/105)升高至85%(97/114,p = 0.15),差异无统计学意义。在六分区中,PI-RADS≥4与U-Net≥d3共同检出时,PPV从38%(158/416)升高至47%(135/287;p = < 0.001),NPV从92%(1045/1138)降低至91%(1151/1267;p = 0.07),差异无统计学意义。在病灶中,PI-RADS≥4与U-Net≥d3共同检出时,PPV从43%(96/223)升高至60%(87/145;p = < 0.001),NPV从92%(181/197)降低至91%(250/275;p > 0.99),差异无统计学意义。
分割的空间一致性
目标sPC阳性PI-RADS病灶分割与U-Net衍生病灶分割的Dice系数在DWI、T2w及两者联合中分别为0.34、0.34和0.29。重叠病灶分割的Dice系数分布见补充图1。图4和图5展示了U-Net输出与人工分割比较的代表性示例。
讨论
前列腺MRI正日益被纳入标准诊断路径。深度学习有潜力在 prostate MRI 需求增加的同时,推广高质量的前列腺MRI评估并支持图像解读。本研究首次模拟了一个经验证的深度学习系统在其被优化的临床环境中用于全自动前列腺MRI评估的临床部署。之所以说是模拟临床部署,是因为将该系统实际部署到影响临床决策的前瞻性临床实践中仍为时过早,而模拟分析提供了关于可预期性能的重要信息。研究证实了与临床MRI评估相当的性能,即对于PI-RADS ≥ 4与动态U-Net阈值相比,敏感性分别为84% [91/108] vs. 83% [90/108],p > 0.99;特异性分别为58% [88/151] vs. 55% [83/151],p > 0.99。通过在连续患者中模拟深度学习的持续临床应用,可以密切评估该系统在既定运行周期内的稳定性以及针对PI-RADS重新调整系统的效果。因此,与深度学习方法性能的探索性研究[23–25]相比,在模型对临床应用的适用性方面所达到的评估程度已大为提高。采用50例患者或约两个月的质量保证周期,我们发现PI-RADS与U-Net性能之间的波动可通过重新校准方案减少;该方案在前瞻性使用时,可确保两种评估方法具有相似性能。这些波动对于PI-RADS ≥ 4决策而言较小,且诊断性能在300次检查回顾期内保持稳定。然而,在回顾期内d3以及PI-RADS ≥ 3决策特异性的缓慢下降,而在新队列中U-Net ROC曲线与PI-RADS工作点 otherwise 一致,提示该差异既不是由系统退化引起(因为U-Net ROC曲线非常接近PI-RADS工作点),也不是由队列中肿瘤构成漂移(参见表3)或图像质量(扫描仪和图像方案保持不变)引起,而是与PI-RADS解读的偏移有关。尽管放射科医师团队构成自前一队列以来略有变化,但PI-RADS ≥ 3处的孤立变化提示其重要性较小,因此这一发现可能由PI-RADS 3类别是该系统定义最不明确(“不确定”)的类别来解释。该类别仍在不断重新定义,并且本质上包括细微和非特异性病变,这些病变可能随时间被放射科医师团队以不同方式评估。在某种意义上,固定阈值的U-Net可与一名孤立工作的放射科医师或放射科医师团队相比,其在没有整合到任何持续病例回顾和与其初始训练相关的放射科医师团队沟通的情况下进行评估。情况可能是,放射科医师根据临床反馈和病例会议做出共同决策,从而根据持续质量改进的商定方向,将PI-RADS 3阅片模式略微调整为更具特异性或敏感性的报告风格。对于分裂为两个并停止沟通的放射科医师团队,也可能观察到同样情况。要决定以下两者中哪一个更好:a)固定U-Net阈值的刚性性能(其仍提供临床合理的工作点,并可能代表人工智能减少阅片者间变异性的优势),还是b)放射科医师的动态响应(其代表持续的情境感知学习),需要未来更多研究。目前,我们观察到的是,与一个继续从临床实践中学习系统(放射科医师)相比,一个系统(U-Net)已停止学习(固定阈值)。尽管如此,由于放射科医师获得临床实践认证而U-Net没有,PI-RADS适合作为标准使用,而动态阈值调整被确定为一种方法,可有效地将放射科医师正在做出的相同调整施加于U-Net。所提出的阈值调整方案为比较和临床实施提供了灵活性。当PI-RADS用作校准的“手动”输入时,结果是半自动校准。然而,也可以使用可接受的敏感性范围进行校准,这将导致一个完全数据驱动的、完全自校准的系统。
我们研究队列的一个特定优势是对连续高危患者的分析,允许对性能进行直接且具有临床意义的比较。此外,所使用的扩展系统性和靶向活检提供了比标准采样方案更好的评估,对于有临床意义的前列腺癌(sPC),与根治性前列腺切除术(RP)相比其敏感性高达97% [15]。相比之下,单纯RP队列会引入偏倚,排除许多接受了MRI引导活检但未行RP的男性;因此,所选择的扩展系统性和靶向活检参考标准对于完整评估该人群具有高质量。
我们的研究存在局限性。当前形式的所开发U-Net仅适用于来自我们主要机构MRI系统的数据。虽然未来开发更通用的AI系统是可取的,但当前系统预期通过在当前仍然有限的队列规模下避免多扫描仪队列的额外异质性来最大化深度学习的效用,而多扫描仪队列将需要更多数据才能实现同等成功的机器学习。未来,我们计划在我们机构的前瞻性环境中应用所开发的U-Net,并在多中心数据上进行迁移学习以扩展其应用领域。
总之,本研究首次提供了先前验证的AI系统用于全自动前列腺MRI评估的模拟临床部署。通过模拟常规质量保证周期,我们发现该系统在PI-RADS ≥ 4决策方面性能稳定,而缓慢变化的临床PI-RADS ≥ 3评估可通过新提出的阈值调整方案加以解决。观察到的波动可能表明深度学习可以解决PI-RADS的观察者间变异性,或表明U-Net脱离正在进行的临床质量保证周期,而通过所提出的动态调整方案使U-Net重新接轨。U-Net与放射科医生的共同检测增加了发现sPC的概率。U-Net证实自身是从前列腺MRI中提取诊断评估的强大工具,其性能推动了在前瞻性环境中的评估。
电子补充材料
(DOCX 324 kb)
引用
- Schelb P, Wang X, Radtke JP, et al. Simulated clinical deployment of fully automatic deep learning for clinical prostate MRI assessment. Eur Radiol. 2020. PMID: 32767102. doi:10.1007/s00330-020-07086-z
- 全文:PMC7755653(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7755653/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。