商用深度学习软件对双参数前列腺MRI PI-RADS评分一致性与检出临床显著前列腺癌性能的影响
本研究回顾性纳入153例因怀疑前列腺癌行3T双参数前列腺MRI的男性,由4名不同经验(2、3、5、>20年)放射科医生在有/无商用深度学习软件辅助下进行PI-RADS评分,以全mount病理或MRI/超声融合穿刺为参考。结果显示深度学习软件未显著提高不同经验医生间PI-RADS评分的一致性(Fleiss kappa 0.39 vs 0.40, p=0.56),也未改善检出csPCa的AUROC(所有p>0.05),且独立DL软件AUROC为0.756,低于经验丰富医生(0.917)。
要点
- 商用DL软件未提高双参数前列腺MRI的PI-RADS评分一致性(kappa 0.39→0.40)。
- DL软件未改善各经验医生检出临床显著前列腺癌的AUROC。
- 经验丰富医生AUROC(0.917)显著高于DL软件(0.756),DL软件约相当于≤3年经验医生水平。
关键影像表现/征象
- DL软件倾向于很少给出PI-RADS 3,主要将病例判为阴性或高度可疑(PI-RADS≥4)。
- 图5示一例Gleason 4+3的临床显著前列腺癌,所有放射科医生均评为PI-RADS 5,但DL软件未能识别索引病灶。
- 图4示一例Gleason 4+3的临床显著前列腺癌,放射科医生在有/无DL软件时均评为PI-RADS 5,DL软件以热图叠加于T2WI显示决策。
诊断标准与关键数值
- 临床显著前列腺癌定义为Gleason评分≥3+4(2014 ISUP共识)。
- PI-RADS评分依据PI-RADS version 2,双参数MRI中周围带PI-RADS 3病灶不因对比增强升级。
- Fleiss kappa:无DL软件0.39,有DL软件0.40,差异无统计学意义(p=0.56)。
- 各放射科医生无DL软件AUROC:经验丰富者0.917(95%CI 0.878–0.957),≤5年者0.847(0.785–0.909)、0.81(0.733–0.883)、0.782(0.702–0.862);有DL软件分别为0.917(0.878–0.957)、0.864(0.806–0.921)、0.81(0.733–0.883)、0.789(0.710–0.868),均无显著差异(p>0.05)。
- 独立DL软件AUROC为0.756(95%CI 0.671–0.842);经验丰富医生和≤5年经验医生1的AUROC显著高于DL软件(p<0.0001和p=0.04),≤3年经验医生2和3与DL软件无显著差异(p=0.63和p=0.23)。
临床应用与阅片要点
- 在临床使用该商用DL软件时,应警惕其可能因域偏移导致性能下降,不应依赖其替代医生判断。
- DL软件对PI-RADS 3的分配偏少,可能影响活检决策,需结合医生经验综合评估。
- 经验≤3年的医生使用DL软件未显著改善csPCa检出,而经验≥5年医生独立性能已优于DL软件,建议以医生评分为主。
局限性
- 样本量相对较小,且为单中心、同一制造商3T扫描仪数据。
- 仅使用双参数MRI(无DCE),而PI-RADS等指南仍推荐多参数MRI,结果可能不适用于常规多参数MRI实践。
- PI-RADS 1和2合并为阴性,且部分PI-RADS 1–2患者无病理,仅依靠≥18个月随访。
- 未评估DL软件对阅读效率或信心的影响,可能低估其临床价值。
全文中译15 节 · 点击展开
引言
磁共振成像(MRI)是评估前列腺癌(PCa)的支柱影像学方法。近期,由于新证据表明对所有怀疑PCa的男性在活检前进行MRI具有益处,MRI在评估PCa中的作用日益突出[1–3]。随着MRI在前列腺癌诊断中的重要性增加,前列腺影像报告和数据系统(PI-RADS)及其后续版本被引入以实现标准化[4]。PI-RADS为前列腺MRI的采集和解读提供了指南,该系统的益处在大型多中心研究中已得到证实[5]。然而,尽管有PI-RADS,在前列腺MRI解读中仍存在不可忽视的阅片者内部和阅片者间差异[6]。此外,这种不一致在经验较少的阅片者中似乎更为突出,阻碍了标准化工作[6]。
近年来,深度学习(DL)在前列腺MRI上表现出显著性能,包括PCa检测、分类和分割[7–9]。然而,少数研究明确探讨了DL是否有助于在放射科医师之间标准化PI-RADS评分[10–12]。此外,既往研究使用的是内部算法或原型DL软件;因此,需要证据来证明监管机构批准的商用DL软件在标准化PI-RADS评分和提高放射科医师识别临床显著前列腺癌(csPCa)性能方面的效果。
本研究的目的有两个:第一,探讨商用DL软件是否提高不同经验水平的放射科医师在双参数MRI上PI-RADS评分的一致性;第二,评估DL软件是否提高放射科医师识别csPCa的性能。
方法
Acibadem大学审查委员会批准了这项回顾性研究(ID:2022-05/08),并豁免了对匿名医疗数据进行回顾性分析所需的知情同意。我们回顾了2019年1月至2020年12月期间因怀疑PCa(即前列腺特异性抗原升高或直肠指检可疑)或主动监测而接受前列腺MRI扫描的连续患者。
纳入标准如下:(1)在常规临床阅片中PI-RADS评分≥3的患者具有全标本病理或活检结果;(2)在3 T下不使用直肠内线圈、按照PI-RADS第2版进行的前列腺MRI扫描;(3)PI-RADS评分≤2的患者随访≥18个月,无任何临床、实验室或影像学证据提示PCa[13]。
以下患者被排除在研究之外:(1)在1.5 T下接受前列腺MRI的患者;(2)使用直肠内线圈接受前列腺MRI的患者;(3)PI-RADS≥3检查但无任何组织病理学确认的患者;(4)有PCa治疗史的患者。
MRI采集
所有患者均在我们的一台3特斯拉MRI设备(Vida或Skyra,Siemens Healthcare)上使用18通道相控阵表面线圈接受前列腺MRI。MRI方案与PI-RADS第2版一致,因为研究期间第2.1版尚不可用[4]。为减少肠道运动,给予患者丁溴东莨菪碱(Buscopan,Bohringer Ingelheim)。
双参数前列腺MRI方案包括三平面T2加权成像和扩散加权成像。扩散加权成像采用回波平面成像在轴位平面上进行,b值为0、50、500和1000 s/mm2。我们排除了动态对比增强图像,因为深度学习(DL)软件无法处理这些图像。MRI方案的详细参数见表1。
DL软件
本研究使用的DL软件(Prostate AI,Syngo.Via VB60版本,Siemens Healthcare)具有三个模块:(i)预处理模块,(ii)基于DL的病灶检测模块,以及(iii)基于DL的病灶分类模块。在本研究中,我们未进行任何模型训练或微调,仅使用该模型进行性能测试。
预处理模块
预处理模块解析DICOM文件,以选择轴位T2加权图像和具有各种b值(例如0 s/mm2和800 s/mm2)的DWI。然后,预处理模块使用所有采集的b值(即本研究中的b值0、50、500和1000 s/mm2)通过线性最小二乘拟合计算ADC图和b值为2000 s/mm2的合成DWI。随后,其使用Yang等人[14]提出的DL方法在T2加权图像上进行前列腺分割,并进行T2加权图像与DWI的刚性配准。
基于DL的病灶检测模块
预处理后的图像被传入基于DL的病灶检测模块。该模块有两个子组件:(1)基于DL的病灶候选检测模型和(2)多尺度假阳性减少网络。
基于DL的病灶候选检测模型是一个简单的2D U-Net,由下降路径和上升路径组成,两者在不同层级通过跳跃连接互连,底部为卷积块,整体呈U形。该模型接收ADC、b值为2000 s/mm2的DWI和T2加权图像的3D体积数据,但逐层进行处理。模型输出2D热图,融合后创建3D连通分量(即病灶候选)。检测到的病灶候选随后被传入假阳性减少模型。
假阳性减少模型是一个2.5D多尺度深度网络,先前已在来自7个机构的放射科医师标注的2170例双参数前列腺MRI扫描上进行了训练和验证。该模型接收由基于DL的病灶候选检测模型提供的病灶候选的ADC、DWI和T2加权图像 patch。
二维深度学习模型可以评估图像内的平面内信息(即x轴和y轴),而无法捕获平面外信息(即z轴)。鉴于前列腺图像在x、y和z轴上均包含相关信息,在评估前列腺MRI时必须考虑所有平面的信息,尤其是为了消除假阳性病灶。因此,假阳性减少模型将2D输入切片的两个相邻切片作为额外通道,使其成为2.5D网络。例如,一张含有病灶的T2加权图像与其上、下各一个切片一起输入模型。该设计使网络能够捕获z轴信息,并提高一致性和性能。同时,它减轻了使用资源密集的全3D深度学习网络的需求。此外,该模型输入的前列腺图像具有不同的视野(即多尺度),以使模型能够捕获额外的上下文信息。
基于深度学习的病灶分类模块
深度学习软件的最后一个模块是病灶分类模块。该模块接收前序病灶检测模块提供的候选病灶,并给出病灶的PI-RADS评分(如存在),即PI-RADS 3、4或5,并在轴位T2加权图像上突出显示病灶。补充文件S1展示了深度学习软件的组成部分。关于深度学习软件的进一步详细描述可见于Yu等[15]。
放射科医师阅片
四名具有不同经验水平的放射科医师在配备6百万像素诊断彩色显示器(Radiforce RX 660,EIZO)的专用工作站(Syngo.Via,Siemens Healthcare)上,分别在使用和不使用深度学习软件的情况下解读扫描图像。所有审阅的图像均为医学数字成像和通信(DICOM)格式。第一位阅片者为具有>20年经验的放射科医师。其余三名放射科医师分别具有5年、3年和2年前列腺MRI经验,且每年常规解读少于50例前列腺MRI扫描(以下分别称这些放射科医师为低经验放射科医师1、2和3)。所有放射科医师在阅片前均接受了关于该软件的简要指导。
放射科医师按照PI-RADS第2版评估扫描图像,因为本研究中使用的深度学习软件是按照PI-RADS第2版开发的。在多参数前列腺MRI中,根据PI-RADS第2版[4],外周带显示局灶性或早期对比增强的PI-RADS 3病灶升级为PI-RADS 4(即PI-RADS 3+1)。然而,由于双参数MRI中无对比增强序列可用,外周腺病灶仅使用弥散加权序列进行评分。因此,在本研究中,外周带PI-RADS 3病灶均未升级为更高评分。
在初始阅片中,放射科医师获得了包括高b值DWI在内的双参数MRI扫描,并被要求确定指数病灶(即PI-RADS评分最高的病灶,或如果≥2个病灶具有相同评分,则为最大病灶)。首先,放射科医师使用标准前列腺阅片模板[4]标记指数病灶及其PI-RADS评分。然后,向放射科医师提供叠加在T2加权图像上的DL软件决策,并要求其重新评估扫描,以判断是否改变了初始PI-RADS评分。同样,放射科医师在DL软件辅助下的PI-RADS评分记录在同一模板中。补充文件S2展示了放射科医师在有和无DL软件步骤下逐步阅读病例的过程。
全mount组织病理学与活检
所有活检程序均包括经直肠12针系统活检和3–4针MRI/超声融合引导活检(Artemis,Eigen)的组合,遵循最新证据[16]。活检和全mount标本由具有20年以上经验的泌尿生殖病理学家按照国际指南[16]进行制备和评估。Gleason评分最高的病灶被定义为指数病灶。根据2014年国际泌尿病理学会共识[17],Gleason评分≥3+4的病灶被定义为临床显著前列腺癌(PCa)。
统计分析
统计分析使用Python编程语言的SciPy库进行。连续变量以均值和标准差及最小值和最大值表示;分类变量和有序变量以频数和百分比表示。放射科医师的PI-RADS评分在扫描层面进行计算和比较。放射科医师在有和无DL软件辅助下PI-RADS评分者间一致性使用Fleiss‘ kappa评估[18];配对评分者间一致性使用线性加权Cohen’s kappa研究[19]。Kappa评分解释如下:kappa评分<20为一致性差;21–40为一致性一般;41–60为一致性中等;61–80为一致性好;81–100为一致性极好。Kappa评分按照先前工作进行比较[20]。我们计算了评估临床显著前列腺癌(csPCa)的受试者工作特征曲线下面积(AUROC),并使用DeLong检验比较AUROC。p值小于0.05被认为具有显著性。
结果
共有153名男性纳入研究,平均年龄为63.59±7.56岁(范围53–80)。这些男性的平均前列腺特异性抗原水平为6.42±3.87 ng/ml(范围2–24)。
在153名男性中,113名(75.16%)有组织病理学结果,其中45名(29.41%)经全mount病理学确定为临床显著前列腺癌(PCa),取代了活检结果;31名(20.26%)经全mount病理学(n=5,3.26%)或活检(n=26,16.99%)确定为非显著前列腺癌(PCa);39名(25.49%)经活检确定为良性疾病。其余38名男性(24.83%)MRI上PI-RADS评分≤2,且随访≥18个月无任何临床、实验室或影像学证据提示前列腺癌(PCa)(图1)。
放射科医师在有和无DL软件辅助下的评分者间一致性
放射科医师在使用和不使用深度学习(DL)时分别给出的PI-RADS评分见图2。值得注意的是,使用DL软件时,放射科医师在1/153(0.65%)、2/153(1.3%)、0/153(0%)和3/153(1.9%)的患者中改变了其初始PI-RADS评分。
不使用DL软件的放射科医师之间的Fleiss kappa评分为0.39,相当于一般一致性。使用DL软件后,放射科医师之间的Fleiss kappa评分从0.39升至0.40,差异无统计学意义(p = 0.56)。使用和不使用DL软件的放射科医师之间的两两kappa评分见图3。图4和图5显示了具有临床意义前列腺癌(csPCa)的代表性患者。
放射科医师在使用和不使用DL软件时识别csPCa的表现
不使用DL软件时,经验丰富放射科医师、经验较少放射科医师1、经验较少放射科医师2和经验较少放射科医师3的AUROC分别为0.917(95% CI 0.878–0.957)、0.847(95% CI 0.785–0.909)、0.81(95% CI 0.733–0.883)、0.782(95% CI 0.702–0.862)。独立DL软件的AUROC为0.756(95% CI 0.671–0.842)。使用DL软件时,经验丰富放射科医师、经验较少放射科医师1、经验较少放射科医师2和经验较少放射科医师3的AUROC分别为0.917(95% CI 0.878–0.957)、0.864(95% CI 0.806–0.921)、0.81(95% CI 0.733–0.883)和0.789(95% CI 0.710–0.868)。图6显示了放射科医师在使用和不使用DL软件时预测具有临床意义前列腺癌的ROC曲线。
经验丰富放射科医师和经验较少放射科医师1的AUROC显著高于DL软件(p < 0.0001和p = 0.04)。相比之下,其余经验较少放射科医师2和3的AUROC与DL软件无显著差异(p = 0.63和p = 0.23)。放射科医师在使用和不使用DL软件时识别csPCa的AUROC在放射科医师之间无差异(p > 0.05)。
讨论
本研究探讨了深度学习(DL)是否能提高不同经验水平的放射科医师在评估双参数前列腺MRI时的一致性和表现。在本研究中,放射科医师在分配双参数PI-RADS评分方面具有中等一致性,并且使用DL软件后放射科医师之间的评分者间一致性并未显著提高。总体而言,放射科医师在使用DL软件后对约1%的扫描改变了其初始PI-RADS评分,且经验≥5年的放射科医师在识别临床显著性前列腺癌(csPCa)方面表现出统计学上高于DL软件的表现。此外,DL软件并未提高放射科医师识别csPCa的表现。
在本研究中,DL软件较少使用PI-RADS 3,而主要将扫描归类为阴性或高度怀疑癌症(即PI-RADS评分≥4)。先前使用该DL软件原型版本的研究也报告了类似趋势[10, 21]。相反,在本研究中,经验丰富的放射科医师对约四分之一的患者分配了PI-RADS 3分。同样,最近一项汇总了26个中心数据的meta分析显示,约30%的病灶被放射科医师分配为PI-RADS 3分[5]。我们建议,导致DL软件仅对少数患者分配PI-RADS 3分的潜在因素以及这一倾向是否有益(例如,使患者免于不必要的活检或识别临床不显著癌症)应在未来研究中加以探讨。
经验丰富的放射科医师在识别显著性前列腺癌方面提供了0.917的AUROC,与文献一致[5, 21]。另一方面,独立DL软件表现较差,在同一任务中AUROC为0.756。此外,具有5年经验的放射科医师也表现优于DL软件,而具有3年和2年经验的放射科医师表现相似。这些发现可能暗示本研究中使用的DL软件可能处于经验≤3年的放射科医师水平,而未能达到更有经验放射科医师的表现。
乍看之下,DL软件的低表现似乎与使用同一DL软件原型版本的早期研究结果相矛盾[11, 21]。然而,先前研究是在分布内数据或包含相对简单病例的ProstateX数据上测试DL软件的。尽管我们的MRI扫描是使用同一制造商的扫描仪获得的,但对其而言可能代表分布外数据,最终损害了其表现。此外,我们的发现在某种程度上与Youn等人的研究一致,该研究作者发现DL软件原型版本的表现介于专家放射科医师和放射科住院医师之间[21]。
许多近期研究声称,深度学习(DL)在识别有临床意义的前列腺癌(PCa)方面可能超越人类放射科医生[22–26]。然而,在近期一项大规模多中心研究中,Hosseinzadeh对早期研究提出了批评,并指出较小的测试样本量以及与本地放射科医生表现的比较可能导致对DL性能的高估[27]。作者指出,那些前列腺DL模型的训练扫描量不足1千例,并指出具有专家级性能的DL模型在CT肺癌检测中需要至少≥35千例扫描的训练,在乳腺X线摄影乳腺癌检测中需要≥90例扫描[28, 29]。然而,本研究中使用的商业DL软件训练扫描量仅略高于2千例[10]。
考虑到目前DL模型是在相对较小的数据上训练的,期望达到专家级性能在当前可能过于乐观。此外,尽管在一致性方面存在缺陷,由人类放射科医生赋予的PI-RADS评分在PCa诊断中的获益比DL有更为严格的文献记录[5]。因此,我们认为,创建能够取代人类放射科医生的DL软件可能是一个更长远的目标,而设计能够在放射科医生之间改善和标准化PI-RADS评分的DL模型似乎是一个更可实现的目标[30]。
除本研究外,很少有其他研究专门探讨DL在PI-RADS评分一致性背景下的获益。例如,在其大规模研究中,Sanford等人评估了其内部深度学习模型U-net与人类专家之间的评分者间一致性[12]。作者记录了软件与专家之间中等水平的一致性。然而,与本研究不同,作者未探讨使用DL模型进行前列腺MRI阅片是否改善评分者间一致性。
Winkel等人在两项连续研究中研究了本研究所用DL软件的原型版本[10, 11]。其初步研究规模较小,仅检查了放射学报告与DL软件之间的评分者间一致性,得到的kappa值为0.42。其后续研究采用了与本研究相似的方法学,不同经验水平的放射科医生在有和无DL软件的情况下进行前列腺MRI阅片。与本研究相反,DL软件在其研究中改善了评分者间一致性。然而,作者使用PI-RADS 3和4的截断值将PI-RADS评分二分化。使用PI-RADS ≥ 3截断阈值时,DL软件使评分者间一致性从kappa 0.33提高至0.41,而使用PI-RADS ≥ 4截断阈值时则从kappa 0.22提高至0.36。
本研究存在若干应予承认的局限性。首先且最重要的是,样本量相对较小,仅涵盖来自单一三级中心的同一制造商3 T扫描仪获得的前列腺MRI扫描。
其次,我们使用了双参数MRI,因为本研究中使用的深度学习(DL)软件不使用动态对比增强图像。尽管双参数MRI的性能与多参数MRI相当[31],但包括PI-RADS[4]在内的多种指南[32–34]仍推荐多参数MRI优于双参数前列腺MRI。因此,本研究结果可能不适用于常规实践中多参数MRI常规用于患者诊疗的情况。同样,我们将PI-RADS评分1和2归为同一类别(即阴性扫描),因为DL软件不对二者进行区分。
第三,在我们的样本中,部分PI-RADS评分为1和2的患者没有组织病理学结果。尽管如此,这些患者至少有18个月的随访数据,近期大规模前列腺癌检测挑战赛[13]也采用了相同的方法。
第四,我们仅评估了DL软件是否提高检测临床显著性前列腺癌(csPCa)的诊断准确性以及不同经验放射科医师之间的一致性。我们承认这可能低估了DL在前列腺诊断中的作用。例如,DL可能有助于减少前列腺MRI阅片时间,减轻放射科医师的日常工作负担[11, 30]。
结论
与大多数早期研究相反,在市售DL软件应用于外部单中心数据时,并未改善不同经验水平放射科医师的PI-RADS评分或csPCa检测性能,这可能提示由于域偏移导致性能下降。尽管我们建议前列腺MRI从业者在临床实践中使用该版本DL软件时应考虑性能可能下降,但DL的潜在益处(如提高效率)不应被忽视。在后续研究中,我们计划在大型多中心数据上,纳入来自不同中心的更大放射科医师群体,研究DL软件在阅片效率和信心以及准确性和一致性方面的益处。此外,DL技术的进步,伴随更大且更具代表性的训练数据,可能会在未来版本中改善DL软件的性能,我们计划在未来研究中对此进行探讨。
引用
- Arslan, Alis, Erdemli, et al. Does deep learning software improve the consistency and performance of radiologists with various levels of experience in assessing bi-parametric prostate MRI? Insights Imaging. 2023. PMID: 36939953. doi:10.1186/s13244-023-01386-w
- 全文:PMC10027972(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10027972/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。