已验证的前列腺MRI深度学习系统应用于独立同厂商多机构数据:可迁移性展示
回顾性将此前双机构验证的全自动深度学习系统UNETM应用于两家外部机构的同厂商前列腺双参数MRI数据及PROSTATEx挑战赛数据,共640例检查。系统在三个队列的患者水平ROC AUC无显著差异,但在达到预期敏感度水平时需按机构重新校准概率阈值。
要点
- UNETM在外部机构A、内部匹配队列B和公共挑战数据C的患者水平ROC AUC分别为0.80、0.87、0.82,Delong检验无统计学差异。
- 在敏感度≥95%时,UNETM在A、B、C的特意度分别为30%、44%、43%;敏感度≥90%时分别为50%、71%、49%。
- 使用其他机构校准的阈值会使操作点显著漂移,达到预期敏感度需按机构重新校准概率阈值。
核心结论
- 对于同厂商检查,深度学习在本地与两个独立外部数据集之间对临床显著前列腺癌(csPCa)和非csPCa病变及检查提供了可比的判别能力,证明系统可应用于未参与模型训练的机构。
- 该系统在无需重新训练或微调的情况下在两个独立外部数据集中维持了可接受的检查水平诊断性能,但使用该系统达到预期敏感度和特意度水平需要调整概率阈值,凸显机构特定校准和质量控制的重要性。
研究设计与样本
- 回顾性研究,将此前双机构验证的全自动深度学习系统UNETM(基于U-Net架构、nnUNet框架,由五个3D和五个2D U-Net组成集成)应用于三个队列共640例检查。
- 队列A为德国杜塞尔多夫外部机构250例(自2018年1月起连续25例csPCa阳性加前25例阴性构成A-F体素级标注集,另加自2017年1月起100例阳性加100例阴性构成A-1患者级标注集),队列B为海德堡PI-RADS分布匹配的内部队列250例(取自2017年10月至2020年7月既往发表测试集,其中177例体素级标注为B-F),队列C为PROSTATEx训练集中140例平衡子集。
- 参考标准为靶向联合扩展系统MRI/经直肠US融合活检确定的ISUP Grade Group ≥ 2;MRI设备为六台Siemens Healthineers系统(Prisma 3.0T、BiographMR 3.0T、Aera 1.5T、Tim Trio 3.0T、Skyra 3.0T),按PI-RADS v2.1采集。
- 入组标准为纳入期内接受机构mpMRI并随后接受同机构MRI/TRUS融合活检;排除前列腺癌治疗史、MRI前2个月内活检或MRI后超过6个月活检、序列不完整或严重伪影或活检不完整。
关键影像表现/征象
- 病例示例显示可疑病灶在高b值DWI上呈高信号、ADC图呈中度至局灶性减低,UNETM分割与放射科医生手动分割存在中等空间一致性。
- UNETM与放射科医生标注病变的Dice系数在A-F为0.36、B-F为0.49、C为0.43。
- 在每例1个假阳性时,以放射科医生标注为参考,UNETM病变敏感度在A-F为92%(43/47)、B-F为83%(81/98);以融合真值为参考分别为80%(43/54)和73%(93/127)。
- waFROC AUC在A-F为0.67(95%CI 0.60–0.83)、B-F为0.7(95%CI 0.64–0.78),两个数据集中CNN达到与放射科医生评估相当的性能。
诊断标准与关键数值
- csPCa定义为ISUP Grade Group ≥ 2(由靶向联合扩展系统MRI/经直肠US融合活检确定)。
- 患者水平ROC AUC:A-1为0.80(95%CI 0.74–0.85)、B为0.87(95%CI 0.83–0.92)、C为0.82(95%CI 0.75–0.89),Delong检验无统计学差异(所有p ≥ 0.135)。
- 敏感度≥95%时特意度:A为30%(37/125)、B为44%(59/134)、C为43%(30/70);Fisher精确检验各数据集间无统计学差异(p > 0.08)。
- 敏感度≥90%时特意度:A-1为50%(62/125)、B为71%(95/134)、C为49%(34/70);A-1和C的特意度显著低于B(p < 0.011)。
- 放射科医生对照:PI-RADS 3时敏感度100%,特意度A-1为6%(7/125)、B为5%(7/134);PI-RADS 4时敏感度A-1为99%、B为93%,特意度分别为47%(59/125)和39%(52/134)。
临床应用与阅片要点
- UNETM在外部机构数据上维持可接受的检查水平判别能力,提示AI模型无需重新训练或微调即可在新机构部署的潜力。
- 使用系统达到预期敏感度和特意度水平需按机构重新校准概率阈值;90%敏感度目标下跨数据集阈值绝对值为0.08至0.18,95%敏感度目标下为0.04至0.09。
- 未重新校准时操作点在不同数据集间显著漂移:90%敏感度目标下实际敏感度范围74%至97%、特意度范围37%至76%;95%敏感度目标下敏感度范围89%至100%、特意度范围7%至50%。
- 在A机构250例检查中,优先使用rs-EPI序列的A-1队列ROC AUC为0.80,优先使用ss-EPI的A-2队列为0.79(p = 0.504),操作点差异微小且无统计学意义。
- 原文建议重新校准应遵循定期质量控制循环,因为即使同一机构内方案变更或转诊模式变化也可能随时间导致性能变化。
局限性
- 原文指出基于机器学习假设和既往研究结果,不能普遍假设在一个机构内训练的模型在呈现未参与训练的外部机构数据时性能保持一致,此类情况需要进一步研究。
- 原文指出PROSTATEx数据集虽提供来自不同机构的同厂商数据,但在特征描述方面有限,因为并非所有患者特征和活检细节均可获得。
- 原文指出放射科医生敏感度和特意度与两机构PI-RADS的临床性能不可比,因为平衡研究设计必然影响这些测量值,仅提供用于与深度学习性能比较。
- 原文指出在使用其他机构校准的阈值时操作点显示显著漂移,需要机构特定校准和质量控制。
全文中译13 节 · 点击展开
引言
人工智能已显示出支持前列腺MRI影像学评估的潜力,可提供可疑病灶的全自动检测和分割;即在初步开发和验证的回顾性研究中[2]、模拟部署中[3]以及使用深度迁移学习[4]时,已显示出与临床PI-RADS[1]评估相似的诊断性能。近期,一个基于U-Net[5]的深度学习(DL)模型[6](称为UNETM)在来自单一机构的806例单厂商多扫描仪(两台3.0特斯拉和一台1.5特斯拉扫描仪)检查上进行了训练,当训练扩展至包含204例额外PROSTATEx训练检查的双机构数据集时,其在682例检查的机构内测试集或PROSTATEx挑战赛[7, 8](140例测试检查)中并未得到改善。相反,与扫描仪异质性或双机构训练数据相比,增加训练集规模是性能的最重要决定因素。这些发现凸显了前列腺MRI深度学习模型的泛化能力和可迁移性,因为显然领域特定知识——至少在单厂商设置中——可以从大型但机构或扫描仪特定的数据集中很好地提取。这些发现促使在不重新训练模型的情况下在进一步的外部数据上评估模型,前提是协议和扫描仪的差异不会使卷积神经网络(CNN)无法从图像中提取相关信息。然而,基于机器学习假设和既往研究结果,不能普遍假定在一个机构内训练的模型在面对未参与训练的外部机构数据时其性能保持一致[9–11]。因此,此类情况需要进一步研究。虽然PROSTATEx数据集提供了来自不同机构的同厂商数据,但其在特征描述方面有限,因为并非所有患者特征和活检的详细信息均可获得。
本研究的目的是在不重新训练的情况下,在一个临床特征描述完善的协作机构数据集上评估UNETM的性能,该数据集通过组合平衡数量的连续临床显著前列腺癌(csPCa)阳性和csPCa阴性双参数前列腺MRI检查构建而成;同时在PROSTATEx挑战赛中先前未用于训练的平衡子集上进行评估,从而提供两个独立的外部数据集,以研究在不同实践环境中提取csPCa特定知识的成功率。此外,对弥散加权MRI序列进行了变化,以评估不同协议的影响。
材料和方法
本回顾性分析在参与机构接受mpMRI和MRI–经直肠或经会阴超声(MRI/TRUS)融合引导活检的男性中进行。所有男性均基于前列腺特异性抗原(PSA)升高或临床检查怀疑存在临床显著前列腺癌(csPCa),且无既往csPCa病史。平衡数据集按如下方式构建。
在杜塞尔多夫(A中心),机构伦理委员会批准了该研究(2020-1038),所有患者均已签署书面知情同意书,同意将数据转移至海德堡进行分析。自2018年1月起,连续识别出25例经院内靶向联合系统MRI/US融合引导活检(UroNAV,Invivo,Philips)诊断为csPCa的检查,并补充以最初25例未诊断为csPCa的检查。这些病例通过将病理报告与临床判定病灶相匹配并进行手动勾画,在体素水平上进行了完整标注,形成数据集A-F。类似地,自2017年1月起,额外识别出100例连续csPCa阳性MR检查,并补充以该时期最初100例csPCa阴性检查,仅根据活检中所见最高Gleason评分在患者水平进行标注。这些检查与数据集A-F共同构成数据集A-1。
在海德堡(B中心),机构伦理委员会批准了该研究(S-164/2019),并豁免了本地数据分析的书面知情同意要求。为形成数据集B,从先前发表的测试集[6]中提取了2017年10月至2020年7月间符合本研究纳入和排除标准的250例检查的子集,以匹配A中心数据中所见的PI-RADS分布。其中177例检查除患者水平标注外还进行了体素水平标注(数据集B-F)。
从PROSTATEx训练集(C中心)中提取所有csPCa阳性检查,进行体素水平标注,并补充以等数量的随机选取的csPCa阴性检查(数据集C,140例检查)。选择平衡设计旨在使UNETM模型能够聚焦于判别能力,而不受不同机构疾病患病率和PI-RADS可疑度的影响。
来自A中心和B中心的男性纳入标准如下:(a)在纳入期内到机构行前列腺mpMRI;(b)随后在同一机构行MRI/TRUS融合活检。排除标准为:(a)前列腺癌治疗史(抗雄激素治疗、放射治疗、局灶治疗、前列腺切除术);(b)MRI前2个月内行活检或MRI后至活检时间超过6个月;(c)序列不完整或严重MRI伪影或活检不完整。csPCa定义为国际泌尿病理学会分级≥2级[12]。
MR成像
来自合作机构的T2加权成像、扩散加权成像(DWI)和动态对比增强MRI在六台不同的MRI系统上采集(海德堡:Prisma 3.0T、BiographMR 3.0T、Aera 1.5T;杜塞尔多夫:Prisma 3.0T、Tim Trio 3.0T、Skyra 3.0T;Siemens Healthineers),成像依据PI-RADS v2.1指南进行,使用标准多通道体线圈和一体化脊柱相控阵线圈。PROSTATEx训练集检查在两种不同的扫描仪上采集(Tim Trio 3.0T、Skyra 3.0T;Siemens Healthineers),可从公开挑战赛网站获取。三个队列中使用的 prostate MRI 协议见表1。在A中心,研究期间共有两种不同的扩散序列可用,但并非每位患者均具备所有序列,部分患者接受了不止一种扩散序列。对于主要分析,优先选择读出分段回波平面成像(rs-EPI)序列,其次在可用的情况下选择单次激发回波平面成像(ss-EPI),以通过与训练时所用扩散序列不同的序列进一步对分析构成挑战。为评估扩散序列类型所导致的影响,通过反转扩散序列偏好顺序定义了数据集A-1的第二个版本,即数据集A-2,用于比较受试者工作特征(ROC)曲线下面积(AUC)和诊断操作点。
数据标注
数据集A-1的标注在A中心进行。对于数据集A-1,记录了靶向和系统活检的组织病理学信息及MR病灶信息。此外,使用医学成像交互工具包[13, 14],由一名操作者(C.E.)在一名经过委员会认证的放射科医师兼具有11年前列腺MRI经验的前列腺MRI专家(L.S.)监督下,在来自数据集A-F的50次检查上手动绘制三维感兴趣区,以分割每个可见的MR病灶。随后数据被发送至B中心进行联合分析。来自B中心的数据是先前发表的测试集[6]的子集,其标注和组织病理学信息已可用于分析。PROSTATEx训练数据先前已在B中心由一名经过委员会认证的放射科医师(D.B.)根据挑战赛提供的坐标信息进行分割。
组织病理学评估
在A中心,所有患者均接受了针对MR可见病灶的MRI/超声融合引导靶向活检,并额外接受12针经直肠系统活检(UroNAV,Invivo,Philips)。
在B中心,所有患者均按照Ginsburg协议[15]接受经会阴TRUS/MRI融合活检,系统活检针数中位数为25针。此外,每个MR可见病灶均以中位数5针进行靶向穿刺。组织病理学评估在一名经验丰富的泌尿生殖病理学家(A.S.,具有15年经验)监督下进行。
基于全自动深度学习的评估
所有检查的双参数数据,包括轴位T2加权(T2w)、可获得最高b值的DWI图像以及扩散加权成像(DWI,ss-EPI或rs-EPI)的ADC图,被输入到一个先前开发的基于U-Net架构[5]的全自动深度学习流程[6]中,该流程使用nnUNet框架[16]实现。简言之,使用由标准nnUNet启发式配置的五个3D和五个2D U-Net组成的集成模型(批大小为2,六个下采样模块,基于块的推理)在堆叠的、定量归一化的ADC图以及z-score化的T2w和DWI上预测sPC。所使用的模型(此处称为UNETM)先前已在来自B中心的806例单厂商多扫描仪(两台3.0特斯拉和一台1.5特斯拉扫描仪)检查上训练,与使用较少数据训练的模型、单扫描仪模型以及重要的是还包括PROSTATEx训练病例在内的模型相比,表现出总体最佳性能。因此,所选的UNETM模型仅在PROSTATEx测试集上进行了评估,但仅使用来自A中心的MR数据进行训练,从而将PROSTATEx训练集留作模型评估的独立外部测试集。该模型输出一个三维softmax图,为图像中每个像素指示一个0到1之间的数值,其空间方向和分辨率与T2序列相同。softmax图中的值越高,对csPCa的怀疑程度越高。为获得患者层面的预测,使用每次检查中的最高值。该流程自动执行前列腺分割、两个DWI图像序列与T2w序列的弹性配准以及裁剪作为分析的一部分。无需进一步用户交互。
病灶层面评估
对于病灶分割重叠评估,将三维softmax图以达到患者层面95%灵敏度所需的阈值进行二值化,并使用连通域分析和斑点去除进行后处理。如果病灶显示任何重叠,则认为与放射科医师共同检出。如果模型分割了病灶至少10%的体素,则认为病灶被成功检出。性能评估以临床病灶分割为标准,csPCa诊断于相应的靶向活检针道或重叠的六分区系统性活检针道(系统性增强病灶真值),或在后者基础上扩展至无病灶但系统性活检阳性的六分区(阳性六分区扩展真值,融合真值)。在后一种方法中,与临床病灶无重叠且csPCa阳性的六分区分割被添加到病灶分割集中。这避免了将csPCa直接邻近区域或仅在系统性活检中检出的csPCa远程区域中的假阳性模型预测错误计数,并对可用组织病理学信息的可能空间映射提供了重要的额外视角。
统计分析
采用患者水平的受试者工作特征(ROC)分析,对数据集A、数据集B和数据集C的全自动UNETM评估性能进行比较并绘制曲线。判别能力差异采用Delong检验进行评估[17]。通过选择相应的UNETM阈值确定各数据集在灵敏度≥ 95%和≥ 90%时的操作点,所得特异度采用Fisher精确检验[18]或McNemar检验[19]进行比较。所有统计比较均采用Holm法[20]进行多重比较校正,显著性水平为p < 0.05。同时给出PI-RADS ≥ 3和≥ 4阈值的操作点以供参考,但这些操作点被认为可比性较低,因为它们来源于不同背景下的临床评估,而非来自本研究所检查队列的评估,因此可能携带机构患病率效应,而CNN评估则是针对所有三个队列新计算的。使用R包RJafroc[21]通过自由响应受试者工作特征(FROC)分析及加权替代分析(waFROC)进行详细的病灶水平分析。选择waFROC分析是为了避免病灶较多的病例对结果产生不成比例的影响[22],并通过考虑至少有一个MRI病灶的组织病理学阴性病例比例,更好地反映MRI评估避免活检的重要性[23]。统计分析在R中实现(R版本4.0.2;R Foundation for Statistical Computing)[24]。
结果
研究样本
表1显示了检查所用的MR方案。表2显示了纳入研究的全部640次检查的人口学数据和患者特征。队列A包括250名男性,中位年龄69岁(IQR 63–76),PSA密度0.17(IQR 0.12–0.24)。队列B包括250次检查,中位年龄65岁(IQR 58–70),PSA密度0.16(IQR 0.12–0.27)。队列C包括140名男性,中位年龄65岁(IQR 60–69)。队列A和C中csPCa与非csPCa的比例为1:1,队列B为0.87:1。数据集A-1由250次检查组成,主要使用rs-EPI。A-2由相同的检查组成,但优先使用ss-EPI。数据集A-F和B-F是A-1和B的完全体素级标注子集,其中可获得病灶级Gleason评分。在数据集C(PROSTATEx)中,所有含有sPC的病灶均根据挑战赛提供的坐标进行标注。
检测csPCa的能力
全自动UNETM评估的患者级ROC AUC在数据集A-1中为0.80,在数据集B中为0.87,在数据集C中为0.82,Delong检验表明无统计学差异(所有p ≥ 0.135)(图1)。在选定的临床有用灵敏度阈值≥ 95%时,数据集A的特异度为30% [37/125],数据集B为44% [59/134],数据集C为43% [30/70]。在固定灵敏度≥ 90%时,数据集A-1的特异度为50% [62/125],数据集B为71% [95/134],数据集C为49% [34/70]。Fisher精确检验表明,在≥ 95%灵敏度阈值下,所有数据集之间的特异度无统计学差异(p > 0.08),而在≥ 90%灵敏度阈值下,数据集A-1和C的特异度显著低于数据集B(p < 0.011)(表3)。作为比较,放射科医师在PI-RADS 3时的灵敏度为100%,数据集A-1和B的特异度分别为6% [7/125]和5% [7/134]。PI-RADS 4时的灵敏度在数据集A-1中为99%,在数据集B中为93%,相应特异度分别为47% [59/125]和39% [52/134]。然而,放射科医师的灵敏度和特异度与两个机构中PI-RADS的临床性能不可比,因为平衡研究设计必然影响这些测量值。提供这些数据仅用于与深度学习性能进行比较。
病灶级评估
38%(数据集A-F)和49%(数据集B-F)的临床检出病灶PI-RADS评分为4。25%(A-F)和17%(B-F)的PI-RADS评分为5。在数据集A-F中,联合检出病灶(意图分割,ITS)的Dice系数[25]在CNN与手动分割之间为0.36。在数据集B-F中,病灶在CNN与手动分割之间的平均ITS-Dice系数为0.49。在数据集C中,CNN与手动分割之间的平均ITS-Dice系数为0.43。所有数据集获得的病灶分割示例如图2所示。图3a和b显示FROC分析。在每次检查1个假阳性时,CNN对放射科医师参考标准(3A)的病灶灵敏度在数据集A-F中为92%(43/47),在数据集B-F中为83%(81/98)。使用融合参考标准(3B)时,CNN灵敏度分别为80%(43/54)和73%(93/127)。图3C显示CNN waFROC分析,数据集A-F的AUC为0.67(95% CI 0.6–0.83),数据集B-F为0.7(95% CI 0.64–0.78)。在两个数据集中,CNN达到了与放射科医师评估相当的性能。表4显示患者级操作点的性能。图4显示数据集A和B中用于融合参考标准的六分区分割。
不同数据集中的校准阈值
将在各数据集中校准至≥90%/95%灵敏度获得的softmax阈值应用于其他数据集,显示操作点漂移(表5)。90%灵敏度目标显示性能范围为74%至97%,取决于数据集,特异度范围为37%至76%。绝对阈值范围为0.08至0.18。95%灵敏度目标显示性能范围为89%至100%,特异度范围为7%至50%,阈值范围为0.04至0.09。比较数据集A-1和A-2中改变扩散序列时的患者水平ROC性能(图5),数据集A-1的ROC AUC略高,为0.80,而数据集A-2为0.79(p = 0.504),操作点仅存在微小、不显著的差异。
讨论
对于医生和人工智能系统的供应商而言,一个重要问题是,使用来自一个或少数几个机构的数据验证和训练的人工智能系统是否可以在不作更改的情况下应用于其特定的实践环境。我们的数据进一步证实,至少在给定的单一供应商环境中,即使不重新训练外部模型,也可以从外部独立实践的双参数前列腺MRI中提取大量具有诊断决定性意义的信息。这些发现令人鼓舞,因为它们表明,对于希望建立人工智能方法的新实践站点,至少可以在事先不训练CNN模型的情况下建立可行的起始条件。
重要的是,该模型的应用需要将概率阈值重新校准到新环境。此前已有人指出,重新校准应遵循定期质量控制周期[3],因为即使在同一机构内,方案变更或转诊模式也可能导致性能随时间发生变化。后者在数据集A-1和A-2中得到展示,其中使用了不同的扩散序列,需要校准调整。当在机构之间迁移时,我们的数据显示这种效应变得更加明显,如果在目标机构不重新校准就应用阈值,将导致临床上不可接受的操作点。
虽然我们的模型在外部测试集上的整体判别能力下降未达到统计学显著性,这与AlBadawy等[11]在脑肿瘤分割以及Chen等[10]在PET/MRI增强方面的既往报道一致,但我们的发现与Kann等[9]关于CT头颈部鳞状细胞癌分类以及Wei等[26]关于组织病理学息肉分类中轻微性能退化的报道相符。所检查的深度学习系统在训练机构内于≥0.90敏感度阈值下实现了显著更好的特异度,表明在迁移过程中损失了一部分性能,而这可能通过重新训练得到纠正。尽管观察到的性能损失较小,但卷积神经网络在所有所检查的平衡数据集中的性能均处于临床PI-RADS评估[27]所报道的性能范围内,就人工平衡的非连续数据集所能确定的范围而言。然而,平衡设计允许密切比较一个深度学习系统的性能,该系统此前已在连续实践数据中建立并验证,现在在未见过的外部数据集上进行比较,而不受队列中不同病变特征的混杂影响,使我们能够将观察到的性能损失归因于图像属性和报告风格,并减轻不同患病率的影响。
根据在检查层面分析中,内部队列B在0.90灵敏度水平下观察到比队列A更高的特异度,病灶层面分析显示,在检查层面0.90和0.95截断值下,队列B每次检查的平均假阳性数均较低。然而有趣的是,这是在队列B病灶层面灵敏度低于队列A的情况下发生的,而检查层面灵敏度仍固定为0.90或0.95。队列B通过较低的病灶层面灵敏度达到相同检查层面灵敏度的这一发现,很可能归因于两家机构不同的阅片风格。在多发病灶的情况下,非指标病灶在B机构可能更不明显,因此携带sPC的频率更低,并且就整体检查层面诊断而言,这些病灶往往可被指标病灶所替代。因此,需要由DL正确识别的单个病灶比例更低,即可达到与队列A相同的检查层面灵敏度。病灶层面分析对于评估AI系统的性能很重要[28],但需要在检查层面诊断的背景下加以考虑。Dice评分本身并不必然决定病灶检测的成功,因为不同评分者往往至少对病灶的一部分达成一致,如Dice评分为0.48–0.52所报道的那样[29]。因此,虽然不同评分者的病灶边界存在差异,但即使Dice评分较低,只要存在足够的重叠,其诊断价值也可能与完全重叠相当。在队列A-F中观察到较低Dice评分,最可能是标注该数据集的评分者与在A机构标注训练数据的评分者轮廓勾画风格不同的结果。从数据来看,队列A中较低的Dice重叠既可能导致有必要降低DL系统的概率阈值从而增加假阳性数,也可能是队列A的图像属性差异足够大,以至于在B机构训练的DL算法在区分方面以及在训练机构数据中一样存在困难。FROC分析有其自身的局限性。虽然FROC分析在前列腺切除队列[30, 31]中的应用基于更明确的金标准,但在活检队列[32, 33]中的应用受限于MRI可见病灶以外区域的组织病理学信息有限。未来研究需要仔细报告该性能是如何评估的,因为其影响是可测量的。仅基于放射科医师真值比较FROC分析与融合真值比较FROC分析显示,依赖前者会导致病灶层面性能的高估,因为所有病灶层面灵敏度均下降。观察到的每次检查假阳性数下降,可解释为假定为假阳性的病灶根据六分仪方案和系统活检被重新分类为真阳性。这些病灶更可能具有更细微的影像学特征,例如PI-RADS 3,并且在保持特异度的概率阈值下更难以被DL检测到。在比较放射科医师真值与融合真值时,队列A和B之间在病灶层面灵敏度方面差距增大,很可能归因于B机构更广泛的系统活检方案,在指标病灶之外发现了更多sPC。waFROC分析能够成功校正这些差异,通过在检查层面提供一种强调sPC阴性病例重要性的方法。因此,虽然FROC曲线的总体外观是队列A在相同假阳性率下达到更高灵敏度,但这并不表明病灶层面性能更优,因为队列A中平均有更高的PI-RADS评分MR病灶被检出。因此,队列A中的操作点向右偏移,导致在相同检查层面灵敏度下具有更高灵敏度。队列B中系统活检数量增加一倍以上加上每例患者更多MR靶点,导致小癌症被诊断的可能性更高,并人为降低了标准FROC分析中的表观灵敏度,需要waFROC分析来校正队列B中每次检查更多且更细微病灶的影响。如这些发现所示,FROC分析需要在 underlying 队列的背景下仔细解读。这些比较性发现在非平衡队列中因患病率效应而无法辨别,支持了所选研究设计对于聚焦不同队列间判别性能比较的重要性。
虽然数据集A-1和A-2之间的差异仅很轻微,但有趣的是,模型似乎更倾向于rs-EPI强调的数据集A-1,而不是训练期间所见及数据集A-2中的EPI序列。这可能是rs-EPI图像质量改善[34]和气体诱导磁敏感伪影减少[35]的结果,从而导致——经验观察到的——更优的配准。
鉴于UNETM模型在两个外部队列中表现相似,似乎前列腺MRI领域在来自多台扫描仪的大规模前列腺MRI数据集上已足够明确,以至于外部同厂商数据集似乎并未对模型构成真正的域变化。相反,至少在所检查的两个外部队列中,变异性似乎得到了足够控制,未遇到会严重影响模型性能的意外噪声模式或图像纹理。然而,尽管可迁移性能似乎相当可观,但鉴于外部站点数量仍然较少且评估数据量较小,可能影响CNN在外部环境中性能的全部条件范围仍存在不确定性。这在前列腺成像背景下尤其如此,其中不遵循PI-RADSv2.1标准的情况仍然普遍[36, 37],并有可能影响诊断性能[38]。因此,需要在应用环境中继续研究已建立模型的可迁移性,以进一步支持模型在新环境中的适用性。
使用在csPCa和非csPCa样本或PI-RADS评分方面平衡的队列,CNN评估可以聚焦于机构间判别能力的直接比较,从而隔离决策问题,因为它不允许机器学习算法根据当地因素(如不同转诊模式的不同患病率)调整决策。同时,平衡队列构建的缺点是不能提供典型连续临床实践中csPCa的实际患病率,而后者已被显示约为15–38%[6, 39]。这种方法使机构间的比较同质化,因为在比较连续临床实践时会存在的患病率或PI-RADS分布差异会影响模型性能。尽管如此,不同 practice 之间的肿瘤生物学差异仍可能起作用。
我们的研究存在局限性:虽然已证明可将一个机构模型迁移至两个外部数据集,但这一概念未来仍需扩展至更大规模的多中心环境以确认研究结果。然而,逐体素标注及与靶向活检的相关性分析非常耗时。若要将CNN生成的分割用于靶向活检,还需进一步检查其与放射科医生分割之间的重叠和差异。在单一供应商环境下,队列A和B所用的MRI协议相似,且未使用DCE-MRI。队列C在成像协议方面存在已知问题,但其提供了一个可参照的常用公共领域挑战数据集,其DL性能与外部数据集A相当,这凸显了其尽管存在局限性但仍具有实用性[40]。评估为回顾性,且出于可比性考虑聚焦于构建的数据集。未来研究需要在前瞻性研究和连续实践环境中评估CNN性能,并与委员会认证放射科医生的PI-RADS及AI辅助性能进行比较,以确认和评估AI是否能在临床工作流程、诊断质量和效率方面带来可衡量的改善。研究期间的协议与PI-RADS和PI-QUAL[41]建议并不完全一致;即,在A和B两个中心中,B中心的协议在DWI序列上使用了比推荐更大的FOV。重要的是,体素大小在推荐限值范围内,在高分辨率和SNR下提供了最佳图像质量。作为前列腺MRI的经验丰富中心,B中心持续审查图像质量,并决定使用更大FOV以改善DWI的SNR,而PI-RADS推荐较小FOV的理由主要是将图像优化聚焦于前列腺并确保足够的分辨率。重要的是,根据PI-QUAL,轻微的协议偏差仍将被视为完全诊断性检查,例如,将一项优秀研究从PI-QUAL 5降至4。平衡数据导致各队列的组成与临床常规不同,可能引入偏倚。然而,所选方法在索引病灶的明显性方面形成了平衡的数据集,从而允许独立于队列特征检查DL性能以获得更好的可比性,并聚焦于DL本身的判别性能。重要的是,所评估的DL模型已在连续临床数据上开发和验证,其在该环境中的性能已知。当前研究设计优化用于评估独立于患病率的判别能力差异。所有纳入患者均接受了活检,这可能引入偏倚。然而,在A和B两家机构中,主要关注点是选择数量平衡的、组织病理学阳性和阴性的连续MR检查。因此,AI面临的是组织病理学良性与恶性病灶之间困难决策的典型表现。主要纳入极低怀疑度MRI不会同样支持我们的目标。标注由多名评估者完成;然而,所有评估者均基于书面临床报告及其附图进行标注,且其标注由经验丰富的放射科医生审查,以尽可能减少变异性。
总之,在本研究中,一个用于全自动检测和分割疑似临床显著性前列腺癌病变的深度学习系统,先前使用单中心多扫描仪数据进行训练,并在双中心多扫描仪数据上进行验证,尽管缺乏来自这些机构的训练样本,其在来自不同机构的独立外部数据集上仍表现出在单一供应商环境下的迁移能力,这表明即使数据来源于未纳入训练和验证的机构,也能从中提取大量临床相关信息。
引用
- Netzer N, Eith C, Bethge O, et al. Application of a validated prostate MRI deep learning system to independent same-vendor multi-institutional data: demonstration of transferability. Eur Radiol. 2023. PMID: 37507610. doi:10.1007/s00330-023-09882-9
- 全文:PMC10598076(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10598076/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。