人工智能辅助软件检测mpMRI可见临床显著前列腺癌的多中心研究
这项多中心回顾性交叉对照研究纳入480例mpMRI和349个可见csPCa病灶,16名放射科医生分别在有/无AI辅助下阅片。AI辅助将病灶级敏感度从40.1%提高到59.0%,患者级特异度从57.7%提高到71.7%,并缩短阅片时间、提升诊断信心。
要点
- AI辅助可显著提高病灶级敏感度(40.1%→59.0%)和患者级特异度(57.7%→71.7%)。
- AI辅助不降低患者级敏感度(88.3% vs. 93.9%,p=0.06),并减少假阳性患者。
- AI辅助将每例中位阅片报告时间从423秒缩短至185秒(减少56.3%)。
核心结论
- AI软件可提高放射科医生检测MRI可见csPCa的病灶级敏感度和患者级特异度,同时缩短阅片报告时间并提升诊断信心。
研究设计与样本
- 多中心回顾性自身交叉对照研究,纳入480例mpMRI(来自3家医院、11台不同MR设备),含349个MRI可见csPCa病灶(180例,37.5%)。
- 16名来自4家医院的放射科医生(前列腺mpMRI经验1–5年)参与,每人随机分配30例,分两次间隔4周交叉使用有无AI模式阅片。
- 参考标准为系统穿刺联合靶向穿刺的组合病理,阳性定义为Gleason评分≥7或Gleason 3+3且体积≥0.5 cc。
诊断标准与关键数值
- 病灶级平均敏感度:无AI 40.1%,有AI 59.0%(提高18.9%,95%CI [11.5, 26.1],p<0.001)。
- 患者级平均特异度:无AI 57.7%,有AI 71.7%(提高14.0%,95%CI [6.4, 21.4],p<0.001)。
- 患者级平均敏感度:无AI 88.3%,有AI 93.9%(p=0.06,差异无统计学意义)。
- 每例中位阅片报告时间:无AI 423秒,有AI 185秒(减少238秒,95%CI [219, 260],p<0.001),降低56.3%。
- 中位诊断信心评分:无AI 3.9,有AI 4.3(提高0.4分,95%CI [0.3, 0.5],p<0.001),提升10.3%。
临床应用与阅片要点
- AI辅助可帮助放射科医生发现更多MRI可见csPCa病灶,尤其对经验较少者(1–5年)仍能显著提升诊断效能。
- AI辅助提高患者级特异度,有助于减少不必要的穿刺活检。
- AI嵌入结构化报告流程可缩短整体报告时间,但AI结果需医生自行批准、拒绝或修改。
局限性
- 回顾性研究,需前瞻性研究进一步验证。
- 参考标准基于认知融合穿刺,存在靶向误差风险,标注可能存在偏倚,缺乏全mountstep切片病理验证。
- 读者经验差异大且每例仅由一名医生评估,无法分析读者间一致性。
- 数据集存在不均衡(如医院间病例分期差异、约5%为1.5T扫描),且排除了图像质量差及明显包膜外侵犯/转移病例。
全文中译13 节 · 点击展开
引言
多参数磁共振成像(mpMRI)作为一种无创分诊工具,不仅能检出临床显著性前列腺癌(csPCa)病灶,还能提供局部区域分期和活检的信息[1–3]。结合血清前列腺特异性抗原(PSA)检测,“MRI诊断路径”[4]可能有望减少过度活检[5]以及随之而来的对惰性病变的过度治疗[6]。因此,欧洲泌尿外科学会推荐将mpMRI作为前列腺癌初次诊断流程的主干,以恰当识别适合接受影像引导活检的候选者[7]。
前列腺影像报告和数据系统(PI-RADS)[8]已推出,用以指导前列腺mpMRI的标准化采集、判读和报告流程[9]。如荟萃分析[10]所示,PI-RADS第2版在检出可见csPCa方面的合并敏感度为0.89、特异度为0.73。由于约半数肿瘤病灶在MRI上不可见,病灶水平的检出敏感度要低得多[11, 12]。即使对于可见病灶,由于评分者间和评分者内变异度高,PI-RADS的表现也并不理想,且需要高度专业知识[13–16]。
近年来,许多基于mpMRI的计算机辅助检测(CAD)系统在前列腺癌诊断中表现出良好性能[17]。CAD系统可提升放射科医师的诊断性能并减少判读不一致。许多研究[18–21]提示,基于人工智能(AI)的CAD系统在csPCa检出方面具有潜在临床实用性。然而,这些研究报告的CAD系统性能可能具有数据集特异性,其泛化性,即在外部数据集上的性能,尚未得到充分研究。为此,在将CAD系统应用于放射科医师工作流程之前,有必要在多中心、多厂商的临床环境中进行外部验证。
在本研究中,将先前训练的AI算法嵌入专有的结构化报告软件,放射科医师模拟其真实工作场景,使用该基于AI的软件对每个病例的PI-RADS分类进行判读和报告。本研究旨在比较放射科医师在使用和不使用基于AI软件的情况下,在MRI上检出MRI可见csPCa的诊断性能、判读和报告时间以及诊断信心。
材料与方法
来自四家医院的放射科医师参与了本研究。mpMRI图像从三家医院回顾性收集。先前的AI模型开发未使用本研究的任何数据。
研究数据集
我们收集了来自三家医院(北京大学第一医院、大连医科大学附属第二医院和福建医科大学附属协和医院)2017年6月至2018年8月期间的mpMRI图像。所有患者均有前列腺mpMRI检查的临床指征,在mpMRI检查后接受了经直肠超声(TRUS)引导的系统性(12针或6针)和靶向活检,且检查前未进行任何前列腺癌相关治疗。四家医院共使用11台不同的MR扫描仪采集前列腺mpMRI。mpMRI的详细方案见表1。同时收集了相关临床信息,包括PSA值、病理结果和临床随访结果。排除标准为:(a)图像质量不合格;(b)病例显示明显的包膜外延伸、弥漫性盆腔淋巴结肿大和/或骨转移;(c)mpMRI图像与病理结果不匹配,包括影像上不可见的癌症以及影像显示癌症但病理阴性的情况。
参考标准
由系统性活检和靶向活检共同构建联合病理[22]作为参考标准。来自三家医院共12名专职泌尿外科医师(前列腺活检经验10–35年)使用各自硬件设备,采用以下相同的活检技术进行前列腺活检,即双平面B超(LOGIQ E9,GE;EPIQ 7,Philips;Hivision Ascendus,Hitachi;RS80A,Samsung)、经直肠探头及相应的穿刺针枪。系统性活检采用12针或6针穿刺活检。靶向活检方面,根据专职泌尿生殖放射科医师在临床常规工作中编制的结构化报告,将可疑恶性病灶标记在前列腺分区图[23]上进行靶向活检。活检前至少一名泌尿外科医师和一名泌尿生殖放射科医师在多学科会议上审阅MR图像,以确保可疑病灶的准确定位。进行活检时,泌尿外科医师对每个可疑病灶额外加穿一个针芯(2至5针)。共9名专职泌尿生殖病理科医师(前列腺病理判读经验8至30年)分析并记录每个标本的组织病理学。阴性病例的标准为活检阴性且临床随访超过一年无前列腺癌。阳性病例的标准为病理阳性且Gleason评分≥7,或Gleason评分3+3且体积≥0.5 cc。对于阳性病例,两名泌尿放射科医师(Z.S.和X.W.,分别具有4年和30年前列腺MRI诊断经验)将每个csPCa病灶的病理ground truth映射至弥散加权成像,并达成共识进行标注。使用开源软件ITK-SNAP [24](版本3.8.0 2019;可从www.itksnap.org获取)标注肿瘤病灶。
AI软件描述
本研究使用了一种基于深度学习的专有AI软件。该软件由四个AI模型组成:(i)MRI序列分类,(ii)前列腺分割与测量[25],(iii)前列腺带区解剖分割,(iv)临床显著前列腺癌(csPCa)病灶分割与测量。附加文件1显示了该AI软件开发和性能的详细信息。各模型依次执行,结果自动输入PI-RADS结构化报告[26]。
使用结构化报告软件进行报告
来自四家医院(北京大学第一医院、大连医科大学附属第二医院、福建医科大学附属协和医院和四川大学华西医院)的16名放射科医师(具有1–5年前列腺多参数MRI(mpMRI)判读经验)被邀请作为读片者。他们熟悉PI-RADS(2.1版)指南,并在实际工作中遵循该指南。其中6人具有超过100例的经验,2人具有50–100例的经验,其余8名放射科医师具有少于50例的经验。读片者对所有患者的临床信息均设盲。我们使用结构化报告软件判读并记录结果。研究开始前,他们使用研究数据之外的80例练习病例接受了使用报告软件的培训。每位读片者有5例练习病例,其中2例在AI辅助下判读,3例无AI辅助判读。图1展示了使用结构化报告软件的仅读片者模式和读片者-AI模式的流程。
仅读片者模式包括四个步骤。第一步测量前列腺的径线。读片者测量前列腺的横径、前后径和头尾径。第二步是检测并测量可疑病灶。读片者记录最多四个最大的PI-RADS ≥ 3病灶。他们记录位置,测量最大径,并给每个病灶赋予PI-RADS评分。第三步评估其他发现。读片者按照其临床实践记录其他发现,包括周围结构侵犯和其他良性发现。第四步给出总体印象。读片者总结所有发现并给出整体表述。读片者以5分制对每个病例的诊断信心进行评分(1 ≤ 25%,2 = 25–50%,3 = 50–75%,4 = 75–90%,5 ≥ 90%)[27]。每个病例的判读和报告时间由软件自动记录。
读片者-AI模式遵循相同流程;唯一区别是在第一步和第二步中有AI帮助。当读片者打开患者列表时,前列腺和可疑病灶已由AI软件标注并高亮显示。读片者可自行决定批准、拒绝或修改AI发现。
PI-RADS评分大于或等于3的病灶被视为csPCa病灶阳性。至少有一个阳性csPCa病灶的患者被视为阳性,没有csPCa病灶的患者被视为阴性。
交叉判读方法
将480例病例随机分为两组:A组和B组。我们将两组病例分配给16名读片者,即每位读片者接收30例,其中A组15例,B组15例。
阅读研究在两次阅读会话中进行,间隔为四周。在第一次阅读会话中,A组病例采用Reader-AI模式阅读,而B组病例采用仅阅片者(Reader-only)模式阅读。在第二次阅读会话中,A组病例采用仅阅片者模式阅读,而B组病例采用Reader-AI模式阅读。交叉阅读流程见图2。
统计分析
所有统计检验均使用R 4.2.0(Comprehensive R Archive Network,www.r-project.org)进行。定量变量中,正态分布数据以均值(标准差)表示,非正态分布数据以中位数[最小值,最大值]表示。分类变量以绝对频数(相对频数)表示。计算两种阅读模式下所有16名放射科医师的平均病灶水平灵敏度、患者水平灵敏度和特异度及其95%置信区间(CI),然后采用卡方检验进行比较。中位阅读和报告时间及诊断信心采用Wilcoxon秩和检验进行比较。所有统计检验均为双尾检验,统计学显著性水平为5%。
结果
临床特征
本研究共纳入480例病例,血清总PSA值为7.69 [0.150, 100] ng/ml。共180例(37.5%)被证实为临床显著前列腺癌(csPCa),伴有349个MRI可见的csPCa病灶。在180例阳性病例中,39例病灶仅位于外周带,28例病灶仅位于移行带,113例病灶同时位于外周带和移行带。病灶体积通过将参考标准标注区域内的像素体积求和计算。MRI可见csPCa病灶的中位体积为2.0 [1.0, 4.8] cm3。纳入病例的临床和人口学特征见表2。
Reader-AI与仅阅片者的性能
表3显示了Reader-AI和仅阅片者的性能。Reader-AI检测到302个可疑病灶,其中206个(68.2%)被证实为真阳性病灶。仅阅片者检测到304个可疑病灶,其中140个(46.5%)被证实为真阳性病灶。在患者诊断方面,Reader-AI和仅阅片者分别检测到168例(66.1%)和159例(55.8%)真阳性患者。
表4显示了两种阅读模式下阅片者诊断性能的比较。在病灶水平上,平均灵敏度从仅阅片者的40.1%提高至Reader-AI的59.0%(提高18.9%;95% CI [11.5, 26.1];p < 0.001)。在患者水平上,AI的使用使放射科医师的平均特异度从57.7%提高至71.7%(提高14.0%,95% CI [6.4, 21.4];p < 0.001),同时保持了灵敏度(仅阅片者为88.3%,Reader-AI为93.9%,p = 0.06)。
阅读和报告时间及诊断信心
两例阅读时间记录缺失。在人工智能辅助流程下,一例的中位阅读与报告时间从423秒降至185秒,减少了56.3%(减少238秒,95% CI [219, 260];p < 0.001)(图3A)。在人工智能辅助流程下,中位诊断信心从3.9提高至4.3,提高了10.3%(评分增加0.4,95% CI [0.3, 0.5];p < 0.001)(图3B)。
讨论
在这项多中心外部验证研究中,结果表明,人工智能软件在检测MRI可见的临床显著前列腺癌(csPCa)时,显著提高了阅片者在病灶水平和患者水平的特异度,同时保持了患者水平的敏感度。同时,在人工智能的帮助下,放射科医师缩短了平均阅读与报告时间,并提高了诊断信心。
近年来,许多研究[28]强调了人工智能在mpMRI中检测csPCa的独立性能具有良好的前景。一些研究者进一步尝试探讨人工智能辅助阅片如何有助于放射科医师对前列腺MRI的解读。几项研究[26, 29–31]发现,计算机辅助诊断(CAD)辅助阅片提高了患者水平和/或病灶水平的敏感度,但放射科医师中的特异度被牺牲或未发生改变。然而,Niaf等人的研究[32]显示,CAD可以提高外周带病灶的分类特异度,但不能提高敏感度。我们研究的主要发现是,在有AI软件辅助时,放射科医师对检测MRI可见的csPCa病灶的敏感度显著高于无辅助时,并且其患者水平特异度也升高,同时未损害患者水平敏感度。结果差异可能源于外部验证数据集、病例/病灶数量以及扫描仪参数的差异。值得注意的是,大多数既往研究基于同质数据提供结果,并提出使用外部数据集开展多中心和多厂商研究的必要性。
与我们的研究类似,Winkel等人[33]开展了一项研究,使用PROSTATEx Challenge[34]中公开可用的数据集,验证其前列腺癌CAD系统对七名放射科医师解读的价值。他们的研究使用了外部数据集,但数据本质上是来自两种不同类型西门子3 T MR扫描仪(即MAGNETOM Trio和Skyra)的同质数据。我们研究的优势在于,外部数据收集自三家不同的医疗机构。mpMRI图像使用总共11种不同的MR设备采集,扫描参数存在一些差异。因此,数据高度异质,这对AI算法是一项具有挑战性的任务。
在这项回顾性研究中,临床显著性前列腺癌(csPCa)的前列腺癌患病率为37.5%。尽管在真实世界场景中不如前瞻性研究理想,但我们收集的数据集是合理的文献平均值,能够反映真实世界数据集的情况。然而,3家医院之间存在数据差异。一方面,医院2和医院3的病例比医院1更为晚期。另一方面,大多数患者在3 T扫描仪上接受检查,而约5%的患者在1.5 T扫描仪上接受检查。这可能与这些医院之间不同的临床方案有关。尽管存在上述不平衡,但这表明我们的真实世界数据集模拟了真实临床场景,且AI软件能够应对这些不平衡,为未来前瞻性研究奠定了基础。
多项研究[30, 35]评估了计算机辅助诊断(CAD)系统对经验较少和经验丰富的读片者在多参数磁共振成像(mpMRI)判读中的影响。CAD系统可显著提高经验较少读片者的表现,使其达到专家级水平。在本研究中,16名读片者来自4家医院,其诊断经验差异很大(1至5年经验)。每位读片者获得的判读病例来自其所在医院和其他医院。因此,对每位读片者而言,数据具有异质性且不熟悉。即便如此,本研究结果仍显示使用AI可显著提高诊断效能,表明本研究所使用的AI软件具有强大的泛化能力。
在本研究中,仅读片者(Reader-only)模式的患者水平敏感度为88.3%,在读片者-AI(Reader-AI)模式下提高至93.9%(p = 0.06)。尽管患者水平敏感度差异未达到统计学显著性,我们推测未来研究通过增加样本量可能会观察到该差异。关于数据,Reader-only模式对MRI可见csPCa病灶检出的敏感度为40.1%,采用Reader-AI流程后显著提高至59.0%(p < 0.001)。同时,Reader-AI模式的患者水平特异度有所改善(57.7% vs. 71.7%,p < 0.001),这有助于避免不必要的活检。一些研究表明,人类自身检测大病灶的能力通常已足够[36, 37],且AI软件对放射科医师没有额外帮助[26]。因此,我们排除了具有明显病灶的病例以及晚期癌症病例,即明显的包膜外侵犯、弥漫性盆腔淋巴结肿大和/或骨转移。省略这些病例可能导致对Reader-only诊断性能的低估。我们的研究结果表明,在AI帮助下,放射科医师检测困难病灶的能力显著提高。鉴于Reader-AI模式在检测MRI可见csPCa病灶方面的显著改善,AI辅助结果在指导活检定位方面具有更大价值。
在我们的研究中,Reader-AI 模式下观察到诊断时间显著缩短。尽管如此,我们研究的总体诊断时间仍长于既往报道 [29, 33]。与既往仅记录前列腺癌检出时间的研究不同,我们的阅片流程记录了完整前列腺解读报告的时间。PI-RADS 指南推荐结构化前列腺报告,包括前列腺体积测量、可疑病灶的检出、测量、表征和定位,以及整个盆腔的其他发现。尽管我们的 AI 软件仅辅助了部分工作流程,但我们可以看到整体报告效率已得到提高,这表明将 AI 嵌入结构化报告是提高临床实践效率的良好方法。
本研究存在明显局限性。首先,本研究为回顾性研究,前瞻性研究具有更大价值。其次,参考标准基于认知融合活检,其靶向误差风险高于软件融合,因此这显然是一个局限性。因此,参考标准的标注可能存在偏倚。并且缺乏对 MR 图像与病理不匹配数据的分析。以全mount连续切片病理作为参考标准获得的结果更为可信。第三,阅片者经验差异较大;因此,难以进行分层分析。由于每个病例仅由一名阅片者评估,所有阅片者之间的一致性也未进行分析。尽管有 16 名放射科医师,但每名放射科医师仅阅读了 30 例病例。如果所有放射科医师阅读所有病例会更好。第四,数据集存在严重不平衡。最后但同样重要的是,我们排除了图像质量差的数据,这些数据在日常工作中也应进行分析。
总之,这项多中心、自身交叉对照研究表明,AI 软件在高质量真实世界数据集中测试时,通过减少假阳性患者的检出,并改善阅片和报告时间及诊断信心,提高了放射科医师的诊断性能。
补充信息
附加文件 1:关于 AI 软件开发和性能的信息。
引用
- Sun, Wang, Kong, et al. A multicenter study of artificial intelligence-aided software for detecting visible clinically significant prostate cancer on mpMRI. Insights Imaging. 2023. PMID: 37121983. doi:10.1186/s13244-023-01421-w
- 全文:PMC10149551(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10149551/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。