不同经验阅片者手动前列腺MRI分割的学习进展研究
本研究回顾性选取G2试验中100例双参数前列腺MRI,由9名不同分割经验阅片者分割全前列腺,专家分割为参考,DSC>0.8为准确。住院医师准确率高(经验住院医师197/200,无经验住院医师200/200),新手仅194/250且个体差异大,新手各轮准确率逐步提高。作者认为住院医师用于AI数据集准备似乎安全,新手应个体化考虑。
要点
- 以DSC>0.8为准确标准,住院医师分割准确率极高(经验住院医师98%,无经验住院医师100%)。
- 新手分割准确率较低(77.6%)且个体间差异大,但随轮次反馈有学习进步。
- 前列腺中部DSC最高,尖部和底部DSC较低。
核心结论
- 放射科住院医师无论既往经验如何均表现出高分割准确率,新手个体差异更大且准确率低于住院医师。
- 为人工智能开发准备数据集时,聘用住院医师似乎安全且在成本效益与分割准确率之间提供良好平衡;聘用新手应仅个体化考虑。
研究设计与样本
- 回顾性研究,从Göteborg前列腺癌筛查2试验(G2试验)中随机选取100例双参数前列腺MRI,单中心。
- 9名阅片者:1名专家放射科医师(13年前列腺MRI经验,超过1000次分割)、2名经验住院医师(均3年前列腺MRI经验,100–200次分割)、2名无经验住院医师(无前列腺MRI经验)、4名新手(无医学图像分割经验)。
- 任务为分割整个前列腺腺体(排除精囊),仅基于轴位T2W序列逐层手动分割,使用RECOMIA软件。
- 100例分为5轮(病例1–10、11–25、26–50、51–76、76–100),3名新手仅分割前50例(3轮);每轮后与专家进行30分钟一对一反馈。
- 以专家分割为参考,采用DSC、Hausdorff距离、平均表面距离和体积差评估,DSC>0.8视为准确。
关键影像表现/征象
- 新手在全部轮次中共194/250(77.6%)准确分割,经验住院医师197/200(98%),无经验住院医师200/200(100%)。
- 新手第1轮准确19/40(47.5%),第2轮41/60(68.3%),第3轮84/100(84.0%)。
- 仅新手4在比较第1轮与第3轮平均DSC时显示统计学显著改善(p < 0.001)。
- DSC在前列腺中部最高,尖部和底部较低。
诊断标准与关键数值
- 以DSC>0.8为准确分割阈值,其余均判为不准确。
- 新手总体准确率77.6%(194/250),住院医师总体准确率99.2%(397/400)。
- 新手第1轮47.5%(19/40)、第2轮68.3%(41/60)、第3轮84.0%(84/100)。
- 新手4第1轮20.0%(2/10),第2至5轮100.0%(90/90)。
临床应用与阅片要点
- 作者认为,为人工智能开发准备数据集时,聘用放射科住院医师似乎安全且在成本效益与分割准确率之间提供良好平衡,可潜在减少专家放射科医师的工作量。
- 作者认为,聘用新手应仅个体化考虑,且由于阅片者间变异较高需谨慎。
- 分割准确率在前列腺尖部和底部较低,可能与此区域部分容积效应风险较高有关。
局限性
- 4名新手中有3名仅分割前50例。
- 仅有一名专家可用,无法纳入更多专家提供更好参考。
- 阅片者数量有限可能为研究局限。
- 所有MRI来自单一筛查人群、同一扫描仪和协议,可能限制泛化性, findings可能不适用于其他扫描仪或协议。
全文中译8 节 · 点击展开
引言
磁共振成像(MRI)已成为前列腺癌(PCa)诊疗路径中的重要工具[1, 2],临床实践中MRI检查的数量正在快速增长[3, 4]。在不同场景下,前列腺腺体的分割是有价值的,例如在融合活检前和局部放疗前[5–7]。分割可用于前列腺体积估算,而这是计算前列腺特异性抗原密度时的前提条件[8]。分割可手动完成,通常需要放射科医生的专业知识,但自动化分割软件也已可供使用[9–11]。
手动分割耗时且即使在专家之间也容易出现读者间变异[12–14]。人工智能(AI)在提高手动前列腺MRI分割速度方面显示出前景[15, 16]。然而,获取可靠的自动化分割AI算法需要大量高质量训练数据[17]。专家放射科医生最有资格生成此类高质量训练数据,但鉴于所需的大量时间投入,考虑纳入经验较少的读者可能是值得的,但这可能降低整体数据质量[18]。
尽管已有数项研究探讨了前列腺分割的读者间变异,但据我们所知,尚无研究调查针对不同经验水平读者的持续反馈学习率[13, 14]。本研究旨在描绘经验较少读者在前列腺MRI分割中的学习进展。
材料与方法
伦理考量
本研究经瑞典伦理审查局批准,注册号为2019–04453。
图像数据
从正在进行的哥德堡前列腺癌筛查2试验(G2试验)中回顾性选取了100例双参数前列腺MRI扫描。该研究人群由约40,000名50–60岁男性组成,招募自哥德堡及周边六个市镇。G2试验在其他文献中有详细描述[19]。所有受试者在纳入G2试验前均获得了书面知情同意。本研究使用的MRI扫描为2017年1月1日至2019年3月22日期间随机选取纳入研究的。扫描方案包括根据PI-RADS v2.1指南[20]进行的三个正交平面T2加权(T2W)成像和轴平面弥散加权成像(DWI)。用于手动分割的轴位T2W图像采集参数为:视野180 × 180 mm²,采集矩阵200 × 212,层厚1.5 mm。所有检查均使用同一台Philips Achieva dStream 3-T MRI扫描仪完成。由专家放射科医生判定图像质量是否合格或该病例是否应被排除。
读者
共有九名分割经验程度不一的读者参与:一名专家放射科医师(“专家”,拥有13年前列腺MRI经验及超过1000例前列腺MRI分割经验)、两名经验丰富的放射科住院医师(“经验丰富的住院医师”,均有3年前列腺MRI经验及100–200例前列腺MRI分割经验)、两名经验不足的放射科住院医师(“经验不足的住院医师”,无前列腺MRI经验)以及四名经验不足的医学生(“新手”,无医学图像分割经验)。经验丰富的住院医师均处于住院医师培训第3年,经验不足的住院医师分别处于住院医师培训第1年和第5年,而新手则处于医学院第5年。
放射科医师在工作时间进行分割。其中一名新手(新手4)在其医学院最后一年作为其硕士论文的一部分参与了本研究。
分割流程
所有MRI图像均已匿名化,未向读者提供任何临床或技术图像信息。任务为分割整个前列腺腺体,排除精囊。所有采集的MRI序列均可供读者使用,但逐层手动分割仅在轴位T2W序列上进行,该序列包含44至60层。使用分割软件RECOMIA [21]。读者事先接受了关于软件使用的口头和书面指导。仅一名读者(经验丰富的住院医师1)此前使用过该软件,曾分割约100例前列腺病例。研究前,所有读者均未接受过来自专家的前列腺分割培训或反馈。经验不足的住院医师或新手在研究前均未参加过讲座、课程或类似的理论培训。读者可自由使用其他可获得的资源。专家分割了全部100例MRI扫描,这些分割被指定为参考。100例MRI扫描被分为五个分割轮次(见表1)。所有病例由所有读者按相同顺序进行分割。五名读者分割了全部病例,而三名读者(新手1–3)仅分割了前50例(第1–3轮)。每轮结束后,专家与读者通过计算机屏幕共享在线进行30分钟一对一的反馈会议。所有反馈会议均以瑞典语进行,所有读者均为瑞典语母语者。每次反馈会议前,专家会获得其本人的分割(“参考”)和读者的分割,非重叠部分在RECOMIA软件中以高亮显示(见图1)。专家选择三至五个病例,对读者的标注提供视觉和口头反馈,并指出系统性错误及下一轮的潜在改进方向。下一轮在上一轮反馈会议结束后立即开始。每名读者记录每个病例所花费的时间。
评估与统计分析
使用了四种不同的评价指标:Dice相似系数(DSC)、Hausdorff距离(HD)、平均表面距离(ASD)和体积差(VD)。DSC是一种相似性指标,测量一对图像分割之间重叠像素的比例。DSC是最广泛使用的评价指标,因此图和表的比较重点放在DSC上。就本研究而言,我们将DSC高于0.8的分割视为准确,其他所有分割视为不准确,而不考虑其他指标,与其他文献[13, 14]的做法一致。HD和ASD是不相似性指标,分别描述分割边缘之间的最长距离和平均距离[22]。分割之间的VD以相对于专家的百分比表示。根据专家的分割,前列腺在纵向上还被分为切片数量相等的三个部分,并在称为底部、中部和尖部的三个部分中测量准确度。
使用SPSS(版本29.0)通过独立t检验,对所有个体读者分别进行第1轮和第3轮之间平均DSC的比较,以评估DSC是否发生任何变化。p值低于0.05视为显著。
由于读者数量有限,未进行额外的统计分析。
结果
患者年龄中位数为57岁[范围50–63岁],患者前列腺特异性抗原水平中位数为3.3 ng/mL[范围1.8–29 ng/mL],由专家读者确定的MRI前列腺腺体中位体积为39 cm3[范围16–198 cm3]。一例因双侧髋关节假体产生过多伪影而被排除。该例被另一随机选取的病例替换。
图2显示了所有读者和所有病例的DSC,图3总结了所有读者和所有病例的DSC。从图2的图中可以看出,新手之间的变异大于住院医师之间的变异。除第1轮的新手外,所有读者组的中位DSC均高于0.8。新手共有194/250(77.6%)次准确(DSC > 0.8)分割。经验不足的住院医师共有200/200(100%)次准确分割,经验丰富的住院医师有197/200(98%)次准确分割。在第1轮中,新手有19/40(47.5%)次准确分割,第2轮为41/60(68.3%),第3轮为84/100(84.0%),表明有学习进步,这也可以从图中看出。新手4在第1轮有2/10(20.0%)次准确分割,在第2至第5轮为90/90(100.0%)。
表2总结了所有读者在所有轮次中四种评价指标的全部结果。当分别比较所有读者第1轮和第3轮的平均DSC时,只有新手4显示出统计学显著的改善(p < 0.001;见表3)。每位读者每轮在每个病例上花费的平均时间见表3。
如图4所示,DSC在中部最高,在尖部和底部较低。
讨论
我们研究了不同经验水平阅片者进行前列腺MRI分割的学习进展。我们的结果表明,本研究中的放射科住院医师无论先前经验如何,除三例以外所有分割的DSC均高于0.8,即与专家高度相似。这些结果的主要意义在于,似乎可以安全地雇用放射科住院医师创建可用作自动前列腺分割模型训练数据的数据标签。在新手中存在很大差异,新手4表现突出,在第2至第5轮中没有低于0.8的分割,可能是由于高度积极性。这表明雇用新手应仅根据个体情况考虑。
据我们所知,此前仅有两项研究深入探讨了前列腺手工分割性能的各个方面。Becker等研究了六名阅片者在不同前列腺带内的阅片者间变异性,而Montagne等考察了前列腺形态学及前列腺分割的阅片者间变异性的影响[13, 14]。Montagne等观察到,经验水平越高与阅片者间变异性降低之间存在显著关联。在全腺体前列腺分割中,Montagne等报告放射科医师的平均阅片者间DSC为0.92,Becker等报告为0.86,这些结果与本研究中放射科住院医师中位DSC为0.92的结果高度一致。这表明本研究中的住院医师所达到的准确度水平与上述两项既往研究中放射科医师的水平相当。与自动化方法相比,Jimenez-Pastor等在全腺体分割中获得的DSC为0.88,与本研究中住院医师的结果相似[23]。
每位阅片者用于每个病例的平均时间差异很大,范围约为7至33分钟。分割时间的差异可由经验、积极性和仔细程度等多种因素解释,但这些因素在本研究中未进一步分析。
所有阅片者的中位DSC在尖部和底部较低,在中腺部较高,这与Becker等和Montagne等的结果一致[13, 14]。尖部和底部分割困难的一个原因可能是,由于分割使用的是轴位图像,这些区域发生部分容积效应的风险较高。提高尖部和底部分割准确度的一种可能方法是同时使用矢状位和冠状位图像进行分割,尽管这更为耗时。
在评估分割准确度时,目标是识别具有临床意义的分割误差,即对患者诊断或治疗有影响的误差。理想情况下,应有一种单一的定量指标能够反映比较分割所需的所有相关信息,但不同指标往往反映略有不同的分割误差。因此,本研究使用了四种不同的指标,但重点放在DSC上。确定每种指标对应于临床充分或可接受分割的水平是另一个问题。我们将DSC高于0.8视为“准确”,与其他文献中的做法一致[13, 14]。另外三项指标显示出与DSC相似的趋势,支持选择DSC作为主要结局指标。
本研究的一个优势在于,所有检查均来自单一前列腺癌(PCa)筛查人群(G2试验),且所有MRI扫描均使用同一扫描仪和同一方案采集。在研究前列腺分割的学习进展时,这可被视为一个优势,因为它降低了其他因素对结果产生虚假影响的风险。然而,这可能限制研究的普适性,我们的发现未必能推广至其他扫描仪或其他扫描方案采集的图像。分割在相同条件下进行,且所有阅片者以同等方式接受同一专家的反馈,这是本研究的另一优势。
本研究的局限性在于,四名新手中有三名仅分割了前50例。尽管如此,我们相信50例的数据提供了关于新手在前列腺分割方面进展速度有限的重要信息。
在本研究中纳入更多专家本可为评估和比较非专家提供更好的参考。然而,在本研究中仅有一名专家可用,这是本研究的一个潜在弱点。
我们有大量病例供读者分割,但读者数量有限可能是本研究的一个局限性。
在不久的将来,我们将不得不依赖准确的手动分割来训练深度神经网络,直到我们拥有能够为我们提供此类分割的算法。在开发这些算法的过程中,训练和激励将是这一努力中的垫脚石。
放射科住院医师,无论先前经验如何,均表现出较高的分割准确度。
与放射科住院医师相比,新手表现出更大的个体间差异和较低的分割准确度。为人工智能开发准备数据集时,在初步介绍和评估之后,聘用放射科住院医师似乎是安全的,持续反馈可能在成本效益和分割准确度之间提供良好的平衡。聘用新手应仅根据个体情况考虑,但与更有经验的读者相比,由于读者间变异性更高,应有所谨慎。
引用
- Langkilde F, Masaba P, Edenbrandt L, et al. Manual prostate MRI segmentation by readers with different experience: a study of the learning progress. Eur Radiol. 2024. PMID: 38165432. doi:10.1007/s00330-023-10515-4
- 全文:PMC11213744(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11213744/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。