多学科共识前列腺磁共振成像轮廓:用于人工智能基准测试的教育图谱与参考标准
该研究由多学科专家小组对68例前列腺MRI进行共识分割,建立参考标准数据集,并评估6种AI工具的分割性能。结果显示,最佳AI工具的中位Dice评分为0.94,表面平均误差约1.3mm,但所有工具在某些病例中仍会出现临床有意义的误差,医生的审核仍然必要。
要点
- 共识参考标准数据集包含68例前列腺MRI,来自6个中心,使用3台3T扫描仪(2个厂商)。
- 6种AI工具的全前列腺中位Dice评分范围为0.80至0.94,主体腺体中位Dice评分为0.83至0.95。
- 最佳AI工具的表面平均误差为1.3mm,最差为2.4mm;体积误差中位范围为4.3%至31.4%。
核心结论
- 研究建立了由多学科专家共识确定的前列腺MRI分割参考标准数据集,并基于此评估了6种AI工具。
- 最佳AI工具的中位Dice评分为0.94,表面平均误差为1.3mm,可能临床上可接受,且比文献报道的放疗医生在CT上勾画的准确性更高。
- 所有AI工具在某些病例中会出现临床有意义的误差,医生的审核仍然是必要的。
研究设计与样本
- 研究为参考标准数据集构建与AI工具评估研究,数据来自6个机构的68例前列腺多参数MRI病例。
- 参考标准由4名专家(2名泌尿生殖放射科医生和2名前列腺放射肿瘤科医生)对轴位T2加权序列进行逐层共识分割。
- 评估了6种AI工具(3种商业可用和3种学术机构开发)的分割性能,指标包括Dice评分、与参考轮廓的距离和体积误差。
关键影像表现/征象
- 前列腺边界不确定性最大的部位是确定包含前列腺的最低层面(下界),其次为基底部,尖部有时也需更多时间确认。
- 有时难以区分背静脉丛与前列腺,尤其是在静脉丛向后延伸时;后外侧边界处有时难以区分神经血管束与前列腺。
- 3.0mm层厚的部分容积效应是导致分割不确定性的最常见原因,但通常对整体轮廓形状影响较小。
诊断标准与关键数值
- 全前列腺中位Dice评分范围为0.80(0.72–0.85)至0.94(0.92–0.95)。
- 主体腺体中位Dice评分范围为0.83(0.75–0.87)至0.95(0.95–0.96)。
- 表面平均误差中位范围为1.3mm(1.2–1.5)至2.4mm(2.1–2.8)。
- 体积相对差异中位范围为4.3%(2.3%–7.7%)至31.4%(22.2%–43.8%)。
- 最佳模型最大外误差中位为3.0mm(2.0–4.0),最大内误差中位为3.0mm(2.8–4.5);最差模型最大外误差中位为9.4mm(6.7–12.5),最大内误差中位为8.5mm(6.8–9.3)。
临床应用与阅片要点
- 作者指出,最佳AI工具的中位Dice评分为0.94,表面平均误差为1.3mm,可能临床上可接受,且比文献报道的放疗医生在CT上勾画的准确性更高。
- 作者指出,即使最佳模型也有患者体积误差>10%,提示当前这些工具需要医生监督。
- 作者指出,若认为>2.0mm的误差重要,则没有AI工具无需人工审核和修改就能普遍给出足够准确的结果用于放疗。
- 作者指出,医生的审核仍然是必要的,因为所有AI工具在某些病例中会出现临床有意义的误差。
- 作者指出,对最佳模型轮廓的定性审查发现,75%无需修改即临床可接受,其余25%需要修改(常位于尖部)才能临床可接受。
局限性
- 没有纯客观的方法验证体内前列腺的精确边界,因此专家共识是所能达到的最佳标准。
- 前列腺MRI采集方案因中心/扫描仪而异,研究通过纳入6个中心、2个厂商、3种扫描仪模型的数据来减轻此影响。
- 研究使用的是符合PIRADS方案的前列腺诊断MRI数据,而非专为放疗计划设计的采集方案,因为后者最为常见。
- 研究排除了因髋关节植入物、明显肠道气体和/或非常大体型导致图像质量差的病例,因此AI工具在这些情况下的性能未知。
- 前列腺分割用于放疗的临床使用还有额外考虑,包括治疗间或治疗内前列腺位置的生理变化,以及当使用单独的计划CT模拟定位时MRI与CT准确配准的需求。
全文中译13 节 · 点击展开
引言
人工智能(AI)工具正在快速开发和部署,尤其是在医学影像领域。1 在数据日益庞大的时代,AI工具是临床医学的宝贵补充。2 然而,如果AI工具在部署时未经过医学界的适当监管,可能会产生不良后果。医学专家必须设定标准,以评判其领域将使用的AI工具的性能。
一个日益受到关注的领域是用于前列腺自动分割的AI算法的开发,这是诊断放射科医生、放射肿瘤科医生和泌尿科医生的一项重要任务。建立可接受的准确度和精确度指标需要了解什么构成具有临床意义的误差。在诊断放射学中,最常见的分割应用是测量前列腺体积以计算前列腺特异性抗原(PSA)密度、3,4 用于融合活检的全腺体分割,以及用于融合活检的靶向分割。PSA密度任务所需的准确度不如更困难的应用(测量前列腺外延伸风险)那么高。尽管有许多用于磁共振成像(MRI)的前列腺自动分割工具可用,但大多数是为辅助MRI-超声融合活检的分割而设计和验证的。5 目前尚不清楚任何可用的自动分割工具相对于真正金标准的表现如何,因为对于MRI上的前列腺勾画尚无共识指南。这在放射治疗中具有特殊意义,因为微小的误差可能影响患者预后(一项随机试验显示,前列腺轮廓差异小至2 mm即可 measurably 增加毒性)。6 需要改进放射治疗计划中前列腺勾画准确度的标准,该标准也可作为评估前列腺自动分割工具的参考。
优秀的参考标准轮廓是有意义比较和经过适当验证的工具的前提条件。我们的目标有两个:(1)通过专家共识创建具有高准确度前列腺轮廓的参考标准数据集;(2)针对所定义的共识参考标准,细致评估一系列用于MRI上前列腺分割的AI工具。在实现第一个目标的过程中,我们提供了一份详细的勾画指南供医生教育使用。
方法与材料
病例
我们从定量前列腺成像联盟(QPIC)的六家机构获取了患者病例,作为一项经各机构机构审查委员会批准的前列腺癌检测研究的一部分。7,8 所有患者均因已知或疑似前列腺癌接受了前列腺多参数MRI检查。我们从每家机构至少纳入10例病例。数据库中的病例按顺序从各机构选取,并做了两处调整。第一,我们排除了具有明显伪影的病例(髋关节植入物、明显肠气和/或妨碍图像质量的非常大的体型)。第二,对数据集进行了富集,以确保每个中心约三分之一的病例具有明显的中叶(前列腺突入膀胱),因为这在临床实践中很常见,而且了解自动化工具对常见解剖变异的性能很重要。因此,一旦每个中心达到所需的“全部来诊者”病例数量,我们特意纳入了额外的大中叶病例,以确保该常见解剖变异在数据集中得到充分代表。
参考标准轮廓的制定
我们召集了一个由4名专家组成的小组来制定参考标准前列腺分割数据集。我们的小组包括2名泌尿生殖(GU)放射科医生(分别拥有12年和21年经验,均超过被认定为前列腺MRI专家所报告的MRI数量9)和2名专门从事MRI引导前列腺放射治疗的GU放射肿瘤科医生(各拥有10年经验)。其中一名GU放射肿瘤科医生同时也是前列腺MRI研究人员,在高分辨率轴位T2加权切片上生成初始轮廓。小组从2024年3月至6月每周开会,逐层审查初始轮廓。始终显示所有3个平面,并提供高分辨率冠状位和矢状位T2加权采集图像。如果任何小组成员判断轮廓偏离真实前列腺边界>1 mm,小组便进行审议直至达成共识。每个切片病例至少审查两次。出席的所有小组成员对每个病例的最终轮廓达成一致。所有4名小组成员通常都出席病例审查;只有当至少3名小组成员在场时会议才继续进行。
前列腺轮廓勾画基本规则
在共识审查之前,专家组针对存在多种合理处理方法的情况制定了基本规则。如果存在部分容积效应但前列腺清晰可见,则将其纳入为前列腺。近端精囊(SV)未被有意纳入。如果存在可见的分界面将精囊与前列腺分开,则该组织标记为精囊并排除。在轴位层面上具有精囊外观但无清晰分界面的组织,则纳入为前列腺。尽管这可能导致纳入一小部分精囊,但需要有一条规则,且高估优于未完全覆盖前列腺。此外,专家组一致认为,该组织在计算机断层扫描(CT)上无法与前列腺区分,并且在先前使用CT进行治疗计划的前列腺癌放射治疗试验中均被纳入。由于推荐轴位层厚为3.0 mm(平面内分辨率应为0.7 × 0.4 mm),10 因此前列腺尖部的最尖端在MRI上可能无法完美显示。因此,在尖部,任何疑似可见的前列腺,即使仅存在轻微的部分容积效应,均纳入为前列腺。
自动分割模型
我们邀请了8家拥有市售前列腺自动分割工具的公司参与,3家公司(公司A、公司B和公司C)接受了邀请。每种市售工具均具有FDA许可和/或CE认证用于前列腺自动分割。此外,我们评估了学术中心(UCSD和Stanford)开发的3个深度学习模型。Stanford模型1采用Vision Transformer主干网络,使用视觉基础模型DINOv2进行预训练,11 并 coupled with 一个分割头。该架构通过引入patch级对比学习技术(Stanford模型2)进行了改进。12 UCSD模型的开发和验证描述如下。所有工具均未使用我们精选参考标准数据集中的任何病例进行训练或先前验证。
UCSD模型开发
我们从5个不同数据集中收集了618例用于训练,包括多中心数据集13中的92例、NCI-ISBI14中的52例、Prostate15815中的139例、Reimagine16中的197例、Cortechs.ai客户数据(由Cortechs.ai提供)中的45例、Prostate-3T挑战赛17中的30例、PROMISE12挑战赛18中的50例,以及癌症影像档案中的13例(PROSTATE-DIAGNOSIS,9例19 和Fused Radiology-Pathology Prostate,4例20)。训练过程使用nnU-Net,21 这是一种稳健且成熟的模型架构。我们实施了5折交叉验证策略,共1000个训练epoch。初始学习率为0.01,逐渐降低至最终epoch的0.00002。训练在单块NVIDIA GeForce RTX 2080 Ti GPU上进行,每GPU批量为2。输入T2加权体积裁剪为16 × 320 × 320的patch大小,并重采样至均匀体素大小3.0 × 0.4 × 0.4 mm3。
AI工具性能评估
我们将每个AI模型的分割结果与参考标准数据集的专家共识前列腺轮廓进行比较。我们使用整个前列腺的平均Dice评分比较分割重叠度,1表示完全重叠,0表示无重叠。我们使用了多种临床相关指标。为衡量AI工具勾画前列腺上界的准确性,我们比较了每个模型与参考标准之间包含最上层轮廓的MRI切片编号差异。我们重复此方法以评估AI工具勾画前列腺下界的准确性。此外,我们测量了AI工具超出前列腺的范围(最大外误差[mm])和切入前列腺的范围(最大内误差[mm])。我们通过将每个自动分割结果与基于参考标准边界生成的距离图进行比较,计算了涵盖整个前列腺平均误差所需的边缘宽度。我们确定了每个自动分割与参考标准之间的绝对和相对体积差异,分别以mL和百分比报告。由于最上层和最下层切片的不确定性最大,我们将“主腺体”定义为参考标准前列腺除顶部2层和底部2层切片以外的所有部分。我们通过测量Dice评分比较了每个工具在主腺体上的准确性。我们还通过由3名泌尿生殖系统放射肿瘤科医生组成的专家组(每人拥有10年经验)的共识意见,对表现最佳模型的结果进行了临床可接受性的定性审查(更多细节见附录E1)。由于本分析的目的是教育性的,而非推销或贬低任何商业产品,我们将不会标注商业结果的公司名称。
结果
病例
我们纳入了68例病例的前列腺轮廓作为参考标准数据集。病例来自6个影像中心,MRI数据使用2个厂商(GE Healthcare;Siemens Healthineers)的3台不同3T扫描仪采集(表1,表E2)。所有病例均未使用直肠内线圈。病例最初由一名研究者进行(主观)筛选,如有明显且严重的伪影则排除。共有3例此类排除。所有排除病例均存在层间采集期间显著直肠气体变化所致的伪影,导致3D体积严重不连续。所有通过初步筛选的病例均由完整专家组详细审查,并被所有专家组成员认定为具有临床可用质量。
专家组对全部68例病例的每一层切片的前列腺轮廓达成了共识。我们展示了2例患者的所有切片,以说明完整的前列腺体积并作为勾画指南(代表性切片见图1和图2)。这些内容可以PowerPoint幻灯片和DICOM文件形式下载。
定性观察
关于前列腺边界最大的不确定性在于确定包含前列腺的最下层面。基底部也存在一些不确定性,尽管通常比尖部更清晰。有时,区分背静脉丛与前列腺较为困难,尤其是当静脉丛向后延伸时。专家组对最终共识轮廓表示满意,但认识到存在一定的不确定性,这些病例有时需要更多时间才能确信前列腺边界是准确的。最后,在确定前列腺后外侧边界时,我们有时会就什么是神经血管束与什么是前列腺产生争论。一方面,前列腺分割任何部位不确定性的最常见原因是3.0 mm层厚的部分容积效应。另一方面,层面间的部分容积效应相当于层面间的插值,通常认为对整体前列腺轮廓形状仅有较小影响。对表现最佳模型轮廓的定性审查发现,75%的轮廓无需任何修改即可在临床上接受。其余25%的病例被判定需要修改(通常在尖部)才能达到临床可接受,尽管专家小组一致认为必要的修改通常有限,且误差往往可能落在执业放射肿瘤学家之间预期的勾画变异范围内。更多定性结果见表E1。
AI性能评估
所有6个模型在全部68例参考标准病例中均正确识别了前列腺的大致位置, except for one commercial model, which failed to generate auto-segmentations for 3 of 68 (4.4%) cases。这3例来自2个不同的影像中心。与中部腺体相比,所有模型在尖部和基底部均有更大的变异。图2展示了一例患者的AI自动分割结果。对于整个前列腺,6个AI模型的中位(跨患者)Dice评分为0.80(0.72–0.85)至0.94(0.92–0.95)(表2)。所有6个模型在主体腺体中更为准确,中位Dice-main为0.83(0.75–0.87)至0.95(0.95–0.96)(表2)。
在前列腺上边界,自动分割模型与参考标准的差异范围分别为表现最佳和表现最差模型的1(0–1)至1(1–2)个层面(中位[IQR])。在前列腺下边界,自动分割模型与参考标准的差异范围为1(0–1)至3(2–4)个层面,突显了在确定下界范围时更大的误差。
表现最佳的模型通常在每个患者的真实前列腺外至少包含一个超出3.0 mm的点(相比之下,表现最差的模型为9.4 mm)。前列腺外最大误差的中位值(跨病例IQR)从表现最佳模型的3.0 mm(2.0–4.0)到表现最差模型的9.4 mm(6.7–12.5)不等。
表现最佳的模型通常在前列腺某处至少一个点遗漏3.0 mm的真实前列腺。前列腺内最大误差的中位值(IQR)从表现最佳模型的3.0 mm(2.8–4.5)到表现最差模型的8.5 mm(6.8–9.3)不等。
在前列腺的任何给定点上,对于表现最佳的模型,典型患者在任何方向(前列腺内或前列腺外)的预期误差为1.3 mm;对于表现最差的模型,典型患者的预期误差为2.4 mm。平均误差的中位数(IQR)范围为1.3 mm(1.2–1.5)至2.4 mm(2.1–2.8)。
患者间相对体积差异的中位数(IQR)范围从表现最佳模型的4.3%(2.3%−7.7%)到表现最差模型的31.4%(22.2%−43.8%)(表2)。表现最佳的模型通常给出的前列腺体积估计值与真实值的差异在2.3%至7.7%之间。表现最差的模型通常给出的估计值与真实值相差22%至44%。大多数模型低估了前列腺体积(图3)。
存在显著的中叶或影像学T3a期癌似乎并非模型不准确的主要驱动因素(图E1和图E2以及表E3、E4、E5和E6)。
最后,尽管模型的整体性能可能相当好,但不同病例之间仍可能存在相当大的差异。我们提供了代表性图像,展示了每个自动分割模型中Dice评分最低的病例(图4)。
讨论
在大量已发表和可用的AI工具涌现的背景下,医学界需要定义评判AI模型的参考标准。在此,我们通过跨学科专家小组的共识判定,创建了一个包含68例病例的参考标准数据集,用于严格评估前列腺自动分割AI工具。我们完整呈现2例病例作为面向广泛受众(放射科、放射肿瘤科、泌尿外科等)的教育资源。
使用专家共识数据集,我们测试了6种AI工具(3种市售产品和3种学术工具)。所有6个模型均提供了有用的结果。前列腺体积通常足以用于计算PSA密度。然而,即使表现最佳的模型对部分患者也存在>10%的体积误差,提示目前这些工具需要医师监督。如果>2.0 mm的误差被认为具有临床意义,则没有任何AI工具能在无需人工审查和修改的情况下普遍给出足够准确的放射治疗结果。随机MIRAGE试验比较了CT引导立体定向体部放射治疗(计划边界4.0 mm)与MRI引导立体定向体部放射治疗(计划边界2.0 mm)治疗局限期前列腺癌的效果。接受较大边界治疗的参与者泌尿生殖系统和胃肠道毒性显著更差,提示前列腺轮廓中小至2.0 mm的误差即可影响结局。6
医师勾画前列腺轮廓存在显著差异,误差常见。22,23 在放射治疗计划中,放射肿瘤科医师传统上在CT图像上进行前列腺分割。一项研究发现,放射肿瘤科医师的前列腺轮廓平均比真实前列腺体积大30%,尽管如此仍仅包含84%的前列腺。24另一项研究审查了300个前列腺的手工轮廓,描述了前列腺各部分众多且多样的误差。23 在此,表现最佳的AI工具之一的中位Dice评分为0.94,整个前列腺轮廓的平均误差通常仅为1.3 mm,可能在放射治疗计划中临床可接受,且比已报道的医师在CT图像上勾画前列腺的准确性更高。25
形成我们的参考标准耗时且需要专家投入大量精力。我们强调多学科协作在制定参考标准以实现AI工具有意义比较方面的重要性。在此,泌尿生殖(GU)放射科医生在审阅大量前列腺MRI方面经验丰富,并且在横断面解剖方面受过良好培训。放射肿瘤科医生提供了用于放射治疗的前列腺轮廓的临床背景。放射肿瘤科医生在日常临床工作中力求对整个前列腺进行高度准确的轮廓勾画,而近似体积对于放射科医生报告用于推导PSA密度的体积可能是可接受的。放射肿瘤科医生就前列腺癌治疗背景下的精囊腺(SVs)、中叶的纳入以及使用3.0 mm MRI切片时可能遗漏尖部顶端的问题提供了见解。重要的是,多学科协作创建了比任一群体单独所能完成的更好的参考标准。所有专家组成员都强调,参考标准数据集的开发是一项极具教育意义的实践。
根据对100个市售医学影像AI产品的综述,仅有36%具有同行评审的疗效证据。26 验证AI工具具有显著挑战性,但对于确保患者和医疗保健专业人员能够信任其准确性是必要的。27 我们认为,独立于用于训练其所测试AI工具的任何数据的参考标准数据集具有很大价值。23,28 这避免了因模型过拟合而导致的准确性虚高。参考标准数据集应精心策划,仅用于验证在其他地方开发的模型,从而能够对现有和未来AI工具进行客观的头对头性能评估。此外,不同的AI工具输出需要不同的统计评估方法。29 准确性评估应包括总体一致性指标(Dice评分30)和临床相关误差指标(前列腺内外偏离参考标准的程度)。
我们的研究对当今的放射肿瘤科医生和患者具有实用价值。基于MRI的放射治疗计划已被证明可提高精确度,并且与常用的基于CT的方法相比可能限制毒性。23,31 在MRI上勾画前列腺也是前列腺癌局灶放疗加量的必要组成部分,可减少癌症复发和转移扩散。32,33 然而,许多放射肿瘤科医生在MRI上勾画前列腺方面不熟悉34和/或不熟练35,36。我们的基于MRI的共识勾画指南(图1和图2)以及基于MRI的自动分割工具的验证提供了独特但相关的工具,以促进基于MRI的放射治疗计划的广泛、准确采用。
我们的研究存在一些局限性。第一,目前没有完全客观的方法来验证精确的在体前列腺边界;因此,专家共识是所能达到的最佳标准。理论上,可以纳入更大的专家组,但更大的专家组自然会增加日程安排的复杂性并稀释每位成员的贡献。第二,各中心/扫描仪的前列腺MRI采集方案存在差异。我们通过纳入来自6个中心和2个供应商、涵盖3种不同扫描仪模型的数据来减轻这一影响。我们使用的是符合前列腺影像报告和数据系统(PIRADS)方案的诊断性MRI数据,而非专为放射治疗计划设计的采集序列,因为前者最为常用。第三,我们排除了因髋关节植入物、明显肠气和/或体型过大导致图像质量不佳的病例;因此,AI工具在这些情况下的性能尚不清楚。最后,尽管超出本研究范围,前列腺分割在放射治疗中的临床使用还有额外的考量因素,包括以下方面:(1)治疗间或治疗中前列腺位置的生理性变化,以及(2)当使用单独的计划CT模拟定位时,需要将MRI准确配准至CT。
结论
据我们所知,我们提出了首个使用MRI进行前列腺放射治疗计划的专家共识指南,以及一个多机构、跨学科的专家共识数据集,用于细致评估自动分割AI工具。我们发现,一些目前可用的AI工具总体上具有高度准确性,平均误差<2.0 mm。医师审核仍然必要,因为所有AI工具在某些病例中都会产生具有临床意义的误差。
补充材料
本文相关的补充材料可在在线版本中获取,网址为 doi:10.1016/j.ijrobp.2025.03.024。
引用
- Song Y, Dornisch AM, Dess RT, et al. Multidisciplinary Consensus Prostate Contours on Magnetic Resonance Imaging: Educational Atlas and Reference Standard for Artificial Intelligence Benchmarking. Int J Radiat Oncol Biol Phys. 2025. PMID: 40154847. doi:10.1016/j.ijrobp.2025.03.024
- 全文:PMC12243632(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12243632/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。