评估小脑缄默综合征术前影像生物标志物的观察者间变异性:一项多观察者初步研究
这项初步研究纳入10例丹麦儿童后颅窝肿瘤患者的术前脑MRI,由来自两个国家三个机构的3名神经放射学家用结构化报告评估。结果显示肿瘤大小、体积和Evans指数一致性良好至优秀,肿瘤位置和病理一致性中等,但解剖结构侵犯和受压的观察者间一致性不可靠。作者认为这挑战了小脑缄默综合征术前影像生物标志物的可靠性,强调需要进一步研究一致且可重复的生物标志物。
要点
- 肿瘤大小、肿瘤体积和Evans指数的观察者间一致性良好至优秀,可作为可靠指标。
- 肿瘤位置和病理(影像诊断)一致性中等,是唯一可靠的分类影像生物标志物。
- 解剖结构侵犯和受压的观察者间一致性不可靠,侵犯参数一致性倾向高于受压。
核心结论
- 3名观察者在肿瘤大小、肿瘤体积和Evans指数上具有可靠一致性,侵犯区域的一致性总体倾向高于受压区域。
- 结果表明,由于后颅窝解剖复杂,量化小脑缄默综合征相关影像生物标志物存在挑战。
研究设计与样本
- 初步研究,纳入欧洲小脑缄默综合征研究(H-6–2014-002)中首批10例在丹麦单中心接受后颅窝肿瘤手术的儿童患者。
- 术前常规临床脑MRI使用1.5-T或3-T扫描仪和标准化儿童脑肿瘤诊断方案采集。
- 3名来自两个国家三个机构的神经放射学家(儿童神经放射学经验分别为2年、15年和17年)使用结构化报告独立评估。
- 观察者间一致性用组内相关系数和Fleiss kappa评估,所有估计值报告95%CI;另对两名最有经验观察者进行敏感性分析。
诊断标准与关键数值
- ICC分级:<0.5差,0.5–0.75中等,0.75–0.9良好,>0.9优秀。
- Fleiss kappa和Cohen kappa分级:<0无一致性,0.01–0.2无至轻微,0.21–0.4一般,0.41–0.6中等,0.61–0.8显著,0.81–100几乎完美。
- 肿瘤大小(前后径、头尾径、左右径)、肿瘤体积、脑桥大小、Evans A、Evans B、Evans指数和d(sag)的ICC从中等到优秀。
- 肿瘤位置一致性显著(范围一般至优秀),病理(影像诊断)、囊性肿瘤>50%和瘤内出血一致性显著(范围无至轻微到优秀)。
- 所有侵犯和受压变量的Fleiss kappa估计值95%CI下限均低于0,提示一致性估计存在不确定性。
临床应用与阅片要点
- 应用小脑缄默综合征预测模型时应考虑MRI判读的变异性,采用标准化评估标准并使用多名阅片者以减少主观偏倚。
- 作者认为需要标准化小脑缄默综合征神经影像评估的判读标准,以提高诊断一致性和可靠性。
- 浸润和受压评估在手术规划中有直接临床意义,判读差异可能影响切除范围决策和小脑缄默综合征风险评估。
局限性
- 本研究中受压和侵犯的定义基于参与的有经验神经放射学家的经验和共识,而非经验证据。
- 观察者间研究纳入的扫描数量相对较少(10例),目的是评估可行性、测试和完善影像研究方案。
- 报告CI给一致性结果引入不确定性,因为CI取决于观察次数和分类反应数。
- 术前诊断扫描的扫描分辨率和可用序列因患者而异,可能影响阅片者评估。
- ICC和Fleiss kappa的一致性水平基于预先设定的任意阈值,应作为一般指导而非绝对截断值。
全文中译8 节 · 点击展开
引言
小脑缄默综合征是儿童神经肿瘤后颅窝手术后一种已被充分描述的并发症。该综合征包括言语障碍、情绪障碍、共济失调和肌张力低下,并伴有脑干体征[1]。 reported incidence varies between approximately 10–30% [2–8]。危险因素包括年龄较小、肿瘤位于脑干或中线、组织病理学诊断为髓母细胞瘤、肿瘤侵犯小脑上脚以及肿瘤体积较大[2, 4, 8–10]。该综合征多年来一直困扰着神经外科医生和儿童神经肿瘤科医生,因为它在因后颅窝肿瘤接受手术的成人群体中很少发生。目前的认识将该综合征归因于小脑-大脑传出通路——齿状核-丘脑-皮质通路——的中断,从而导致小脑-大脑联系不能(cerebello-cerebral diaschisis)[11]。
由于该综合征这一可能的病理解剖学病因,多年来人们提出了多种结合临床患者特征和神经影像学生物标志物的预测模型。2018年,Liu等定义了术后小脑缄默综合征的Nottingham-Liverpool风险预测模型,主要依赖神经影像学特征,提示某些解剖结构受侵犯和受压的重要性[12]。2019年,Zhang等在回顾性队列中引入D(sag)和d(sag)作为术后小脑缄默综合征的预测因素[13]。D(sag)是肿瘤侵犯或压迫脑干的长度,而d(sag)代表肿瘤侵犯或压迫脑干的深度。术后小脑缄默综合征的Rotterdam预测模型于同年晚些时候发表,该模型评估了Liu等和Zhang等的结果,并将两种模型扩展为Rotterdam模型,纳入了更全面的提示解剖侵犯和压迫的影像学特征[14]。最近,Sidpra等发表了一种基于人工神经网络模型的改进预测模型,该模型纳入了更全面的肿瘤特征、解剖侵犯和压迫的影像学特征,以及年龄和性别[15]。
然而,放射科医生之间的观察者间变异性仍然是医学影像中的一个挑战,影响预测模型的有效性。确保磁共振成像(MRI)变量的可重复性对于这些模型的可靠性至关重要。此外,提高评估标准的精细度可以改善对小脑缄默综合征风险和严重程度的预测。
为应对这一挑战,我们的初步研究旨在评估三名神经放射科医生在使用结构化报告格式评估后颅窝脑肿瘤患儿MRI扫描神经影像学特征时的观察者间变异性。我们试图通过针对特定标准采用分级系统而非二元回答来细化定性评分,从而识别出用于更大队列评估的最一致的定性影像学表现。提高精细度旨在改善影像学评分与小脑缄默综合征严重程度之间的相关性,从而验证术前神经影像学生物标志物在小脑缄默综合征风险和严重程度预测中的可靠性。
材料与方法
我们将欧洲小脑缄默综合征研究(H-6–2014-002)中纳入的首批10例因后颅窝肿瘤接受手术的丹麦儿科患者纳入本初步研究。欧洲小脑缄默综合征研究的方案此前已发表[16]。所有患者均隶属于丹麦的单一中心,并签署了书面知情同意书。本研究检查了术前常规临床脑磁共振成像(MRI)扫描,扫描使用1.5-T(T)或3-T扫描仪,采用儿童脑肿瘤的标准化诊断MRI方案(表1)。
构建了一份结构化报告,包括神经影像学特征和感兴趣区(ROI)(表2和补充材料1)。三名神经放射科医师在每份扫描图像上评估ROI,并将结果记录在结构化报告中。神经放射科医师在儿童神经放射学方面的经验分别为2年(J.I.)、15年(S.A.)和17年(R.D.)。压迫评分的示例见图1。
统计学
为评估三名评分者之间的一致性,连续变量采用组内相关系数(ICC),分类变量采用Fleiss‘ kappa [17–22]。ICC报告为“双向”分析,采用“一致性”计算评分者之间的绝对一致性。ICC“一致性”未用于主要分析,但纳入补充材料3。
所有估计值均报告95%置信区间(CI)[23]。如果不存在分歧,则无法报告CI。
对两名最有经验的观察者之间的观察者间一致性进行了敏感性分析,并与三名观察者的总体结果进行比较。连续变量采用ICC计算,分类变量采用Cohen’s kappa计算。所有估计值均报告95% CI。
统计分析使用RStudio(v. 4.3.1)进行。
一致性限度
ICC:< 0.5一致性差,0.5–0.75中等一致性,0.75–0.9良好一致性,> 0.9极好一致性。
Fleiss‘ kappa和Cohen’s kappa:< 0无一致性,0.01–0.2无至轻微一致性,0.21–0.4一般一致性,0.41–0.6中等一致性,0.61–0.8相当一致性,0.81–100几乎完美一致性[24]。
结果
连续变量间的ICC值显示,肿瘤大小相关指标,包括前后径、头尾径、左右径、肿瘤体积、脑桥大小、Evans A、Evans B、Evans指数及d(sag)变异最小,一致性从中等至优不等(表3和图2)。在分类变量中,肿瘤位置显示出高度一致性,从一般至优不等,因而是唯一可靠的分类影像生物标志物。病理(影像学诊断)、囊性肿瘤>50%及瘤内出血也显示出高度一致性,但范围为“无至轻微”至优(表4和图3)。在ROI的侵犯和压迫(示例见补充材料1和2)(表5)方面,所有变量的一致性水平均不可靠,但侵犯参数(图4)的一致性往往高于压迫参数(图5)。
考虑置信区间(CI),肿瘤大小、肿瘤体积、肿瘤位置、Evans A、Evans B及Evans指数为可靠的影像生物标志物。此外,由于本研究纳入了69个变量,部分发现很可能是偶然所致(从统计学上,我们的结果中有3–4个一致性结果)。
由两位最有经验观察者进行的敏感性分析总体给人以ICC一致性值右偏的印象,而分类变量的一致性则向两个方向分散。如预期所示,95%CI通常增宽(补充材料3)。
讨论
我们的结果对以下问题提出了质疑:在这项初步研究中,术前脑MRI所纳入的影像生物标志物是否足够可靠,用于评估小脑缄默综合征的风险和严重程度。
尽管神经影像学生物标志物在神经解剖学上的定义看似明确,但认识到MRI评估中的主观性至关重要。由于培训、经验和感知因素的差异,不同放射科医生对儿童脑肿瘤背景下MRI表现的解读各不相同,这可能影响小脑缄默综合征的风险评估。应用预测模型时应考虑MRI解读的变异性;采用标准化的评估标准,并使用多名评估者以减少主观偏倚[12, 14, 15]。
大多数研究依赖两名观察者来评估观察者间一致性。通过纳入第三名观察者,我们的研究更好地反映了真实世界的临床变异性,而纳入来自两个国家的神经放射学家则提供了对区域诊断差异的洞察。我们的敏感性分析比较了两名最有经验的观察者的结果与三名观察者的总体结果,其发现表明特定生物标志物的解读存在显著变异,且取决于观察者的经验。测量D(sag)和d(sag)中等程度依赖于观察者的经验。蚓部、右侧小脑半球和脑桥的压缩似乎依赖于经验,但由于置信区间较宽而存在相当大的不确定性。同样,右侧和左侧小脑上脚及延髓的侵犯似乎依赖于经验,尽管由于置信区间较宽而不确定。这些发现强调了对小脑缄默综合征神经影像学评估中解读标准进行标准化的必要性,以提高诊断的一致性和可靠性。
在快速发展的临床神经放射学领域,对人工智能(AI)的依赖日益增加并变得不可避免。Sidpra等人的研究迈出了将AI整合到小脑缄默综合征预测中的第一个关键步骤[15]。然而,这些AI算法的准确性直接取决于其训练数据集的质量。AI在神经放射学中日益增加的整合放大了有偏倚或不充分的数据可能导致错误解读的风险,强调了开发具有可重复影像生物标志物的大规模数据集以减轻这一根本局限性的重要性。
将我们的结果与Liu等人的研究进行比较后发现,当评分者数量从两名增加到三名时,一致性率会下降,尤其是在评估压迫特征时[12]。由于Liu等人与我们当前研究之间存在方法学差异(研究规模为10例对20例患者、是否计算CI的数据、压迫和侵犯的 granularity 差异),我们无法确定地断言,在两名与三名神经放射科医师之间评估所选ROI时,一致性值存在显著差异。然而,基于一般统计学考量,一致性概率会随着评分者数量增加而降低。将我们的结果与Sidpra等人的研究进行比较,两项纳入的研究均以三名评分者审阅影像生物标志物[15]。总体而言,Sidpra等人在评估结构改变时观察者间一致性高于我们的研究。必须注意所选影像生物标志物及其审阅方式上的细微差异。与Liu等人一样,Sidpra等人以二分类方法审阅结构改变,而我们的研究采用量化评估。这同样使与我们的研究进行比较具有挑战性(二分类与有序结局、队列规模差异、未报告CI)。在MRI神经影像观察者间一致性的研究中,传统上并不报告一致性信度估计值的CI。为了对信度值给出更准确的解释,我们报告了CI,因为我们普遍认为这是健康研究中良好的统计学实践。
神经放射科医师之间观察者间一致性较差可能导致诊断和治疗方案不一致,包括风险评估,从而影响患者结局,并使依赖MRI发现的研究复杂化。本研究旨在通过引入量化维度来提高对结构性压迫和侵犯的放射学评估的 granularity。这一努力可能过于雄心勃勃,因为结果表明实施这种方法具有挑战性——尤其是在后颅窝,密集排列的解剖结构使区分正常与病理边界变得困难。在审查表现出高度观察者间变异性的参数后可以明显看出,差异源于参数量化方式的不同,而非对压迫或侵犯的识别。观察变异与严重程度的量化有关。严重程度分级旨在理解细微神经影像学发现对小脑缄默综合征发病机制和严重程度的影响。此外,ICC和Fleiss‘ kappa的观察者间一致性水平均基于预先定义的任意阈值。虽然这些分类方案提供了总体框架,但它们可能无法完全反映临床环境中观察者间一致性的复杂性。它们不应被视为绝对截断值,而应被解释为一般性指导。因此,我们也强调神经影像学特征之间一致性的相对差异,因为这些差异为观察者变异性的来源提供了有意义的见解。
我们的初步研究存在若干局限性。其一,本研究中使用的压迫和侵犯的定义基于参与研究的经验丰富的神经放射科医师的经验和共识,而非经验证据。这些定义与既往文献基本一致,从而在一定程度上便于比较。另一个局限性是观察者间研究纳入的扫描数量相对有限。我们在十名患者中试行结构化报告的理由是基于评估可行性、测试和完善我们的影像学研究方案,以及收集初步见解以确保为更大规模研究设计出实用且相关的方案。此外,我们选择报告CI给一致性结果引入了不确定性,因为CI取决于ICC的观察次数以及Fleiss' kappa的观察次数和分类响应数。纳入更大的队列将减少ICC和Fleiss' kappa的不确定性,验证我们的结果并确保统计稳健性。此外,限制分类响应数将进一步提Fleiss' kappa估计的准确性。最后,术前诊断扫描之间扫描分辨率和可用序列的差异可能影响了评估者的评价,因为这些因素在患者之间存在轻微差异。
较低的观察者间一致性具有直接的临床意义,尤其是在手术规划中,精确评估肿瘤压迫和侵犯对于手术入路可能至关重要,例如在最大安全切除与全切除之间的决策平衡。判读的变异性可能影响关于切除范围的手术决策以及小脑缄默综合征的风险评估。专业知识的差异,尤其是在儿童后颅窝肿瘤等罕见病变中,进一步凸显了标准化报告框架以提高可靠性的必要性。我们的研究通过反映临床现实,强调了考虑观察者依赖性变异性的必要性。
结论
我们发现三名观察者在肿瘤大小、肿瘤体积和Evans指数方面具有可靠的一致性。感兴趣区域的侵犯通常倾向于比压迫具有更高的一致性水平。我们的结果证明了由于后颅窝复杂的解剖结构,在小脑缄默综合征背景下量化影像生物标志物所面临的挑战。
补充信息
补充信息
以下是电子补充材料的链接。ESM 1(PDF 692 KB)
(ZIP 2.81 MB)
(PDF 245 KB)
引用
- Laustsen AF, Dineen R, Ilginiene J, et al. Interobserver variability in assessing preoperative imaging biomarkers for cerebellar mutism syndrome: a multiobserver pilot study. Pediatr Radiol. 2025. PMID: 40676164. doi:10.1007/s00247-025-06326-y
- 全文:PMC12394353(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12394353/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。