指南与共识骨肌技术与安全DR

猫髋关节发育不良X线评估的可重复性:共识评分不确定性高于通常假设

Repeatability of radiographic assessments for feline hip dysplasia suggest consensus scores in radiology are more uncertain than commonly assumed.
指南 / 共识 · Sci Rep · 2022-08-17

本研究由三位兽医放射科医生对98只猫的196张髋关节X线片进行两次独立评分,评估观察者内、观察者间以及多数共识和全体共识评分的可重复性。结果显示观察者内和观察者间可重复性中等(63-71%),共识评分虽减少变异但远非完美,仅75%的多数共识评分在两次评估间一致,全体共识评分的可重复性可低至83%。

要点

  • 猫髋关节发育不良的X线评分观察者内和观察者间可重复性仅为中等(63-71%)。
  • 共识评分(多数或全体)的可重复性并不完美,多数共识两次评估一致率仅75%。
  • 极端评分(0或3)的可重复性高于中间评分(1或2),且评分变化多仅一个等级。

核心结论

  • 猫髋关节发育不良的X线评估中,观察者内和观察者间可重复性中等,共识评分虽降低评估间变异但可重复性远非完美。
  • 多数共识评分在两次评估间的一致率仅为75%,全体共识评分的可重复性可低至83%,提示共识评分存在较大不确定性。

研究设计与样本

  • 研究类型为观察性重复评估研究,样本为98只缅因猫的196个髋关节,由三位兽医放射科医生在健康筛查项目中进行两次独立评分。
  • 参考标准为三位观察者的共识评分(多数或全体一致),采用贝叶斯多项模型估计可重复性。

关键影像表现/征象

  • X线评估基于标准腹背位投照,采用序数评分系统(0-3分)评估髋关节构型和继发性退行性改变。
  • 评分变化多发生在相邻等级之间(如1与2、0与1),仅少数变化跨越两个等级(0与2之间概率2-3%)。

诊断标准与关键数值

  • 观察者内一致率约65-71%,观察者间一致率第一次评估约63%、第二次约77%。
  • 多数共识评分两次评估一致率为75%,全体共识评分可重复性可低至82.5%。
  • 基于原始评分的条件可重复性:0分0.77、1分0.68、2分0.55、3分0.81。

临床应用与阅片要点

  • 阅片时应意识到猫髋关节发育不良的X线评分存在中等可重复性,中间评分(1或2)的不确定性更高,报告需谨慎。
  • 共识评分并非金标准,多次评估或讨论可减少但不消除不确定性,临床决策应结合整体风险而非单一评分。

局限性

  • 研究仅纳入缅因猫一个品种,结果外推至其他品种需谨慎。
  • 样本来自健康筛查项目,可能存在选择偏倚,且仅评估了三位放射科医生。
全文中译12 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Sci Rep. 2022 Aug 17;12:13916. doi: 10.1038/s41598-022-18364-9

引言

放射学评估中的差异在放射科医生中很常见1,2,人文和兽医医学领域均有大量研究记录显示,同一放射照片的观察者内和观察者间评估变异程度惊人地大(例如1,3–12)。越来越明显的是,观察者之间和观察者内部的这种变异之所以发生,是因为解读放射照片过程中存在自然的不确定性,以及普遍存在导致放射学错误的因素1,2,13。与放射学诊断相关的“错误”程度往往因疾病类型或筛查规划中使用的诊断标准而异2。因此,重要的是以特定情境的方式量化这种变异的大小,并研究不同流程如何影响错误的产生。这样,不确定性才能被恰当地纳入临床评估,同时识别可能提高诊断确定性的流程2,13。疾病筛查规划中用于减少观察者间变异影响的最常用方法之一,是基于多位观察者的意见创建“共识”评分1,8,14。

共识通常被解释为两名或多名放射科医生对放射照片的解读或诊断评分达成一致15。该评分随后常被用作参考标准,代表经专家共识认可的该个体病情的“真实”状态1,14,15。虽然得出专家之间的一致性是诊断准确性可靠标准的结论似乎合理,但理解得出此类结论时所做的主要假设也很重要。该假设是:精确度的提高(即观察者之间的一致性)必然导致诊断准确性的提高。然而,观察者间变异的减少可能源于专家们在评估中同样错误的情况1,15,因此共识并不能提高诊断准确性11。尽管这似乎是不太可能的情景,但共识分级存在偏倚或在一次评估与另一次评估之间显示变异的程度尚未被严格评估。因此目前,共识方法被用于整合“易出错”的个体数据,但并不知道如果由相同或不同放射科医生重新评估,共识评分可能有多大差异。共识结果常被视为金标准(例如10,14),但如果其可靠性低于我们的假设,这可能在以下方面造成严重问题:我们对临床评估准确性的理解、最小化错误率的诊断标准的制定,以及使用这些数据训练的人工智能(AI)系统的准确性16。

在兽医学中,髋关节发育不良是一种普遍存在的多基因疾病,放射学不仅用于诊断该病症,还用于就动物的繁殖适宜性提出建议17–20。因此,了解这些动物放射学评估所附带的局限性和不确定性非常重要;迄今为止,这主要是在犬中进行的(例如5,6,8,9)。猫的髋关节发育不良患病率与犬相当(综述于20),并且具有许多与犬髋关节发育不良常见的相同放射学表现(存在一些物种特异性差异)21。这表明猫髋关节发育不良在放射学评估内部和评估之间的变异与犬中所见相似。猫髋关节发育不良(FHD)的管理目前基于两个评估FHD放射片的国际登记机构:北美的动物骨科基金会(OFA)和总部位于瑞典的PawPeds。这两个组织根据标准伸展腹背位投照上髋股关节的表型放射学外观对FHD程度进行分级。两个项目均使用与关节构型和继发性退行性改变相关的序数分级系统14,18,20。提交至OFA的放射片由顾问库中的三名委员会认证放射科医师独立评估,共识分级(基于这三名评估者对双侧髋关节合并评分的中位数)即为24月龄以上猫的官方FHD评分14,18。该共识评分被视为“金标准”准确评估14。在PawPeds筛查项目中,由该项目聘用的一名兽医放射科医师对10月龄以上猫的放射片进行评价并分别对每侧髋关节分级。

本研究聚焦于PawPeds健康项目的数据以及随后三名兽医放射科医师的FHD评估,以回答有关猫FHD评估可靠性、可能影响该可靠性的因素以及共识评分是否如目前所假设的那样准确(或可重复)的问题。为此,样本限制为缅因猫,因为该品种是在健康项目中筛查猫数量最多的品种20。基于重复的个体FHD评估和三名放射科医师的共同共识分级,我们提出以下问题:(1)FHD放射片评估的观察者内和观察者间变异是什么?(2)这种变异在多大程度上与猫的年龄(因为OFA评估>24月龄的猫而PawPeds评估>10月龄的猫)或放射片质量相关?(3)鉴于猫的初始髋关节评分,在重新评估中其FHD评分向任一特定方向变化的概率是多少?(4)共识评分在第一次和第二次评估之间发生变化的概率是多少;共识的定义如何影响这种可重复性(例如独立多数 vs. 独立一致 vs. 通过讨论达成共同共识)?以及(5)初始共识评分如何影响再评估时共识分级任何潜在变化的预测方向和幅度?这些问题不仅对从事FHD研究的研究人员或PawPeds项目的使用者有意义,而且凸显了关于我们如何解释诊断放射学中个体和共识评分准确性的假设的一般性问题。

结果

观察者内和观察者间可重复性

观察者自身在第一次和第二次评估之间的FHD评分一致性显示,观察者之间存在一些轻微差异,第一次评估中约65–71%的评分与第二次评估中给出的个体评分相同(表1和表2)。第一次和第二次评估之间FHD评分的变化更可能发生在评分1和2之间(所有变化中30%为从1到2,18%为从2到1)以及评分0和1之间(FHD评分变化中28%为从0到1,7%为从1到0;表1)。第一次评估轮次中观察者间一致性略低于观察者自身一致性(约63%);然而,第二次评估轮次中观察者间一致性更高(约77%;表2)。

表1 由三名独立兽医放射科医师(观察者1–3)对来自98只猫的196个髋关节进行评分的髋关节评估。每个髋关节根据四个类别(髋关节评分(HS)0–3)给予评分,同一批观察者在两个不同场合对所有髋关节进行评分(即第一次评估和第二次评估)。在表的上半部分,数据既以每个髋关节评分类别内髋关节的绝对计数(Abs)呈现,也以相对于每位观察者在每次场合每个类别中评分总数的频率呈现(Freq = Abs/196)。在表的下半部分,我们呈现了观察者自身在第一次和第二次评估之间髋关节评分的变化。这些数据包括髋关节评分如何从其初始值发生变化、其幅度和方向(例如从第一次到第二次场合评分从0变为1即为HS 0到1)。此处这些观察者自身变化也以髋关节评分变化的绝对数量以及这些变化相对于每位个体观察者评分发生变化的髋关节总数的频率(Freq)呈现(观察者1 N = 72;观察者2 N = 56;观察者3 N = 55)。 查看原表 ↗
表2 三名观察者(Obs 1–3)在196次髋关节评估中的观察者自身和观察者间一致性概率。观察者自身一致性是指单个观察者在第一次和第二次评估期间记录相同FHD髋关节评分的概率。观察者间一致性概率是指第一次评估(1st)和第二次评估(2nd)期间的配对观察者比较(例如Obs 1 -2为观察者1和观察者2之间的一致性)。我们报告均值和其标准差、中位数和95% CI,这些是由二项广义线性混合模型(GLMM)估计得出的评分间一致性的概率。 查看原表 ↗

以原始髋关节评分为条件的个体重复性

多项分析表明,某位放射科医师在重复评估中对某一髋关节给出特定评分(0、1、2或3)的概率,取决于该髋关节最初被赋予的评分(图1;表3)。最初评分处于髋关节评分范围低端和高端(即0或3)的髋关节,其重复性(分别为0.77和0.81)高于评分范围中部的髋关节(髋关节评分1和2;重复性分别为0.68和0.55)。对于在再评估过程中评分发生变化的髋关节,几乎所有髋关节的评分仅变化一个等级;且变化方向取决于原始评分(即评分为0的只能升高,评分为3的只能降低,而评分为1和2的则向两个方向均有分布;图1;表1和表3)。值得注意的是,FHD评分变化超过1个等级的唯一情况发生在类别0和2之间;在再评估过程中,髋关节在这两个类别之间发生评分变化的概率为2%–3%(图1;表3)。

图1 在相同放射科医师或不参考原始评分的新评估者对同一X线片进行评估的条件下,某位放射科医师对FHD评分进行“再评估”的条件概率估计。各面板中灰色框表示原始髋关节评分等级(左上原始评分=0,右上=1,左下=2,右下=3),箭头及相关数字表示再评估时髋关节评分的估计条件概率。例如,在右上方面板中,原始髋关节评分等级=1(灰色阴影)。多项模型预测,在再评估过程中,给出相同评分的概率为68%,髋关节评分变为0的概率为14%,髋关节评分变为2的概率为19%,髋关节评分变为3的概率低于1%。这些概率基于观察者内和观察者间重复观察的合并数据,并以满足原始评分的数据为条件(即Pr(新观察|原始髋关节评分);这些估计的不确定性见表3)。 查看原图 ↗
表3 在第一次评估中给定FHD评分的条件下(原始=0、1、2或3),第二次评估中获得FHD评分的概率,分别针对:(a) 单个放射科医师,(b) 多数共识评分(即两次评估中至少3名放射科医师中的2名对评分一致),以及(c) 完全共识评分(即两次评估中3/3名放射科医师对评分一致)。所有可能结局的概率(以0到1之间的比例表示)以均值和95%贝叶斯置信区间呈现,均由本研究收集数据的多项模型生成。左列显示第一次和第二次评估中的FHD评分:例如,若某髋关节在第一次评估中评分为0,在第二次评估中评分为2,则表示为0至2。每种可能性的第一次和第二次评估之间一致的概率以灰色突出显示。单个放射科医师和完全共识结果的可视化表示见图1和图3,多数共识见图S1。与“中位数”共识重复性相关的估计见表S2。 查看原表 ↗

与单个评估重复性相关的外部因素

几乎没有证据表明猫的年龄或X线片质量对X线评分的重复性有影响(补充表S1a–c)。然而,每位评估者在第一次评估中评估一张X线片所花费的时间与其第二次评估中该评分的重复性之间存在明显关系(图2a)。在这里,评估X线片所花费的时间越长,重复性越差;提示所花费时间是评估中不确定性的一项指标。当比较第一次评估期间评估者评分与最终共同共识评分之间的一致性时,也观察到了这种关系,但在将第二次评估与共同共识评分进行比较时则未观察到(图2b)。

图2 猫髋关节发育不良X线评分的重复性与评估X线片所花费时间(秒)之间的关系;(a)显示三位评估者平均而言的这种模式,即第一次与第二次评估之间的重复性;(b)显示第一次评估的个体评分与共同共识评分之间(红色)以及第二次个体评估与共同共识评分之间(红色)的重复性模式。线条代表贝叶斯广义线性混合模型(GLMMs)的平均预测值,阴影区域为预测值的95%置信区间(CIs)。在(a)图中,所有髋关节评估的时间以地毯图形式显示在x轴上。 查看原图 ↗

共识

在第一次阅片期间,所评估的196个髋关节中有93个(47%)达到了独立一致共识(即3位观察者均同意),而在第二次阅片期间,这一共识出现在128个髋关节中(65%)。在第一次阅片期间达到一致共识的髋关节中,近30%(27/93)在第二次阅片期间未能达到这一共识水平(如果反向进行比较,这一数字接近50%(62/128);附录S2)。这导致只有66个髋关节在两次阅片中均达到独立一致共识。有趣的是,这66个髋关节中有6个(9%)在两次阅片之间其一致共识评分发生了变化(附录S2)。当将第一次和第二次独立共识阅片与通过讨论达成的最终共同共识评分(该评分在第二次评估后立即达成一致)进行比较时,差异也很明显。在这里我们发现,虽然所有第二次阅片的一致共识评分(128/128)均与最终共同共识评分一致,但第一次阅片的93个一致共识评分中只有77个(83%)与最终共同共识评分一致。在16个不一致的评分中,大多数从0变为1(6例)或从1变为2(6例)。其余4个变化为从2变为3(2例)、从0变为2或从2变为1(各1例;附录S2)。当将每位评估者的评分与共同共识评分进行比较时,第一次和第二次阅片之间相对于最终共识评分的这种差异也很明显;在第一次阅片期间,所有评估者与共同共识评分的一致性水平均远低于第二次(附录S2)。

如果将共识的定义放宽为至少2名观察者评分一致(即多数决定),那么在第一次评估中有189/196髋(96%)达到独立共识,在第二次评估中全部196髋均达到独立共识。第一次和第二次评估之间这些多数共识评分的一致率为75%,意味着所有多数共识评分中有四分之一在第一次和第二次阅片之间发生了评分变化(36个共识评分增加1分,12个减少1分;附录S2)。如果将这些独立共识评分与最终相互共识评分进行比较,则第一次和第二次评估中多数独立共识与相互共识评分之间的一致率分别为71%和94%(附录S2)。

共识评分在给定原始共识评分条件下的可重复性

第一次评估中的独立共识评分在再评估时获得相同独立共识评分的概率取决于共识的定义(即3名观察者的中位值、多数共识(2/3观察者一致)或完全共识(3/3一致)),此外还取决于原始共识评分(表3和S2;附录S2)。共识评分为3的髋在再评估时具有高度可重复性(达到相同共识评分的概率约为98%),无论共识如何定义(表3和S2;附录S2)。然而,共识分级0至2在重复评估中更容易出现不一致(共识评分0的一致范围=0.729–0.883;评分1=0.679–0.825;评分2=0.685–0.869)。此处一致率最高的情况是第一次评估中达成了独立一致共识;但请注意,即使在这些所有观察者首次分级X线片时均独立一致的严格条件下,第二次评估中共识评分仍有12–17%的概率发生变化(表3;图3;附录S2)。

图3 第一次评估中完全独立共识FHD评分(即所有观察者独立同意该评分;N=93)对应于第二次评估后相互共识FHD评分的条件概率估计。在每个面板中,灰色框表示第一次评估时的原始独立共识髋评分等级(左上原始FHD评分=0,右上=1,左下=2,右下=3),箭头及相关数字显示多项模型估计的第二次评估后相互共识髋评分的概率。例如,在右上方面板中原始完全共识评分=1。我们的模型预测,在再评估时观察者达到相同共识评分的概率为83%,共识评分变为2的概率为17%,共识变为0或3的概率<1%。这些概率基于第一次评估中收集的完全共识数据,并将其与第二次评估中达到的相互共识评分进行比较:即Pr(第二次共识|第一次共识)。关于这些估计的不确定性见表3。 查看原图 ↗

讨论

在本研究中,我们表明,对FHDX线片诊断评分的研究者自身内和研究者在研究者间的一致性,存在与重复性相同的问题,这一问题不仅见于犬髋关节发育不良4,5,8,9,而且在动物和人类影像学疾病判读中更为普遍7,12,13,22。为了将这种观察不确定性置于实际背景中,我们还量化了在该项目内寻求髋关节评估“第二意见”时可预期的变化方向和幅度,以及共识评分改善诊断重复性的程度。我们表明,重复评估中的任何预测变化并非随机,而是取决于所给出的原始髋关节评分等级。正如先前所发现的那样,与中间评分(即FHD评分=1或2;另见10)相比,诊断范围极端评分(即0或3)在重新评估时更可能被评为相同。这可能反映了在观察极端情况(例如无病理改变和最大病理改变)时判读诊断标准具有更大的确定性,也反映了一个简单的统计事实,即范围两端的评分只能朝一个方向变化,而范围中间的评分可以朝两个方向变化。了解影像学重复性为何不完美,以及这些不确定性模式应如何在评估背景下解读,是诊断过程的一个重要方面:不仅对从业者如此,对使用这些评分来决定特定动物是否用于繁殖的客户和疾病筛查项目也是如此2,13。

我们对将FHD评估中不完美的重复性进行简单化解读持谨慎态度。对某些人而言,这可能被视为一个信号,即他们可以有选择地选择适合自己的诊断,或者完全绕过疾病筛查项目,因为这些评估并不完美。对另一些人而言,我们的结果可能被视为需要寻找对该疾病更“确定性”的评估标准,从而使观察者之间的分歧降到最低。但这误解了决策时不确定性和准确性的本质,尤其是对X线片的解读2,13。就FHD评分而言,目的是评估一只猫携带某疾病基因的概率,并随后基于该概率限制其繁殖潜力14,20。为此,我们使用一张二维X线图像来代表一个三维物理对象,而该对象本身是由动物的基因组、其在发育过程中所暴露的环境以及我们所关注的髋关节发育不良基因之间复杂的相互作用所构成的。因此,诊断方法从一开始就需要承认这种不确定性,因为X线片是一种抽象表示,仅提供关于动物携带FHD基因概率的信息(例如基于与表型相关的遗传力估计20)。同样,放射科医生对该X线片的评估还包含一层额外的解读,即判断某只特定动物是否携带FHD基因。这意味着对于诸如“如果我的猫初次FHD评估评分为2,而第二意见给出的评分为1,这是否意味着可以从那只猫繁殖?”这样的问题,并不存在确定性的答案。就像预测降雨的天气预报一样,这些评估应被视为猫携带FHD基因的概率。我们接受天气预报并不完美,但我们仍然可以用其预测来做出知情选择。放射学诊断也是如此。例如,如果一只猫获得三个不同的FHD评分(如0、1、2),这仅仅意味着在判断其是否携带FHD基因时存在很大的不确定性。在这种情况下,客户不应将此理解为可以从该猫繁殖(因为没有人能达成一致),而应仔细考虑从FHD状态高度不确定的猫进行繁殖的风险。

限制放射学判读所引入不确定性的一种方法是采用共识法,即由多位专家阅片者对一张X线片进行评分,并通过取中位评分、多数评分或在讨论后达成相互一致的评分来达成共识15,23。共识法被认为能够产生高质量的参考标准15,16——即用于判定诊断“误差”的参考标准2——或为诊断的正确性提供保障10,14。我们同意多位专家的意见往往比单一专家的意见能提供更多关于诊断准确性的信息,但我们的结果表明,共识评分并不一定能揭示可用于判定误差的“真实”诊断。此处需考虑三点。第一,如果共识能为诊断准确性提供保障,那么当对共识评分进行重测时,我们应当看到几乎完美的可重复性。但正如本研究所示,根据共识的确定方式(多数一致 versus 全体一致,并以初始分级为条件;表3),共识评分在不同评估之间发生变化的比例可高达30%。即使我们将考虑范围限制为全体一致共识(即所有观察者在一次评估中独立达成一致),在两次独立场合达成相同共识评分的概率也可能低至82.5%。第二,正如我们在上一段所讨论的,我们不仅应当寻求诊断的最佳估计(通过取中位数或均值),还需要纳入专家意见的变异,以理解我们对该共识评分能有怎样的信心15,23。被告知您的猫的共识髋关节评分为1提供了一些信息,但若不知道专家是否全部一致,或该评分是否是介于0至2之间一系列评分的中位数,这将显著改变您对该共识评分的解读和信心。最后,我们需要承认,由于产生用于评估的图像的过程具有不确定性(即并非所有携带FHD基因的猫都会表现出病变,且放射图像质量可能掩盖病变或包含类似病变的伪影),放射科医生可能在共识上达成一致,但这与诊断准确性无关1,11,15。因此,尽管在理解个体放射学评估中的不确定性方面已给予大量重视1,2,13,但对共识评估相关局限性和不确定性的同等理解尚未得到扩展15。

一个例子展示了更深入理解共识评分中的不确定性和不准确性如何可能显著改变对结果的解读,可以通过将我们的研究与Pulkinnen等人[12]的研究进行比较来看出。在两项研究中,在一次评估期间获得完全独立共识评分(即所有三位放射科医生一致同意)的概率相似(56%对61%);限制性共识评分(即一次评估中只需三分之二的评级相同)也是如此(98%对99%)。在Pulkinnen等人[12]的研究中,这种在一次评估期间达到多数一致的近乎完美的概率随后被用来证明其放射学评估标准的合理性。然而,这需要一个强假设,即共识评分反映诊断准确性。在我们的研究中,我们并未做此假设,而是量化了这些共识评分在评估之间变化的频率;此处可重复性低至68%,取决于原始多数共识评级(表3)。但尽管达到多数共识的概率几乎完美,是什么导致了如此低的共识可重复性?想象一张X光片,其病理处于0和1之间的临界FHD评分。第一位放射科医生决定评分为0,而第二位放射科医生评分为1。无论第三位放射科医生如何评分该X光片(0或1),都 guaranteed 达到多数决定,与“真实”诊断无关。因此,在一次评估期间达到多数决定的近乎完美的概率,如果可以通过抛硬币获得相同结果,则对共识评分的准确性毫无说明。这清楚地表明,关注我们能多久达成共识只说明了故事的一半;同样关键的是要理解共识是否可重复,以及如何在描述共识结果时最好地纳入不确定性度量[15,23]。

我们还检查了评估评分与若干可能影响其可重复性的因素之间的关系。有两个因素是PawPeds项目可以影响的,即猫的年龄和提交的X光片质量;然而这两个因素均未对观察者内可重复性表现出明显影响。这表明尽管兽医从业者提交的X光片质量参差不齐,PawPeds当前的质量控制流程(其中一些提交被拒绝为“不可读”)似乎足以排除质量低到干扰FHD评分的X光片。还值得注意的是,PawPeds允许年仅10个月大的猫接受评估,而另一个主要国际FHD筛查项目(OFA)评估的是>24个月大的猫[14]。我们未能观察到年龄对X光片评估可重复性的任何影响(即我们评估中的年轻猫和老年猫具有相同的可重复性度量)。因此,从这个角度来看,没有证据表明PawPeds需要改变其最低年龄要求。

有两个额外因素确实对FHD评分的可重复性产生了相对较大的影响。放射科医生在首次评估时解读一张X线片所花费的时间与观察者内可重复性及相互共识评分呈负相关。我们的解释是,这与X线片的一般质量无关,而是与在一系列连续解剖特征(即髋关节一致性、髋臼-股骨头重叠及骨赘形成)之上施加了一个4级分类有关。因此,当髋关节接近某一分类边界时,放射科医生需要花费更多时间来决定该髋关节属于哪一类别,进而在再次评估时更可能被归入相邻类别。我们考察的第二个影响因素——即初次评估中对X线片所赋予的评分——支持了这一解释。通过分析在给定首次FHD评分的条件下第二次评估给出某一FHD评分的概率,我们发现评分1和2的不确定性远大于评分0和3。此外,评分的变化几乎总是从一个类别变为相邻类别,这也与上述对“所花时间”分析的解释相一致。这一效应不仅存在于个体观察者内和观察者间的可重复性中,也存在于共识评分中——我们观察到评分3具有高可重复性(评分0也较高)。如前所述,这对于帮助我们理解如何解读对单次放射学评估的信心是重要的信息。

我们的结果表明,在人类和兽医放射学中,现在需要更加关注与共识评分相关的不确定性和可重复性,以及如何在诊断评估的背景下解释这些不确定性和可重复性2,15,23。在本研究中,我们能够使用相同的X光片进行计算,评估相同观察者之间的共识不确定性。然而,这种“观察者内共识”的可重复性可能高于比较不同专家群体之间共识(“观察者间共识”)的情况,正如在个体可重复性比较中所见1。此外,计算共识方法的准确性时应考虑使用来自同一动物的不同X光片,以确保共识与所显示的病理相关,而非X光片的特定方面。此外,可重复性效应可能因品种而异,在评估共识一致性的价值时也应考虑到这一点。正如在比较第一次和第二次评估中的独立共识与最终共同共识时所见到的那样,一致性水平以及阅读X光片所需时间的影响存在显著差异。这表明可重复性实验的设计以及独立评估与共同共识评估之间的时间间隔可能对共识评分的不确定性和可重复性的估计产生重大影响。因此,在未来的研究中需要谨慎行事,以确保我们获得关于共识评分周围不确定性的准确估计。如果我们想要充分理解放射学诊断的含义以及共识评分在多大程度上提高了诊断的准确性,这些估计至关重要。随着人工智能系统使用共识评分作为诊断参考来训练放射学数据16,这一点正变得越来越重要。

材料与方法

PawPeds猫髋关节发育不良(FHD)筛查项目

一个旨在限制猫髋关节发育不良(FHD)的国际猫健康项目于2000年启动,目前由PawPeds(https://pawpeds.com/healthprogrammes/)管理。该项目根据10月龄以上个体猫在标准伸展腹背位投照X线片上髋股关节的放射学表现,对其FHD程度进行分级。一名兽医放射科医师负责项目内的所有评估,并按照四级量表分别对每个髋关节评分:0级=正常髋关节,无FHD证据;1级=一致性髋关节且髋臼覆盖股骨头<50%,或非一致性髋关节且髋臼覆盖股骨头>50%但无继发性退行性改变;2级=轻度骨赘形成和/或关节非一致性,同时髋臼覆盖股骨头<50%;3级=中度至重度骨赘形成(各等级的放射学示例见20)。该项目根据这些分级,通过选择性繁育向繁育者提出限制FHD的建议。任一髋关节为2级或3级的猫应排除在繁育之外。任一或双髋为1级的猫建议仅与双关节髋关节状态正常(0级)的猫交配。PawPeds向兽医放射科医师提出的建议是,如果髋关节评分处于临界值,应按较低评分分级:即在这些情况下评分应保守。PawPeds项目已被证明能成功降低后代中FHD的表现20。

实验设计

98只缅因猫(35只雄性和63只雌性;性别比与PawPeds数据库相似;20)双髋的X线片由一名未参与阅片或分析过程的独立人员从PawPeds髋关节发育不良筛查项目数据库中调取。所有病例均至少有一张专为FHD评估拍摄的骨盆和髋股关节伸展腹背位投照。所有猫在放射学检查时的年龄均已知(平均=18个月;范围=10–46个月),并且此前5年内已由一名兽医放射科医师(PE)在PawPeds项目内完成分级。猫从PawPeds存档结果中各FHD分级类别中随机选取。选择每类的猫数以确保样本量足够大,从而能够准确估计一致性评分、以原始FHD评分为条件的共识概率,并反映这些髋关节评分在实践中的相对频率。病例按猫的注册名以字母顺序排列,并被分配一个唯一编号,该编号与包含每只猫髋关节X线片的单独文件夹相链接。几乎所有X线片均为DICOM格式(使用图像查看系统:Horos和ImageJ),少数例外为JPEG格式。

随后对每个病例的X线片进行评估,每只猫的双侧髋关节由三名兽医独立评分;一名第一年兽医放射学住院医师(观察者1)、一名拥有20年以上经验的委员会认证兽医放射科医师(观察者2)和一名拥有20年以上经验的兽医放射学副教授(观察者3)。所有观察者均熟悉PawPeds当前的髋关节阅片方案(其中两名观察者过去或目前受雇于PawPeds,为该项目的股骨头骨骺滑脱(FHD)X线片进行评估(观察者1和3),且三名放射科医师在本研究前均讨论了PawPeds分级标准)。阅片时,观察者不知晓患者的病史、年龄、性别和既往FHD分级。每侧髋关节由兽医放射科医师在三个不同场合进行评分。第一次评分时,观察者按照PawPeds常规筛查程序中的相同方式进行阅片。为此,98个病例(196侧髋关节)由放射科医师分4个独立时段独立审阅,每时段24–25个病例,各时段之间间隔约14天,以模拟项目内的常规筛查条件。每个髋股关节采用当前PawPeds 4级分级量表进行分级。在此次阅片过程中,放射科医师还记录了他们认为可能影响X线片判读的任何问题(例如动物的对比度或体位24)以及为该猫做出评分决定所需的时间。对相同98个病例的第二次评估在第一次评估完成后约8周进行。第二次评估时,三名观察者于同一天分别对每只猫的双侧髋股关节进行评分,并在每个病例结束后直接比较评分,通过相互讨论决定共识分级(第三次评估)。所有评估中病例顺序保持不变。观察者在阅片期间或阅片之间未向其他观察者报告或讨论其结果,且在第二次评估和共同共识决定时无法获取其第一次评估的评分。

统计分析

除汇总统计外,我们采用两种主要方法分析每只动物髋关节评分重复性。第一种是使用二项广义线性混合模型(GLMM)框架估计观察者间重复性、观察者内重复性以及评分与最终共识评分的关系;这些比较被重新编码为1/0数据(即髋关节评分是否一致)。对于观察者间分析,将一名观察者在两次会话中每次给出的每个髋关节评分(0–3)与另外两名观察者各自给出的评分进行比较。对于观察者内分析,将每名观察者第一次会话的评分与其本人第二次会话的评分进行比较。这些模型构建时,将每名观察者的身份作为模型截距上的一个层次水平,以便不仅能为所有观察者的均值生成重复性估计,还能分别为三名观察者中的每一名单独估计(完整模型和数据描述见附录S1)。这使我们能够通过在GLMM框架内加入解释变量来扩展这一基本模型结构,以帮助理解观察重复性变异的可能原因。这些变量包括阅读X线片以确定髋关节评分所需的时间、猫的年龄以及X线片的“质量”:即是否对X线片质量或猫的摆位问题作出评论。

在本研究中,我们还从几个角度评估了共识评分的一致性;我们将其称为“独立共识”和“相互共识”。对于独立共识,我们检查在观察者之间没有交流的一次阅片过程中,对特定髋关节的所有三项独立评估是否一致。独立共识发生的频率如何,这种共识随时间推移的稳定性如何?因此,我们检查了独立共识在两次独立阅片之间保持一致的频率,以及这些共识评分中是否有任何一项在第一次和第二次阅片之间发生变化。由于共识在临床评估中也可定义为“多数决定”11,25,我们基于独立共识由多数决定定义(即至少2名观察者对评分一致,且这被视为共识评分)重新运行了这些分析。这使我们能够估计一致(3/3)与多数(2/3)共识定义下的重复性。对于相互共识,我们使用了第二次阅片后立即由三名评估者讨论后对每个髋关节达成的最终共识评分。这使我们不仅能够将个体评估者在两次阅片期间的评分与相互共识评分进行比较,还能够比较评估共识的不同方式,以及随着研究进展,“独立”共识相对于“相互”共识是否发生变化。

第二种分析方法采用一个4水平多项建模框架,用于估计在原始观察中给定某一特定髋关节评分的情况下,新观察者(或重复评估)给出某一特定髋关节评分的具体概率。这是为了回答以下问题:(1)“在单名放射科医师重新评估中,给定某髋关节的原始髋关节评分,该髋关节被给出FHD评分0、1、2或3的概率是多少?”以及(2)“在重新评估中,给定原始共识评分,共识评分(完整和部分)的可重复性如何?”在此,我们将数据条件化于第一次评估中的原始观察或共识评分。对于每个问题,我们基于个体或共识髋关节评分的子集创建了四个数据集;其中每一个均以四种可能的初始髋关节评分(即个体或共识评分=0、1、2或3)为条件。对于与个体重新评估相关的第一个问题,多项类别的计数数据包括同一观察者在重复测量期间随后给出的评分,以及同一观察期间其他观察者给出的可比评分(我们将其视为仿佛主人要求同一名放射科医师核对其原始评估,或咨询新的放射科医师作为“第二意见”)。对于与共识评分相关的第二个问题,多项类别数据为第二次评估中的共识评分。我们使用这些数据集分别运行多项模型,这些模型估计在初始髋关节评分条件下随后被给出(由个体观察者或由共识评估)的四个可能髋关节评分类别的概率(完整模型和数据描述见附录S1)。所有分析均在贝叶斯框架中进行,以便我们提取所关注的概率。这些分析在R26中使用JAGS27以最小信息先验实现。所有模型均通过目视检查链的稳定性和混合性以及拟合的后验预测检验来检查收敛性。

伦理声明

本研究使用来自自愿健康筛查项目(PawPeds)的既有X线片进行。因此,本研究未涉及任何动物。

补充信息

补充信息1。

补充信息2。

补充信息3。

引用

  1. Ball, Uhlhorn, Eksell, et al. Repeatability of radiographic assessments for feline hip dysplasia suggest consensus scores in radiology are more uncertain than commonly assumed. Sci Rep. 2022. PMID: 35978034. doi:10.1038/s41598-022-18364-9
  2. 全文:PMC9385612(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9385612/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。