Outils de recherche › Gwet's AC1 Agreement

Gwet's AC1 Inter-Rater Agreement

When two raters classify the same set of objects, Kappa suffers from a paradox when categories are very imbalanced ("high agreement, yet low κ"). Gwet's AC1 avoids this with a more reasonable estimate of expected agreement, giving a more robust result. This tool reports both AC1 and Cohen's κ for comparison (bootstrap 95% CI).

① Paste paired ratings

One object per line, two columns for rater 1 and rater 2's category (text or numbers, separated by space/Tab/comma).

Mode d'emploi et méthodologie

Comment choisir entre AC1 et Kappa ?

Les deux mesurent l'accord inter-évaluateurs. Lorsqu'une catégorie est très fréquente (déséquilibre), Kappa est déflaté par son « accord attendu » (paradoxe du kappa) ; l'AC1 de Gwet est plus stable dans ce cas. Si les catégories sont équilibrées, les deux sont proches ; en déséquilibre, préférez AC1 ou rapportez les deux.

Qu'est-ce que le paradoxe du Kappa ?

Lorsque la prévalence d'une catégorie est extrême, l'accord attendu par le hasard (Pe) devient élevé, ce qui abaisse artificiellement Kappa même si l'accord observé est bon. Ce n'est pas forcément que les évaluateurs sont mauvais — c'est une propriété de la formule.

Les catégories peuvent-elles être du texte ?

Oui. L'outil accepte des étiquettes textuelles (p. ex. positif/négatif, A/B/C) ; elles sont traitées comme des catégories nominales. Pour des catégories ordonnées avec pondération, utilisez l'outil Kappa pondéré.

Et pour trois évaluateurs ou plus ?

Cet outil AC1/Kappa porte sur deux évaluateurs. Pour ≥3, utilisez Fleiss κ (ou des extensions multi-évaluateurs d'AC1 dans un logiciel dédié).