Le coefficient Kappa de Cohen : mesurer l’accord inter-juges dans une analyse qualitative (guide 2026)

Le coefficient Kappa de Cohen — noté κ — est devenu un étalon méthodologique incontournable dans toute analyse qualitative soumise à un double codage. Dès lors qu’au moins deux chercheurs catégorisent indépendamment un même corpus d’entretiens, de verbatim ou de notes de terrain, la question de l’accord inter-juges dépasse le simple comptage des concordances : elle engage directement la fidélité et la crédibilité de l’ensemble du dispositif interprétatif. Pour les doctorants et les équipes de recherche en SHS, maîtriser le coefficient Kappa de Cohen, son calcul et son interprétation, c’est ancrer ses résultats dans un cadre de rigueur reconnu par les comités de lecture et les jurys de thèse.

La fidélité inter-codeurs ne se réduit pas à un pourcentage d’accord brut. Si deux juges classent 42 extraits sur 50 de façon identique, le chiffre de 84 % semble rassurant — mais il ignore la part d’accord qui surviendrait par simple hasard. C’est précisément la correction probabiliste introduite par Jacob Cohen en 1960 qui fait la force du κ : en soustrayant l’accord attendu par le seul effet du hasard, il livre une estimation nettement plus conservatrice et plus honnête de la concordance réelle. Cet article en détaille la formule, illustre le calcul sur un exemple chiffré, situe le Kappa de Fleiss pour les études à plusieurs juges, trace la frontière avec l’Alpha de Cronbach — souvent confondu à tort — et indique les procédures sous SPSS et R.

La distinction entre méthodes qualitatives et quantitatives influe directement sur le choix et l’interprétation des indices d’accord inter-codeurs. Une présentation synthétique de ces ancrages figure dans l’article sur le choix entre méthode qualitative et quantitative dans un mémoire de master.

1. L’accord inter-juges : pourquoi le simple pourcentage ne suffit pas

Dans toute recherche qualitative fondée sur une démarche de codage — analyse thématique, analyse de contenu catégorielle, analyse phénoménologique interprétative — la reproductibilité des décisions de codage constitue l’un des critères centraux de la validité du dispositif. Deux chercheurs qui codent indépendamment un corpus doivent atteindre un niveau d’accord suffisant pour que l’on puisse affirmer que les catégories appliquées transcendent les biais interprétatifs individuels.

Le recours au pourcentage d’accord brut (P_o) pose un problème de fond : il surestime systématiquement la concordance réelle. Imaginons deux juges qui codent 50 extraits dans trois catégories de fréquences inégales. Même s’ils choisissaient leurs catégories au hasard, ils s’accorderaient sur un nombre prévisible d’unités — simplement par l’effet des distributions marginales. Si la catégorie A représente la moitié du corpus, deux codeurs attribueraient A à peu près la moitié du temps chacun, générant un accord fortuit non négligeable. L’absence de correction rend donc le pourcentage brut inutilisable comme indicateur autonome de fidélité.

C’est cette lacune que corrige le coefficient κ de Cohen (1960) en soustrayant de l’accord observé l’accord attendu par le hasard. Le résultat est un indice qui vaut 1 en cas d’accord parfait, 0 lorsque l’accord est purement accidentel, et peut être négatif si les codeurs s’accordent moins que le hasard ne le prédirait. Cette propriété en fait la mesure de référence lorsque des décisions de classification catégorielle nominale sont comparées entre deux juges. La posture épistémologique qui sous-tend le choix d’un codage thématique — et la nécessité de le valider par un accord inter-juges — est développée dans l’article sur la posture épistémologique et les paradigmes de recherche pour le mémoire de master.

2. Le coefficient κ de Cohen : formule et calcul pas à pas

Jacob Cohen a proposé en 1960 la formule suivante :

κ = (P_o − P_e) / (1 − P_e)

où :

• P_o (proportion d’accord observé) = nombre d’unités codées identiquement par les deux juges ÷ nombre total d’unités ;
• P_e (proportion d’accord attendu par le hasard) = somme, pour chaque catégorie, du produit des proportions marginales de chaque juge.

Exemple chiffré (données illustratives)

Les données ci-dessous constituent un exemple pédagogique fictif destiné à illustrer la procédure de calcul. Elles ne proviennent pas d’une étude empirique publiée.

Deux codeurs — J1 et J2 — analysent indépendamment 50 verbatim issus d’entretiens semi-directifs. Chaque extrait est classé dans l’une de trois catégories thématiques : Soutien social (A), Stratégies d’adaptation (B), Sentiment d’impuissance (C). Voici la matrice de confusion :

Étape 1 — Calculer P_o

Les cellules de la diagonale (cases en vert) regroupent les accords : 20 + 12 + 10 = 42 extraits.
P_o = 42 / 50 = 0,84

Étape 2 — Calculer P_e

Pour chaque catégorie, on multiplie la proportion marginale de J1 par celle de J2 :

• Catégorie A : (23/50) × (23/50) = 0,46 × 0,46 = 0,2116
• Catégorie B : (16/50) × (15/50) = 0,32 × 0,30 = 0,0960
• Catégorie C : (11/50) × (12/50) = 0,22 × 0,24 = 0,0528

P_e = 0,2116 + 0,0960 + 0,0528 = 0,3604

Étape 3 — Calculer κ

κ = (0,84 − 0,3604) / (1 − 0,3604) = 0,4796 / 0,6396 ≈ 0,75

Avec un accord brut de 84 % mais un κ de 0,75, on voit la correction opérée par l’indice : une part substantielle de l’accord brut était attendue par hasard (36 %). Le coefficient κ = 0,75 correspond à un accord substantiel selon la grille de Landis & Koch.

3. Interpréter κ : les seuils de Landis & Koch (1977)

La référence la plus citée pour interpréter le Kappa de Cohen reste l’article de Landis et Koch publié dans Biometrics en 1977. Ces auteurs proposent une grille à six niveaux :

Plusieurs auteurs ont nuancé cette grille. Krippendorff (2004) recommande un seuil minimal de κ ≥ 0,67 pour autoriser des conclusions provisoires et de κ ≥ 0,80 pour des conclusions définitives. Dans les revues de sciences sociales indexées sur Cairn.info et HAL, un seuil de 0,70 à 0,75 est souvent exigé. Le seuil pertinent dépend également de la nature des catégories : un codage binaire (oui/non) tolère généralement des valeurs plus basses qu’un codage à cinq catégories ou davantage, en raison des effets de distribution.

4. Le Kappa de Fleiss : accord entre plus de deux juges

Lorsque la recherche mobilise trois codeurs ou davantage — configuration courante dans les études de validation d’outils, les analyses de contenu multisite ou les recherches en médecine clinique — le coefficient κ de Cohen ne s’applique plus directement, car il est défini pour exactement deux juges. C’est Joseph L. Fleiss qui a proposé en 1971 une extension permettant d’évaluer l’accord entre k juges codant n sujets dans c catégories.

La formule du Kappa de Fleiss s’écrit :

κ_F = (P̄ − P̄_e) / (1 − P̄_e)

où P̄ est la proportion moyenne d’accord observé calculée sur l’ensemble des paires de juges, et P̄_e la proportion d’accord attendu par le hasard, estimée à partir des proportions marginales globales de chaque catégorie sur l’ensemble des codeurs. L’interprétation des valeurs obtenues suit la même grille que Landis & Koch. Dans le cadre d’une thèse impliquant plusieurs observateurs lors d’un protocole de focus group ou d’observation à plusieurs animateurs, le Kappa de Fleiss est l’indice à privilégier sur le κ de Cohen.

À noter : si les juges ne sont pas identiques d’une unité à l’autre (panel tournant, comme dans certaines expertises cliniques), l’Alpha de Krippendorff constitue une alternative plus adaptée, car il tolère les données manquantes et s’étend naturellement aux données ordinales.

5. Double codage thématique : protocole pratique

Le double codage consiste à faire analyser une portion du corpus par deux chercheurs de manière totalement indépendante, avant de confronter les résultats et de calculer le coefficient κ. Voici les décisions méthodologiques à documenter explicitement dans la section méthodologique de la thèse ou du mémoire :

1. Taille de l’échantillon inter-codeurs : coder l’intégralité du corpus est l’idéal ; en pratique, un sous-ensemble de 15 à 25 % des unités d’analyse est couramment accepté, à condition que la sélection soit aléatoire ou stratifiée et décrite comme telle.
2. Définition de l’unité d’analyse : phrase, proposition, tour de parole, paragraphe ? L’unité doit être définie et appliquée de façon strictement identique par les deux juges avant tout codage.
3. Formation préalable et guide de codage : les deux codeurs travaillent d’abord sur un extrait pilote commun, accompagné d’une grille de codage explicite incluant des exemples et des contre-exemples pour chaque catégorie. Cette phase de calibration est indispensable.
4. Traitement des désaccords : les unités non concordantes font l’objet d’une discussion jusqu’à consensus ou sont soumises à un troisième juge arbitre. Cette procédure doit être décrite et, si possible, les désaccords résolus documentés séparément du κ initial.
5. Rapport du κ dans la section méthodologique : signaler la valeur de κ, le nombre d’unités codées en double, et la référence à la grille d’interprétation utilisée (Landis & Koch, 1977, ou Krippendorff, 2004).

La méthodologie qualitative appliquée aux mémoires en sociologie offre un panorama complémentaire sur la manière d’articuler codage thématique, saturation catégorielle et double validation dans un mémoire de master en SHS.

6. Kappa de Cohen vs Alpha de Cronbach : deux statistiques distinctes

La confusion entre ces deux indices est fréquente dans les mémoires de master et dans certaines thèses, au point que des jurys relèvent régulièrement l’erreur. Elle mérite d’être dissipée avec précision :

L’Alpha de Cronbach n’a donc aucune pertinence pour évaluer la concordance entre deux codeurs sur un corpus textuel. À l’inverse, utiliser le Kappa de Cohen pour vérifier la cohérence interne d’un questionnaire serait méthodologiquement inapproprié. Ces deux métriques répondent à des questions fondamentalement différentes et ne sont pas interchangeables, même si leurs valeurs numériques coïncident parfois. La confusion est d’autant plus facile à éviter que leur contexte d’usage est clairement délimité : le κ relève de la fidélité inter-codeurs dans une analyse de données non numériques ; l’Alpha de Cronbach relève de la fiabilité d’une échelle dans une démarche quantitative.

La conception même de l’échelle conditionne d’ailleurs la valeur de l’Alpha de Cronbach que l’on obtiendra : nombre de points retenus, formulation et équilibrage des items, gestion des formulations inversées. Ce travail de construction, en amont de tout calcul de fiabilité, est détaillé dans le guide consacré à l’échelle de Likert dans un questionnaire de mémoire, utile dès lors que votre méthodologie comporte un volet quantitatif par questionnaire.

7. Calculer κ avec SPSS et R

Sous SPSS

Dans SPSS, l’accord inter-codeurs sur données nominales se calcule via le module Tableaux croisés (Crosstabs) :

1. Saisir les données en deux colonnes : une variable pour les codes de J1, une pour ceux de J2, chaque ligne correspondant à une unité codée.
2. Aller dans Analyse → Statistiques descriptives → Tableaux croisés.
3. Placer la variable du Juge 1 en ligne, celle du Juge 2 en colonne.
4. Cliquer sur Statistiques, cocher Kappa.
5. Valider. La sortie affiche κ, son erreur standard asymptotique et le résultat du test de signification z.

Pour les données ordinales (catégories hiérarchisées), le module Coefficients de l’analyse fiabilité (Scale → Reliability Analysis) permet d’accéder au coefficient de corrélation intraclasse (CCI), qui constitue l’alternative naturelle au κ pondéré.

Sous R : le package irr

Le package irr (Inter-Rater Reliability) est la référence principale en R pour ces calculs :

# Installation (une seule fois)
install.packages("irr")
library(irr)

# Kappa de Cohen pour deux juges
# juge1 et juge2 : vecteurs de mêmes longueur contenant les codes attribués
kappa2(cbind(juge1, juge2))
# Renvoie : κ, erreur standard, z, p-value

# Kappa pondéré (données ordinales)
kappa2(cbind(juge1, juge2), weight = "equal")

# Kappa de Fleiss pour k juges
# matrice : n lignes (unités) × k colonnes (juges)
kappam.fleiss(matrice)

# Coefficient de corrélation intraclasse (données continues)
icc(matrice, model = "twoway", type = "agreement")

La fonction kappa2() retourne le κ de Cohen avec son intervalle de confiance, tandis que kappam.fleiss() calcule le κ de Fleiss pour une matrice de codages à plusieurs juges. Le package psych propose également la fonction cohen.kappa() avec des sorties enrichies incluant κ pondéré et non pondéré simultanément.

Dans le cadre d’une validation d’instrument en plusieurs rounds itératifs, comme lors d’une méthode Delphi pour la construction d’un consensus expert, le coefficient κ sert fréquemment à mesurer l’accord du panel sur la pertinence de chaque item — un usage qui illustre la polyvalence de cet indice au-delà du seul codage thématique.

Questions fréquentes

Références bibliographiques

• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
• Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (2^e éd.). Sage.
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
• Nunnally, J. C. (1978). Psychometric Theory (2^e éd.). McGraw-Hill.