Vous annoncez fièrement 240 participants. Votre directeur pose une seule question : « ils viennent de combien de classes ? » Huit. Et là, la conversation change de nature.
Parce que vos 240 élèves ne sont pas 240 observations indépendantes. Ceux d’une même classe partagent un enseignant, un emploi du temps, un quartier, une dynamique de groupe. Ils se ressemblent plus entre eux qu’ils ne ressemblent aux élèves des sept autres classes. Le même problème se pose avec des patients répartis dans des services, des salariés dans des agences, des sportifs dans des clubs, des répondants recrutés via quelques associations.
L’indépendance des observations est la condition d’application la plus discrète de toutes : aucun logiciel ne la teste, aucune sortie ne signale sa violation, et elle est celle qui fausse le plus violemment les résultats. Voici les quatre façons de la traiter, et comment choisir.
Le tableau de décision
| Stratégie | Ce qu’elle fait | Condition pour l’utiliser | Ce qu’elle coûte |
|---|---|---|---|
| Ignorer le groupement | Analyse classique sur les individus | Corrélation intraclasse quasi nulle, ou groupes très nombreux et très petits | p-values trop optimistes si la condition n’est pas remplie |
| Agréger au niveau du groupe | Une ligne par classe, moyenne du groupe en variable | Votre hypothèse porte réellement sur les groupes | Vous tombez à 8 observations ; vous perdez toute variance individuelle |
| Erreurs-types robustes au cluster | Garde les individus, corrige seulement les écarts-types | Vous ne voulez qu’un test honnête de l’effet moyen | N’explique rien du groupement ; nécessite un nombre raisonnable de groupes |
| Modèle multiniveau | Modélise explicitement la variance entre groupes et à l’intérieur | Idéalement une trentaine de groupes ou plus | Plus lourd à apprendre, à écrire et à défendre |
La recommandation courte : mesurez d’abord la corrélation intraclasse. Si elle est négligeable, la première ligne suffit et vous le documentez. Si elle ne l’est pas et que vous avez peu de groupes, prenez les erreurs-types robustes. Si vous avez beaucoup de groupes et une question qui porte sur le niveau groupe, le modèle multiniveau est le seul qui y réponde. La suite explique comment trancher avec un chiffre plutôt qu’à l’intuition.
Le chiffre qui décide : la corrélation intraclasse
La corrélation intraclasse, notée ρ ou ICC, mesure la part de la variance totale qui se situe entre les groupes plutôt qu’à l’intérieur. Un ICC de 0 signifie que les classes ne se distinguent en rien ; un ICC de 0,30 signifie que 30 % de la variabilité de votre variable tient à l’appartenance au groupe.
Vous l’obtenez avec le modèle le plus simple qui soit, dit modèle vide : sous SPSS, Analyse → Modèles mixtes → Linéaire, en déclarant votre variable de groupe comme sujet, sans aucun prédicteur, en demandant la structure de covariance des effets aléatoires. Le tableau des paramètres de covariance vous donne deux variances : celle de l’intercept aléatoire et la résiduelle. L’ICC est la première divisée par leur somme.
Ce chiffre gouverne tout, via l’effet de plan :
effet de plan = 1 + (taille moyenne des groupes − 1) × ICC
Prenons vos huit classes de 30 élèves avec un ICC de 0,10, une valeur courante en sciences de l’éducation : 1 + (30 − 1) × 0,10 = 3,9. Votre échantillon de 240 se comporte comme un échantillon de 240 ÷ 3,9 ≈ 62 observations indépendantes. Vous n’avez pas perdu des données ; vous découvrez ce que vous aviez réellement. C’est aussi la raison pour laquelle un test lancé sur 240 lignes produit des p-values beaucoup trop petites : il croit disposer de quatre fois plus d’information qu’il n’en existe.
Le piège de la taille des groupes
Regardez la formule : l’ICC est multiplié par la taille des groupes. Un ICC minuscule de 0,02 devient sérieux si vos grappes comptent 100 personnes chacune (effet de plan ≈ 3,0), et reste négligeable si elles en comptent 5 (≈ 1,08). Ce n’est pas l’ICC seul qui décide, c’est le produit. C’est pourquoi une enquête diffusée via trois grands groupes en ligne est bien plus exposée qu’une enquête menée dans quarante petites structures.
Stratégie 1 — Ignorer le groupement, mais le documenter
Ce n’est pas une faute en soi. C’est une faute si vous ne l’avez pas vérifié.
Calculez l’ICC, calculez l’effet de plan, et si celui-ci reste proche de 1, écrivez-le dans la méthodologie : « la corrélation intraclasse liée à l’établissement est de 0,01, soit un effet de plan de 1,05 ; les analyses ont donc été conduites au niveau individuel. » Cette phrase désamorce la question du jury avant qu’elle soit posée, et elle prend deux lignes.
La faute, c’est de ne jamais avoir regardé — et de découvrir en soutenance que vos p-values reposaient sur un effectif imaginaire. Notre inventaire des biais méthodologiques d’un mémoire de master range ce cas parmi les plus coûteux, parce qu’il est invisible jusqu’à ce qu’on le nomme.
Stratégie 2 — Agréger au niveau du groupe
Vous calculez la moyenne de chaque classe et vous travaillez sur 8 lignes. L’indépendance est restaurée : chaque classe n’apparaît qu’une fois.
C’est légitime quand votre hypothèse porte vraiment sur les groupes — « les établissements qui ont mis en place le dispositif obtiennent-ils de meilleurs résultats moyens ? ». C’est un désastre quand votre hypothèse porte sur les individus, parce que vous perdez la totalité de la variance intra-classe et parce qu’un effet observé au niveau agrégé ne se transpose pas mécaniquement au niveau individuel.
Et surtout : avec huit unités, votre puissance statistique s’effondre. Vérifiez ce que cela implique avec la procédure G*Power avant de vous engager dans cette voie — le résultat est souvent dissuasif.
Stratégie 3 — Les erreurs-types robustes au cluster
C’est le compromis le plus sous-utilisé dans les mémoires, et souvent le plus raisonnable.
L’idée : garder toutes vos observations individuelles et tous vos prédicteurs, ne rien changer aux coefficients estimés, mais recalculer les écarts-types en tenant compte du fait que les erreurs sont corrélées à l’intérieur de chaque groupe. Vos intervalles de confiance s’élargissent, vos p-values remontent, et le test redevient honnête.
Sous SPSS, la voie accessible passe par les équations d’estimation généralisées (Analyse → Modèles linéaires généralisés → Équations d’estimation généralisées) : déclarez votre variable de groupe comme variable sujet, une structure de corrélation de travail échangeable, et l’estimateur de covariance robuste. Sous R, la même chose s’obtient avec un estimateur sandwich groupé. Le comparatif R, Python ou SPSS pour l’analyse statistique pose les différences d’ergonomie entre ces environnements.
La limite : cette correction est asymptotique. Elle suppose un nombre de groupes suffisant pour être fiable ; avec cinq ou six clusters, elle sous-corrige et donne une fausse impression de rigueur. Avec huit classes, présentez-la comme une correction imparfaite plutôt que comme une solution.
Stratégie 4 — Le modèle multiniveau
Le modèle multiniveau — aussi appelé modèle hiérarchique linéaire ou modèle mixte — ne corrige pas le problème : il le prend pour objet. Il décompose la variance en une part entre groupes et une part entre individus, puis permet de tester des prédicteurs à chaque niveau.
Il devient indispensable dès que votre question de recherche contient elle-même les deux niveaux : « à motivation individuelle égale, le climat de la classe influence-t-il le résultat ? » Aucune des trois autres stratégies ne peut répondre à cette phrase.
Sous SPSS : Analyse → Modèles mixtes → Linéaire. On procède par étapes — d’abord le modèle vide pour l’ICC, puis les prédicteurs de niveau 1, puis ceux de niveau 2, en comparant l’ajustement à chaque ajout. Jamovi et JASP proposent des interfaces plus lisibles pour ces modèles ; le comparatif JASP, jamovi ou SPSS détaille ce que chacun couvre.
Combien de groupes faut-il ?
C’est la question qui décide réellement, et la réponse est décevante : beaucoup plus que vous n’en avez. La règle empirique la plus citée en sciences sociales demande une trentaine de groupes pour estimer correctement les variances de niveau 2, et davantage encore pour tester des pentes aléatoires. C’est une convention, pas une loi — mais un jury la connaît.
Avec huit classes, un modèle multiniveau est techniquement calculable et statistiquement fragile : les estimations de variance de niveau 2 seront instables, et un lecteur averti vous le dira. Ce n’est pas une raison pour renoncer à en parler ; c’est une raison pour choisir la stratégie 3 et expliquer pourquoi. Un mémoire qui écrit « le nombre de grappes est insuffisant pour un modèle multiniveau fiable, une correction robuste au cluster a donc été retenue » est plus solide qu’un mémoire qui empile les niveaux sans le dire.
Ce qu’il faut écrire dans le mémoire
Groupement négligeable : « Les participants étant recrutés dans six structures, la corrélation intraclasse a été estimée à partir d’un modèle vide : ρ = 0,012, soit un effet de plan de 1,20. Le regroupement a donc été considéré comme négligeable et les analyses conduites au niveau individuel. »
Groupement traité par correction robuste : « Les 240 élèves étant répartis dans 8 classes, la corrélation intraclasse s’établit à ρ = 0,10, soit un effet de plan de 3,9 et un effectif effectif d’environ 62 observations. Le nombre de grappes étant trop faible pour un modèle multiniveau fiable, les erreurs-types ont été estimées de façon robuste au niveau de la classe. »
Modèle multiniveau : « Un modèle multiniveau à intercept aléatoire a été spécifié, les élèves (niveau 1) étant imbriqués dans 42 classes (niveau 2). Le modèle vide indique ρ = 0,14. L’introduction des prédicteurs individuels réduit la variance résiduelle de 18 %. »
Dans les trois cas, la structure d’échantillonnage doit apparaître explicitement dans la section méthode. Notre guide de l’échantillonnage en mémoire de master décrit comment décrire un tirage par grappes ; le présent article traite de ce qui vient après, au moment de l’analyse.
Les erreurs qui coûtent cher
- Confondre « beaucoup de participants » et « beaucoup d’information ». 240 élèves dans 8 classes en valent parfois 62.
- Ne calculer l’ICC qu’après avoir vu que le résultat était significatif. Le calcul se fait avant, et se rapporte quel qu’en soit le verdict.
- Empiler un modèle multiniveau sur cinq groupes parce que c’est la méthode qui impressionne. Le jury regardera d’abord le nombre de grappes.
- Oublier de centrer les prédicteurs de niveau 1 dans un modèle multiniveau. Sans centrage, le coefficient mélange l’effet individuel et l’effet de contexte, et l’interprétation devient ambiguë.
- Traiter les mesures répétées d’un même participant comme des grappes ordinaires. La logique est proche, mais le plan est un autre : voyez notre guide du design expérimental pour situer les deux structures.
- Oublier que le groupement s’ajoute aux autres conditions. Si vous évaluez un dispositif sur deux classes entières avant et après, vous cumulez le problème d’indépendance traité ici et celui du niveau initial, traité dans notre article sur l’ANCOVA en plan pré-test / post-test.
- Ajouter le groupe comme simple facteur fixe dans une ANOVA en croyant avoir réglé le problème. Cela consomme sept degrés de liberté et ne modélise toujours pas la corrélation résiduelle. Sur les plans à facteurs croisés, l’ANOVA factorielle reste l’outil adapté — mais à observations indépendantes.
Écrire la partie méthode qui va avec
Le calcul de l’ICC prend cinq minutes. Ce qui prend du temps, c’est de justifier la stratégie retenue en une demi-page défendable : dire pourquoi vos données sont groupées, ce que cela change à l’effectif, quelle correction vous avez choisie et ce que vous renoncez à savoir.
Tesify travaille avec vous sur ce passage : structurer la section, tenir une terminologie constante entre méthode et résultats, et rédiger la justification à partir de vos propres choix. Vos données restent les vôtres, et le texte est écrit à 100 % par vous.
Rédiger votre partie méthode avec Tesify
Questions fréquentes
À partir de quelle valeur d’ICC faut-il s’inquiéter ?
Il n’existe pas de seuil universel, et c’est précisément le piège : la question n’est pas l’ICC seul mais l’effet de plan, qui dépend aussi de la taille des grappes. Calculez 1 + (taille moyenne − 1) × ICC. En dessous de 1,2, le groupement est négligeable en pratique ; au-delà de 2, il faut le traiter et le dire.
Comment obtenir l’ICC si je n’ai pas accès aux modèles mixtes ?
Une ANOVA à un facteur, avec la variable de groupe en facteur et votre variable d’intérêt en dépendante, donne les carrés moyens inter et intra à partir desquels l’ICC se calcule à la main. C’est moins direct qu’un modèle vide, mais la procédure existe dans toutes les versions de SPSS et dans les tutoriels d’analyse quantitative sous SPSS ou Excel.
Mon questionnaire a circulé sur les réseaux sociaux : mes données sont-elles groupées ?
Potentiellement, oui, et c’est le cas le plus difficile à traiter honnêtement. Si la diffusion s’est faite via un petit nombre de groupes ou de pages, les répondants issus d’une même source se ressemblent. Le problème est que vous ne connaissez généralement pas la source de chaque réponse. Deux options : ajouter une question sur le canal de recrutement dès le départ, ou reconnaître la limite en discussion sans prétendre la quantifier.
Le modèle multiniveau est-il la même chose que la régression hiérarchique ?
Non, et la confusion de vocabulaire est fréquente en français. La régression dite hiérarchique désigne l’introduction de prédicteurs par blocs successifs dans une régression ordinaire ; le modèle multiniveau, parfois appelé modèle hiérarchique linéaire, modélise une structure de données imbriquée. On peut faire l’une sans l’autre. Précisez toujours de laquelle vous parlez.
Puis-je faire un mémoire en sciences de l’éducation sans modèle multiniveau ?
Oui, très largement — la majorité des mémoires du domaine travaillent sur un nombre de classes trop faible pour cela. Ce qui est attendu n’est pas la technique la plus avancée, mais la conscience du problème : mesurer l’ICC, en tirer une conséquence, l’écrire. Notre guide de la méthodologie du mémoire en sciences de l’éducation replace cette décision dans l’ensemble du plan.