Votre test rend p = 0,18. Vous écrivez que la différence n’est pas significative, et la remarque tombe — en pré-soutenance, dans un commentaire de votre directeur, ou en séance : « quelle était la puissance de votre étude ? »
La tentation est de rouvrir G*Power, de passer en mode Post hoc, d’entrer l’effectif et la taille d’effet observée, et de recopier le nombre qui s’affiche. C’est ce que fait la majorité des mémoires. Et c’est la seule réponse qui n’apporte strictement rien, pour une raison mathématique que peu de gens ont eu l’occasion de se faire expliquer.
Voici pourquoi, et surtout ce qu’il faut mettre à la place.
Pourquoi la puissance calculée après coup ne répond pas à la question
La puissance est une probabilité prospective : c’est la chance de détecter un effet d’une taille donnée, si cet effet existe, avec un effectif donné. Elle se calcule avant la collecte, à partir d’une taille d’effet que l’on postule — issue de la littérature, d’une étude pilote, ou d’un seuil de pertinence pratique.
La « puissance observée », elle, se calcule après coup en injectant la taille d’effet que vous venez de mesurer. Or cette taille d’effet et votre p sont deux lectures du même résultat. Il en découle une propriété exacte : la puissance observée est une fonction décroissante du p. Un p élevé donne toujours une puissance observée faible, un p juste sous le seuil donne toujours une puissance observée d’un peu plus de la moitié, et cela reste vrai quels que soient l’échantillon, la discipline et la variable.
Le raisonnement « mon résultat n’est pas significatif parce que ma puissance était faible » est donc circulaire : il utilise le résultat pour expliquer le résultat. Un jury attentif le relèvera, et le fait de l’avoir écrit avec un logiciel à l’appui n’y change rien.
La question posée est pourtant légitime. Ce que le jury veut savoir, c’est : votre étude était-elle capable de repérer un effet de taille intéressante ? C’est une question sur le dispositif, pas sur le résultat — et il existe trois façons correctes d’y répondre.
Réponse 1 — L’intervalle de confiance de l’effet
C’est la réponse la plus simple, la plus honnête, et celle qui coûte le moins d’effort : elle est déjà dans votre sortie.
Un p non significatif dit une chose et une seule : les données sont compatibles avec l’absence d’effet. Il ne dit pas de quelle taille d’effet elles restent également compatibles. L’intervalle de confiance, lui, le dit exactement.
- Un intervalle étroit autour de zéro — par exemple une différence de 0,4 point avec un intervalle allant de −1,1 à +1,9 sur une échelle où seuls des écarts de 5 points ont un sens — est un résultat informatif : vous avez montré que s’il existe un effet, il est petit.
- Un intervalle très large — la même différence de 0,4 point avec un intervalle allant de −12 à +12,8 — signifie que votre étude ne tranche rien. C’est le cas où la remarque du jury est fondée, et c’est précisément ce qu’il faut écrire.
Dans les deux cas, l’intervalle répond à la question de la puissance sans en prononcer le mot, et il le fait sur l’échelle de votre variable, ce que la puissance ne fait jamais.
Réponse 2 — L’analyse de sensibilité
C’est la version rigoureuse de ce que la puissance a posteriori essaie maladroitement de faire. La question inversée est : compte tenu de mon effectif, quelle est la plus petite taille d’effet que j’avais 80 % de chances de détecter ?
Cette quantité ne dépend que de trois choses que vous n’avez pas choisies après coup : l’effectif réellement analysé, le seuil α et la puissance conventionnellement visée. Elle est donc immunisée contre la circularité.
Dans G*Power, c’est le mode Sensitivity — pas Post hoc. Vous sélectionnez votre test, vous renseignez α = 0,05, la puissance = 0,80 et vos effectifs, et le logiciel renvoie la taille d’effet minimale détectable. Le reste de la procédure et le choix du test sont identiques à ceux du calcul de taille d’échantillon a priori : c’est la même boîte de dialogue, avec l’inconnue déplacée.
La phrase qui en découle est celle que les jurys retiennent : « avec 62 participants, l’étude disposait de 80 % de chances de détecter un effet d’au moins d = 0,72, soit un effet de taille moyenne à forte. Un effet plus modeste, mais potentiellement pertinent en pratique, n’aurait pas été détecté. »
Cette phrase reconnaît la limite, la quantifie, et ne prétend rien de plus que ce que les données permettent.
Réponse 3 — Le test d’équivalence, si vous voulez conclure à l’absence d’effet
Il y a une différence de nature entre « je n’ai pas trouvé de différence » et « j’ai montré qu’il n’y a pas de différence notable ». La première est un constat d’échec de détection ; la seconde est une affirmation positive, et un test classique ne peut jamais la produire.
Si votre question de recherche est réellement une question d’équivalence — deux méthodes pédagogiques donnent-elles des résultats comparables, une organisation allégée fait-elle aussi bien —, la démarche correcte consiste à définir à l’avance une zone d’indifférence : l’écart en deçà duquel vous considérez les deux conditions comme équivalentes en pratique. On conclut à l’équivalence si l’intervalle de confiance de la différence tient entièrement dans cette zone.
C’est exigeant, cela demande d’avoir posé la zone d’indifférence avant l’analyse, et cela ne s’improvise pas en fin de mémoire. Mais si c’est votre vraie question, un simple p non significatif ne pourra jamais y répondre, quelle que soit la puissance affichée à côté.
Le tableau des réponses
| Ce que le jury demande | Ce qu’il faut fournir | Où le trouver |
|---|---|---|
| « Quelle était votre puissance ? » | La taille d’effet minimale détectable | G*Power, mode Sensitivity |
| « Peut-on conclure qu’il n’y a pas d’effet ? » | L’intervalle de confiance, et sa largeur | La sortie du test, déjà disponible |
| « Votre échantillon était-il suffisant ? » | Le calcul a priori s’il a été fait, sinon l’analyse de sensibilité | Le protocole, ou G*Power |
| « Vos deux groupes sont-ils équivalents ? » | Un test d’équivalence avec zone d’indifférence déclarée | À prévoir avant l’analyse |
| « Pourquoi si peu de participants ? » | Le récit du recrutement, et ce qui l’a limité | La section méthode |
Le paragraphe à écrire
« La différence entre les deux groupes n’atteint pas le seuil de signification (t(60) = 1,36 ; p = 0,18 ; d = 0,35 ; IC à 95 % de la différence : −1,4 à +7,2 points). L’intervalle reste compatible avec des écarts allant d’une légère infériorité à une supériorité substantielle du groupe expérimental : les données ne permettent pas de trancher. Une analyse de sensibilité indique qu’avec 62 participants, le dispositif offrait 80 % de chances de détecter un effet d’au moins d = 0,72. Un effet de taille faible à moyenne, plausible dans ce champ, n’était donc pas détectable et l’absence de significativité ne doit pas être lue comme une absence d’effet. »
Quatre phrases. Elles disent ce qui a été trouvé, ce que cela n’exclut pas, ce que le dispositif pouvait voir, et comment interpréter le tout. Aucune ne comporte le mot « puissance observée ».
Trois choses à ne pas écrire
- « La puissance de l’étude était de 27 %, ce qui explique l’absence de significativité. » Circulaire, et le raisonnement se voit.
- « Une tendance à la significativité est observée (p = 0,07). » Un seuil n’admet pas de demi-mesure. Si vous voulez nuancer, donnez la taille d’effet et son intervalle et laissez le lecteur juger — voyez notre article sur le seuil de signification et le p.
- « Nos résultats montrent qu’il n’y a pas de différence entre les groupes. » Sauf test d’équivalence, cette phrase dépasse ce que vos données autorisent. Écrivez « nous n’observons pas de différence », ce qui est exact et suffit.
Ce qu’il faut faire si l’effectif est réellement le problème
Un dispositif sous-dimensionné n’est pas une faute morale : c’est une contrainte de terrain, et les jurys la connaissent. Ce qui se juge, c’est la lucidité avec laquelle elle est traitée.
Racontez ce qui s’est passé — un taux de réponse inférieur à l’attendu, un terrain fermé en cours de route, une population de départ réellement peu nombreuse. Précisez si des participants ont été écartés et pourquoi : un effectif réduit par des critères de qualité des réponses s’explique différemment d’un effectif jamais atteint. Puis reformulez ce que votre travail apporte malgré cela : une estimation, même imprécise, une procédure reproductible, un résultat exploratoire chiffré qui peut servir à dimensionner une étude ultérieure.
C’est d’ailleurs l’usage le plus utile de vos données : la taille d’effet que vous avez observée, avec son intervalle, est précisément ce dont quelqu’un aura besoin pour calculer l’effectif d’une réplication. Le dire transforme une limite en contribution.
Écrire la discussion d’un résultat non significatif
C’est le passage le plus difficile du mémoire, parce qu’il faut y être exact sans y être défaitiste : reconnaître la limite, quantifier ce que le dispositif pouvait voir, et donner au lecteur une raison de considérer le travail comme informatif.
Tesify travaille avec vous sur cette section : formuler l’interprétation à partir de vos propres sorties, tenir la distinction entre absence de preuve et preuve d’absence, et construire une discussion qui assume le résultat au lieu de le contourner. Vos données restent les vôtres, et le texte est écrit à 100 % par vous.
Rédiger votre discussion avec Tesify
Questions fréquentes
SPSS affiche une colonne « puissance observée ». Faut-il la recopier ?
Elle apparaît dans les tableaux d’ANOVA lorsque l’option est cochée, et c’est exactement la quantité décrite plus haut. Vous pouvez la laisser dans la sortie brute en annexe ; ne construisez aucune interprétation dessus dans le corps du mémoire.
Puis-je encore faire un calcul de puissance si je ne l’ai pas fait avant la collecte ?
Oui — mais sous la forme d’une analyse de sensibilité, pas d’un calcul rétrospectif de puissance. Écrivez-le honnêtement : « aucun calcul d’effectif n’a été réalisé en amont, l’échantillon étant déterminé par la population accessible ; une analyse de sensibilité a posteriori indique que… ». C’est plus solide qu’un calcul a priori reconstitué après coup.
Mon directeur m’a demandé la puissance a posteriori. Dois-je refuser ?
Non. Donnez-lui le chiffre s’il le souhaite, et ajoutez l’analyse de sensibilité et l’intervalle de confiance à côté. En pratique, l’objection porte rarement sur le nombre lui-même : elle porte sur le fait que la limite ne soit pas traitée. Traitez-la mieux que demandé et la discussion s’arrête là.
Quelle puissance faut-il viser dans un calcul a priori ?
La convention est 0,80, parfois 0,90 pour un travail à enjeu. Ce sont des conventions et non des exigences réglementaires ; ce qui compte est de déclarer la valeur retenue et la taille d’effet postulée, car c’est ce dernier choix qui détermine réellement l’effectif.
Un effet significatif dispense-t-il de parler de puissance ?
La question de la puissance ne se pose plus de la même façon, mais une autre apparaît : sur un petit échantillon, un effet qui atteint la significativité est nécessairement de grande taille, et souvent surestimé. Rapportez la taille d’effet avec son intervalle et restez prudent sur son amplitude.
Cela vaut-il aussi pour les tests non paramétriques ?
Le raisonnement est identique, avec une nuance pratique : les tailles d’effet et les calculs de puissance y sont moins standardisés. G*Power propose des équivalents approchés pour plusieurs de ces tests. Si vous avez basculé sur un test de rangs faute de normalité, notez que d’autres voies existaient et que certaines conservent une taille d’effet directement interprétable.