Un article de psychologie publié sur deux contient au moins un p incompatible avec la statistique et les degrés de liberté rapportés à côté de lui. Un sur huit contient une incohérence assez grave pour avoir pu changer la conclusion.
Ce n’est pas une estimation. C’est le résultat d’un dépouillement automatisé de plus de 250 000 valeurs de p publiées dans huit grandes revues de psychologie entre 1985 et 2013, réalisé par Nuijten, Hartgerink, van Assen, Epskamp et Wicherts au moyen d’un programme nommé statcheck (Behavior Research Methods, vol. 48, p. 1205-1226).
Une étude antérieure de Bakker et Wicherts, sur 281 articles, aboutissait à des ordres de grandeur cohérents : environ 18 % des résultats statistiques y étaient incorrectement rapportés, et environ 15 % des articles contenaient au moins une conclusion qui s’inversait après recalcul (Behavior Research Methods, vol. 43, p. 666-678).
Ces chiffres portent sur des articles relus par des pairs, écrits par des chercheurs professionnels. La question qu’ils posent à un mémoire est simple : et vous, avez-vous vérifié ?
Les chiffres, et ce qu’ils ne disent pas
| Mesure | Valeur | Corpus |
|---|---|---|
| Articles avec ≥ 1 p incohérent | la moitié | 8 revues de psychologie, 1985-2013 |
| Articles avec une incohérence grave, susceptible d’avoir changé la conclusion | un sur huit | même corpus |
| Valeurs de p examinées | plus de 250 000 | même corpus |
| Résultats statistiques incorrectement rapportés | ≈ 18 % | 281 articles (Bakker & Wicherts) |
| Articles dont au moins une conclusion s’inverse après recalcul | ≈ 15 % | même corpus |
Deux précisions honnêtes, parce qu’elles conditionnent l’usage que vous pouvez faire de ces nombres.
Le champ est la psychologie anglophone publiée. Les auteurs ne prétendent pas généraliser à toutes les disciplines, et la prévalence pourrait différer ailleurs. Ce qui est transposable, ce n’est pas le pourcentage : c’est le mécanisme, qui ne dépend ni de la langue ni du champ.
Il n’existe pas, à notre connaissance, d’équivalent français portant sur des mémoires de master. Nous ne citerons donc aucun taux d’erreur pour les mémoires — il faudrait l’inventer. Ce que l’on peut dire sans se tromper, c’est que les conditions qui produisent ces erreurs dans les articles publiés sont toutes réunies, et plutôt aggravées, dans un mémoire rédigé en quelques semaines par une personne seule.
Pourquoi c’est vérifiable — et pourquoi presque personne ne le fait
Un résultat de test rapporté correctement contient trois éléments : la statistique, ses degrés de liberté et la probabilité. Or ces trois éléments ne sont pas indépendants : p se déduit exactement des deux autres. Écrire t(48) = 2,14 ; p = 0,004 est donc une impossibilité arithmétique, au même titre qu’une addition fausse — la valeur correcte est proche de 0,037.
C’est exactement ce que fait statcheck : il repère dans un texte les résultats écrits au format standard, recalcule chaque p et signale les écarts. L’outil est disponible en ligne sur statcheck.io et sous forme de bibliothèque R.
Une réserve pratique : il est conçu pour la notation anglophone, avec un point décimal et des symboles latins non accentués. Sur un mémoire rédigé en français, avec des virgules décimales et parfois des espaces insécables, attendez-vous à ce qu’il ne reconnaisse pas une partie de vos résultats. Le contrôle manuel décrit plus bas prend dix minutes et ne dépend d’aucun outil.
D’où viennent les erreurs
Aucune ne suppose la moindre intention. Toutes viennent de la copie.
- La retranscription à la main. Le nombre est lu dans un tableau à l’écran et retapé dans le traitement de texte. Un chiffre saute, une décimale se déplace.
- La mauvaise ligne. Le tableau du test t en contient deux ; le tableau de l’ANOVA en contient une par effet plus une pour l’erreur. Copier la ligne voisine est l’erreur la plus fréquente, et elle est invisible à la relecture — voyez notre annuaire des tableaux de sortie SPSS, qui indique pour chacun la cellule à prendre.
- Le modèle qui a changé. Vous ajoutez une covariable, vous relancez, vous mettez à jour le tableau — et vous oubliez la phrase du paragraphe précédent, qui garde les anciens chiffres.
- Les degrés de liberté recopiés d’un autre test. Fréquent dès qu’un chapitre enchaîne plusieurs analyses sur des sous-échantillons de tailles différentes.
- L’arrondi mal placé. Écrire p = 0,05 pour un p de 0,0503 change une conclusion binaire sans changer un seul chiffre significatif.
- Le « ,000 » recopié tel quel. p = 0,000 n’existe pas ; la forme correcte est p < 0,001. C’est l’erreur la plus visible d’un chapitre résultats.
Un détail rassurant du corpus étudié : les incohérences graves y étaient plus fréquentes parmi les résultats déclarés significatifs que parmi les non significatifs. Rassurant, parce que cela indique où concentrer votre vérification — sur ce qui porte vos conclusions.
Le contrôle en dix minutes
Ouvrez un tableur, listez chacun de vos résultats en une ligne, et recalculez. Les fonctions ci-dessous existent dans Google Sheets sous leur nom anglais, et dans Excel sous un nom qui dépend de la langue de l’interface.
| Test | Ce que vous rapportez | Formule de recalcul |
|---|---|---|
| Test t | t(ddl), p | T.DIST.2T(ABS(t); ddl) — en français LOI.STUDENT.BILATERALE |
| ANOVA / F | F(ddl1, ddl2), p | F.DIST.RT(F; ddl1; ddl2) — en français LOI.F.DROITE |
| Khi-deux | χ²(ddl), p | CHISQ.DIST.RT(chi2; ddl) — en français LOI.KHIDEUX.DROITE |
| Corrélation | r, n, p | Convertir en t = r√((n−2)/(1−r²)), puis comme un test t avec n−2 ddl |
Un écart à la troisième décimale est un arrondi, pas une erreur. Un écart qui déplace le résultat de part et d’autre de 0,05 est à corriger immédiatement.
Ajoutez ensuite quatre vérifications que le calcul ne couvre pas :
- La chaîne des effectifs. Le N de la méthode, le N du tableau descriptif et les ddl de chaque test doivent se déduire les uns des autres. Pour un test t sur groupes indépendants, ddl = n₁ + n₂ − 2 ; si vous avez appliqué la correction de Welch, les ddl sont décimaux et la règle ne s’applique plus.
- Le sens de l’effet. La phrase dit « le groupe expérimental obtient un score supérieur » ; vérifiez que les moyennes du tableau vont bien dans ce sens. L’inversion est fréquente quand le codage du groupe est 0/1 et que la référence a changé en cours de route.
- La correspondance texte-tableau. Chaque nombre cité dans le texte doit figurer à l’identique dans son tableau. Relisez en pointant les deux avec le doigt, littéralement.
- Le nombre de tests annoncés. Si la méthode annonce trois comparaisons et que les résultats en présentent sept, ce n’est plus un problème de recopie mais de plan d’analyse — la question rejoint alors celle du choix entre plusieurs tests séparés et une analyse multivariée.
Ce que cela change pour votre mémoire
Trois conséquences pratiques.
Sur votre propre texte : ce contrôle est le meilleur rapport temps / risque de toute la relecture. Il coûte dix minutes, il porte sur les nombres exacts que le jury lit en premier, et une incohérence repérée en soutenance jette un doute sur l’ensemble du chapitre. Intégrez-le à votre check-list de relecture finale.
Sur les articles que vous citez : si votre revue de littérature repose sur un résultat unique et spectaculaire, recalculez-le. C’est faisable en trente secondes et cela vous évite de bâtir une hypothèse sur une coquille. La logique est la même que celle qui préside à l’évaluation critique dans une méta-analyse, où l’extraction des données est systématiquement contrôlée à deux.
Sur ce que vous pouvez en écrire : ce constat est un argument légitime en discussion, à condition d’être cité correctement et de ne pas être surinterprété. Une erreur de recopie n’est pas une fraude ; c’est une défaillance de procédure, et elle se corrige par des procédures — vérification systématique, sorties conservées en annexe, chiffres produits par le logiciel plutôt que retapés. C’est l’esprit des chartes d’intégrité scientifique, qui parlent de traçabilité bien avant de parler de faute.
Trois habitudes qui suppriment le problème à la source
- Ne retapez jamais un nombre. Copiez-collez depuis la sortie, puis reformatez. Chaque saisie manuelle est une occasion d’erreur.
- Écrivez le résultat complet dès le premier jet — statistique, ddl, p, taille d’effet, intervalle. Compléter après coup, à partir d’une sortie relancée entre-temps, est la situation qui produit le plus d’incohérences.
- Datez vos sorties. Si vous relancez une analyse, la version précédente doit disparaître du dossier de travail, faute de quoi vous recopierez un jour la mauvaise.
Et un rappel qui vaut au-delà de l’arithmétique : un p exact reste un p. Le vérifier ne dispense ni de rapporter la taille d’effet et son intervalle de confiance, ni de savoir ce qu’un seuil de signification autorise réellement à conclure, ni de traiter correctement un résultat non significatif.
Relire les chiffres, puis relire le texte
Le contrôle arithmétique prend dix minutes. Ce qui prend du temps, c’est la mise en cohérence de l’ensemble : que la méthode annonce ce que les résultats présentent, que la discussion n’aille pas au-delà de ce que les chiffres autorisent, et que le vocabulaire reste le même d’un chapitre à l’autre.
Tesify travaille avec vous sur cette cohérence : structurer le chapitre résultats à partir de vos propres sorties, aligner méthode, résultats et discussion, et signaler les affirmations que vos données ne soutiennent pas. Vos données restent les vôtres, et le texte est écrit à 100 % par vous.
Mettre votre mémoire au carré avec Tesify
Questions fréquentes
Ces chiffres valent-ils pour ma discipline ?
Le corpus étudié est celui de la psychologie anglophone. Aucune donnée équivalente n’existe, à notre connaissance, pour la gestion, les sciences de l’éducation ou les mémoires paramédicaux français. Ce qui se transpose est le mécanisme — la recopie manuelle d’un triplet redondant — et non le pourcentage.
Dois-je citer statcheck dans mon mémoire ?
Si vous l’utilisez sur votre propre texte, ce n’est pas nécessaire : c’est un outil de relecture, pas une méthode d’analyse. Si vous en citez les résultats en discussion, référencez l’article de Nuijten et ses collègues, pas le site.
Mon p recalculé diffère de 0,002 de celui de SPSS. Est-ce grave ?
Non. Un écart de cet ordre vient de l’arrondi de la statistique que vous avez saisie : SPSS calcule sur la valeur complète, vous recalculez sur deux décimales. Seuls comptent les écarts qui changent la lecture, en particulier ceux qui traversent le seuil retenu.
Faut-il vérifier aussi les tableaux ?
Oui, et c’est plus rapide qu’il n’y paraît : contrôlez que chaque nombre du texte figure dans le tableau correspondant, que les totaux de colonnes tombent juste et que les pourcentages somment à 100 aux arrondis près. Sur la mise en forme elle-même, voyez comment présenter tableaux et figures.
Et si je découvre une erreur après le dépôt ?
Signalez-la à votre directeur avant la soutenance et préparez la correction par écrit. Une erreur annoncée par l’auteur et corrigée coûte infiniment moins cher qu’une erreur découverte en séance. C’est aussi la posture attendue par les chartes d’intégrité : la traçabilité prime sur l’infaillibilité.
Comment repérer un résultat douteux dans un article que je cite ?
Recalculez son p, vérifiez que ses ddl sont compatibles avec l’effectif annoncé, et regardez si la taille d’effet est cohérente avec le p compte tenu de n. Une taille d’effet énorme assortie d’un p à peine significatif sur un grand échantillon est arithmétiquement suspecte. C’est un réflexe voisin de celui qu’il faut avoir face aux revues prédatrices, où la relecture est faible ou fictive.