Votre test principal n’est pas significatif. Vous avez travaillé huit mois, vous devez rendre dans trois semaines, et vous écrivez : « bien que la différence n’atteigne pas le seuil de significativité, les résultats indiquent une tendance encourageante qui confirme l’intérêt du dispositif ». Sans le savoir, vous venez d’écrire la phrase type de la surinterprétation des résultats mémoire en main, celle que les jurys repèrent en premier.
Cette phrase a un nom dans la littérature méthodologique : c’est du spin, une présentation qui oriente la lecture d’un résultat au-delà de ce que la mesure autorise. Ce n’est pas de la fraude, et ce n’est presque jamais délibéré. C’est un réflexe de rédaction, et il est massivement documenté : dans les articles publiés, par des chercheurs professionnels, dans des revues à comité de lecture. Voici ce que les chiffres disent exactement, et comment régler vos propres formulations en conséquence.
Surinterprétation des résultats mémoire : ce que la recherche mesure
L’étude de référence est celle d’Isabelle Boutron et de ses collègues, publiée dans le Journal of the American Medical Association en 2010 (volume 303, n° 20, pages 2058 à 2064). Les auteurs ont examiné 616 rapports d’essais contrôlés randomisés pour en retenir 72 dont le critère de jugement principal était statistiquement non significatif, c’est-à-dire exactement la situation que vous redoutez. Ils ont ensuite cherché la présence de spin dans chaque section.
| Section examinée | Articles contenant du spin | Proportion |
|---|---|---|
| Résultats du résumé | 27 sur 72 | 37,5 % (IC 95 % : 26,4–49,7) |
| Conclusions du résumé | 42 sur 72 | 58,3 % (IC 95 % : 46,1–69,8) |
| Conclusions du texte principal | 36 sur 72 | 50,0 % (IC 95 % : 38,0–62,0) |
Autrement dit : près de six essais publiés sur dix dont le résultat principal était négatif présentaient, dans les conclusions de leur résumé, une lecture plus favorable que les données ne le permettaient. Ces travaux avaient pourtant passé une évaluation par les pairs.
Le phénomène n’est pas propre aux essais cliniques. Une revue systématique méthodologique de Kellia Chiu, Quinn Grundy et Lisa Bero, publiée dans PLoS Biology en 2017, a rassemblé 35 rapports mesurant le spin dans la littérature biomédicale, portant sur des essais, des études observationnelles, des études de précision diagnostique, des revues systématiques et des méta-analyses. Les auteurs concluent que la nature du spin varie selon le type d’étude, que sa prévalence est la plus élevée et la plus variable dans les essais, et que les deux pratiques les plus courantes sont de détourner l’attention des résultats non significatifs et d’employer un langage causal inapproprié.
Retenez ces deux mécanismes : ce sont exactement ceux que vous devez traquer dans votre propre manuscrit. Notez aussi ce que ces chiffres ne disent pas : ils portent sur la littérature biomédicale publiée, pas sur les mémoires étudiants, pour lesquels aucune mesure comparable n’existe à notre connaissance. Leur intérêt est ailleurs : si des auteurs expérimentés, relus par des pairs, glissent aussi souvent vers une lecture favorable, un étudiant seul face à un résultat décevant n’a aucune raison d’y échapper sans méthode.
Mécanisme 1 : détourner l’attention du résultat principal
Il prend quatre formes reconnaissables :
- Mettre en avant un critère secondaire. Votre hypothèse principale échoue, mais une variable secondaire ressort, et c’est elle qui occupe le résumé. Le lecteur pressé retient le résultat positif.
- Basculer sur une analyse de sous-groupe. « L’effet est significatif chez les femmes de moins de 30 ans » : sur un échantillon découpé après coup, ce résultat n’a pas la valeur du test principal, et le dire sans le signaler est trompeur.
- Insister sur la significativité intra-groupe. Le groupe expérimental a progressé de manière significative, mais le groupe contrôle aussi, et la comparaison entre les deux ne l’est pas. C’est la comparaison inter-groupes qui répond à votre question.
- Recadrer sur la faisabilité. « Cette étude démontre la faisabilité du protocole » quand la question posée était l’efficacité. Le lecteur sort avec une impression positive sans que rien de faux n’ait été écrit.
Le meilleur antidote se met en place bien avant la rédaction : une hypothèse principale et ses indicateurs fixés noir sur blanc dès le projet. Une matrice d’opérationnalisation des variables joue ce rôle : elle date votre critère principal, et vous empêche ensuite de le remplacer discrètement par celui qui « marche ».
Mécanisme 2 : le langage causal inapproprié
C’est le plus fréquent dans les mémoires, et le plus facile à corriger : il s’agit d’employer un vocabulaire de cause là où le design ne produit que de l’association.
| Ce que vous écrivez | Ce que le design permet | Formulation correcte |
|---|---|---|
| « Le télétravail réduit l’engagement » | Enquête transversale : association | « Le télétravail est associé à un engagement plus faible » |
| « La formation améliore la performance » | Pré-test/post-test sans contrôle : évolution | « La performance a augmenté après la formation » |
| « X influence Y » | Corrélation | « X et Y varient conjointement » |
| « Ces facteurs déterminent la réussite » | Régression sur données observationnelles | « Ces facteurs prédisent la réussite » |
| « L’effet du dispositif sur… » | Sans randomisation | « La relation entre le dispositif et… » |
Trois verbes concentrent l’essentiel du risque : réduire, améliorer, influencer. Une recherche textuelle sur ces trois mots dans votre discussion révèle en quelques minutes les phrases à reformuler. Le choix du verbe engage votre lecture d’un résultat exactement comme il engage votre lecture d’une source : « montre », « suggère » et « affirme » ne disent pas la même chose d’un auteur, et « réduit », « est associé à » ne disent pas la même chose de vos données.
Le même raisonnement vaut pour les cadres théoriques. Si votre mémoire mobilise un modèle comme celui de l’engagement organisationnel de Meyer et Allen, le modèle peut postuler des relations causales ; votre questionnaire transversal, lui, ne les teste pas. Écrivez que vos résultats sont « compatibles avec » le modèle, pas qu’ils le « démontrent ».
Le mot « tendance » : le piège le plus courant en mémoire
« Une tendance à la significativité » (p = 0,07) est la formulation la plus répandue et l’une des moins défendables. Un test d’hypothèse a un seuil décidé avant l’analyse : p = 0,07 avec un seuil à 0,05 signifie que vous ne rejetez pas l’hypothèse nulle. Parler de tendance revient à déplacer le seuil après avoir vu le résultat.
Ce qui est légitime, en revanche, est de rapporter honnêtement l’incertitude : donnez la taille d’effet et son intervalle de confiance, et laissez le lecteur juger de la portée pratique.
À éviter : « On observe une tendance à l’amélioration (p = 0,07), ce qui suggère l’efficacité du dispositif. »
Correct : « La différence n’est pas significative au seuil retenu (p = 0,07). La taille d’effet est faible à modérée (d = 0,28 ; IC 95 % : −0,02 à 0,58), l’intervalle incluant l’absence d’effet. »
La seconde version est plus longue, plus austère, et elle place le jury dans l’impossibilité de vous prendre en défaut. Choisissez l’indicateur de taille d’effet adapté à votre test (d de Cohen pour une comparaison de moyennes, coefficient de corrélation pour une association, rapport de cotes pour une variable binaire) et annoncez-le dans la section méthode, pas au moment où le résultat vous déçoit.
Réécrire un paragraphe de discussion : avant / après
Prenons un cas fictif mais typique : une enquête par questionnaire auprès de salariés, qui teste l’hypothèse d’un lien entre télétravail et engagement. Le test principal n’est pas significatif ; une corrélation apparaît dans un seul service.
Version initiale : « Nos résultats montrent que le télétravail influence l’engagement, notamment dans le service commercial où l’effet est significatif. Malgré l’absence de significativité globale, une tendance se dégage, ce qui confirme l’intérêt d’encadrer le télétravail. »
Ce paragraphe cumule les quatre défauts : verbe causal (« influence »), sous-groupe mis en avant sans signalement, « tendance », et conclusion pratique (« confirme l’intérêt ») que le test principal ne soutient pas.
Version corrigée : « L’hypothèse principale n’est pas confirmée : sur l’ensemble de l’échantillon, le télétravail n’est pas associé de façon significative à l’engagement. Une association apparaît dans le service commercial ; cette analyse, non prévue au protocole, est exploratoire et appelle une vérification sur un échantillon dédié. »
La version corrigée commence par l’hypothèse principale, nomme le résultat négatif, et relègue le sous-groupe au statut de piste. Elle ne perd rien en intérêt : elle ouvre une perspective de recherche crédible au lieu d’une conclusion fragile.
Un résultat négatif n’est pas un mémoire raté
C’est le point le plus important, et celui que les étudiants ont le plus de mal à croire. Un jury évalue une démarche, pas un résultat. Une hypothèse correctement posée, un protocole rigoureux, une analyse propre et une interprétation honnête d’un résultat non significatif constituent un excellent mémoire. Une hypothèse confirmée par une analyse bancale et surinterprétée constitue un mauvais mémoire, avec de surcroît le risque d’être démonté en dix minutes de soutenance. C’est d’ailleurs l’un des griefs récurrents relevés dans notre article sur ce que les jurys sanctionnent dans un mémoire de psychologie.
La discussion d’un résultat négatif est même l’un des exercices les plus valorisants, parce qu’elle demande d’examiner sérieusement plusieurs explications concurrentes :
- L’effet n’existe pas dans votre population : un résultat en soi, surtout si la littérature l’attendait.
- L’effet existe mais votre étude ne pouvait pas le détecter : effectif insuffisant, instrument peu sensible, durée d’exposition trop courte.
- L’effet est masqué par une variable non contrôlée ou une hétérogénéité de l’échantillon.
- La mesure ne capte pas le construit visé : question de validité, pas de puissance.
Examiner ces quatre pistes et argumenter laquelle est la plus plausible au vu de vos données, c’est faire précisément ce qu’un jury attend, et c’est le cœur d’un bon chapitre de discussion. Attention toutefois à une erreur classique en réponse à la deuxième piste : recalculer la puissance après coup à partir de l’effet observé ne répond pas à la question, car cette « puissance a posteriori » découle directement de la valeur de p. Raisonnez plutôt à partir de l’intervalle de confiance : s’il est large, votre étude était peu informative, et c’est cela qu’il faut écrire.
Un résultat négatif bien discuté est aussi une contribution : il peut révéler une lacune de recherche que le prochain travail pourra combler, à condition de préciser ce qu’il faudrait changer (échantillon, instrument, durée) pour trancher.
Et en recherche qualitative ?
Le spin n’a pas besoin de valeur de p pour exister. En entretiens ou en observation, il prend trois formes : généraliser à une population ce qui vaut pour une douzaine de participants, présenter un thème évoqué par deux personnes comme « largement partagé », et citer uniquement les verbatims qui vont dans le sens de l’hypothèse.
Les correctifs sont symétriques : indiquer combien de participants portent chaque thème, donner aussi les cas qui contredisent l’interprétation, et parler de transférabilité plutôt que de généralisation. Les critères de crédibilité et de triangulation détaillés dans notre article sur la validité et la fiabilité en recherche qualitative fournissent le vocabulaire exact pour le faire.
La passe anti-spin, en cinq contrôles
- Comparez le résumé et les résultats. Si la conclusion du résumé est plus affirmative que le chapitre de résultats, vous avez du spin. C’est le contrôle le plus rentable : les données de Boutron montrent que le résumé est justement l’endroit le plus touché.
- Vérifiez que votre hypothèse principale est nommée comme telle dans la discussion, avant tout résultat secondaire.
- Recherchez « réduit », « améliore », « influence », « effet de ». Reformulez chaque occurrence qui n’est pas adossée à un design causal.
- Recherchez « tendance », « proche de la significativité », « marginalement ». Remplacez par la taille d’effet et son intervalle.
- Signalez explicitement toute analyse de sous-groupe comme exploratoire et non prévue au protocole.
Faites cette passe à froid, idéalement quelques jours après avoir terminé la discussion, et faites relire le résumé par quelqu’un qui n’a pas lu le reste : s’il en retient une conclusion plus forte que vos résultats, le contrôle n° 1 a échoué.
Écrire des conclusions qui tiennent
Le spin naît d’une pression réelle : celle de rendre un travail qui « donne quelque chose ». Mais la formulation prudente est plus solide en soutenance, et c’est un réglage qui se fait phrase par phrase. Tesify rédige votre discussion en alignant le vocabulaire causal sur votre design déclaré, en accompagnant chaque résultat de sa taille d’effet, et en signalant les formulations qui affirment plus que la mesure ne le permet. La bibliographie automatique de Tesify vous aide aussi à confronter chaque résultat aux études que vous citez, sans approximation de référence.
Rédigez votre discussion avec Tesify et présentez vos résultats, y compris négatifs, sans vous exposer.
Questions fréquentes
Qu’appelle-t-on le « spin » dans un travail de recherche ?
C’est une présentation des résultats qui en oriente l’interprétation au-delà de ce que les données permettent, sans qu’aucune donnée ne soit falsifiée. La revue systématique de Chiu, Grundy et Bero publiée dans PLoS Biology en 2017, portant sur 35 rapports, identifie deux pratiques dominantes : détourner l’attention des résultats non significatifs et employer un langage causal inapproprié.
Le spin est-il fréquent dans la littérature publiée ?
Oui. L’étude de Boutron et collègues parue dans JAMA en 2010 a analysé 72 essais contrôlés randomisés dont le critère principal était non significatif. Du spin était présent dans les résultats du résumé pour 37,5 % d’entre eux, dans les conclusions du résumé pour 58,3 % et dans les conclusions du texte principal pour 50,0 %. Ces articles avaient tous passé une évaluation par les pairs.
Peut-on parler d’une « tendance à la significativité » avec p = 0,07 ?
Non. Le seuil d’un test d’hypothèse est fixé avant l’analyse : avec un seuil à 0,05, un p de 0,07 signifie que vous ne rejetez pas l’hypothèse nulle. Parler de tendance revient à déplacer le seuil après avoir vu le résultat. Rapportez plutôt la taille d’effet et son intervalle de confiance, en signalant que l’intervalle inclut l’absence d’effet.
Un résultat non significatif fait-il perdre des points ?
Non : un jury évalue une démarche, pas un résultat. Une hypothèse bien posée, un protocole rigoureux et une interprétation honnête d’un résultat négatif constituent un bon mémoire. C’est l’hypothèse confirmée par une analyse bancale et surinterprétée qui expose réellement, parce qu’elle se démonte en quelques minutes de soutenance.
Quels verbes signalent un langage causal inapproprié ?
Principalement « réduire », « améliorer » et « influencer », auxquels s’ajoutent « déterminer » et la tournure « l’effet de X sur Y ». Sur un design observationnel ou transversal, remplacez-les par « est associé à », « prédit », « varie conjointement avec ». Une recherche textuelle sur ces trois verbes dans votre discussion révèle l’essentiel des reformulations à faire.
Comment vérifier que son propre mémoire ne contient pas de spin ?
Le contrôle le plus rentable consiste à comparer votre résumé à votre chapitre de résultats : si la conclusion du résumé est plus affirmative que les résultats eux-mêmes, il y a du spin, et les données publiées montrent que le résumé est précisément la section la plus touchée. Vérifiez ensuite que l’hypothèse principale est traitée avant tout résultat secondaire, et signalez comme exploratoire toute analyse de sous-groupe non prévue au protocole.