La question tombe en soutenance, et elle est presque toujours la même : « comment savez-vous que c’est votre dispositif qui a produit cet écart, et non le fait que les personnes qui y ont participé étaient déjà différentes au départ ? »
C’est la question de l’identification causale, et elle n’a pas de réponse statistique automatique. Dans un essai randomisé, le tirage au sort y répond seul. Mais un mémoire de master travaille presque toujours sur des données observationnelles : les gens ont choisi de suivre la formation, les entreprises ont choisi de se certifier, les communes ont choisi d’adopter le dispositif.
Trois stratégies existent pour s’en sortir honnêtement : la différence-de-différences, le score de propension et la variable instrumentale. Elles ne demandent pas les mêmes données, ne reposent pas sur les mêmes hypothèses, et ne sont pas également réalistes dans un mémoire. Voici comment choisir.
Le vrai problème : le contrefactuel manquant
Ce que vous voudriez mesurer, c’est la différence entre ce qui est arrivé aux personnes traitées et ce qui leur serait arrivé sans le traitement. Cette seconde quantité n’existe pas : c’est le contrefactuel, et il est par construction inobservable.
Toute la méthodologie causale consiste donc à construire un substitut crédible du contrefactuel — un groupe, une période ou une variation qui puisse raisonnablement tenir lieu de « ce qui se serait passé sinon ».
Le danger porte un nom : le biais de sélection. Si les personnes qui se portent volontaires pour une formation sont déjà les plus motivées, comparer leur performance à celle des non-participants mesure la motivation autant que la formation. Aucune quantité de sophistication statistique appliquée après coup ne répare une comparaison mal construite. C’est la version opérationnelle du principe bien connu selon lequel une corrélation n’établit pas une causalité.
Pourquoi « j’ai ajouté des variables de contrôle » ne suffit pas
Le réflexe naturel est d’introduire l’âge, le diplôme, l’ancienneté et le secteur comme covariables dans une régression linéaire multiple, puis de présenter le coefficient du traitement comme un effet « toutes choses égales par ailleurs ».
C’est utile, mais il faut être lucide sur la portée : cette formule ne neutralise que les caractéristiques que vous avez mesurées. Elle ne dit rien de la motivation, du soutien hiérarchique, de l’ambition ou de l’état de santé antérieur si vous ne les avez pas dans votre base. Or ce sont précisément ces variables non observées qui déterminent le plus souvent qui reçoit le traitement.
Les trois méthodes qui suivent se distinguent justement par ce qu’elles font de l’inobservé.
Différence-de-différences : comparer des évolutions, pas des niveaux
C’est la stratégie la plus accessible en mémoire, et de loin.
Le principe. Vous observez deux groupes — un traité, un non traité — à deux moments : avant et après l’intervention. Vous calculez l’évolution de chaque groupe, puis la différence entre ces deux évolutions. Le groupe témoin sert à absorber tout ce qui a bougé pour tout le monde pendant la période : la conjoncture, la saison, une réforme nationale.
Le calcul se fait en une seule régression, avec trois termes : une indicatrice de groupe, une indicatrice de période, et leur produit. C’est le coefficient de ce produit qui est l’estimation de l’effet — la mécanique est rigoureusement celle d’un terme d’interaction, avec la même lecture des coefficients.
Ce que ça neutralise. Toute différence stable entre les deux groupes, y compris non mesurée. Si votre groupe traité était déjà plus performant au départ, l’écart de départ est éliminé.
L’hypothèse critique : les tendances parallèles. Sans le traitement, les deux groupes auraient évolué de la même façon. Elle n’est pas démontrable, mais elle se rend crédible : si vous disposez de plusieurs périodes avant l’intervention, montrez que les deux courbes évoluaient déjà en parallèle. Un graphique de ces trajectoires pré-traitement est l’élément le plus convaincant que vous puissiez mettre dans un mémoire d’évaluation.
Le piège classique. Un traitement déclenché parce que le groupe allait mal — un dispositif d’accompagnement lancé dans les services où l’absentéisme grimpait déjà. Les tendances n’étaient alors pas parallèles avant, et la méthode attribuera au dispositif un retour à la moyenne qui se serait produit de toute façon.
Le modèle à effets fixes sur données de panel est la généralisation directe de cette logique à plusieurs unités et plusieurs périodes.
Score de propension : fabriquer un groupe témoin comparable
Le principe. Vous n’avez pas de mesure « avant », mais vous avez beaucoup de caractéristiques observées. Vous estimez alors, pour chaque individu, la probabilité d’avoir reçu le traitement compte tenu de ces caractéristiques — c’est le score de propension, obtenu par une régression logistique binaire dont la variable dépendante est le fait d’être traité.
Vous appariez ensuite chaque individu traité à un ou plusieurs non-traités ayant un score voisin, et vous comparez les résultats à l’intérieur de ces paires. L’idée : entre deux personnes qui avaient la même probabilité de participer, celle qui a participé et celle qui n’a pas participé sont raisonnablement comparables.
Les deux contrôles obligatoires. Ils sont rarement faits dans les mémoires, et un jury informé les demandera.
- Le support commun. Les distributions de scores des deux groupes doivent se recouvrir. Un individu traité dont le score est de 0,97 n’a aucun jumeau possible : il faut l’écarter, et dire combien vous en avez écartés.
- L’équilibre après appariement. Vérifiez que chaque covariable est désormais distribuée de façon similaire dans les deux groupes. L’indicateur usuel est la différence de moyennes standardisée, qu’on souhaite ramener sous 0,10. C’est ce tableau « avant / après appariement » qui prouve que la méthode a fait son travail.
La limite qu’il faut assumer par écrit. L’appariement n’équilibre que ce que vous avez mesuré. Il ne protège en rien contre une variable non observée qui déterminerait à la fois la participation et le résultat. Sur ce point précis, le score de propension est moins protecteur que la différence-de-différences, qui neutralise l’inobservé stable sans avoir eu besoin de le mesurer. Écrivez-le dans vos limites : cela vous vaudra des points plutôt que d’en coûter.
Variable instrumentale : élégante, et rarement praticable
Le principe. Vous cherchez une variable — l’instrument — qui pousse les gens vers le traitement sans avoir d’effet propre sur le résultat. Elle joue le rôle d’un tirage au sort naturel : la part de variation du traitement qu’elle explique est, elle, indépendante des caractéristiques des individus.
L’estimation se fait en deux temps : on prédit d’abord le traitement à partir de l’instrument, puis on utilise cette prédiction à la place du traitement réel dans l’équation de résultat.
Deux conditions, dont une invérifiable.
- La pertinence : l’instrument doit être fortement corrélé au traitement. Cela se teste, et la règle usuelle est un F supérieur à 10 dans la première équation. Un instrument faible produit des estimations très biaisées, parfois pires que la régression naïve.
- La restriction d’exclusion : l’instrument ne doit influencer le résultat que par le canal du traitement. Cette condition ne se teste pas. Elle s’argumente, et c’est là que presque tous les candidats échouent.
Les instruments crédibles de la littérature sont typiquement des accidents administratifs ou géographiques : la distance au centre de formation le plus proche, une date-seuil d’éligibilité, une loterie d’attribution. Ils sont rares, et un instrument bricolé est plus dangereux qu’utile.
Verdict honnête pour un mémoire de master : ne partez pas sur une variable instrumentale à moins qu’un instrument évident ne soit déjà présent dans votre terrain et que votre directeur le valide. Une différence-de-différences bien conduite vaut mieux qu’une variable instrumentale mal défendue.
Comment choisir en pratique
La question à se poser n’est pas « quelle méthode est la meilleure » mais « quelle structure de données ai-je réellement ». Trois questions dans l’ordre :
- Ai-je des observations avant et après, sur un groupe traité et un groupe non traité ? → différence-de-différences. C’est le premier choix chaque fois qu’il est disponible.
- Sinon, ai-je une seule photographie, mais beaucoup de covariables de qualité ? → score de propension, avec les tableaux de support commun et d’équilibre.
- Sinon, ai-je un instrument que je peux défendre théoriquement en trois phrases ? → variable instrumentale. Si l’argument prend plus de trois phrases, vous n’avez pas d’instrument.
Et si la réponse est non aux trois ? C’est fréquent, et ce n’est pas un échec. Vous présentez alors une association ajustée et non un effet causal : régression avec covariables, vocabulaire prudent, et une section de limites qui explique précisément quel confondant vous ne pouvez pas exclure. Un mémoire qui délimite honnêtement sa portée est mieux noté qu’un mémoire qui revendique une causalité que son plan de recherche ne permet pas.
Ce qu’il faut écrire
Quelle que soit la méthode, quatre éléments sont attendus dans le chapitre méthodologie : la nature du traitement et sa date, la manière dont le groupe de comparaison a été constitué, l’hypothèse d’identification énoncée en clair, et les tests ou éléments qui la rendent plausible.
Modèle de phrase — différence-de-différences : « L’effet est estimé par différence-de-différences, en comparant l’évolution des services équipés à celle des services non équipés entre 2024 et 2026. L’identification repose sur l’hypothèse de tendances parallèles, dont la plausibilité est appuyée par l’évolution comparable des deux groupes sur les trois exercices antérieurs (figure 4). Le coefficient d’interaction indique une réduction de 3,2 points (p = 0,014). »
Modèle de phrase — score de propension : « Les scores de propension ont été estimés par régression logistique sur huit covariables, puis les participants appariés au plus proche voisin dans la limite du support commun. Onze participants sans équivalent ont été exclus. Après appariement, toutes les différences de moyennes standardisées sont inférieures à 0,10 (tableau 3). L’identification suppose l’absence de confondant non observé, hypothèse discutée en limites. »
Et la règle de vocabulaire qui traverse tout : est associé à tant que l’identification n’est pas défendue, a pour effet seulement une fois qu’elle l’est.
Écrire le chapitre qui porte tout cela
La difficulté d’un mémoire d’évaluation n’est pas le calcul — chacune de ces méthodes tient en quelques lignes de code. Elle est dans l’argumentation : expliquer pourquoi votre groupe de comparaison est crédible, énoncer une hypothèse d’identification sans jargon, et discuter ce qu’elle laisse ouvert.
Tesify vous accompagne sur cette rédaction : structurer le chapitre méthodologie, articuler la stratégie d’identification avec votre question de recherche, et transformer vos choix techniques en argumentation défendable devant un jury. Vos données et vos analyses restent les vôtres.
Structurer votre mémoire d’évaluation avec Tesify
Questions fréquentes
Puis-je faire une différence-de-différences sans groupe témoin ?
Non — une comparaison avant/après sur le seul groupe traité n’est pas une différence-de-différences, c’est une simple évolution temporelle. Elle confond votre dispositif avec tout ce qui s’est passé d’autre pendant la période. Si aucun groupe non traité n’existe, cherchez une comparaison imparfaite mais argumentable — un service voisin, une région comparable, une cohorte antérieure — et discutez explicitement ses limites.
Combien de variables faut-il pour un score de propension ?
La règle n’est pas quantitative mais conceptuelle : incluez tout ce qui influence à la fois la participation et le résultat. En revanche, n’incluez jamais une variable postérieure au traitement, ni une conséquence du traitement : cela introduit un biais au lieu de le réduire. Une dizaine de covariables bien choisies vaut mieux que trente ajoutées au hasard.
Faut-il un logiciel particulier ?
Non. La différence-de-différences se fait dans n’importe quel logiciel de régression, y compris SPSS, puisqu’il s’agit d’une régression avec un terme produit. L’appariement sur score de propension demande une extension sous SPSS, et existe en standard sous R et Stata. Le choix de l’outil n’a aucune incidence sur la validité de la stratégie d’identification.
Ces méthodes s’appliquent-elles à un mémoire qualitatif ?
Non, elles supposent une variable de résultat mesurée sur un nombre suffisant d’unités. Un mémoire qualitatif répond à la question causale autrement : par la reconstitution du mécanisme et la comparaison raisonnée de cas, et non par l’estimation d’un effet moyen. Les deux démarches sont légitimes ; ce qui ne l’est pas, c’est d’emprunter le vocabulaire de l’une en pratiquant l’autre.
Mon jury me demandera-t-il vraiment tout cela en master ?
Il ne vous demandera pas une variable instrumentale. Il vous demandera presque à coup sûr pourquoi votre groupe de comparaison est comparable — c’est la question standard des soutenances sur données observationnelles. Avoir une réponse préparée, nommée et assumée en limites suffit à transformer le moment le plus redouté de la soutenance en démonstration de maîtrise. Notre guide du design expérimental couvre le cas symétrique, celui où la randomisation reste possible.