Vous avez organisé une action : un atelier d’éducation thérapeutique, une campagne de dépistage, une intervention en classe, un programme d’activité physique adaptée. Votre mémoire doit maintenant l’évaluer.
Dans l’immense majorité des cas, l’évaluation se réduit à une chose : un questionnaire de satisfaction distribué à la fin, dont on rapporte que les participants étaient contents. Ce n’est pas faux. C’est simplement la plus petite partie de ce qu’il fallait mesurer — et elle porte sur les seules personnes qui étaient là.
Le cadre qui complète la question
RE-AIM tient dans un acronyme dont chaque lettre est une dimension : Reach, Effectiveness, Adoption, Implementation, and Maintenance — portée, efficacité, adoption, mise en œuvre et maintien. Le cadre pose que ces éléments « déterminent ensemble l’impact en santé publique ».
Le mot important est « ensemble ». Une action très efficace sur ceux qui la suivent, mais qui n’atteint que les personnes déjà convaincues, a un impact faible. Une action largement adoptée mais appliquée de façon dégradée n’a pas l’effet qu’on lui prête. Aucune dimension isolée ne dit l’impact.
Depuis l’article original de 1999, environ 700 publications s’en réclament, dans des champs aussi variés que le vieillissement, le dépistage des cancers, l’activité physique et les maladies chroniques. Sa vocation, telle que ses auteurs la formulent, est d’inciter à prêter attention à des éléments essentiels du programme, dont la validité externe — c’est-à-dire la capacité de ce qui a marché ici à fonctionner ailleurs.
C’est exactement le reproche qu’un jury adresse à un mémoire d’évaluation : « et en dehors de votre service, cela tiendrait-il ? »
Les cinq dimensions, et ce que chacune exige
Portée
Combien de personnes l’action a-t-elle touchées, et lesquelles ? Il faut donc un dénominateur : la population que vous visiez. Sans lui, « quarante participants » ne veut rien dire ; avec lui, « quarante participants sur les deux cent dix patients éligibles » devient un résultat.
C’est ici que se pose la question la plus féconde et la plus évitée : qui n’est pas venu ? Comparer le profil des participants à celui de la population visée révèle presque toujours un biais de recrutement — et ce biais est souvent le résultat le plus intéressant du mémoire.
Efficacité
Quel effet sur les résultats visés, y compris les effets non désirés ? C’est la seule dimension que les mémoires traitent spontanément. Elle exige un indicateur défini à l’avance, pas une impression recueillie après coup.
Adoption
Combien de professionnels, de services ou de structures ont accepté de mettre en œuvre l’action, et lesquels ? Attention à ne pas confondre avec la portée : la portée concerne les bénéficiaires, l’adoption concerne les acteurs qui délivrent l’action. Un mémoire qui les mélange rend ses deux résultats inexploitables.
Mise en œuvre
L’action a-t-elle été menée comme prévu ? Combien de séances effectivement tenues sur celles programmées, avec quels écarts, quelles adaptations, quels moyens réels. C’est la dimension qui explique le plus souvent une efficacité décevante : ce n’est pas l’action qui n’a pas marché, c’est une version dégradée de l’action qui a été délivrée.
Maintien
Que reste-t-il après ? À deux niveaux : chez les personnes — l’effet persiste-t-il — et dans l’organisation — l’action a-t-elle été intégrée aux pratiques ou s’est-elle arrêtée avec votre stage ? Un mémoire honnête écrit que le dispositif s’est interrompu à son départ, et en fait un objet d’analyse.
La question que le cadre force à poser
Si vous ne deviez retenir qu’une chose : votre évaluation doit décrire ceux que l’action n’a pas atteints.
Une action de prévention touche préférentiellement les personnes déjà sensibilisées, disponibles, mobiles, à l’aise avec l’écrit ou avec l’institution. Documenter cet écart transforme un compte rendu d’atelier en analyse de santé publique, et il se documente avec des données que vous avez déjà : la liste des personnes éligibles et celle des participants.
C’est aussi ce qui donne à votre discussion sa conclusion la plus utile — non pas « l’action a été appréciée », mais « l’action, sous cette forme, ne touche pas le public qui en aurait le plus besoin, et voici pourquoi ».
Comment en faire le plan de votre mémoire
La grande économie du cadre est qu’il fournit directement l’ossature de votre partie résultats : une sous-partie par dimension retenue, dans l’ordre de l’acronyme.
- Choisissez les dimensions traitables. Un mémoire de quelques mois ne peut pas mesurer sérieusement le maintien à un an. Retenez-en trois, dites pourquoi, et signalez les autres comme non couvertes plutôt que de les survoler.
- Définissez un indicateur par dimension, avant l’action. Rétrospectivement, il est presque toujours trop tard : le dénominateur de la portée, en particulier, ne se reconstitue pas après coup.
- Identifiez les données déjà existantes. Feuilles de présence, plannings, comptes rendus de réunion, listes d’éligibles : l’essentiel de ce qu’exige RE-AIM se trouve dans des documents de service, pas dans un questionnaire supplémentaire.
- Restituez dimension par dimension, puis concluez sur leur articulation. C’est cette dernière étape — montrer comment une portée étroite limite un effet pourtant réel — qui distingue une évaluation d’un bilan d’activité.
Pour le recueil qualitatif qui accompagne souvent ces mesures, voyez le guide de l’entretien semi-directif et l’analyse thématique. Pour la déclaration de méthode attendue selon votre design, la grille de rédaction correspondante vous dira quoi documenter.
Ouvrez votre mémoire dans Tesify et construisez votre partie résultats dimension par dimension — la structure tient, chaque phrase reste écrite par vous.
Deux cadres, deux questions différentes
Une confusion fréquente mérite d’être levée. RE-AIM répond à « qu’est-ce que cette action a produit, et jusqu’où ? ». Il ne répond pas à « pourquoi cela s’est-il passé ainsi ? ».
Si votre question porte sur les freins organisationnels — pourquoi un dispositif valide ne s’installe pas dans un service —, c’est un cadre d’analyse de l’implémentation qu’il vous faut, comme le cadre CFIR pour un mémoire professionnel. Les deux se combinent très bien : l’un chiffre la portée, l’autre en explique les limites.
Et si vous hésitez encore sur le modèle à retenir, le critère décisif reste le même : privilégiez celui qui vient avec des définitions et des outils publiés, comme l’explique choisir un modèle théorique qui vient avec son instrument.
Questions fréquentes
Faut-il mesurer les cinq dimensions ?
Non, et c’est même déconseillé dans un mémoire. Traitez-en deux ou trois avec des indicateurs sérieux, et déclarez les autres comme hors du périmètre de votre travail. Une couverture partielle assumée vaut mieux qu’une couverture complète superficielle.
Mon action n’a touché que douze personnes. Est-ce exploitable ?
Oui, à condition de rapporter ce nombre à une population visée. Douze participants sur quinze éligibles est un excellent résultat de portée ; douze sur trois cents en est un autre, tout aussi analysable, mais qui appelle une discussion différente.
Peut-on appliquer ce cadre hors du champ de la santé ?
Oui. Il a été conçu pour la santé publique mais ses dimensions valent pour toute action collective : dispositif éducatif, action sociale, programme de formation. Justifiez simplement la transposition en une phrase.
Comment mesurer le maintien en quelques mois ?
Vous ne mesurerez pas un maintien à long terme. Ce que vous pouvez documenter, c’est l’existence ou l’absence d’un dispositif de pérennisation : l’action est-elle inscrite au projet de service, un référent a-t-il été désigné, un budget prévu. C’est un indicateur de maintien organisationnel, et il est honnête.
Faut-il un groupe témoin ?
Ce n’est ni exigé ni réaliste dans la plupart des mémoires. En son absence, votre efficacité est mesurée avant-après sans comparaison, ce qui doit être dit clairement dans les limites : vous décrivez une évolution, vous n’établissez pas qu’elle est due à l’action.
Où citer le cadre dans le mémoire ?
Dans la méthode, en annonçant les dimensions retenues et les indicateurs correspondants ; puis en bibliographie, avec l’article fondateur de 1999. Les intitulés de vos résultats doivent reprendre les dimensions, pour que le lecteur suive sans effort.
Que faire si les données de portée n’existent pas ?
Reconstituez le dénominateur le plus défendable à partir des documents disponibles — file active du service, effectif de la classe, population du territoire — et dites explicitement comment vous l’avez établi. Un dénominateur approximatif mais documenté vaut infiniment mieux qu’un effectif de participants présenté seul.
L’action que j’évalue est la mienne : est-ce recevable ?
C’est le cas le plus fréquent en mémoire professionnel, et c’est recevable à une condition : nommer le conflit de position. Vous êtes à la fois concepteur, animateur et évaluateur, ce qui affecte la façon dont les participants vous répondent et la sévérité de votre propre regard. Dites-le dans la méthode, et privilégiez pour l’efficacité des indicateurs objectivables plutôt que déclaratifs — un taux de participation se discute moins qu’une satisfaction exprimée devant l’animateur.
Évaluer, ce n’est pas demander si les gens étaient contents. Rédigez votre mémoire d’évaluation avec Tesify.