Votre mémoire évalue un outil : une échelle de repérage de la fragilité, un score de risque de chute, un questionnaire de dépistage de l’épuisement professionnel, un indicateur composite censé prédire l’abandon en première année. La question posée est toujours la même : à partir de quelle valeur faut-il considérer que le résultat est positif, et l’outil sépare-t-il seulement quelque chose ?
La courbe ROC répond aux deux, et elle le fait en une seule procédure. Elle est pourtant absente de la plupart des mémoires qui en auraient besoin, remplacée par un seuil emprunté à un article sans vérification, ou par une comparaison de moyennes qui ne dit rien de la décision à prendre.
Cette masterclass suit les trois étapes : construire le tableau de décision, lire la courbe et son aire, choisir un seuil et savoir ce que ce choix vous engage à écrire.
Ce que la courbe ROC répond — et ce qu’elle ne répond pas
Il faut deux choses, et exactement deux.
Une variable de test continue ou ordinale : un score total, une concentration, un temps, une note. C’est elle qu’on va découper.
Un état de référence binaire : la présence ou l’absence réelle de ce que vous cherchez à repérer, établie par un moyen indépendant et considéré comme fiable — diagnostic médical posé, décision administrative constatée, observation directe. Sans état de référence, il n’y a pas de courbe ROC ; il y a une distribution.
Trois conséquences immédiates. Si votre prédicteur est déjà binaire, la courbe ROC n’a aucun intérêt : le tableau croisé suffit, et le test du khi-deux répond à la question posée. Si votre état de référence est lui-même une mesure imparfaite, l’analyse reste possible mais tout ce que vous mesurez est l’accord avec cette référence, pas la vérité — écrivez-le. Et si vous voulez comparer deux évaluateurs plutôt qu’un score à une référence, ce n’est pas une courbe ROC qu’il vous faut mais un coefficient d’accord.
Étape 1 — Le tableau 2×2 et les quatre indicateurs
Fixez provisoirement un seuil. Chaque participant tombe alors dans une des quatre cases : le test le déclare positif ou négatif, la référence dit qu’il l’est ou non.
| Indicateur | Ce qu’il mesure | Calcul | Dépend de la prévalence ? |
|---|---|---|---|
| Sensibilité | Part des cas réels que le test détecte | VP / (VP + FN) | Non |
| Spécificité | Part des non-cas que le test laisse passer comme négatifs | VN / (VN + FP) | Non |
| Valeur prédictive positive | Probabilité d’être un cas quand le test est positif | VP / (VP + FP) | Oui |
| Valeur prédictive négative | Probabilité de ne pas être un cas quand le test est négatif | VN / (VN + FN) | Oui |
La colonne de droite est le point que les mémoires ratent le plus souvent. Sensibilité et spécificité sont des propriétés du test : elles se transportent d’un contexte à l’autre. Les valeurs prédictives sont des propriétés de la situation : le même test, appliqué à une population où la condition est rare, produit une valeur prédictive positive médiocre même avec une excellente spécificité, simplement parce que les non-cas sont beaucoup plus nombreux.
Concrètement : si vous avez recruté vos participants en sur-représentant volontairement les cas — la situation la plus fréquente en mémoire, parce qu’on va les chercher là où ils sont —, vos valeurs prédictives ne sont pas transposables. Rapportez-les, mais précisez qu’elles reflètent la composition de votre échantillon et non celle du terrain. Sensibilité et spécificité, elles, restent utilisables.
Étape 2 — De la table à la courbe
Répétez l’opération pour tous les seuils possibles. Chaque seuil donne un couple (sensibilité ; 1 − spécificité), soit un point. L’ensemble des points forme la courbe ROC. La diagonale représente un test qui ne sépare rien : plus la courbe s’en éloigne vers le coin supérieur gauche, mieux le score discrimine.
L’aire sous la courbe (AUC) résume la courbe entière. Son interprétation est très concrète : c’est la probabilité qu’un individu tiré au hasard parmi les cas obtienne un score plus élevé qu’un individu tiré au hasard parmi les non-cas. Une AUC de 0,50 correspond au hasard ; une AUC de 0,82 signifie que dans 82 % des paires cas / non-cas, le cas obtient le score le plus élevé.
Les repères de lecture couramment employés — acceptable au-delà de 0,70, bon au-delà de 0,80, excellent au-delà de 0,90 — sont des conventions de commodité, pas des seuils fondés. Elles s’emploient comme un langage partagé, à condition de ne pas les présenter comme un verdict : citez-les en les nommant conventions, et discutez surtout l’intervalle de confiance.
L’intervalle de confiance est plus informatif que l’AUC elle-même. Sur un échantillon de mémoire, avec parfois moins de vingt cas positifs, une AUC de 0,78 peut s’accompagner d’un intervalle allant de 0,61 à 0,95. Cela ne disqualifie pas le résultat, mais cela interdit d’écrire « l’outil est performant » sans nuance. La règle pratique est simple : si la borne inférieure descend sous 0,50, votre analyse ne permet pas de conclure que l’outil discrimine — voyez notre article sur l’interprétation des intervalles de confiance.
Sous SPSS : Analyse → Statistiques descriptives → Courbe ROC. Placez le score dans Variables de test, l’état réel dans Variable d’état, et renseignez la valeur qui code le cas positif dans Valeur de la variable d’état — une erreur sur cette valeur retourne la courbe sous la diagonale et produit une AUC inférieure à 0,50, ce qui est le symptôme le plus courant d’un codage inversé. Cochez ensuite Erreur standard et intervalle de confiance et Points de coordonnées de la courbe ROC : c’est ce second tableau qui contient la liste des seuils avec leur sensibilité et leur spécificité, et c’est là que se fait l’étape 3.
Si votre score provient d’un modèle plutôt que d’un instrument, la démarche est la même : enregistrez les probabilités prédites par votre régression logistique et utilisez-les comme variable de test. L’AUC devient alors une mesure de la capacité discriminante du modèle.
Étape 3 — Choisir le seuil
La courbe ne choisit pas pour vous. Elle expose l’arbitrage ; la décision est disciplinaire.
L’indice de Youden est la réponse par défaut : J = sensibilité + spécificité − 1, calculé sur chaque ligne du tableau des coordonnées. Le seuil retenu est celui qui maximise J, c’est-à-dire le point le plus éloigné de la diagonale. Une colonne dans Excel suffit à le trouver.
Ce critère traite un faux positif et un faux négatif comme équivalents. Ils ne le sont presque jamais. Trois cas de figure changent la décision :
- Manquer un cas coûte cher — dépistage d’un risque suicidaire, repérage d’une situation de maltraitance, détection d’une complication. On fixe alors la sensibilité à un niveau exigé (0,90 ou 0,95) et on lit la spécificité obtenue à ce niveau, en acceptant les faux positifs comme le prix d’un filet plus serré.
- Un faux positif déclenche une procédure lourde — orientation, signalement, examen invasif, exclusion d’un dispositif. On privilégie alors la spécificité.
- Le seuil est déjà fixé par la littérature ou par un protocole de service. Dans ce cas, ne le remplacez pas : évaluez-le. Rapportez la sensibilité et la spécificité du seuil officiel dans votre échantillon, puis, en second, le seuil optimal observé. La comparaison des deux est souvent le résultat le plus intéressant du mémoire.
La limite qu’il faut déclarer : un seuil déterminé sur les mêmes données que celles qui servent à l’évaluer est optimiste. Ses performances seront plus faibles sur un nouvel échantillon. Ce n’est pas une faute — c’est inévitable dans un travail de master —, mais cela doit apparaître dans les limites, avec la formule qui convient : le seuil est proposé à titre exploratoire et demande une validation sur un échantillon indépendant.
Les erreurs les plus fréquentes
- Dichotomiser le score avant l’analyse. Découper la variable de test en deux avant de lancer la procédure détruit exactement l’information que la courbe ROC exploite. Entrez le score continu.
- Conclure sur l’AUC sans regarder l’effectif des cas. C’est le nombre de positifs, pas l’effectif total, qui gouverne la précision de l’estimation. Deux cents participants dont douze cas donnent une AUC fragile. Anticipez-le au moment de dimensionner votre échantillon.
- Comparer deux AUC à l’œil. Deux courbes issues des mêmes participants ne sont pas indépendantes ; leur comparaison demande un test approprié, que SPSS ne fournit pas dans le menu ROC. Si la comparaison est le cœur de votre question, prévoyez l’outil avant.
- Rapporter une valeur prédictive positive comme si elle était universelle. Elle vaut pour la prévalence de votre échantillon. Une phrase suffit à le préciser.
- Confondre discrimination et calibration. L’AUC dit si le score classe bien les individus les uns par rapport aux autres. Elle ne dit rien de la justesse des probabilités annoncées. Un modèle peut très bien ordonner et mal calibrer.
Écrire les résultats
Un tableau et un paragraphe. Le tableau donne, pour deux ou trois seuils, la sensibilité, la spécificité, les valeurs prédictives et l’indice de Youden. Le paragraphe ressemble à ceci :
« L’analyse ROC a porté sur 143 participants, dont 38 cas identifiés par la référence. L’aire sous la courbe est de 0,84 (IC à 95 % : 0,76–0,92 ; p < 0,001), indiquant une capacité discriminante satisfaisante. Le seuil maximisant l’indice de Youden est de 14 points (sensibilité = 0,82 ; spécificité = 0,76 ; J = 0,58). Le seuil de 12 points recommandé par la littérature donne dans cet échantillon une sensibilité de 0,92 et une spécificité de 0,61. Compte tenu du coût d’un cas non repéré dans ce contexte, le seuil de 12 points est retenu. Les valeurs prédictives, calculées sur un échantillon où la prévalence des cas atteint 27 %, ne sont pas transposables à une population générale. »
Ce paragraphe contient tout ce qu’un jury attend : l’effectif des cas, l’AUC avec son intervalle, deux seuils comparés, une décision motivée, et une limite explicitement posée. Si votre outil est une échelle que vous avez également testée en fidélité, articulez-le avec votre section sur la validation de l’instrument : la fidélité et la capacité discriminante sont deux propriétés distinctes et complémentaires.
Ce qu’il faut vérifier avant de lancer la procédure
- La variable d’état est binaire, sans valeur manquante, et vous savez laquelle de ses deux modalités code le cas.
- La variable de test est numérique et orientée dans le bon sens : un score élevé doit correspondre à une probabilité plus forte d’être un cas. Sinon, inversez-la explicitement plutôt que de bricoler l’interprétation.
- Le nombre de cas positifs est suffisant pour que l’intervalle soit lisible ; sinon, l’annoncer comme la limite principale.
- La distribution du score dans chacun des deux groupes a été examinée : deux distributions largement superposées annoncent une AUC proche de 0,50, et il vaut mieux le savoir avant. Notez au passage qu’une asymétrie marquée du score ne pose ici aucun problème : la courbe ROC ne suppose aucune forme de distribution, contrairement aux tests qui comparent des moyennes et qui obligent alors à choisir entre transformation, bootstrap et non-paramétrique. Si vous avez déjà comparé les deux groupes par un test t ou un Mann-Whitney, sachez que l’AUC est directement liée à ce dernier : elle en est la version normalisée.
Rédiger le chapitre autour de la courbe
La procédure prend un quart d’heure. Ce qui prend du temps, c’est de construire le raisonnement autour d’elle : poser l’état de référence, justifier le seuil par un argument de terrain plutôt que par un maximum arithmétique, et articuler la limite de validation sans que le mémoire donne l’impression de se rétracter.
Tesify travaille avec vous sur cet enchaînement : structurer la section méthode et la section résultats, tenir un vocabulaire constant entre le protocole et la discussion, et rédiger la justification à partir de vos propres sorties. Vos données restent les vôtres, et le texte est écrit à 100 % par vous.
Rédiger votre chapitre résultats avec Tesify
Questions fréquentes
Quelle AUC est « suffisante » pour un mémoire ?
Aucune valeur n’est exigée. Un mémoire n’a pas à démontrer qu’un outil fonctionne : il a à mesurer correctement ce qu’il fait. Une AUC de 0,64 correctement estimée, correctement encadrée et correctement discutée vaut mieux qu’une AUC de 0,91 obtenue sur onze cas et présentée sans intervalle.
Mon AUC est inférieure à 0,50. Est-ce possible ?
C’est presque toujours un problème de codage : la valeur déclarée comme positive dans la variable d’état est en réalité la négative, ou le score est orienté à l’envers. Vérifiez ces deux points avant toute autre interprétation. Une AUC réellement inférieure à 0,50 signifierait que le test fait pire que le hasard de façon systématique, ce qui est rare.
Peut-on faire une courbe ROC avec un score ordinal à cinq niveaux ?
Oui, mais la courbe sera composée de quelques segments seulement, et le choix de seuil se réduit à quatre possibilités. C’est parfaitement acceptable ; il faut simplement renoncer à parler d’un « seuil optimal » comme s’il avait été finement ajusté.
Faut-il un logiciel particulier ?
Non. SPSS produit la courbe, l’AUC, son intervalle et le tableau des coordonnées dans une seule boîte de dialogue. jamovi et JASP le font également, R avec quelques lignes. L’indice de Youden se calcule ensuite dans un tableur à partir du tableau des coordonnées.
Comment présenter la courbe dans le mémoire ?
Une figure avec la diagonale de référence visible, les axes nommés en toutes lettres (sensibilité et 1 − spécificité), et l’AUC avec son intervalle indiquée en légende. Le tableau des coordonnées complet va en annexe : il est long et personne ne le lit dans le corps du texte.
Et si je n’ai pas d’état de référence fiable ?
Dites-le, et changez de question. Sans référence, vous ne pouvez pas mesurer une sensibilité. Ce que vous pouvez faire, c’est étudier l’accord entre votre outil et un autre instrument existant, ou sa structure interne — ce sont des questions valides, mais elles n’appellent pas une courbe ROC.