Question 1, sur quelle population ?
« 72 % des clients se déclarent satisfaits » n'a aucun sens tant qu'on ignore qui a répondu. Les répondants d'une enquête ne sont presque jamais un échantillon neutre : ceux qui répondent diffèrent structurellement de ceux qui ne répondent pas.
La bonne formulation d'une réponse solide ressemble à : « 72 % des 480 clients actifs ayant répondu, soit 31 % de la base sollicitée, avec une sur-représentation des clients de moins de deux ans d'ancienneté. »
Question 2, sur quelle période ?
Une progression mesurée entre deux points est une droite tracée entre deux accidents. Déplacez le point de départ d'un mois et le sens de la conclusion peut s'inverser.
Demandez systématiquement la série complète plutôt que la variation. Une courbe montre la saisonnalité, les ruptures et les valeurs extrêmes que le pourcentage résume, et dissimule.
Question 3, quelle marge d'erreur ?
Un écart de 2 points entre deux groupes de 40 personnes n'est pas un écart : c'est du bruit. Une analyse honnête accompagne chaque comparaison de son intervalle de confiance ou, au minimum, de la taille des groupes comparés.
Si personne ne peut vous dire à partir de quel écart le résultat cesserait d'être crédible, l'analyse n'est pas terminée.
La question bonus
« Qu'est-ce qui vous ferait conclure l'inverse ? » Si la réponse est « rien », vous n'êtes pas devant une analyse mais devant une justification.
Une équipe qui a préparé cette réponse a fait le travail. Une équipe qui la découvre en séance ne l'a pas fait.
Note de méthode
Note pédagogique issue de nos restitutions devant des comités de direction et des équipes de recherche.
Pôle concerné
Mandatas Research