L'étude qualitative a un ami secret, c'est le sondage quantitatif. Ce dernier permet notamment d'obtenir des chiffres importants pour vos décisions. Mais attention à ne pas produire des chiffres au rabais sans fiabilité statistique avec des échantillons trop limités, par exemple 100 personnes pour un ciblage large. Voici quelques clés pour mieux construire l'échantillon de votre étude quantitative.
Pour guider votre lecture de cet article, voici les 3 ordres de grandeur qui vont émerger ci-dessous :
Commençons par poser le décor. Historiquement, il y a bien eu opposition car l'un puisait sa source dans les lois statistiques alors que l'autre naissait du champ des sciences sociales, notamment la psychologie. Depuis, les dispositifs d'étude ont su dépasser cette opposition pour y trouver une saine complémentarité. Pour faire simple, les études qualitatives et quantitatives ne répondent pas à la même question :
Maintenant que les bases sont posées, nous allons en revenir à la construction d'un sondage quantitatif solide. Celui qui va vous donner des chiffres pour emporter l'adhésion de votre organisation sur le lancement de votre tout dernier website ou de votre app.
La marge d'erreur est définie par la taille de votre échantillon. Prenons l'exemple d'une question où 60 % des répondants ont répondu "Oui". Avec une marge d'erreur de 10 %, la vrai réponse est comprise entre 50 % et 70 %. Et vous n'avez aucun moyen de savoir quelle est la bonne réponse, tous les résultats compris, dans cet exemple, entre 50 et 70 % sont corrects.
Le problème se pose pour comparer les résultats. En creusant notre exemple, supposons que nous ayons 60 % de réponses "oui j'aime les pommes" et 70 % de "oui, j'aime les poires" à la deuxième. La marge d'erreur est de 10 %. Apparemment, les personnes interrogées préfèrent les poires mais, en réalité, les "vraies" réponses pourraient se situer à 70 % pour les pommes et 60 % pour les poires, ce qui inverserait la hiérarchie.
"Avec une marge d'erreur de 10%, si le résultat d'une question est de 60%, la vrai réponse est comprise entre 50% et 70%."
J'ai deux bonnes nouvelles :
Avec 400 répondants d'une cible , vous obtenez une marge d'erreur de 4,90 %, assez pour constituer un échantillon solide (on passe la barre des 5 % à 377 répondants). Par extension, en sondant 300 personnes, vous obtenez une marge d'erreur de 5,66 % qui reste tout à fait acceptable dans les standards d'étude. En revanche, avec 100 personnes, la marge d'erreur est proche de 10 %, ce qui se révèle inacceptable.
Si vous avez survécu jusque là, déjà bravo ! Ensuite, sachez que ce que nous venons de voir ensemble est une simplification. Il y a notamment - mais pas que - l'intervalle de confiance à prendre en compte, ce que nous laisserons de côté pour cet article. Nous allons maintenant voir quelques questions typiques tournant autour des sondages.
"En revanche, avec 100 personnes, la marge d'erreur est proche de 10% ce qui se révèle inacceptable dans le cas d'une cible large."
Les critères de ciblage ont un impact fort sur la construction de votre échantillon. Dans le cadre d'une cible très spécifique, on pourra accepter des échantillons vraiment réduits, 100 personnes ou pouvant même descendre jusqu'à 30 sur des fonctions B2B. Cela s'explique en partie par la contrainte budgétaire mais aussi d'un point de vue méthodologique. En effet, une cible très spécifique a des chances d'avoir moins d'amplitude dans ses réponses qu'une population large. Cette diminution du nombre de personnes interrogées supprime également la possibilité de comparer des sous-segments au sein de la population ciblée. En résumé, il est important de ne pas trop diversifier les profils.
Pour être représentatif de la population que vous souhaitez interroger, assurez-vous de bien avoir tous les profils la constituant, et surtout dans les bonnes proportions. Pour cela, il suffit de mettre en place des quotas sur certains critères. L’idéal est de ne pas tomber en dessous des 80 personnes par sous-segment d’analyse, ce qui est communément admis dans le domaine des statistiques (en B2C).
En réalité si, ils sont utiles ! Les chiffres dans les études qualitatives sont simplement utilisés différemment. Ils permettent notamment de prioriser les problèmes et d'avoir des premiers indices chiffrés. L'échantillonnage fait partie des méthodologies utilisées. À partir de combien de personnes a-t-on découvert suffisamment de problèmes d'UX liés à une interface par exemple ? C'est bien une question statistique et celle qui fait l'objet de notre précédent article "5 utilisateurs suffisent-ils vraiment ?". Un autre article très intéressant de Jeff Sauro, en anglais, parle des 9 a priori que l'on peut rencontrer lorsque l'on croise les tests utilisateurs et les statistiques chiffrées.
Cet article sur la définition d'un échantillon d'une étude quantitative vous a plu ? Vous souhaitez en savoir plus sur les différentes méthodes de recherche utilisateur à disposition pour mieux comprendre vos utilisateurs et tester vos produits et services ? Rendez-vous déjà sur notre page solutions et méthodologies UX research.