Taille d’échantillon AB Test : 4 Niveaux de Difficultés à connaître

La question qui revient souvent est « Peut-on faire du AB Testing avec moins de 100’000 visiteurs pas mois ». Le facteur le plus déterminant est le volume de trafic disponible sur votre site, il est donc important de calculer la taille d’échantillon AB Test (la sample size) avant de lancer un test.

Nous avons crée un modèle simple, composé de 4 niveaux de difficultés pour vous aider à savoir si votre volume de visiteurs est suffisant pour réaliser un test AB sur votre site web.

Le AB Testing n’est pas une étape obligatoire dans un processus d’optimisation des conversions, si vous n’avez pas suffisamment de visiteurs sur votre site ou sur la page que vous souhaitez tester, il ne sera pas possible d’obtenir des résultats fiables.

Comment valider la fiabilité d’un AB test ?

Se lancer dans un AB test lorsque les conditions de volume ne sont pas suffisante (et donc la taille d’échantillon AB test nécessaire est supérieur au trafic disponible), revient à gaspiller son budget Marketing.

Pour valider la fiabilité d’un AB test il faut mettre en oeuvre des notions statistiques telles que :

• la durée du test
• la taux de confiance (« confidence level »)
• la «puissance».

Si vous n’êtes pas statisticien, ces paramètres peuvent vous échapper. Continuez à lire cet article : tout va se simplifier !

Il existe plusieurs outils en ligne pour effectuer tous les calculs à votre place. Le plus « abordable » étant AB Test guide.

Comment calculer la taille d’échantillon AB Test (sample size) ?

Pour calculer votre taille d’échantillon AB Test (sample size) et donc le nombre de visiteurs nécessaires pour réaliser votre test (on parle de « Minimum sample size »), il  vous faut fournir 3 types d’informations :

1. Vos données Analytics

Le taux de conversion (“Conversion rate Control”) de la page testée : il s’agit le plus souvent du ratio Inscriptions/Visiteurs ou le ratio Ventes/Visiteurs.

Le nombre de visiteurs uniques par semaine (“Unique visitors) de la page testée. Renseigner cette donnée vous permettra de traduire le nombre de visiteurs nécessaires à votre test (la sample size, ou taille d’échantillon AB Test)  en nombre de jours nécessaires.

2. Vos estimations

Vous devez renseigner le pourcentage d’amélioration attendu. Ce n’est pas la valeur que vous souhaitez mais bien celle qu’il est probable que vous obteniez. C’est la phase la plus délicate.

Pourquoi estimer le pourcentage d’amélioration alors que c’est justement ce que vous cherchez à tester ? En fait, la valeur que vous donnez agit comme un seuil de détection. Plus ce seuil est grand, plus le nombre de visiteurs nécessaires (et donc la taille d’échantillon AB Test) sera faible, et inversement. En effet un fort pourcentage d’amélioration est plus visible, donc plus rapide à confirmer. Un pourcentage d’amélioration faible est plus subtil et discret, sa détection nécessite donc plus de visiteurs.

Les experts en optimisation des conversions s’accordent pour dire qu’il est très difficile d’atteindre plus de 10% d’amélioration sur votre taux de conversion global (Visiteurs/Ventes). Une amélioration supérieure à 10% demande des changements “innovants”, c’est-à-dire des changements importants sur votre site. Les changements itératifs, qui consistent par exemple à changer un message ou bouton, apportent généralement moins de 5%, voire beaucoup moins ! Ainsi, pour esquisser une estimation réaliste, nous recommandons d’utiliser “5%”.

3. Les paramètres statistiques

Sans entrer dans des détails techniques, voici les paramètres qui permettent d’avoir un résultat fiable :

Hypothèse : « 2-sided »

Puissance : 80%

Confiance : 95%

Avec ces valeurs, AB Test Guide vous donne une estimation du temps nécessaire pour un test. Il reste encore un point à vérifier : Le test doit toujours avoir une durée supérieure à 1 cycle de vente, idéalement 2 cycles de vente.

D’autre part, il vaut mieux éviter d’effectuer un test au delà de 30 jours, 60 jours étant un maximum. Effectuer un test sur plus de 2 mois est risqué car beaucoup de vos paramètres sont susceptibles d’évoluer pendant cette même période (en moyenne, 10% des internautes effacent leurs cookies chaque mois, ce qui pollue fortement vos résultats). Vos résultats seraient potentiellement biaisés.

Maintenant, vous connaissez votre taille d’échantillon AB test et savez combien de visiteurs sont nécessaires pour réaliser un A/B test sur votre site. Dans certains cas néanmoins, le volume de visiteurs sera supérieur à votre trafic réel …

4 niveaux de difficultés pour décider (ou non) du lancement d’un test AB

Le modèle ci-dessous vous permet d’estimer la taille d’échantillon AB test (nombre de visiteurs nécessaires) pour réaliser des A/B tests fiables.

En d’autres termes : quel est le pourcentage minimum d’amélioration du taux de conversion qu’il faut atteindre pour que le résultat de l’A/B test soit fiable, en fonction du nombre de visiteurs uniques par mois.

Nous avons fixé des conditions et des facteurs fixes pour concevoir le modèle suivant :

• Taux de conversion du site : 2%
• Durée du test : 30 jours
• 1 page de contrôle (A) et 1 variation testée (B)
• Niveau de confiance : 95%
• Puissance : 80%

Les visiteurs sont répartis en 4 zones qui représentent le niveau de difficulté pour atteindre un Uplift (pourcentage d’amélioration du taux de conversion).

Comment interpréter les 4 zones :

1. Fear Factor zone

Avec moins de 10 000 visiteurs par mois, faire de l’A/B testing s’avère extrêmement risqué car il vous faudrait améliorer le taux de conversion de plus de 30% pour pouvoir déterminer une « variation gagnante » !

2. Thrilling zone

Entre 10 000 et 100 000 visiteurs par mois, faire de l’A/B testing relève encore du challenge ! Un minimum de 9% d’amélioration du taux de conversion sera nécessaire.

3. Exciting zone

Entre 100 000 et 1 000 000 de visiteurs par mois, il faut améliorer le taux de conversion entre 2% et 9%, selon le nombre de visiteurs.

4. Safe zone

Au delà d’un million de visiteurs par mois, votre A/B testing est « safe » et les résultats solides permettent des interprétations poussées. Cela vous permet également de réaliser de nombreux tests itératifs.

Attention à toujours considérer les données de la page testée et non celles du site dans son ensemble.

Que faire si votre trafic est inférieur à la taille d’échantillon AB test ?

Vous devez faire des A/B tests pour valider vos hypothèses, il faut donc trouver les moyens de densifier votre trafic.

Si votre trafic est trop faible (moins de 10 000 visiteurs par mois) il est très difficile d’optimiser de façon « itérative ».

Voici deux options à gérer en parallèle :

1. Faites de l’acquisition de trafic !
2. Travaillez sur l’optimisation de votre site :
   • votre proposition de valeur : pourquoi les visiteurs doivent-ils acheter chez vous plutôt que chez vos concurrents, et pourquoi doivent-ils le faire maintenant ?
   • des tests fonctionnels : votre site marche-t-il correctement sur tous les navigateurs, appareils…?
   • une meilleure connaissance de vos visiteurs et clients (mini-enquêtes, user testing,…).

Dans la zone des 10 000 à 100 000 visiteurs par mois, cela reste compromis : les tests itératifs ne sont pas puissants et il faut créer des tests « innovants » pour obtenir des résultats fiables. Utiliser des techniques tirées de la psychologie cognitive et de l’économie comportementale permettra également de booster les performances d’un test.

Attention aux A/B tests sur les micro-conversions !

Les micro-conversions sont des étapes de votre entonnoir de conversion, comme. Citons, par exemple, l’ajout d’un produit au panier, sachant que la conversion finale est la vente.

Il est assez facile d’augmenter le taux d’une micro-conversion et il est donc très tentant de réaliser des tests sur des micro-conversions. Mais il faut AUSSI mesurer l’impact sur la macro-conversion pour avoir une vue objective sur les performances réelles de vos tests.

Si vous optimisez « trop » d’un côté, cela fait baisser l’autre côté : par exemple, si vous sur-optimisez une page par des messages incitatifs mais que la promesse n’est pas tenue sur les pages suivantes, c’est votre taux de conversion global qui va baisser. Nous appelons cela l’effet Roberval.

Conclusion sur les risques des tests AB

Avant de lancer dans un test AB ou de décider un programme de AB Testing, il est obligatoire de connaître la taille d’échantillon AB test des pages que vous souhaiter tester.

L’A/B testing est une technique nécessaire pour valider des hypothèses d’améliorations, mais il faut des connaissances statistiques pour avoir des résultats fiables sur le long terme. L’A/B testing appuie des hypothèses déjà éprouvées et non pas l’inverse!

S’abonner à une solution d’A/B testing ne garantit aucun résultat car l’objectif central des vendeurs de ces logiciels est de vous vendre des abonnements sur 12 mois. C’est d’ailleurs pour ces raisons que certains pratiquent la désinformation ou la confusion.

Par Philippe Aimé

Philippe est Directeur chez Convertize. Philippe a créé son premier site Internet en 1998. Il dirige aujourd'hui l'équipe de consultants en Optimisation des Conversions.