Temps de lecture : 10 minutes
Le Guide du A/B Testing 2019
4.7 (93.33%) 6 votes

ab testing et test ab

Le Guide du A/B Testing 2019

A/B testing et Test AB

L’A/B testing (ou test AB) est une méthode scientifique pour comparer deux versions  d’une page web – A et B – et identifier celle qui convertit le mieux. Contrairement aux idées reçues, l’AB Testing existe depuis 1920 et prend aujourd’hui de plus en plus d’importance dans les entreprises. Les méthodes utilisées sont les tests A/B, le split test et le multivariate testing.

En 2019, tout est une question de données, nous vivons dans l’ère du Dataism. Les Dirigeants de sociétés et Directeurs Marketing veulent prendre des décisions basées sur les chiffres, ils veulent des preuves que cela fonctionne. Dans le monde du Marketing en ligne, l’une des méthodes les plus courantes pour supporter cette démarche est le AB Testing.

Pour vous aider à comprendre ce qu’est le AB Testing en webmarketing, nous avons rédigé ce Guide 2019 du A/B Testing

En webmarketing, le A/B testing (aussi connu en tant que Split Testing) est une méthode pour comparer deux versions d’une page web et identifier celle qui convertit le mieux. La version A est la version actuelle de la page (version de contrôle), alors que la version B est la page modifiée (la page de traitement) .

Bien que le A/B Testing soit souvent associé au sites internet et apps mobile, cette méthode existe en fait depuis plus de 100 ans : En 1920, le statisticien et biologiste Ronald Fisher fait la découverte du plus important principe de A/B Testing et plus généralement des essais randomisés contrôlés. Il est le premier à établir les principes mathématiques associés à ce type d’experiences scientifiques.

AB Testing TheRonald Fisher réalise des expériences agricoles en se posant des questions telles que : « Que se passe-t-il si je mets plus d’engrais sur cette terre ? ». Il est aussi connu pour des tests de dégustation de Thé.

Dans les années 1950 des scientifiques ont commencé à réaliser des tests cliniques selon les mêmes principes de test AB. Dans les années 1960 et 1970 le concept a été adapté par les marketeurs pour évaluer les performances de leurs campagnes, par exemple : « Est-ce qu’une l’envoie d’une carte postale ou d’une lettre génère plus de ventes ? ».

Le A/B Testing sous sa forme actuelle existe depuis la fin des années 1990, mais les principes mathématiques n’ont pas changé. Le premier exemple connu sur le web est celui des Ingénieurs de Google qui en 2000 réalisent un test AB pour déterminer le nombre optimum de résultats à afficher sur la page de recherche.

L’arrivée depuis quelques années d’outils de AB Testing en ligne permet désormais de réaliser des tests AB en temps réel, avec beaucoup plus de participants et avec beaucoup plus de possibilités.

Vous commencez un test AB en décidant ce que vous voulez tester, par exemple : la couleur du bouton sur votre landing page.

Vous devez ensuite savoir comment évaluer les performances. Dans ce cas cela peut être le nombre de visiteurs qui cliquent sur le bouton (on parle ici de micro-conversion).

Pour réaliser le test, vous affichez à deux groupes d’utilisateurs équivalents (constitués de façon aléatoire lorsqu’ils visitent le site) les différentes versions (la seule différence étant la couleur du bouton)  et déterminez laquelle a eu le plus d’impact sur vos indicateurs de performance. Dans cet exemple : Quel bouton a généré le plus de clics ?

Dans la vie réelle, beaucoup de paramètres peuvent influencer une personne à cliquer, par exemple il est possible que des utilisateurs sur Mobile soient plus enclins à cliquer sur l’un des boutons, alors que sur Desktop le choix sera différent. C’est pourquoi la randomisation est essentielle dans ce contexte, car elle minimise les chances que d’autres facteurs viennent perturber les résultats.

Si le concept paraît simple, sa mise en oeuvre nécessite de calculer la taille de l’échantillon nécessaire pour atteindre la statistical significance (équivalent d’un taux de confiance élevé).

L’exemple de la couleur du bouton est un exemple très simple. En réalité, les outils de AB Testing vous permettent de tester beaucoup de changements sur votre site web.

Le Split Testing permet de tester différentes versions de page hébergées sur différentes URLs, alors que le A/B Testing utilise les versions créées à partir de l’éditeur WYSIWYG du logiciel de A/B Testing.

éditeur WYSIWYG du logiciel de A/B Testing.
Convertize Smart Editor

Donc  en A/B Testing le visiteur reste sur la même page qui est modifiée de façon dynamique, alors qu’en Split Testing le visiteur est re-dirigé vers une autre page de façon transparente.

Ce changement dynamique de page peut occasionner un effet de flickering, aussi appelé FOOC (Flash of Original Content) du fait du chargement asynchrone du javascript (le chargement synchrone n’est pas recommandé).

Chez Convertize, nous avons développé un Lightning mode (contenu en anglais) qui permet de réduire considérablement l’effet de flickering et de le rendre invisible à l’oeil nu.

Le Multivariate testing (MVT) permet de tester un page web où plusieurs variables sont modifiées. L’objectif du multivariate testing est de déterminer quelle combinaison de variations est la plus performante pour un segment de visiteurs.

Un test AB classique permet de tester seulement de variations d’une page.

Il existe des avantages et de inconvénients avec le Multivariate testing (MVT), nous discutons ce sujet dans notre article dédié au Multivariate Testing

A peu près tous les éléments visibles d’un site web peuvent être A/B  testés :

  1. Le titre de la page
  2. Le sous-titre
  3. Un paragraphe
  4. Un témoignage client
  5. Le texte d’un Call to Action
  6. La taille d’un Call to Action
  7. Les liens
  8. Les images
  9. Le menu de navigation
  10. Les éléments de Social proof
  11. La mise en page

Des tests avancés permettent aussi de tester les formulaires en ligne, les structures de prix, les promotions, la navigation et plus.

Google a clarifié sa position vis à vis du A/B Testing dans un article publié sur son blog. Les points importants à retenir sont :

  1. Pas de Cloaking : montrer un contenu aux humains et une version différente au Googlebot est contraire aux règles Google, qu’il s’agisse ou non d’un test. Il est donc important de ne pas exclure le Googlebot des tests AB.
  2. Utiliser des redirections 302, et non des redirections 301 : cela s’applique aux Split Tests qui consistent à rediriger les visiteurs arrivant sur une page A, vers une page B, de façon transparente.

Le respect des conditions énoncées par Google permet de s’assurer que des tests AB n’auront aucun impact sur votre référencement naturel (SEO).

Les outils de AB Testing classiques connaissent ces contraintes et utilisent des javascripts qui n’influencent pas votre SEO.

Les logiciels de A/B testing permettent de créer des tests à partir de scripts côté client (front-end) ou côté serveur.

Les solutions de AB Testing côté serveur tournent plus vite et sont plus sécurisées. Mais elles sont aussi beaucoup plus chères et plus compliquées à mettre en oeuvre.

Les solutions de AB Testing « côté client » utilisent un code Javascript qui effectue les changements directement dans le navigateur du visiteur. Cela peut créer un retard de chargement de la page de quelques fractions de secondes néanmoins visible à l’oeil nu.

Ce retard de chargement est connu sous le nom de « flickering effect ». Pour y remédier, Convertize a développé un  Lightning mode.

Le A/B Testing est utilisé par de nombreuses sociétés pour améliorer les performances marketing de leur site web :

  1. Les sites de e-commerce pour améliorer leur tunnel de conversion,
  2. Les logiciels et sites Saas pour améliorer leur page d’accueil et leur processus d’abonnement,
  3. Les sites de génération de leads pour améliorer leurs landing pages.

Le A/B Testing est aussi utilisé par des sociétés souhaitant refondre le design de leur site web en testant chaque changement auprès de leurs utilisateurs.

En 2018 et 2019 par exemple, British Airways a testé les nouvelles versions de ses pages web pendant plusieurs semaines, avant de finalement les mettre en ligne de façon permanente.

Nous listons les meilleures solutions de A/B Testing dans notre Comparatif des 26 Outils AB Testing pour Optimiser vos Conversions en 2019

Optimizely ayant retiré sa version française il y a 2 ans, il ne reste plus que 4 outils de A/B Testing disponibles en Français :

  1. Convertize
  2. AB Tasty
  3. Google Optimize
  4. Kameleoon

Si vous souhaitez savoir comment choisir votre solution de AB Testing, vous pouvez consulter les 10 questions pour choisir le meilleur outil de AB Testing pour votre site.

Au travers de 10 questions clés, nous vous expliquons comment choisir un outil de A/B Testing pour accompagner votre stratégie d’optimisation des taux de conversion :

  1. Quel est le niveau de compétences de mon équipe ?
  2. Quels sont les moyens techniques et les ressources nécessaires ?
  3. Quelles sont les compétences requises pour utiliser un outil de AB Testing ?
  4. Quel niveau de support est disponible ?
  5. Quel volume est nécessaire pour un programme de AB testing ?
  6. Combien de temps devrons nous affecter aux A/B tests, à quelle fréquence ?
  7. Est-ce que l’outil de AB Testing va augmenter le temps de chargement du site ?
  8. Est-il nécessaire de recruter une agence en optimisation des conversions ?
  9. Combien coûtera le A/B Testing sur une période de 12 mois ?
  10. Quels sont les autres outils nécessaires : heatmap, funnel analytics,…

En utilisant cette liste de 10 questions, vous pourrez choisir l’outil le plus adapté à votre organisation. Un logiciel de AB Testing doit apporter une solution et en aucun cas devenir une contrainte pour votre équipe.

Les méthodes (ou méthodologies) d’A/B Testing peuvent varier selon les Agences de AB Testing, certaines se focalisent uniquement sur les données Analytics, d’autres sur les Test Utilisateurs ou le Neuromarketing.

Voici la méthodologie A/B Testing utilisée chez Convertize, qui associe les différentes approches :

Optimisation des Taux de Conversion - Méthodologie

Cette méthode de A/B Testing comporte 5 étapes :

  1. Analyse de données
  2. Construction d’hypothèses
  3. Design
  4. Intégration et Tests
  5. Enseignement et Améliorations

Choisir un outil de AB Testing est une démarche assez simple, mais souscrire à une solution de AB Testing n’est qu’un point de départ.

Même si vous disposez d’une méthodologie d’optimisation des taux de conversion, vous risquez d’être confronté à l’effet page blanche : 

Mon Analytics me dit que je dois optimiser cette page, mais que faut-il tester ?

Nous avons compilé 245 idées de AB Testing pour vous aider à construire plus rapidement vos hypothèses de tests AB. Cette bibliothèque d’idées et d’exemples de AB Testing est organisée par type de site :

par type de page web :

par principe de Neuromarketing :

et par marques

Nous avons identifiées 13 erreurs classiques en A/B Testing. Dans notre article dédié à ce sujet nous vous expliquons aussi comment éviter ces erreurs :

Il n’y a pas de durée standard pour un test AB, car un AB test doit se terminer lorsque les résultats sont fiables.

Avant de lancer un test AB, il convient de calculer la taille de l’échantillon nécessaire pour votre test AB. Sachant que dans certains cas, la conclusion pourra être de ne pas lancer de test AB, car le volume de trafic disponible sur le site (ou la page testée) n’est pas suffisant.

Lorsque votre test est lancé, la question suivante est de determiner quand les résultats du test AB sont fiables. Pour cela, différents paramètres sont à prendre en compte :

  1. La représentativité statistique du test AB (ou statistical significance)
  2. Le constat d’une 

Il existe deux grandes approches pour calculer la Statistical Significance d’un test AB : l’approche Bayésienne ou l’approche Fréquentiste.

Plusieurs outils en ligne permette de calculer la statistical significance :

Convertize a développé une approche Hybride dans le but d’apporter des résultats de tests AB plus fiables et plus rapide. Pour comprendre l’Approche Hybride développée par Convertize, vous pouvez télécharger le ebook ou obtenir une édition papier sur Amazon.

Nous écrivons régulièrement des articles ou astuces sur les A/B Testing : Les erreurs à ne pas faire en AB Testing, les fonctionnalités utiles, le comparatif de 26 meilleurs logiciels de A/B Testing