Temps de lecture : 10 minutes
Quelle est la Bonne Méthode pour Réussir un Test AB ?
4.7 (93.81%) 42 votes

Lorsqu’on lance un test AB, on crée deux versions d’une même page qui fonctionnent en parallèle. Le trafic est alors divisé entre ces deux variantes. Les marketeurs peuvent ensuite déterminer quelle est la meilleure version en étudiant le comportement des visiteurs sur chacune d’elles. Le monde du AB Testing peut parfois être compliqué à appréhender pour les nouveaux venus. Mais rassurez-vous, il existe bien des méthodes permettant d’obtenir des tests AB fiables et significatifs.

Les méthodes (ou méthodologies) d’AB Testing peuvent varier selon les Agences de AB Testing, certaines se focalisant uniquement sur les données Analytics, d’autres sur les Tests Utilisateurs ou le Neuromarketing.

Voici la méthodologie d’AB Testing utilisée chez Convertize, qui associe les différentes approches. Elle comporte 5 étapes :

processus de ab testing en cinq étapes

Analyse de données :

Avant de construire une version alternative (B), il est nécessaire d’examiner en détail la version originale (A). L’analyse des données est une étape primordiale de tout bon test AB. Google Analytics est un outil indispensable pour les marketeurs digitaux puisqu’il leur permet de savoir comment les visiteurs utilisent leur site. En examinant le comportement de vos visiteurs et en identifiant les faiblesses de votre Tunnel de Conversion, vous aurez une meilleure idée de ce qui doit être optimisé. Toutefois, pour comprendre Pourquoi et Comment améliorer ces aspects, d’autres outils sont nécessaires.

Des logiciels gratuits en ligne permettent de transformer les données de suivi de souris (mouse-tracking) en heatmaps plus visuelles. Les scrollmaps vous indiquent jusqu’où vos visiteurs font défiler une page avant de la quitter. Ces outils doivent être associés à une segmentation client et à des sondages de sortie pour mieux comprendre les réactions de vos visiteurs sur votre site. Mais ce n’est pas fini ! Afin de changer le ressenti de vos visiteurs, vous devez penser à la psychologie du consommateur. La dernière étape de la phase de recherche est donc une analyse exhaustive des mécanismes cognitifs qui peuvent se jouer sur la page.

analyse de la version originale de la page

Construction d’hypothèses :

C’est la partie amusante du processus ! Vous devez prendre votre courage à deux mains et trouver un moyen de changer votre Version A afin d’atteindre un objectif que vous aurez fixé. Alors, qu’allez-vous modifier ? Vos boutons Call-to-Action, votre texte, les couleurs ou la structure de vos sections ? Est-ce que votre page a besoin d’un petit ravalement de façade ou d’une reconstruction complète ? Tout le monde peut proposer une hypothèse mais une bonne hypothèse requiert une réflexion méticuleuse.

Conception du test AB :

Il est important d’être précis sur les paramètres de votre expérience. Avant de mener un test, vous devez choisir :

  • Votre objectif Pour qu’une plateforme de AB Testing puisse comparer les taux de conversion des versions A et B, vous devez indiquer une action qu’elle peut traquer. Le plus souvent, il s’agit de l’URL d’une page de remerciement (à la suite d’un achat) car cela garantit que vous ne recevrez que les données liées aux achats menés à terme. Il arrive parfois que vous vouliez atteindre un autre objectif. Les clics sur un bouton Call-to-Action particulier ou les visites sur une autre page de votre site peuvent être de meilleurs objectifs à mesurer selon vos besoins.

choix de l'objectif du test ab

Dans cet exemple, l’objectif est d’augmenter le taux de clics sur le bouton Call-to-Action grâce au changement de la Proposition de Valeur.

  • Le type de pages que vous souhaitez cibler – Tester chaque page produit une par une prendrait une éternité mais cibler les mauvaises pages peut également rendre vos résultats plus difficiles à analyser. Votre ciblage est en général défini par les URLs sur lesquelles vos changements vont s’appliquer. Comme pour les recherches en ligne, vous pouvez poser des limites à votre test en utilisant les termes suivant : « l’URL contient », « l’URL finit par » ou « l’URL est égale à ».

Dans l’exemple précédent, il faut cibler la page contenant à la fois la Proposition de Valeur et le bouton Call-to-Action.

  • La façon dont votre trafic doit être divisé – Certains logiciels possèdent un algorithme de « Multi-Armed Bandit » (ou Bandit Manchot en français) qui dirige la majorité de votre trafic vers la version de la page qui fonctionne le mieux. Cela présente deux avantages. Cela peut tout d’abord réduire le temps nécessaire à l’obtention de résultats significatifs. Ensuite, cela évite de perdre des conversions en envoyant une trop grande partie de votre précieux trafic vers la page la moins optimale. Toutefois, dans le cas où votre outil de AB testing ne propose pas ce genre d’algorithme, vous devez réfléchir à comment allouer votre trafic de manière adéquate.

division du trafic pour le test AB

Intégration et Tests A/B :

Mener une expérience, c’est comme être assis sur le siège passager d’une voiture. Peu importe à quel point vous voulez modifier, ajuster ou altérer la trajectoire, il vous faut laisser le contrôle au conducteur. Toutefois, une décision importante vous incombe toujours : choisir quand arrêter le test. Avant de commencer votre test, vous devez décider du niveau de « confiance » dont vous avez besoin avant de conclure l’expérience. Le taux de confiance le plus courant dans l’industrie est de 95% mais les testeurs expérimentés peuvent décider d’arrêter leurs tests plus tôt dans certaines situations.

attente de résultats significatifs

Un conseil qui revient souvent est la règle dite du « pas de coup d’oeil » durant le test. Quand ils analysent la valeur d’une hypothèse, les marketeurs regardent souvent leurs données avant que les résultats soient représentatifs. Il est alors très facile de tirer des conclusions hâtives.

Enseignement et Amélioration :

La représentativité statistique est la base sur laquelle vous devez vous appuyer pour tirer des conclusions. Cependant, une augmentation significative des conversions pour la version B ne vous conduira peut-être pas à apporter de grands changements à votre site. Par exemple, la version B peut conduire les visiteurs à acheter plus fréquemment mais elle peut aussi les mener à faire des achats moins profitables. Elle peut aussi réduire le nombre de clients qui reviennent sur le site ou causer d’autres problèmes imprévus. Il est aussi possible que vous n’ayez montré votre version B qu’à un segment précis de vos consommateurs. Dans ce cas, la prochaine étape est de la tester sur d’autres segments.

outils d'ab testing français

Nous listons les meilleures solutions de AB Testing dans notre Comparatif des 26 Outils AB Testing pour optimiser vos conversions en 2019.

Optimizely ayant retiré sa version française il y a 2 ans, il ne reste plus que 4 outils de AB Testing disponibles en français :

  1. Convertize – Un outil conçu pour les professionnels du marketing et les moyennes entreprises. C’est un système robuste qui est livré avec les services d’experts. Le logiciel propose un éditeur intuitif, des fonctionnalités de vitesse et de sécurité uniques ainsi qu’une liste de tactiques de neuromarketing.
  2. AB Tasty – Conçu au départ pour les entreprises de taille moyenne, l’outil a été repositionné pour devenir une ressource pour les grandes entreprises. AB Tasty se spécialise maintenant dans les fonctionnalités de remarketing.
  3. Google Optimize – La ressource gratuite de AB Testing de Google. Optimize 360 offre un service payant permettant de tester jusqu’à 10 versions d’une page. Cet outil peut être intégré à Google Analytics.
  4. Kameleoon – Une option coûteuse à destination des moyennes entreprises. Elle utilise l’Intelligence Artificielle et le Machine Learning et se focalise sur la personnalisation.

Il n’y a pas de durée standard pour un test AB, car ces tests doivent se terminer lorsque les résultats sont statistiquement fiables. Il est dangereux de tirer des conclusions avant que ce soit le cas, même si les données ont l’air plutôt explicites. Les statisticiens se méfie du phénomène dit de Régression vers la Moyenne.

  • Régression vers la moyenne – Ce phénomène se produit lorsque des résultats qui pointent apparemment clairement dans une direction deviennent moins explicites au fur et à mesure de l’augmentation de la taille de l’échantillon. Si la différence entre A et B semble significative au début mais décroit jusqu’à devenir plus modérée par la suite, c’est que les résultats initiaux étaient probablement dus à des phénomènes à la marge. Dans ce cas, la variation sera moins prononcée au fil du test.

Pour avoir des résultats fiables, votre test doit avoir une Puissance Statistique suffisante. Cette puissance désigne la probabilité que votre expérience enregistre un effet – c’est-à-dire un changement lié aux modifications que vous avez effectuées – dans le cas où un tel effet existe. Deux facteurs importants permettent de déterminer la puissance statistique de votre test : la Magnitude de l’Effet créé par votre test et la Taille de l’Echantillon étudié.

  • Taille de l’Echantillon – Avant de lancer un test AB, vous devez calculer la taille d’échantillon dont vous avez besoin. Les visiteurs de votre site composent votre échantillon. La durée de votre test est donc directement liée au volume de trafic que votre site reçoit. Dans certains cas il peut être préférable de ne pas lancer de test AB car le volume de trafic disponible sur le site (ou la page testée) est insuffisant.
  • Magnitude de l’Effet – Il s’agit du changement causé par votre variable. Lors d’un test AB, ce changement est mesuré en taux de conversion. Une forte augmentation des conversions pour la Version B de votre page constituerait ainsi un Effet conséquent. Plus la différence est importante entre les versions, plus vous aurez de chances d’obtenir des résultats significatifs.

Ces facteurs combinés donnent à votre test un degré de représentativité (ou statistical significance). Il s’agit de la probabilité que vos résultats reflètent un effet réel.

Il existe deux grandes approches pour calculer la Statistical Significance d’un test AB : l’approche Bayésienne ou l’approche Fréquentiste. Il ne s’agit pas simplement de méthodes alternatives. Ces deux approches reflètent en réalité deux interprétations différentes des probabilités.

L’approche Fréquentiste étudie le nombre de fois qu’un événement se produit dans un certain nombre de tests. Le résultat donne seulement la fréquence au sein d’un échantillon donné.

L’approche Bayésienne commence par une estimation du nombre de fois qu’un effet se produit réellement et met à jour cette estimation au fur et à mesure de l’accumulation de données. Le résultat est une nouvelle estimation de l’effet réel et un nombre décrivant à quel point on peut faire confiance à cette estimation.

courbe du niveau de confiance

Quand on calcule la représentativité statistique d’un test AB, les deux approches apportent des informations importantes. Les logiciels de AB testing combinent souvent les deux approches. En utilisant vos données expérimentales (le nombre de visiteurs sur A, le nombre de visiteurs sur B, le nombre de conversions sur A, le nombre de conversion sur B), le logiciel vous indique l’augmentation observée entre A et B et la probabilité que cette augmentation soit due à un changement que vous avez effectué.

Vous pouvez utiliser notre Calculatrice Interactive de Représentativité Statistique :


Convertize a développé une approche Hybride dans le but d’apporter des résultats de tests AB plus fiables et plus rapides.

Google a clarifié sa position vis-à-vis du AB Testing dans un article publié sur son blog. Les points importants à retenir sont les suivants :

  1. Utiliser des URL Canoniques : les moteurs de recherche ont du mal à hiérarchiser le contenu qui apparaît deux fois. En conséquence, les explorateurs (« crawlers ») des moteurs de recherche pénalisent le contenu en double et dégradent la position de ce contenu sur les Pages de Résultats. Quand deux URLs affichant des versions alternatives d’une même page sont en ligne (pendant des split tests par exemple), il est important de spécifier quelle page doit être classée. Vous pouvez faire cela en attachant un rel=canonical à la version alternative (B) de la page, dirigeant ainsi les explorateurs vers votre version préférée.
  2. Pas de Cloaking : montrer un contenu aux humains et un autre contenu au Googlebot est contraire aux règles de Google, qu’il s’agisse ou non d’un test. Il est donc important de ne pas exclure le Googlebot des tests AB (en éditant le fichier robots.txt d’une page).
  3. Utiliser des redirections 302, et non des redirections 301 : cela concerne les Split Tests dont la particularité est de rediriger les visiteurs arrivant sur une page A vers une page B en toute transparence. Utiliser une redirection 301 peut faire croire à Google que la page A est du contenu obsolète. Pour éviter cela, il vaut mieux rediriger le trafic en utilisant un lien 302 (qui indique une redirection temporaire).

Le respect des conditions énoncées par Google permet de s’assurer que les tests AB n’auront aucun impact sur votre référencement naturel (SEO). Si vous utilisez un logiciel d’AB Testing, il suivra automatiquement ces recommandations. Les outils de AB Testing classiques connaissent ces contraintes et utilisent des javascripts qui n’influencent pas votre SEO.

Les logiciels de AB Testing peuvent créer des tests de deux façons :

  • À partir de scripts côté client (front-end)
  • En utilisant des scripts côté serveur

Ces différentes méthodes ont une influence sur la vitesse de chargement de la page.

Côté Serveur – Ces solutions de AB Testing tournent plus vite et sont plus sécurisées. Cependant elles sont aussi beaucoup plus chères et plus compliquées à mettre en œuvre.

Côté Client – Les solutions de AB Testing « côté client » utilisent un code Javascript qui effectue les changements directement dans le navigateur du visiteur. Cela peut créer un retard de chargement de la page de quelques fractions de secondes néanmoins visible à l’oeil nu.

Ce retard de chargement est connu sous le nom de « flickering effect ». Pour y remédier, Convertize a développé un Lightning mode.

Conclusion

L’AB testing est une technique essentielle pour toute équipe marketing d’une entreprise de e-commerce tant que votre site reçoit suffisamment de trafic pour cela. Cela ne donne pas seulement des informations inattendues sur vos clients et votre site, cela vous permet également de promouvoir votre entreprise de façon plus convaincante. Pour les sites avec un trafic moins important, il existe d’autres moyens d’optimiser vos taux de conversion. Vous pouvez par exemple lire nos conseils sur le neuromarketing et la psychologie du consommateur.

Philippe Aimé

Par Philippe Aimé

Philippe est Directeur chez Convertize. Philippe a créé son premier site Internet en 1998. Il dirige aujourd'hui l'équipe de consultants en Optimisation des Conversions.

Newsletter signup

Philippe écrit des articles sur le comportement du consommateur et l'optimisation des taux de conversion.

Inscrivez-vous pour obtenir ses derniers articles GRATUITEMENT