10 Questions pour Choisir le Meilleur Outil d’AB Testing

Temps de lecture : 12 minutes

Il est important de poser 10 questions clés avant de choisir un outil d’AB Testing pour accompagner votre stratégie d’optimisation des taux de conversion.

Après avoir décidé de lancer un programme d’optimisation des conversions, le choix d’un outil d’AB Testing (ou Split Testing) s’impose très rapidement.

Mais face à la multitude de logiciels d’A/B Testing disponibles, il est difficile de savoir par où commencer.

Tout site Internet doit développer une culture du AB Testing. Les tests A/B/n et les multivariate testing (MVT) font partie des processus d’optimisation des sites de e-commerce les plus performants.

Quel est le meilleur outil d’AB Testing en 2019 ?

Cela fait partie des questions qui reviennent très souvent.

Et la réponse est… ? C’est ce dont nous allons parler dans cet article. Nous allons répondre à 10 questions essentielles pour choisir l’un des outils les plus importants de votre stratégie e-commerce.

Voici un aperçu : avoir plus de fonctionnalités ne signifie pas que vous aurez de meilleurs résultats. Il est tout à fait possible d’augmenter vos taux de conversion de façon très importante en utilisant des fonctions simples mais performantes. Et en bonus, cela coûte bien moins cher.

Economisez du temps et de l’argent en choisissant le meilleur outil d’AB Testing

Les « Top Performers » – peu importe leur discipline – ont tous un point commun : ils maîtrisent leurs fondamentaux.

Les meilleurs footballeurs savent dribler, passer le ballon, tirer et défendre. Ils n’ont pas besoin d’être des superstars sur chaque compétence, mais ils doivent toutes savoir les exercer à haut niveau.

La succès d’un site de e-commerce repose aussi sur la maîtrise de plusieurs fondamentaux : l’acquisition de trafic, la stratégie produits, le testing, l’optimisation du funnel de conversion, le pricing, la fidélisation… Nous constatons que beaucoup de Directeurs e-commerce sont focalisés uniquement sur le trafic et les ventes. C’est une erreur.

Toute stratégie e-commerce doit inclure dans son kit Marketing un outil d’AB Testing pour permettre de valider les améliorations à apporter au site. Le AB Testing et l’Optimisation des Taux de Conversion (CRO) sont les boosters de toute stratégie de vente. Vous pouvez tout à fait vendre sans faire de tests A/B/n et sans optimiser votre funnel de conversions, mais vous ne passerez jamais au niveau supérieur si nous négligez vos fondamentaux.

Si vous lisez cet article, vous comprenez certainement l’intérêt du AB Testing et vous êtes aussi en train de rechercher la meilleure plateforme pour votre site, qu’il s’agisse de e-commerce, génération de leads ou Saas.

Avant de vous engager auprès d’une plateforme de AB Testing, consultez les 10 étapes ci-dessous et demandez aux autres personnes de votre équipe d’en faire autant.

Savoir quelle plateforme est la plus adaptée à votre site Internet vous permettra à la fois d’économiser de l’argent et aussi d’en gagner plus !

Les 10 questions essentielles pour choisir le meilleur outil d’AB Testing pour votre site

Utilisez cette checklist pour valider le choix de votre outil d’AB Testing. Investir un peu de temps à répondre maintenant à ces questions avec votre équipe vous évitera des erreurs coûteuses et des pertes de temps, plus tard.

1. Quel est le niveau de compétences de mon équipe ?

Est-ce que votre équipe dispose de compétences Front-end permettant de coder des tests complexes ou aurez-vous besoin d’un éditeur web intelligent (type WYSIWYG) qui ne nécessite pas de compétence en coding ? Est-ce que votre équipe dispose d’une expérience suffisante pour mettre en place et analyser des tests, ou est-ce que cela sera une découverte complète ?

Ce type de questions vous permettra de déterminer le niveau « user-friendly » dont vous aurez besoin. Ne choisissez pas de solutions ultra-avancées si vous n’avez les moyens en face. Cela sera un désastre.

2. Quels sont les moyens techniques et les ressources nécessaires ?

Vous avez d’abord évalué votre équipe, maintenant regardons l’outil que vous considérez.  Est-il simple à mettre en place, ou est-ce que vous aurez besoin de Développeurs pour chaque changement ? Vous verrez rapidement qu’un arbitrage est nécessaire : « Plus de fonctionnalités » est souvent égal à « Plus de besoins techniques ». Une plus grande facilité d’utilisation signifie moins d’options avancées.

Gardez aussi votre objectif principal : augmenter vos taux de conversions, et non maîtriser un nouvel outil avec plein de fonctionnalités.

En choisissant la complexité, vous augmentez vos obligations de moyens et de ressources, vous créez également une distraction qui peut faire échouer votre programme d’optimisation.

Le plus important est de commencer à tester, d’obtenir des résultats et de générer de l’enthousiasme. Vous pourrez ensuite identifier dans votre équipe des « champions » qui ont la vision et la volonté de mettre en oeuvre des tests plus complexes. Réduire la courbe d’apprentissage dès le départ et l’une des clés d’un programme d’optimisation réussi.

3. Quelles sont les compétences requises pour utiliser un outil d’AB Testing ?

A priori utiliser un outil d’AB Testing devrait se résumer à :

• Créer une variation de page avec un éditeur web
• Lancer le test
• Attendre quelques jours
• Découvrir le gagnant

En réalité – ce que ne vous disent pas les éditeurs de logiciels de A/B Testing – c’est que de multiples erreurs sont possibles tout au long du parcours, mais aussi  lorsque « vous » choisissez le gagnant.

Tous les experts en CRO le disent : un bon « Conversion Manager » doit maîtriser les statistiques pour éviter ces erreurs.

Lorsque votre A/B test est lancé, vous devez gérer le pourcentage de trafic que vous allouez à chaque variation. Par défaut le trafic est envoyé à 50% sur l’original (la version de contrôle) et 50% sur la variation. Vous pouvez très bien laisser 50/50 pendant toute la durée du A/B test ou tenter de maximiser vos revenus au cours du test en allouant plus de trafic sur la meilleure variation. Oui, mais quel pourcentage ? et quand ?

Pour identifier le gagnant vous considérez d’abord la variation qui a le plus fort taux de conversion, mais quel est le taux de confiance qui vous garantit que l’amélioration constatée pendant le test (l’uplift) se traduira par une hausse de chiffre d’affaire équivalente ?

Des connaissances statistiques sont indispensables pour prendre ce type de décisions : vous devez considérer la « significativité statistique » du test, comprendre la « p value », l’approche Bayésienne ou l’approche Fréquentiste,…

Par manque de connaissances et face au BESOIN de trouver un gagnant, trop d’équipes Marketing terminent des A/B tests prématurément, alors que le niveau de confiance est trop faible. Ce qui se traduit par une baisse de profits lorsque la version perdante est mise en oeuvre.

Tous les outils de AB testing vous affichent des informations statistiques pour vous permettre d’analyser les résultats : Taux de conversion, Significance level, Chance to beat the original, Uplift,…

Certains outils – comme Convertize – mettent sur Autopilot des tâches complexes (allocation de trafic par exemple) en s’appuyant sur des suites d’algorithmes, ils évitent les erreurs classiques du AB Testing (test terminé trop tôt) en communiquant sur un nombre de jours restants calculés à partir du taux de confiance, de la sample size (l’échantillon) et de plusieurs indices de stabilité.

Selon votre choix d’outil d’AB Testing, assurez-vous d’avoir dans votre équipe de bons statisticiens ou Data Scientists capables d’analyser correctement les résultats de vos tests.

4. Quel niveau de support est disponible ?

La meilleure plateforme de AB Testing pour vous est peut-être celle qui est le plus facile à utiliser et qui offre un bon support en ligne. Les équipes les plus avancées ont besoin de bonnes documentations et très peu d’expertises.

Distinguez aussi parmi les différents type de support : le terme « support dédié » a plusieurs interprétations, il s’agit souvent d’une personne au service client qui peut chercher – pour vous – dans la documentation et faire un copier-coller de la réponse. C’est très rarement une personne qui vous apporte une expertise pour choisir le bon test. Il est donc nécessaire d’évaluer la valeur du support proposé.

Evaluez aussi la réactivité du support : en combien de temps vous obtenez une réponse à vos questions techniques et combien cela va coûter d’obtenir un niveau de support adapté à vos besoins ?

Certaines solutions comme A/B Tasty ou Optimizely ajoutent systématiquement dans leur pricing un service de support payant, ce qui augmente évidemment la facture globale.

Autre point si vos équipes sont Franco-Françaises ou pas complètement à l’aise en anglais : la langue. AB Tasty, Kameleoon et Convertize offrent des interfaces et un support en Français. Optimizely a retiré sa version française en 2017. VWO est disponible uniquement en anglais.

5. Quel volume est nécessaire pour un programme de AB testing ?

Pour trouver la réponse à la question du volume, il faut croiser vos ambitions avec le trafic réel de votre site et avec – encore une fois – des notions statistiques.

Nous avons prouvé dans un article précédent que les plans à 5’000 Visiteurs par mois  – précédemment proposés par AB Tasty et Kameleoon – ne servent à rien !

Un volume minimum de visiteurs est nécessaire pour réaliser un A/B test avec des résultats fiables. Si votre site a moins de 10’000 visiteurs par mois il vous sera difficile de faire du AB Testing.

Il ne s’agit pas du trafic total de votre site, mais du trafic sur la page ou du type de page concerné par le test.

Si vous avez plus 100’000 visiteurs par mois vous pouvez sans doute envisager une programme de A/B tests sur plusieurs pages de votre funnel.

6. Combien de temps devrons nous affecter aux A/B tests, à quelle fréquence ?

Il existe seulement 2 façons de créer un A/B Test : en appliquant la version Fish & Ships élaborée en 15 minutes autour d’une bonne bière, ou en appliquant la version scientifique élaborée à partir d’analyses approfondies.

La version Fish & Ships est assez répandue mais n’apporte généralement pas le résultat souhaité. Nous allons parler ici uniquement de la version scientifique.

Un A/B Tests est la mise en oeuvre temporaire d’un « idée », une hypothèse que l’on identifie sur son site après avoir analysé différents éléments :

• Une analyse des données disponibles dans Google Analytics
• Une analyse heuristique s’appuyant sur les biais cognitifs et les principes de Neuromarketing
• Une analyse du comportement utilisateur sur les pages clés, à l’aide de heatmaps (cartes de chaleur)
• Une analyse des attentes clients à l’aide de mini-survey (questionnaires)
• Une analyse du parcours clients

Plusieurs heures d’analyses sont souvent nécessaires avant de lancer un A/B Test. Le A/B Test constitue déjà une forme de consécration : c’est la validation d’une idée solide que l’on veut maintenant vérifier.

Ensuite vient la création du A/B Test : un simple changement de texte prendra quelques minutes pour être mis en ligne, alors qu’un test sur une page de formulaire pourra nécessiter l’intervention d’un Webmaster.

Certains éditeurs de AB Testing peuvent vous affecter des ressources techniques pour mettre en oeuvre vos A/B Tests. Mais cela n’est évidemment pas gratuit.

A cela s’ajoute la durée du A/B Test : qui va dépendre du volume de visiteurs sur la page testée, du nombre de conversions et du pourcentage d’amélioration. Dans tous les cas, une durée minimum de 7 jours est recommandée. Il est fréquent d’avoir des A/B tests qui durent entre 4 à 6 semaines.

Si vous gérez votre test en mode manuel, vous allez devoir surveiller régulièrement votre test, éventuellement ajuster la répartition du trafic entre les variations, puis décider à quel moment arrêter le test.

Si vous bénéficiez d’un mode Autopilot, votre test sera optimisé automatiquement et le gagnant recevra 95% du trafic dès qu’il est identifié (5% restant sur la version de contrôle).

7. Est-ce que l’outil d’AB Testing va augmenter le temps de chargement du site ?

Un A/B test peut être mise en oeuvre côté client (front-end) ou côté serveur.

Les solutions de AB Testing côté serveur – Adobe Target par exemple – sont plus robustes, tournent plus vite et sont plus sécurisées. Mais elles sont aussi beaucoup plus chères et plus compliquées à mettre en oeuvre.

Les solutions de AB Testing « côté client » utilisent un code Javascript pour afficher les variations dans le navigateur du visiteur. Cela peut créer un retard de chargement de la page de quelques fractions de secondes néanmoins visible à l’oeil nu.

Ce problème de « flickering effect » étant très connu, des éditeurs tels que Convertize ont souhaité apporter des solutions pour y remédier, avec la création du Lightning mode.

8. Est-il nécessaire de recruter un expert ou une agence en optimisation des conversions ?

Vous considérez maintenant un aspect encore plus pratique. Principalement 3 options s’offrent à vous :

• Vous pouvez mandater une agence ayant un service d’optimisation des taux conversion pour gérer votre programme de A à Z. Si vous êtes en train d’hésiter après avoir lu les 7 premières questions, cela peut être une excellente option. Pour de meilleurs résultats, choisissez une agence spécialisée en Optimisation des Taux de Conversion (CRO) ou une Agence A/B Testing. Le AB Testing et le CRO sont deux pratiques qui fonctionnent ensemble (le AB Testing n’est qu’un outil, le CRO est un processus complet).
• Vous pouvez choisir un outil qui vous propose également un service d’accompagnement pour créer vos tests et gérer votre programme de AB Testing. Dans la plupart des cas, ces services sont plus chers que ceux proposés par des experts en CRO et cela vous donnera moins de contrôle au cours du processus. De nombreuses sociétés choisissent cette option en pensant que leurs équipes seront également formées aux pratiques du CRO, mais elles constatent rapidement un conflit d’intérêt : l’objectif des éditeurs de AB Testing est de vous faire utiliser leur solution le plus longtemps possible, non de vous aider à trouver la meilleure solution pour augmenter vos taux de conversion.
• Si vous avez parcouru les questions précédentes avec aisance et bénéficiez d’une équipe très compétente, vous êtes un candidat pour l’option self-service. Choisissez l’outil le plus adapté à vos besoins, apprenez comment l’utiliser et lancez votre outil d’AB Testing. Prenez aussi en compte qu’il faudra allouer du temps de votre équipe pour gérer le programme.

Pour les petites et moyennes entreprises, il est plus efficace et moins coûteux de travailler avec des experts ou des agences spécialisées en AB Testing et  CRO pour gérer son programme d’optimisation des conversions. C’est la façon la plus rapide pour obtenir un bon retour sur investissement.

Les grands acteurs du e-commerce tels que Zalando et Booking.com gèrent leur programme de AB Testing en interne. Ils utilisent également des experts en CRO de façon occasionnelle pour les aider à améliorer leur programme d’optimisation ou pour apporter des nouvelles perspectives. Avoir un regard externe sur vos opérations est parfois la meilleure façon d’identifier des axes d’améliorations que personne en interne ne pouvait voir.

9. Combien coûtera le A/B Testing sur une période de 12 mois ?

Vous avez fait l’inventaire de vos ressources internes et de vos besoins. Vous avez consulté et comparé la liste des logiciels  de A/B Testing disponibles selon différents critères. Vous avez écarté les options non adaptées et vous avez pré-sélectionné les 5 meilleurs outils de AB Testing. Maintenant comparez les prix des abonnements mensuels ou annuels.

Ajoutez le coût du support (généralement sur demande uniquement), le coût des ressources internes ou de votre agence web affectée au testing. Prenez aussi en compte les coûts des formations (parfois facturées de façon « obligatoire ») et de mises en oeuvre.

Vérifiez également les clauses de sortie : un engagement sur un contrat de 12 mois est plus attractif économiquement mais aussi plus contraignant. Quelles sont les pénalités de sortie ?

Comment est facturé le support ? S’agit-il d’un montant fixe mensuel ou cela dépend-il du nombre de tests ?

Est-ce que le prix est différent selon le mode de support : email, chat, téléphone ?

Quelles sont les limites de l’abonnement : volume mensuel de visiteurs, nombre de sites testés, heures de support,.. et quelles sont les tarifs en cas de dépassement ?

Le coût de l’abonnement mensuel à une solution de AB Testing est souvent la partie visible de l’iceberg. Donc prenez en compte l’ensemble des coûts – sur 12 mois – pour avoir une bonne estimation.

10. Quels sont les autres outils nécessaires : heatmap, funnel analytics,…

Un outil d’AB Testing n’est qu’un logiciel parmi d’autres, tous étant nécessaires au bon déroulement d’un programme d’optimisation des conversions :

• Vous avez certainement un Analytics : Google Analytics étant le plus fréquent
• Vous aurez besoin d’un outil de heatmap tel que hotjar ou Crazyegg
• Vous aurez besoin d’un outil de Survey pour comprendre vos visiteurs : Qualaroo
• Vous aurez besoin d’un outil pour analyser le parcours clients : Mixpanel ou Amplitude

Ne cherchez pas le mouton à 5 pattes : un outil d’A/B Testing n’est pas un Analytics. Si vous avez besoin d’un outil de heatmap, choisissez un spécialiste tel que hotjar. Si vous avez besoin d’analyser votre funnel : Mixpanel est bien meilleur que Google Analytics.

N’analysez pas non plus les résultats finaux dans l’outil d’AB Testing : utilisez un « vrai » Analytics – tel que Google Analytics – pour valider les performances d’un test.

Maintenant Vous êtes Prêt à Sélectionner la Meilleure Plateforme de A/B Testing

Il est très fréquent pour un site de e-commerce de souscrire auprès d’une plateforme de AB Testing qui propose des fonctionnalités bien trop avancées (et plus chères) pour répondre aux besoins actuels. Non seulement cela consomme plus de ressources mais cela ajoute aussi de la confusion dans le processus de testing.

Un outil d’A/B Testing simple et intelligent permet aux équipes de se concentrer sur l’objectif. Si l’outil devient une contrainte, les personnes en charge de l’optimisation passent plus de temps à gérer des problèmes techniques qu’à apporter de la valeur à l’entreprise.

Vous savez maintenant comment sélectionner votre outil d’AB Testing, mais si vous avez besoin de plus de conseils, vous pouvez également nous contacter.

 

Le Bonus de Benjamin :

Vous voulez en savoir plus sur le AB Testing ?

Vous pouvez lire quelques articles à ce sujet sur notre blog, trouver de nombreuses idées de test grâce à nos tactiques d’optimisation de taux de conversions et enfin tester vos pages grâce à notre fonctionnalité d’A/B testing.