Multivariate Testing ou Test AB : Que Choisir pour de Meilleurs Résultats ?

Temps de lecture : 13 minutes

Le Multivariate Testing (MVT ou Test Multivarié) est une option proposée par certains logiciels de AB Testing. Cette option est souvent controversée car son utilisation n’est pas toujours bien comprise.

Cet article vous explique comment fonctionne un test MVT et quand l’utiliser plutôt qu’un test AB ou Split Test classique.

Notre confrère Brian Massey a récemment écrit un article sur les risques et opportunités du Multivariate Testing (Test Multivarié ou MVT). Nous partageons entièrement son analyse et Brian nous a très gentiment autorisé à traduire son article pour en faire profiter nos lecteurs français.

Toutefois, ce n’est pas suffisant de lancer un tas d’idées dans le pot et de commencer à les tester. Cet article répond à la question, qu’est-ce que le Multivariate Testing ? Il vous explique ainsi, les avantages et les pièges du Multivariate Testing et vous donne quelques idées pour le futur.

Si vous gérez un site à un fort trafic, posez-vous la question : Vais-je tirer profit du Multivariate Testing ?

Avant que nous approfondissions la question, assurons-nous de définir correctement les termes. Je vais vous parler des dangers du Multivariate Testing (MVT) et dans quelles situations vous devriez les utiliser.

Multivariate Testing, Test Multivarié, Test Multi-versions ou Test Multi-variables

Dans cet article, nous nous focalisons sur une manière particulière de tester les changements effectués sur une page internet.

Avant que nous rentrions dans les détails du Multivariate Testing, nous devrions identifier les points que nous allons évoquer et ceux dont nous ne parlerons pas.

L’un des éléments les plus fréquemment testés est le titre de la landing page. En effet, avoir un bon titre sur votre landing page peut significativement augmenter le taux de conversion. Quand vous testez un titre, vous trouvez souvent plusieurs versions de mots que vous allez tester individuellement pour voir laquelle génère les meilleurs résultats.

Un test multi-variation avec différentes versions d’un élément de la page

Ceci est un test multi-variations. On change une chose, une variable (ici le titre), mais on fournit différentes versions de cet élément (plusieurs titres différents).

Maintenant, imaginez que vous vouliez améliorer votre landing page en changeant l’image principale ainsi que votre titre. Vous désirerez ainsi, tester la version originale contre la nouvelle page qui change à la fois le titre et l’image.

Ceci est un test multi-variables. L’image est une première variable et le titre est une seconde variable. Techniquement, ceci est un AB test avec deux variables à changer. Dans le cas où la variation (B) générerait plus de leads, nous ne pourrions pas savoir, lequel du titre ou de l’image, a le plus contribué à cette augmentation des conversions.

Pour tester minutieusement toutes les combinaisons, il faudrait produire plusieurs variations, chacune avec une version ou une variable différente.

Sur l’image ci-dessus, nous avons quatre variations d’une page, basées sur deux variables (l’image et le titre) chacune avec deux versions. Deux variables fois deux versions chacune est égal à quatre variations.

Toujours confus ?

Le Multivariate Testing permet donc d’évaluer plusieurs versions d’éléments sur une page ou sur un site internet.

Pour développer notre exemple, imaginons que nous voulions vraiment trouver la bonne image avec le bon titre pour notre landing page. Voici la page d’origine (aussi appelée contrôle) :

Le contrôle dans notre test multivarié est le design de la page actuelle

Nous allons proposer deux nouvelles versions pour l’image – pour un total de trois versions incluant l’image de la page d’origine – et deux nouvelles versions pour le titre en plus de celui d’origine.

Voici les trois images :

Nous voulons tester l’image du « héros » de notre page. Cette variable a trois versions dans notre test.

Voici les trois titres, incluant celui déjà existant :

1. Une solution efficace pour alléger les dettes
2. Libérez-vous du fardeau des dettes
3. Obtenez un allégement des dettes

Un vrai test multivarié (Multivariate Testing) évalue toutes les combinaisons possibles. Deux variables avec trois versions chacune, donnent donc neuf combinaisons possibles : trois images x trois titres.

Voici un autre exemple qui vous aidera à comprendre comment les variables, les versions et les variations sont liées. Une entreprise de e-commerce estime que ses utilisateurs ne valident pas leur commande pour l’une de ces trois raisons :

1. Les conditions de retour ne sont pas assez visibles
2. Ils sont tenus de créer un compte
3. Les labels de confiance concernant la sécurité n’apparaissent pas sur les pages

Bien que ces dernières semblent être des options ou fonctionnalités pertinentes à ajouter sur la page panier, elles peuvent parfois jouer contre vous. Fournir ce type d’information peut encombrer votre page et ainsi accroître l’abandon du processus d’achat.

La seule façon de savoir est de tester.

Combien de variables avons-nous ici ? Nous avons trois labels : politique de confidentialité, marque déposée et politique de sécurité.

Combien de versions avons-nous ici ? Nous avons deux variables pour chacune des versions : une dans laquelle les icônes sont présentes et une autre version dans laquelle elles ne sont pas présentes.

Cela donne donc (2 x 2) x 2, soit huit combinaisons. Si vous aviez trois labels de sécurité différents parmi lesquels choisir, vous auriez quatre versions différentes dont trois qui vous proposeraient d’utiliser un des symboles et une qui vous proposerait de ne pas en montrer. Cela donne donc 2 x 2 x 4, soit seize combinaisons.

Nous allons continuer à utiliser cet exemple pour explorer le Multivariate Testing (MVT).

Qu’est-ce que le Multivariate Testing (et qu’est-ce qui le rend si vicieux) ?

Un test multivarié (aussi appelé multivariate testing ou MVT) recherche toutes les combinaisons de versions possibles à tester pour un site internet en fonction du nombre de variables différentes.

Si nous lançons un MVT sur la page panier de notre site de e-commerce ci-dessus, le test ressemblerait à ceci :

Vous remarquerez plusieurs choses qui mettent en évidence les problèmes des MVT grâce à cette image.

Les MVT (Multivariate Testing) prennent beaucoup de temps et nécessitent un trafic important

Chaque variation utilise un petit pourcentage du trafic global du site. Cela signifie que lancer un Multivariate Testing prend beaucoup plus de temps. Un faible trafic signifie qu’il faut beaucoup plus de temps avant d’atteindre un résultat statistiquement significatif, et il n’est pas possible de faire confiance aux données avant de l’atteindre.

La représentativité statistique (ou significativité statistique) est le point où nous sommes confiants que les résultats obtenus lors du test se reproduiront dans le futur. Il est donc possible de déployer les variations gagnantes de façon durable. Pour de plus amples informations sur ce sujet, vous pouvez lire (en anglais) : Questions That Will Make You A Statistically Significant Marketer ou écoutez la version audio.

De plus, la représentativité statistique est vraiment mesurée par le nombre de conversions réussies que vous traitez.

Par exemple, MXToolbox offre des outils gratuits pour les développeurs qui gèrent des serveurs d’email, des serveurs DNS et plus. Cette entreprise propose également des versions payantes avec des fonctionnalités avancées. MXToolbox a des millions de visiteurs sur son site chaque mois, et beaucoup d’entre eux choisissent la version payante. Même avec des millions de visiteurs, ils n’ont pas assez de conversions pour justifier l’utilisation d’un Multivarite Testing.

Ce n’est pas uniquement une question de trafic.

Voilà pourquoi les MVT ne peuvent être utilisés que sur des sites à fort trafic qui engendrent beaucoup de conversions. Sinon les tests prennent très longtemps avant d’obtenir des résultats significatifs.

Les variations se multiplient comme des lapins

Comme nous l’avons vu, trois variables avec chacune deux versions donnent huit variations, et en ajoutant deux labels de confiance cela donne seize combinaisons possibles. Le trafic pour chaque variation serait alors réduit à 6,25%.

Les outils de Multivariate Testing, comme VWO et Optimizely offrent des options pour tester un échantillon de combinaisons – nommées Test Partiel (Partial) ou Test Fractionnel Factoriel (Fractional Factorial ou Taguchi) – au lieu de toutes les tester, ce que l’on appelle un Test Multivarié Factoriel Intégral (Full Factorial Testing). Mais ne nous plongeons pas dans les mathématiques du Test Factoriel Intégral et du Test Fractionnel Factoriel. C’est un peu trop compliqué. Il suffit de savoir que le test fractionnel factoriel peut introduire des inexactitudes qui peuvent faire échouer vos tests.

PLUS DE VARIATIONS SIGNIFIE PLUS D’ERREURS, À CAUSE DES STATISTIQUES

À chaque fois que vous ajoutez une autre variation dans un A/B testing, vous augmentez légèrement la marge d’erreur de ce test. En règle générale, nous ne permettons pas plus de six variations pour tout A/B test car la marge d’erreur devient trop importante.

Dans un A/B test avec deux variations, il est possible d’atteindre la statistical significance (représentativité statistique) en deux semaines, et de sécuriser une augmentation de 10% des conversions. Toutefois, dans un test avec six variations, il est possible d’avoir besoin de quatre semaines afin de pouvoir espérer que la hausse de 10% est réelle. La marge d’erreur est plus importante avec six variations et donc il faut une période de temps plus longue avant d’atteindre la représentativité statistique.

Maintenant, pensez à un Multivariate Testing avec une dizaine de variations. Une marge d’erreur de plus en plus grande signifie un besoin en trafic plus important, et des calculs compliqués pour vous assurer que vous pouvez avoir confiance en la qualité des résultats.

Certaines combinaisons n’ont tout simplement pas besoin d’être testées

Les huit variations de notre exemple prennent sens ensemble. Cependant, tandis que vous ajoutez des variations, vous pouvez vous retrouver avec des combinaisons dépourvues de sens.

Imaginez ceci :

Il pleut des cordes alors que vous êtes en train de camper avec votre fils.

Retranchés sous votre tente, vous lancez une recherche Google sur votre téléphone pour trouver un endroit où vous mettre à l’abri. Alors que vous parcourez les résultats de recherche, votre fils vous dit, « Celui-là a un buffet à volonté ! Allons-y Papa ! »

Donc vous cliquez pour consulter le site, mais quelque chose ne va pas.

Le titre du site internet dit « Buffet à volonté ». Mais rien ne semble correspondre. L’image principale montre deux personnes souriantes à la réception, prêtent à vous enregistrer.

Alors que vous faites défiler vers le bas, le bouton annonce « Réservez votre massage aujourd’hui ».

Est-ce une blague ?

Aussi étonnant que cela puisse paraître, la création automatique de combinaisons par les MVT peut générer ce type de problèmes.

Ceci vous laisse deux possibilités :

1. Commencer à perdre des clients à cause de variations que vous n’auriez jamais dû tester (pas recommandé).
2. Investir plus de temps pour éliminer les variations qui n’ont pas de sens.

La deuxième option vous prendra plus de temps et nécessitera – dans tous les cas – toujours plus de trafic pour pouvoir réaliser votre test par rapport à un A/B test classique.

Avec un A/B/n test, vous créez uniquement les variations que vous aimez.

Certains diront que cela prend plus de temps de créer chaque variation pour un A/B test alors que le Multivariate Testing est le meilleur moyen de tester facilement et rapidement toutes les variations à la fois.

Considérez un Multivariate Testing comme un système qui crée automatiquement toutes les combinaisons possibles pour vous aider à trouver le meilleur résultat. Ainsi, dit de cette manière, cela semble attrayant.

Mais puisque vous cherchez à approfondir le sujet, vous allez sûrement réfléchir à deux fois avant d’utiliser un MVT.

Quel est le problème avec les MVT (et pourquoi ce n’est pas la meilleure option) ?

Il y a plusieurs raisons, mais nous allons nous concentrer sur cinq d’entre elles pour expliquer pourquoi les MVT ne sont pas recommandés par rapport au A/B test:

1. Combinaisons dénuées de sens
2. Un manque de trafic
3. Gaspillage de précieuses ressources
4. Échouer dans l’utilisation des MVT
5. Passer à côté du processus d’apprentissage.

Les variations perdantes coûtent chères

Les tests d’optimisation des conversions peuvent être amusants. L’idée de faire une découverte révolutionnaire qui vous amèneraient des milliers d’euros est très attrayante. Malheureusement, ces variations qui sous-performent réduisent le nombre de conversions effectuées et donc moins de conversions signifie moins de revenus.

Tous types de tests – A/B ou Multivariate Testing – impliquent un coût.

Dans l’idéal il faudrait laisser tourner les variations perdantes car il y a une chance qu’elles deviennent gagnantes lorsqu’elles atteignent leur représentativité statistique. Dans la pratique, nous surveillons les tests de près pour identifier rapidement toute variation qui devient négative. Si une variation perdante coûte trop de conversions, nous l’arrêtons avant qu’elle atteigne sa représentativité statistique. Voilà comment nous contrôlons les coûts des tests.

Cela présente deux avantages :

1. Nous pouvons contrôler les coûts d’un A/B test
2. Nous pouvons rediriger le trafic sur les autres variations, ce qui signifie que le test prendra moins de temps avant d’atteindre la représentativité statistique.

Raccourcir la durée des tests permet de lancer des tests plus fréquemment.

Les tests multivariés font tourner toutes les variations possibles, ou du moins, un grand nombre d’entre elles. Les variations perdantes restent actives jusqu’à atteindre leur représentativité statistique et cela peut coûter très cher.

Lars Lofgren, ancien Directeur du développement chez KISSmetrics, mentionne le fait que si un test chute en dessous de 10% d’augmentation (uplift), il faut le supprimer. Voilà pourquoi :

Que préférez-vous avoir ?

• Une variation gagnante de 5% obtenue après 1 test de 6 mois.
• Une variation gagnante de 20% après avoir lancé entre 6 et 12 tests dans cette même période de 6 mois.

Oubliez cette augmentation de 5% et donnez-moi les 20% !

Par conséquent, plus vous laissez tourner un test sur une longue période, plus votre coût d’opportunité augmente. Si vous attendez trop longtemps, vous passez à côté d’augmentations importantes que vous auriez pu trouver en lançant d’autres tests.

Si un test chute en dessous de 10% d’augmentation, l’enjeu n’est pas suffisant. Arrêtez le test et passez au suivant.

Garder un historique de toutes les variations des MVT n’est pas facile (et cela prend du temps). Mais passer du temps sur les variations qui ne fonctionnent pas n’est pas la seule ressource que vous perdrez.

il est beaucoup plus compliqué d’apprendre d’un Multivariate testing

L’optimisation est plus efficace lorsque vous apprenez pourquoi vos clients se comportent de la façon dont ils le font. Il est possible qu’avec un MVT vous trouviez la combinaison la plus performante, mais qu’avez-vous appris ?

Lorsque vous lancez vos tests tous en même temps, vous passez à côté de la compréhension de votre audience.

Reprenons l’exemple du début. Imaginons que le test multivarié que nous avons lancé nous donne comme combinaison gagnante :

Que pouvons-nous en déduire ? Quel élément était le plus important pour nos visiteurs ? Les conditions de retour ? Enlever le label de marque déposée ? Ajouter des symboles de confiance ?

Pourquoi est-ce important ?

Pour commencer, il sera plus facile de trouver des hypothèses futures. Si vous savez qu’ajouter des symboles de confiance a une grosse influence, alors vous pouvez décider d’en ajouter encore plus sur la page. Malheureusement, avec un MVT, vous ne pouvez pas le savoir.

Lorsque vous apprenez quelque chose à partir d’un test, vous pouvez appliquer ce concept à d’autres éléments de votre site internet. Si vous savez qu’afficher les conditions de retour est le facteur principal de succès, alors vous pourrez essayer d’ajouter ces conditions de retour sur toutes les pages. Vous pouvez même essayer d’ajouter les conditions de retour dans vos emails promotionnels.

Tester n’est pas uniquement une question d’augmenter vos revenus. Cela vous permet aussi de comprendre vos clients. Ce qui est un problème avec le Multivariate Testing car ils ne permettent pas cet apprentissage.

Tester des idées au hasard n’est pas une méthode d’optimisation

Les tests multivariés sont séduisants. Ils peuvent vous inciter à tester beaucoup de choses, uniquement parce que c’est possible. Ça ne s’appelle pas tester mais aller à la pêche. Lancer un tas d’idées au hasard signifie que vous testez beaucoup d’hypothèses inutiles.

Une démarche de test doit suivre cette méthode scientifique :

1. Identifier le problème
2. Développer des hypothèses
3. Sélectionner les hypothèses les plus plausibles
4. Construire des tests pour vérifier les hypothèses
5. Lancer les tests dans un environnement contrôlé
6. Évaluer les résultats
7. Développer de nouvelles hypothèses en fonction de ce que vous avez appris

Le danger d’un Multivariate Testing, c’est que vous sautez les étapes 3, 4 et 7 et agissez ainsi :

1. Identifier le problème
2. Développer des hypothèses
3. Jeter en vrac toutes ces hypothèses dans un blender MVT
4. Attendre les résultats

Andrew Anderson le dit bien,

« La question n’est jamais de savoir ce qu’il est possible de faire mais ce que l’on devrait faire.Le simple fait de pouvoir tester un nombre important de variations ne signifie pas que je suis efficace et que je vais obtenir un bon résultat.Vous obtiendrez un résultat peu importe ce que vous faites, l’astuce est toutefois d’obtenir des résultats toujours meilleurs en utilisant de moins en moins de ressources.

Lorsqu’il est utilisé avec la méthode scientifique, un A/B/n test peut vous donner la direction dont vous avez besoin pour continuellement optimiser votre site.

Machine learning et Multivariate Testing

Les tests multivariés peuvent maintenant être assistés par les intelligences artificielles. Depuis des décénnies, un programme nommé réseau neuronal permet aux ordinateurs d’apprendre à partir des données collectées, de prendre des décisions plus précises que celles prises par les humains tout en utilisant moins de données. Ce réseau neuronal a seulement été utilisé pour résoudre des problèmes bien particuliers.

La société Digital Certainty a créé une sorte de réseau neuronal qui s’applique au monde du Multivariate Testing. Ce programme s’appelle réseau neuronal évolutif ou réseau neuronal génétique. Il utilise l’intelligence artificielles pour trouver toutes les variations possibles en sélectionnant ce qu’il faut évaluer pour ne pas avoir à tester toutes les combinaisons existantes.

Cet algorithme évolutif identifie des modèles au travers des différentes variations possibles, et apprend les combinaisons qui ont le plus de chance d’augmenter les conversions. Les combinaisons les moins performantes sont éliminées au profit des variations gagnantes. Au fil du temps, la combinaison la plus performante est identifiée et elle vient remplacer la version originale.

Ces algorithmes présentent aussi des mutations. Des versions qui ont été supprimées peuvent être réintroduites dans les combinaisons pour voir si elles peuvent avoir du succès en les intégrant à une combinaison plus performante.

Cette approche organique promet des résultats plus rapides et nécessitant moins de trafic.

Avec l’intelligence artificielle, les sites internet qui ont un trop petit trafic pour réaliser un Multivariate Testing peuvent tout de même considérer cette option.

Pour conclure : Dans quelles situations est-il possible d’utiliser les MVT ?

Il est parfois difficile d’éviter d’introduire de nombreuses variables.

Chris Goward de WiderFunnel donne les quatre avantages des MVT par rapport au A/B test :

1. Isoler facilement de nombreux petits éléments de la page et mesurer leurs effets individuels sur le taux de conversion.
2. Mesurer les interactions entre des éléments indépendants pour trouver les effets de combinaison.
3. Adopter une approche prudente en améliorant progressivement le taux de conversion.
4. Faciliter l’analyse statistique des combinaisons.

Chris Goward admet que chez WiderFunnel, ils lancent 1 Multivariate Testing pour 8 à 10 A/B tests.

Mais que les deux méthodes sont des outils d’apprentissage précieux.

Quelle est votre expérience avec le Multivariate Testing ?

C’est un sujet très débattu chez les experts en optimisation. Faites-nous part de vos idées, vos pensées ou vos expériences sur le sujet.

Exprimez-vous dans les commentaires !

Vous trouverez la version anglaise originale de cet article dans le lien suivant.