Est-ce que vous savez comment fonctionne les tests A/B ?

Le principe d’un test A/B est d’envoyer 50% du trafic sur une version A d’une page et 50% vers une version B. Entre ces 2 pages, une seule variable a été modifiée.

Par exemple : la couleur du call-to-action (CTA), la place d’une image sur la page, la taille d’un visuel… L’idée est d’identifier quelle page convertit le mieux et répliquer cette version sur tout le site.

Ainsi la décision se base sur la meilleure expérience utilisateur et non un avis subjectif (je préfère le bleu donc mes CTA seront bleus). L’expérimentation est donc le postulat de départ de ce test.

Voici un guide de l’A/B test pour savoir comment l’utiliser et ainsi améliorer la conversion sur votre site e-commerce (infographie complète en anglais en fin d’article).

Guide de l’A/B test

Dans un premier, vous devez mesurer et analyser les performances de votre site pour identifier les points de conversion et les pages à optimiser. Plus vous concentrerez vos efforts sur les dernières étapes du parcours de conversion, plus vous ciblerez une population engagée, et donc plus facile à faire agir. L’impact sur votre taux de conversion sera donc plus visible.

Etape 1 de l’A/B test : définir un objectif

Pour être sûr de mener à bien le test, il s’agit tout d’abord de savoir ce que l’on test et quels résultats on espère obtenir ! Il faut donc définir des hypothèses et des indicateurs. Si plusieurs pages requièrent une attention, vous pouvez par exemple utiliser les 3 critères du PIE framework (en anglais), créé par Widerfunnel, pour prioriser votre action. A savoir donner pour chaque page une note sur 10 concernant :
– le potentiel : soit la marge d’amélioration de la page à tester
– l’importance du trafic : plus il y a du volume qualifié sur la page, mieux c’est
– la facilité de mise en place : déterminer le degré de difficulté à mettre en place le test sur la page (10 = très facile, 1 = très difficile).
En faisant la moyenne de ces 3 notes, vous saurez par quelle page commencer vos tests.

Etape 2 : choisir la variable

C’est peut être ce qu’il y a de plus difficile à identifier. En effet, quasiment tout peut être testé sur un site ! Le choix et la taille de la police, les visuels, leur emplacement, leur taille, la couleur des CTA, les bannières… Et pourtant vous ne devez choisir qu’une seule variable ! L’objectif étant de voir si en changeant cette variable, le taux de conversion de la page est statistiquement meilleur.

Plusieurs variables peuvent être testées en même temps mais cela est beaucoup plus compliqué. On parle alors de test multi-varié (MVT).

Etape 3 : lancer votre test A/B

Vous avez déterminé votre variable et créé les 2 versions de la page ? Vous pouvez lancer votre A/B test ! Soit envoyer 50% de votre trafic vers une page, et l’autre moitié vers la version alternative. Il n’y a plus qu’à attendre les résultats !

Etape 4 : éliminer les « moutons noirs »

Votre test A/B doit être statistiquement significatif. En statistique, on se donne une marge d’erreur de 5%. Mais concrètement, qu’est-ce que cela veut dire ? Que votre test doit durer suffisamment longtemps pour éliminer les « moutons noirs », c’est-à-dire les internautes qui ne réagissent pas comme la moyenne. De même certains événements (météo, bug…) peuvent modifier temporairement les comportements. Et donc fausser vos résultats.

Il faut donc faire attention à ne pas arrêter votre test A/B trop tôt. Surtout pas quand vous pensez valider votre hypothèse de départ !

Etape 5 : analyser vos données

Alors comment savoir quand arrêter un test A/B ? Voici les indicateurs à prendre en compte :
– L’A/B test doit durer entre 2 semaines et 2 mois.
– Pour vous aider à appréhender la durée du test, vous pouvez utiliser un calculateur (en anglais).
– Un autre indicateur est la durée de stabilisation de vos courbes de test. En effet, l’absence de variation pendant au moins 7 jours pourra vous permettre d’arrêter votre test.
– Enfin, atteindre au moins 150 conversions est le quatrième critère à considérer.

Une fois tout cela fait, vous pouvez déterminer si c’est la version A ou la version B de votre test qui est la meilleure.

Etape 6 : recommencer !

Vous avez identifié quelle variation fonctionne le mieux ? Vous pouvez l’implémenter sur votre site. Et passer à un autre test !

Il est conseillé de surveiller les résultats de la page en question tous les trimestres minimum. Afin de s’assurer que le résultat de votre test A/B est le même en conditions réelles !

Les plateformes d’A/B test

Un test A/B peut se faire sur différents sujets.

Pour tester vos emailings

Par exemple pour les emailings, certaines plateformes comme Mailchimp vous proposent gratuitement de l’A/B test. Vous pouvez choisir parmi les 4 variables proposées : l’objet, le nom de l’envoyeur, le contenu ou l’heure d’envoi. Ensuite vous choisissez quel pourcentage de votre base participe au test. Votre base d’audience doit être assez large pour que les résultats soient significatifs. A l’issu du critère que vous aurez déterminé pour arrêter le test, le reste de votre base recevra l’emailing qui aura le mieux performé.

Pour tester vos pages e-commerce

Si vous souhaitez tester des pages spécifiques de votre site (fiche produit, tunnel de commande…), certaines plateformes proposent une offre d’A/B test adaptée. Les plus connues sont :
– Google Optimize (gratuit et qui peut être intégré à votre Google Analytics pour identifier rapidement les améliorations potentielles dont votre site Web pourrait bénéficier)
– A/B tasty
– Kameleoon
– Visual Website Optimizer ou VWO (en anglais)
– Nelio A/B testing pour WordPress (en anglais).
Elles sont toutes payantes sauf Google. La plupart proposent 30 jours d’essai.

Pourquoi faire des tests A/B ?

Beaucoup de conseils sont donnés sur Internet (et sur ce blog!) pour améliorer la performance de votre site e-commerce. Et pourtant, ce qui a marché pour d’autres ne marchera pas forcément pour vous ! Certaines bonnes pratiques sont universelles mais quand il s’agit d’affiner un taux de conversion, la précision est de mise. Les tests A/B sont donc recommandés dans ce cas car objectifs et significatifs. Toutefois, je conseille de ne faire ces tests qu’une fois le site « propre », c’est-à-dire avec un taux de conversion bon, car il s’agit d’affiner ce taux.

Alors, prêts à vous lancer dans de l’A/B test ?