Un test A/B compare deux versions d’un parcours dans des conditions définies. Ce n’est pas une manière de garantir davantage de ventes. Avant de changer un bouton ou un titre, il faut préciser la question, la mesure et les limites de la comparaison.
Partir d’une hypothèse vérifiable
Une hypothèse relie une difficulté à une modification : les visiteurs comprennent mal la prochaine étape, une formulation plus précise pourrait les aider. Notez ce qui change, pour qui et quel comportement permettrait d’examiner cette hypothèse.
Évitez de modifier simultanément l’offre, le prix, le formulaire et les sources de trafic : il deviendrait difficile de comprendre l’origine d’un écart. Vérifiez aussi que les deux versions fonctionnent avant de mesurer leur effet.
Définir la mesure et les conditions
- Choisissez une action principale : demande réellement reçue ou commande confirmée, plutôt qu’un simple clic.
- Définissez la population comparée et une règle d’affectation cohérente, afin qu’un même visiteur ne change pas arbitrairement de version.
- Précisez les vérifications secondaires : erreurs, qualité des demandes et éventuel recul sur mobile.
- Préparez la durée, le volume nécessaire et la règle de décision avant le lancement, avec une méthode statistique adaptée.
Il n’existe pas de durée ni de nombre de visites universels. Le besoin dépend notamment du niveau de départ et de l’écart que l’on souhaite pouvoir détecter. Le guide du NIST sur les plans d’expérience distingue la définition des objectifs, le choix des variables et celui du dispositif expérimental.
Lire un résultat sans fabriquer de gagnant
Un écart observé ne suffit pas à prouver un effet. Examinez l’incertitude, le bon fonctionnement de la mesure et les différences de population. Consulter plusieurs fois un résultat puis arrêter dès qu’il semble favorable peut fausser la conclusion si la méthode ne prévoit pas ces consultations. Microsoft Research explique ces précautions dans son guide des expérimentations en cours.
Un test non concluant ne prouve pas que les versions sont équivalentes. Lorsque le trafic ou les données sont insuffisants, une observation du parcours et des essais utilisateurs peuvent aider à identifier un blocage, sans être présentés comme un test statistique.
Conserver une décision utilisable
Gardez une fiche avec l’hypothèse, les versions, la période, les exclusions, la mesure et la conclusion, y compris quand aucune version n’est retenue. Vérifiez ensuite la version choisie et sa possibilité de retour arrière.
Le suivi d’optimisation de conversion peut réunir diagnostic et expérimentations selon le besoin. Pour examiner votre situation, présentez votre parcours et les données disponibles.
