Comment utiliser le calculateur de test A/B ?
Renseignez le taux de conversion actuel de la page testée, l’amélioration la plus petite qui vous intéresse, puis le niveau de confiance et la puissance. Le calculateur donne le nombre de visiteurs nécessaire dans chaque version et, à partir du trafic quotidien, le nombre de jours que le test doit durer.
Le trafic quotidien est celui qui entre dans le test, toutes versions confondues, avec une répartition à parts égales. Si seule la moitié des visiteurs voit l’expérience, divisez votre trafic par deux avant de le saisir. Le calcul vaut pour deux versions, A et B, et pour un indicateur exprimé en taux (achat, inscription, clic sur un bouton).
Le taux de référence doit venir de vos propres données sur une période comparable, idéalement les quatre dernières semaines sur la même page. Si vous ne le connaissez pas, le calculateur de taux de conversion le donne à partir des visites et des commandes.
Quelle formule utilise le calculateur ?
Le calculateur applique la formule classique de comparaison de deux proportions indépendantes, avec un test bilatéral et deux groupes de même taille. Pour un taux de référence p1 et un taux visé p2, la taille par version vaut n = [zα/2 × √(2 p̄ (1 − p̄)) + zβ × √(p1 (1 − p1) + p2 (1 − p2))]² ÷ (p2 − p1)², où p̄ est la moyenne des deux taux.
| Réglage | Valeur choisie | Coefficient z utilisé |
|---|---|---|
| Niveau de confiance (bilatéral) | 90 % | 1,645 |
| Niveau de confiance (bilatéral) | 95 % | 1,960 |
| Niveau de confiance (bilatéral) | 99 % | 2,576 |
| Puissance | 80 % | 0,842 |
| Puissance | 90 % | 1,282 |
Le niveau de confiance limite le risque de déclarer gagnante une version qui ne l’est pas. La puissance est la probabilité de détecter l’écart s’il existe vraiment : à 80 %, un effet réel de la taille choisie passe inaperçu une fois sur cinq.
Pour contrôler le calcul, nous l’avons comparé à un exemple publié dans une revue de biostatistique appliquée. Avec 20 % contre 30 %, une confiance de 95 % et une puissance de 80 %, l’article de Hae-Young Kim obtient 294 sujets par groupe avec le logiciel G*Power. Le calculateur donne le même résultat. La variante simplifiée de la formule, présentée dans le même article, aboutit à 291.
Exemple de calcul pour une boutique en ligne
Prenons un cas hypothétique. Une fiche produit convertit à 3 %. Vous voulez savoir si une nouvelle galerie photo fait gagner au moins 20 % de conversions en relatif, soit un passage de 3 % à 3,6 %. Avec 95 % de confiance et 80 % de puissance, il faut 13 914 visiteurs par version, 27 828 au total.
Avec 2 000 visiteurs par jour sur cette page, le test dure 14 jours. Passez la puissance à 90 % et le besoin monte à 18 626 visiteurs par version. Descendez la confiance à 90 % et il retombe à 10 960. Ces réglages ne sont pas neutres. Une confiance plus basse accepte plus de faux gagnants.
Le tableau ci-dessous, calculé avec le même outil, montre à quel point le taux de référence et l’écart visé pèsent sur la taille du test.
| Taux de référence | +10 % relatif | +20 % relatif | +30 % relatif |
|---|---|---|---|
| 1 % | 163 095 | 42 693 | 19 827 |
| 3 % | 53 211 | 13 914 | 6 455 |
| 5 % | 31 234 | 8 158 | 3 780 |
Visiteurs nécessaires par version, avec 95 % de confiance et 80 % de puissance. Diviser l’écart par deux multiplie à peu près par quatre l’échantillon.
Amélioration relative ou absolue : laquelle saisir ?
L’amélioration relative s’exprime en pourcentage du taux actuel : +20 % sur 3 % donne 3,6 %. L’amélioration absolue s’ajoute en points : +0,6 point sur 3 % donne aussi 3,6 %. Les deux réglages mènent au même calcul, seule la façon de saisir change.
Le piège est ailleurs. L’effet minimal détectable n’est pas l’effet que vous espérez, c’est le plus petit écart qui justifierait de changer la page. Un écart plus faible existera peut-être, mais le test ne saura pas le distinguer du hasard. Pour le fixer, nous partons de l’argent. Un gain de 0,3 point de conversion vaut-il le coût du développement et de la maintenance de la nouvelle version ? Si non, inutile de dimensionner le test pour le détecter.
Sur une petite boutique, la réponse pousse souvent vers des changements francs plutôt que vers la couleur d’un bouton. Une nouvelle offre, un prix, une page produit refondue produisent des écarts qu’un trafic modeste peut mesurer.
Pourquoi ne pas arrêter le test dès qu’il paraît gagnant ?
Parce que le seuil de confiance n’est valable que si la taille d’échantillon est fixée avant le test. Evan Miller l’a montré dans un article de référence, How Not To Run an A/B Test. Consulter les résultats chaque jour et s’arrêter au premier « significatif » multiplie les faux gagnants, même quand les deux versions sont identiques.
Notre règle est simple. On calcule l’échantillon, on note la date de fin et on n’interprète rien avant. Nous arrondissons aussi la durée à des semaines entières, car les visiteurs du dimanche soir n’achètent pas comme ceux du mardi matin. Le calculateur indique pour cela la durée en semaines.
- Évitez de lancer un test pendant les soldes, le Black Friday ou une grosse campagne d’influence, qui changent la composition du trafic.
- Ne modifiez pas la répartition du trafic ni les versions en cours de route.
- Vérifiez avant de lancer que chaque version compte bien les conversions, sinon le test mesure un bug.
Que faire si le test demande trop de trafic ?
Si la durée dépasse un ou deux mois, le test a peu de chances d’aboutir proprement. Plusieurs options existent avant d’y renoncer.
- Tester un changement plus marqué, qui vise un écart de 30 % ou plus.
- Mesurer une étape plus fréquente du tunnel, comme l’ajout au panier plutôt que l’achat. Le taux de référence est plus élevé et l’échantillon fond.
- Regrouper des pages qui partagent le même gabarit, par exemple toutes les fiches produit d’une collection.
- Accepter un réglage moins strict, 90 % de confiance par exemple, en sachant que le risque de faux gagnant augmente.
Pour les publicités, le raisonnement est le même, mais l’unité change. Meta et Google proposent leurs propres outils d’expérience, qui répartissent l’audience pour vous. Notre guide sur les créas Meta Ads détaille comment organiser les tests de création, et celui sur la structure de campagne Meta Ads évite de mélanger tests et campagnes de diffusion.
Si vos tests s’enchaînent sans conclusion, le problème vient souvent du choix des hypothèses plus que des statistiques. Notre agence de performance marketing priorise les tests selon leur effet attendu sur le chiffre d’affaires et le trafic disponible.