Test A/B Facebook Ads : comment tester sans vous tromper de gagnant

Qu’est-ce qu’un test A/B sur Facebook Ads ?

C’est une expérience où Meta répartit votre audience au hasard en groupes séparés, montre à chacun une version différente de votre stratégie publicitaire, et désigne la version qui obtient le coût par résultat le plus bas. Personne ne voit plus d’une version, ce qui rend la comparaison équitable (Meta, About A/B testing). Les variables les plus courantes sont la créa, le texte, l’audience et le placement, mais tout réglage de campagne peut être testé.

L’outil se trouve dans Expériences, l’espace de mesure de Meta. Un test A/B peut y comparer jusqu’à cinq versions, il est ouvert à tous les annonceurs et ne coûte rien de plus que le budget des campagnes testées (Meta, About Experiences).

Ce qui n’est pas un test A/B

Allumer une campagne une semaine, l’éteindre, puis en allumer une autre n’est pas un test. Meta le déconseille explicitement, parce que cela produit une diffusion inefficace, des audiences qui se chevauchent et des résultats peu fiables. Deux ensembles de publicités lancés côte à côte dans une même campagne ne forment pas non plus un test, l’algorithme répartit le budget vers celui qui démarre le mieux, et les deux touchent en partie les mêmes personnes.

Le test A/B est un outil de décision, pas un mode de gestion. Nous le réservons aux questions qui engagent plusieurs mois de budget. La routine hebdomadaire de test des créas suit un autre protocole, décrit dans notre guide des créas Meta Ads.

Où créer un test A/B : barre d’outils, Expériences ou duplication ?

Meta recommande en général la barre d’outils du Gestionnaire de publicités, qui part d’une campagne ou d’un ensemble existant. Tous les tests reposent sur la même technologie, et tous les résultats se retrouvent dans Expériences une fois le test terminé (Meta, Tools to create A/B tests on Meta technologies).

Dans Expériences, vous pouvez sélectionner jusqu’à cinq campagnes existantes. Celles qui participent déjà à un autre test ou qui utilisent l’achat par réservation sont exclues. Le calendrier du test est distinct de celui des campagnes et doit couvrir une durée suffisante. Vous choisissez enfin la métrique qui désignera le gagnant (Meta, Create an A/B test in the Experiments tool).

Nous préférons Expériences dès que les versions diffèrent par plus d’un détail de réglage, par exemple deux structures de campagne. Chaque campagne se prépare et se vérifie avant le lancement, et l’on choisit à l’avance des métriques secondaires, comme le taux d’ajout au panier, qui aident à comprendre le résultat.

Quelle variable tester en premier ?

Celle dont la réponse changera le plus de décisions. Meta insiste sur deux règles, ne tester qu’une variable à la fois et partir d’une hypothèse mesurable. Son exemple passe d’une question vague, « ai-je de meilleurs résultats en changeant d’objectif de performance ? », à une hypothèse précise, « mon coût par résultat sera plus bas en optimisant pour les vues de page de destination plutôt que pour les clics » (Meta, Best practices for A/B testing).

Voici l’ordre que nous suivons sur un compte e-commerce, du plus rentable au plus anecdotique.

1. L’angle créatif. Deux promesses différentes (le gain de temps contre le prix, par exemple) changent davantage le coût par achat que n’importe quel réglage.
2. La structure. Une campagne de ventes Advantage+ contre une structure manuelle, ou un budget de campagne contre des budgets par ensemble.
3. L’offre. Une remise contre la livraison offerte, testées sur la même créa.
4. L’audience. L’audience Advantage+ contre une audience guidée par des suggestions.
5. La page de destination. Fiche produit contre page dédiée, avec un suivi des conversions identique.

Le format exact du texte, la couleur d’un bouton ou la virgule d’un titre viennent loin derrière. Sur Meta, ces écarts sont rarement mesurables avec les budgets d’une PME, et le test monopolise le budget pendant des semaines pour une réponse sans portée.

Formuler l’hypothèse avant de lancer

Nous écrivons chaque test sur une ligne, dans une grille partagée avec la marque. Variable, versions, métrique de décision, durée, budget, et ce que nous ferons si A gagne, si B gagne ou si aucune ne gagne. La dernière colonne est la plus utile. Si les trois issues mènent à la même décision, le test ne sert à rien.

Comment tester des créas sans perturber le scaling ?

En isolant le test de la campagne qui porte le chiffre d’affaires. Une publicité ajoutée dans un ensemble qui tourne est une modification importante, qui peut relancer la phase d’apprentissage (Meta, Modifications importantes et phase d’apprentissage). Un test A/B monté par duplication crée au contraire des campagnes séparées, avec leur propre budget, sans toucher à celle qui vend.

Le test A/B convient aux créas quand la question porte sur un angle, pas sur une variante. « La vidéo de démonstration face caméra bat-elle la vidéo tournée par une créatrice UGC ? » mérite un test. « Le hook n° 3 bat-il le hook n° 4 ? » se tranche mieux dans une campagne de test classique, avec plusieurs créas qui se partagent un budget.

Deux pièges propres aux créas

Le premier tient au volume. Meta explique que trop de publicités diffusées en même temps réduisent la diffusion de chacune et que moins d’entre elles terminent l’apprentissage (Meta, About managing ad volume). Une version qui contient huit publicités contre une version qui en contient deux ne compare pas deux angles, elle compare deux volumes.

Le second tient aux améliorations automatiques. Si Advantage+ creative recadre, retouche ou réécrit les publicités dans une version et pas dans l’autre, la différence mesurée peut venir de ces améliorations. Gardez les mêmes options activées des deux côtés, sauf si ce sont elles que vous testez.

Le jugement final se fait sur le coût par achat. Les métriques d’attention, taux de lecture des trois premières secondes ou taux de clic, expliquent le résultat sans le décider. Un taux de clic élevé avec un mauvais taux de conversion signale souvent une promesse que la page ne tient pas. Notre calculateur de taux de conversion aide à situer cet écart.

Quel budget et quelle durée prévoir pour un test A/B ?

Au moins 7 jours, au plus 30, et assez de budget pour que chaque version obtienne un nombre de résultats exploitable. Meta recommande des tests d’au moins 7 jours, signale que les tests plus courts peuvent être non concluants, et fixe la limite à 30 jours. Si vos clients mettent habituellement plus de 7 jours à convertir après avoir vu une publicité, il conseille d’allonger, par exemple à 10 jours (Meta, Best practices for A/B testing).

Le budget doit être identique pour chaque version. Si vous dupliquez une campagne, Meta duplique aussi son budget. Sinon, les budgets existants s’appliquent, et vous les égalisez au niveau des ensembles (Meta, About A/B testing).

Estimer le budget nécessaire

Meta ne publie pas de seuil de conversions par version pour les tests A/B. Certains outils de test affichent avant le lancement une puissance estimée, et Meta suggère de viser 80 % ou plus pour augmenter les chances d’un résultat causal, sans garantie (Meta, About estimated power when creating tests). À défaut, nous partons d’un ordre de grandeur que nous ajustons à la marge du compte.

Si ce budget est hors de portée, testez sur un événement plus fréquent, l’ajout au panier au lieu de l’achat par exemple, en sachant que le gagnant sur l’ajout au panier ne l’est pas toujours sur l’achat. Ou réduisez le test à deux versions franchement différentes. Notre guide du budget Meta Ads détaille le lien entre coût par achat, apprentissage et budget.

Comment lire la significativité et le taux de confiance ?

Le gagnant est la version au coût par résultat le plus bas, sur l’événement choisi à la création. Pour l’établir, Meta simule des dizaines de milliers de fois les issues possibles à partir des données observées et calcule un pourcentage de confiance, la probabilité d’obtenir un résultat similaire si le test était refait (Meta, How winning campaigns are determined in A/B tests). Vous êtes averti dans le Gestionnaire et par e-mail quand un gagnant est désigné.

Le seuil est plus bas qu’on ne le croit. Pour un test A/B, Meta considère qu’une confiance de 65 % ou plus désigne un résultat gagnant. Pour les tests d’incrémentalité, il faut 90 % ou plus pour parler de résultat statistiquement fiable (Meta, About confidence in your tests and experiments). Une confiance de 65 % signifie qu’en refaisant le test, l’autre version gagnerait encore à peu près une fois sur trois.

Meta liste aussi les raisons pour lesquelles un gagnant peut afficher un coût plus élevé qu’attendu, un test trop court, trop peu de résultats ou des bonnes pratiques de durée non respectées. Quand un test important se termine juste au-dessus du seuil, nous le relançons sur une autre période avant de basculer tout le budget. Deux résultats concordants valent mieux qu’un seul résultat net.

Test A/B ou test d’incrémentalité : lequel choisir ?

Le test A/B dit quelle version coûte le moins cher par résultat. Le test d’incrémentalité, appelé conversion lift chez Meta, dit combien de conversions vos publicités ont réellement provoquées. Il compare un groupe exposé à un groupe de contrôle qui ne voit pas les publicités (Meta, About Experiences).

Les deux ne répondent pas à la même question. Une campagne de relance peut gagner un test A/B haut la main parce qu’elle touche des personnes qui auraient acheté de toute façon, et ne rien apporter en incrémentalité. Un test A/B ne détecte pas ce biais, puisque les deux versions sont jugées sur les conversions attribuées.

Les conditions d’accès

Le test A/B est ouvert à tous. Le test d’incrémentalité, selon le tableau comparatif de Meta, demande un minimum de 120 000 dollars de dépenses sur les 90 derniers jours et au moins une source de données de conversion de qualité, comme l’API Conversions. Meta prévient aussi que les tests d’incrémentalité peuvent modifier le CPM des campagnes concernées, à cause du groupe de contrôle.

Entre les deux, Expériences propose des tests spécialisés. Le test d’optimisation du budget, par exemple, duplique une campagne qui a au moins deux ensembles actifs, active le budget de campagne Advantage+ dans une copie et pas dans l’autre, partage le budget à parts égales et randomise l’audience (Meta, About budget optimization tests).

Pour les comptes sous le seuil d’accès, l’incrémentalité s’approche autrement, par des tests géographiques ou des périodes de pause comparées aux ventes globales, avec beaucoup de prudence. Un tracking fiable est le préalable de tout le reste, c’est le travail de notre agence de tracking publicitaire.

Quelles erreurs faussent un test A/B sur Meta ?

La plupart des tests ratés que nous reprenons ont échoué avant le lancement, par une hypothèse floue ou un budget insuffisant. Voici les erreurs que nous vérifions systématiquement.

• Plusieurs variables à la fois. Une nouvelle créa sur une nouvelle audience ne dit pas laquelle des deux a joué.
• Une audience utilisée ailleurs en même temps. Meta demande que l’audience du test ne serve à aucune autre campagne pendant sa durée, sous peine de problèmes de diffusion et de résultats contaminés.
• Un arrêt anticipé. Couper le test au troisième jour parce qu’une version mène, c’est décider sur le bruit.
• Des modifications en cours de route. Changer un budget ou une créa pendant le test relance l’apprentissage d’une seule version et casse la comparaison.
• Des budgets inégaux, souvent après une duplication mal vérifiée.
• Une métrique de décision changée après coup. Si le test était prévu sur le coût par achat, un meilleur taux de clic ne fait pas un gagnant.
• Une période atypique. Un test pendant les soldes ou le Black Friday dit ce qui marche pendant les soldes.

Une dernière erreur est d’ordre organisationnel. Un résultat de test qui n’est consigné nulle part sera refait dans un an par quelqu’un d’autre. Nous gardons pour chaque compte un registre des tests, avec l’hypothèse, le résultat, la confiance et la décision prise.

Si vous voulez mettre en place ce protocole sur votre compte, notre agence Meta Ads construit le plan de test avec vous, et notre checklist d’audit Meta Ads permet de vérifier d’abord que le compte est prêt à être testé.