Erreurs de test A/B commises par les spécialistes du marketing PPC et comment les corriger

Avez-vous déjà mis en œuvre la variante la plus performante d’un test A/B de contenu publicitaire PPC, mais vous ne constatez aucune amélioration ?

Cela arrive plus souvent que vous ne le pensez.

Les tests A/B fonctionnent : il vous suffit d’éviter certains pièges courants.

Cet article aborde les principales erreurs qui entraînent l’échec des tests PPC A/B, ainsi que des conseils pratiques pour garantir que vos tests fournissent des résultats significatifs. Nous aborderons des problèmes tels que :

• À la recherche de la signification statistique au détriment de l’impact commercial.
• Ne pas exécuter les tests assez longtemps pour obtenir suffisamment de données.
• Ne pas segmenter les sources de trafic et autres facteurs critiques.

Viser une signification statistique de 95 % est souvent exagéré

Lors de l’exécution de tests A/B, bonnes pratiques générales dites que vous voulez commencer avec une hypothèse forte. Quelque chose qui va dans le sens de :

• « En ajoutant de l’urgence à mon contenu publicitaire de commerce électronique, nous prévoyons que le CTR augmentera de quatre points de pourcentage. »

C’est une excellente façon de commencer. Avoir une description appropriée du périmètre de test, de ses cellules de contrôle et d’expérimentation, des KPI principaux (et potentiellement secondaires également) et des résultats estimés permet de structurer les tests et les analyses ultérieures.

Cependant, lorsque les spécialistes du marketing commencent à utiliser une telle méthodologie, ils commencent souvent à s’interroger et à entendre parler du « Saint Graal » des résultats valides : atteindre la signification statistique (ou « stat sig »). C’est à ce moment-là que les choses deviennent rapidement confuses.

(Je suppose que vous savez ce qu’est la signature statistique, mais si ce n’est pas le cas, alors vous voulez commencer ici et jouer avec cet outil pour mieux comprendre la suite de cet article.)

Si vous travaillez dans le secteur du PPC depuis un certain temps, vous avez remarqué des modèles courants tels que :

• Ce qui fonctionne habituellement: Messages d’urgence, de stock limité et d’offres exclusives.
• Ne fonctionne pas nécessairement: Messages environnementaux et sociétaux (désolé, Terre !).
• Ce qui fonctionne habituellement: placer ce formulaire pour prospects au-dessus de la ligne de flottaison de votre page de destination.
• Ne fonctionne pas nécessairement: Formes complexes et longues.

Donc, si vous êtes sûr à 99 % que vous pouvez obtenir ces gains rapides dès maintenant, faites-le. Vous n’avez pas besoin de tout prouver à l’aide de tests A/B et de résultats de signature statistique.

Vous vous demandez peut-être : « OK, mais comment convaincre mon client que nous pouvons simplement déployer ce changement sans même le tester auparavant ?

Pour résoudre ce problème, je recommanderais :

• Documentez vos tests de manière structurée afin que vous puissiez présenter des études de cas pertinentes ultérieurement.
• Analyse comparative des concurrents (et des acteurs extérieurs à votre secteur cible). S’ils font tous à peu près la même chose, il peut y avoir une raison valable.
• Partager les résultats pertinents d’articles pertinents intitulés « Top 50 des tests que tout spécialiste du marketing devrait connaître » (par exemple, A/B savoureux, Kamaleoon).

Votre objectif ici devrait être d’éviter les files d’attente et de gagner du temps. Et nous savons tous que le temps, c’est de l’argent, alors vos clients (ou CMO et CFO) vous en remercieront.

Ne laissez pas la signification statistique arrêter votre test

Nous avons entendu certains spécialistes du marketing dire : « Vous ne devriez mettre fin à un test que lorsque vous disposez de suffisamment d’informations pour qu’il soit statistiquement significatif. » Attention ici : ce n’est qu’en partie vrai !

Ne vous méprenez pas, avoir un test atteignant 95 % de signification statistique est une bonne chose. Malheureusement, cela ne signifie pas que vous pouvez encore faire confiance aux résultats de vos tests.

En effet, lorsque votre outil de test A/B vous indique que vous avez atteint stat sig, cela signifie que vos cellules de contrôle et d’expérimentation sont effectivement différentes. C’est ça.

En quoi est-ce utile quand on le sait déjà ? Après tout, vous avez conçu votre test pour être un test A/B, et non un test A/A (sauf si vous êtes un chercheur en statistiques).

En d’autres termes, atteindre la valeur statistique ne signifie pas que votre cellule d’expérimentation a fonctionné mieux (ou moins bien) que celle de contrôle.

Comment savez-vous que les résultats de vos tests indiquent correctement l’actif le plus performant ? Vous pensez peut-être que vos résultats indiquent que la cellule B surpasse la cellule A de cinq points de pourcentage. De quoi d’autres avez-vous besoin?

Comme mentionné ci-dessus, atteindre 95 % reconnaît que vos cellules de contrôle et d’expérimentation se comportent différemment. Mais votre plus performant pourrait passer de la cellule A à la cellule B, puis de la cellule B à la cellule A même après avoir atteint 95 % de signature statistique.

Voilà un problème : les résultats de vos tests A/B ne sont pas fiables dès qu’ils atteignent 95 % de signature statistique. À quel point peu fiable, demandez-vous ? 26,1%. Oups…

Si vous souhaitez approfondir plus en détail, voici une analyse plus approfondie d’Evan Miller (et une perspective plus large sur la Harvard Business Review).

Comment savez-vous que vos résultats sont réellement fiables ? Premièrement, vous devez vous abstenir d’arrêter vos tests jusqu’à ce qu’ils atteignent 95 %. Et vous souhaitez également concevoir vos tests A/B différemment. Voici comment.

Évaluez votre public cible

Si vous n’êtes pas un mathématicien, vous souhaitez d’abord lire l’article de Bradd Libby.

TL;DR: Lancer une pièce 10 fois ne prouvera guère que ladite pièce est parfaitement équilibrée. Cent c’est mieux, et 1 million c’est bien. Une durée infinie sera parfaite. Sérieusement, essaie de lancer des pièces et voyez par vous-même.

Pour les termes PPC, cela signifie que la conception de tests A/B doit commencer par connaître votre public. Est-ce 10 personnes ou 1 million ? En fonction de cela, vous savez où vous en êtes : dans les tests A/B, plus de données signifie une plus grande précision.

---

---

La taille compte dans les tests A/B

Tous les projets ou clients ne disposent pas de plateformes à volume élevé (qu’il s’agisse de sessions, de clics, de conversions, etc.).

Mais vous n’avez besoin d’une grande audience que si vous prévoyez de petits changements progressifs. Par conséquent, mon premier point dans cet article n’est pas d’exécuter des tests qui énoncent des évidences.

Quelle est la taille d’audience idéale pour une augmentation estimée de quelques points de pourcentage seulement ?

Bonne nouvelle : A/B Tasty a développé un calculateur de taille d’échantillon. Je ne suis en aucun cas affilié à A/B Tasty, mais je trouve leur outil plus facile à comprendre. Voici d’autres outils si vous souhaitez comparer : De manière optimale, Adobe et Evan Miller.

À l’aide de tels outils, examinez vos données historiques pour voir si votre test peut atteindre un état où ses résultats sont fiables.

Mais attendez, vous n’avez pas encore fini !

Le parcours client est également essentiel

Par exemple, disons que vous observez un taux de conversion de 5 % pour un pool de 7 000 visiteurs (votre volume de visiteurs hebdomadaire moyen).

Les calculateurs de taille d’échantillon ci-dessus vous indiqueront qu’il vous faudra moins de 8 jours si vous prévoyez que votre taux de conversion augmentera de 1,5 point de pourcentage (donc de 5 % à 6,5 %).

Huit jours pour augmenter votre taux de conversion de 1,5 point de pourcentage ?! Maintenant, c’est une bonne affaire si vous me le demandez. Dommage que tu sois tombé dans l’autre piège !

La mesure que vous vouliez examiner en premier concernait ces 8 jours. Couvrent-ils au moins une (sinon deux) étape du parcours client ?

Sinon, vous aurez eu deux cohortes saisissant vos résultats de tests A/B (par exemple, vos clics) mais une seule cohorte pour parcourir tout le parcours client (ayant la possibilité de générer une conversion).

Et cela fausse considérablement vos résultats.

Encore une fois, cela montre que plus votre test est long, plus ses résultats seront précis, ce qui peut être particulièrement difficile en B2B, où les cycles d’achat peuvent durer des années.

Dans ce cas, vous souhaiterez probablement revoir les étapes du processus avant l’achat et vous assurer que les variations du taux de conversion sont quelque peu stables. Cela indiquera que vos résultats deviennent précis.

Comme vous pouvez le constater, atteindre la signature statistique est loin d’être suffisant pour décider si les résultats de votre test sont exacts. Vous devez d’abord planifier votre audience et laisser votre test durer suffisamment longtemps.

Autres erreurs courantes de tests A/B dans le PPC

Bien que ce qui précède soit crucial à mon avis, je ne peux m’empêcher de souligner d’autres erreurs juste pour le « plaisir ».

Ne pas segmenter les sources de trafic

Les professionnels du PPC le savent par cœur : le trafic de recherche de marque vaut bien plus que les audiences Facebook Ads froides et non reciblées.

Imaginez un test où, pour une raison quelconque, votre part de trafic de recherche de marque gonfle par rapport à cette part de trafic froide des publicités Facebook (grâce à un coup de relations publiques, disons).

Vos résultats seraient tellement meilleurs ! Mais ces résultats seraient-ils exacts ? Probablement pas.

Conclusion : vous souhaitez segmenter votre test par source de trafic autant que possible.

Sources que je vous recommande de consulter avant de lancer votre test :

• SEO (souvent, cela représente 90 % du trafic de marque).
• Emailing et SMS (les clients existants surperforment la plupart du temps).
• Retargeting (ces gens vous connaissent déjà ; ce ne sont pas des gens ordinaires).
• Recherche payante de marque.

Assurez-vous de comparer des choses similaires dans vos tests.

Par exemple, bien que Google suggère de faire un Test Performance Max et Shopping « vous aide à déterminer quel type de campagne génère les meilleurs résultats pour votre entreprise », il ne s’agit pas d’une comparaison de pommes avec des pommes.

Ils ne mentionnent pas que Performance Max couvre une gamme d’emplacements publicitaires plus large que les campagnes Shopping. Cela rend le test A/B inefficace dès le départ.

Pour obtenir des résultats précis, comparez Performance Max avec l’ensemble de votre configuration Google Ads, sauf si vous utilisez exclusions de marque. Dans ce cas, vous souhaiterez comparer Performance Max avec tout ce qui est Google Ads, à l’exception des campagnes de recherche et Shopping de marque.

Ne pas prendre en compte les segments critiques

Encore une fois, la plupart des spécialistes du marketing savent que les appareils mobiles fonctionnent très différemment de leurs homologues de bureau. Alors pourquoi mélangeriez-vous les données de bureau et mobiles dans votre test A/B ?

Idem avec la géolocalisation : vous ne devriez pas comparer les données américaines avec les données de la France ou de l’Inde. Pourquoi?

• La concurrence n’est pas la même.
• Les CPM varient considérablement.
• L’adéquation produit-marché n’est pas identique.

Assurez-vous de « localiser » vos tests autant que possible.

Dernier segment : saisonnalité.

À moins que vous ne travailliez sur ce type d’activité toujours en promotion, votre client moyen n’est pas le même que votre client Black Friday / Été / Fête des Mères. Ne regroupez pas tous ces tests A/B en un seul.

Évitez les pièges des tests A/B pour de meilleurs résultats PPC

Comprendre ces problèmes clés vous aide à concevoir des tests A/B rigoureux qui font véritablement avancer vos indicateurs les plus importants.

Avec quelques ajustements à votre processus, vos tests commenceront à porter leurs fruits.