En ce qui concerne les techniques de recherche, il y a un exemple que j'aime partager. Le 23 avril 1985, Coca-Cola a publié une nouvelle version de leur soda classique appelé New Coke. Cette formule a été testée minutieusement avant sa sortie. Jusqu'à 200,000 XNUMX personnes ont essayé le nouveau soda. Une majorité a convenu que le goût était meilleur. À sa sortie, il y a eu une indignation mondiale. Il s'est avéré que Coca-Cola n'a pas tenu compte des autres raisons pour lesquelles les consommateurs ont acheté leur soda. Coca-Cola a partagé cette histoire sur son site Internet. Je recommande vivement de le lire.
Vous vous demandez peut-être pourquoi j'ai partagé cette histoire et en quoi elle est liée aux tests A / B. La principale chose à retenir est que lorsque vous effectuez des recherches, vous ne voulez pas précipiter le processus. Prenez le temps avant de commencer les tests pour trouver toutes les variables possibles et comment vous souhaitez tester chacune d'elles.
Alors, qu'est-ce que le test A / B?
Si vous n'êtes pas familier, le test A / B est une méthode de recherche dans laquelle deux versions d'un élément sont testées pour déterminer laquelle donne les meilleurs résultats. J'ai bien peur que ce ne soit pas aussi simple que la définition en a l'air. Un processus d'analyse statistique est nécessaire pour aider à interpréter vos résultats et garantir que les décisions commerciales prises, même les plus petites, auront un impact.
Commencez votre voyage dans le monde exaltant de l'analyse statistique avec les concepts ci-dessous:
- Moyenne, variance et échantillonnage
- Signification statistique
- Valeurs p
- Puissance statistique
- Intervalles de confiance et marge d'erreur
- Régression à la moyenne
- Segmentation
- Variables confondantes et facteurs externes
Ces sujets et liens proviennent tous d'un article très bien écrit intitulé «Statistiques de test A / B: un guide facile à comprendre». Je promets que je n'essaye pas de vous assigner des devoirs. Ces sujets sont simplement la base d'une analyse statistique appropriée. Sans ceux-ci, vous pouvez tout aussi bien ne pas effectuer les tests A / B du tout.
Avec cette base à l'esprit, je veux maintenant expliquer comment vous aborderiez les tests A / B. Si vous avez été ou êtes actuellement dans un poste de vente, je suis sûr que vous avez expérimenté les tests A / B de manière modeste. Le test est effectué en envoyant le même e-mail avec différents sujets d'e-mail ou en modifiant les aspects de votre script d'appel à froid pour voir quelle version donne les meilleurs résultats. Le problème avec cette approche est qu'elle est imprécise. Plusieurs variables peuvent être modifiées, la taille de l'échantillon peut être trop petite ou le titre de la société de ceux qui reçoivent l'appel ou l'e-mail peut différer.
Le problème le plus courant est généralement le premier que j'ai mentionné. Il est courant de modifier involontairement plusieurs variables. Avec les tests A / B, vous ne vous concentrerez que sur une seule variable à tester, tout le reste étant constant. Si vous souhaitez modifier plusieurs variables en un seul test, vous pouvez utiliser le processus statistique multivarié, mais il est préférable de conserver cette conversation pour un jour différent. Je recommanderais de lire le blog par Analytics-Toolkit.com Si tu es intéressé.
J'aime diviser le processus de test A / B en trois étapes: recherche, test et analyse.
Étape 1: Recherche et définition du test
La recherche initiale sur vos processus de vente existants est une partie vitale du processus de test. Dans cette étape, vous souhaiterez tester toutes les variables liées aux tests A / B. Les tests pourraient inclure le taux de réponse actuel des modèles d'e-mails existants, le taux de clôture des scripts d'appels téléphoniques et même l'heure à laquelle le vendeur contacte les prospects.
Après le test initial, vous devrez rassembler toutes les informations pertinentes sur les prospects dont vous disposez actuellement. Ces données incluent souvent leur secteur d'activité, leur rôle actuel, la localisation des prospects et toute autre information que vous souhaitez tester.
Passer du temps maintenant à effectuer cette recherche et à recueillir les résultats peut vous faire gagner beaucoup de temps sur la route. Cette recherche vous aidera également à cadrer correctement les tests A / B que vous prévoyez d'effectuer.
À partir de là, vous voudrez choisir si vous souhaitez créer un test unilatéral ou bilatéral. Un test unilatéral testera uniquement les changements dans une direction, tandis qu'un test bilatéral testera les changements dans les directions positive et négative.
Il y a eu une discussion en cours sur ce qui est meilleur, mais je préfère les tests unilatéraux pour les tests A / B. Je recommande toujours de lire plus sur chacun. Vous devriez commencer par ce blog intitulé, "Tests unilatéraux ou bilatéraux (est-ce important?)".
Après avoir choisi notre type de test, vous pouvez maintenant créer les hypothèses nulles et alternatives.
Je trouve qu'un exemple fonctionne mieux ici, alors disons que vous souhaitez tester le taux d'ouverture entre une ligne d'objet d'e-mail existante et une nouvelle version plus courte que vous et votre équipe avez écrite. Nous pensons que la ligne d'objet de l'e-mail plus courte entraînera l'ouverture d'un plus grand nombre d'e-mails. Nos hypothèses nulles et alternatives sont ci-dessous.
Hypothèse nulle (H0): Il n'y a pas de différence significative dans les taux d'ouverture des e-mails entre les lignes d'objet des e-mails longue et courte.
Hypothèse alternative: La ligne d'objet courte de l'e-mail avait plus d'e-mails ouverts que la ligne d'objet de l'e-mail plus longue.
Vous pouvez maintenant consolider votre échantillon. L'échantillonnage est un autre sujet qui à première vue semble simple, mais pour trouver la taille d'échantillon parfaite, il faut comprendre votre niveau de confiance requis, la marge d'erreur et la taille de la population. Plus le niveau de confiance est élevé et plus la marge d'erreur est faible, plus le test prendra du temps. Il est bon d'aborder ces sujets en gardant à l'esprit votre budget et votre limite de temps.
Qualtrics a un article étonnant et un outil disponible pour vous aider à déterminer la taille de l'échantillon dont vous avez besoin.
Maintenant, vous pouvez rassembler les prospects qui constitueront votre échantillon avec lequel vous prévoyez d'exécuter le test.
Prenons notre exemple précédent où vous souhaitez tester le taux d'ouverture entre une ligne d'objet d'e-mail existante et une nouvelle version plus courte que vous et votre équipe avez écrite.
Vous savez que vous voulez un niveau de confiance de 95% (le score Z est de 1.96) avec un taux d'erreur de 5% (les valeurs par défaut que de nombreux statisticiens utilisent pour cette analyse). Pour la taille de la population, vous prévoyez de l'envoyer à tous les dirigeants de C-Suite qui gèrent les ventes interentreprises aux États-Unis dans les entreprises de 1,000 XNUMX employés ou plus.
Il n'y a pas de recensement disponible pour le nombre de cadres de C-Suite aux États-Unis, mais nous pouvons arriver à une bonne estimation. En règle générale, les entreprises comptent au maximum deux dirigeants de la suite C qui contribuent aux ventes. Il existe des statistiques disponibles indiquant que 23,533 il existe aux États-Unis des entreprises de 1,000 2 employés ou plus. Nous pouvons prendre ce nombre et le multiplier par 47,066 pour le nombre de cadres C-suite. Cela nous donne une population de XNUMX XNUMX habitants.
Qualtrics propose une calculatrice de taille d'échantillon idéale. L'utilisation de cela nous donne une taille d'échantillon idéale de 382.
Étape 2: Test
L'étape du test est celle que je trouve la plus excitante. Ici, vous pourrez créer et commencer pleinement vos tests.
En fonction de ce que vous testez, vous voudrez vous assurer que vous disposez des outils nécessaires pour suivre les résultats. Cela comprendra souvent des fonctionnalités telles que suivi de l'engagement par e-mail, Logiciel de suivi et d'enregistrement des appels téléphoniques, et d'analyse ou de rapport.
Avec les outils nécessaires en main, revenons à l'exemple que j'ai donné plus tôt. Nous avons notre échantillon de 382 prospects et nos deux e-mails créés.
Vous pouvez désormais envoyer l'un des e-mails à 191 contacts et le deuxième e-mail à 191 autres contacts. Une fois les e-mails envoyés, il ne reste plus qu'à attendre. Je recommande de choisir au préalable une période qui donnera aux contacts suffisamment de temps pour ouvrir l'e-mail. Pour cet exemple, disons que nous leur donnons une semaine.
Après la fin de la semaine, nous avons nos résultats. J'ai inventé les résultats de l'exemple ci-dessous.
Ligne d'objet longue (variable de contrôle): 191 e-mails envoyés
E-mails ouverts: 92
E-mails non ouverts: 99
Objet court: 191 e-mails envoyés
E-mails ouverts: 121
E-mails non ouverts: 70
Avec nos résultats, on peut déjà voir que la ligne d'objet courte a entraîné l'ouverture d'un plus grand nombre d'e-mails. Je recommande toujours de poursuivre avec la troisième étape, l'analyse.
Étape 3: analyse
L'analyse d'un test A / B est plus définie comme le test du nouveau changement par rapport à l'hypothèse nulle ou à la variable de contrôle. Ce que vous recherchez, c'est si les résultats sont statistiquement significatifs.
Il y a beaucoup de formules impliquées dans l'analyse complète. Si vous souhaitez faire tous les calculs à la main, je vous recommande de lire l'article "Tests unilatéraux ou bilatéraux - Tout ce que vous avez peut-être besoin de savoir Test A / B unilatéral ou bilatéral". Je suis convaincu que de nombreux statisticiens gèrent les calculs à la main. Dans notre cas, il existe de nombreuses ressources gratuites et payantes en ligne que nous pouvons utiliser pour les calculs.
Je recommande le Calculateur de tests A / B disponible sur AB Testguide.
En utilisant cette calculatrice, nous pouvons brancher nos résultats et constater que les résultats sont statistiquement significatifs. Nous pouvons maintenant dire que nous sommes convaincus à 95% que la ligne d'objet plus courte des e-mails a augmenté le taux d'ouverture des e-mails.
Prochaines étapes
J'espère que vous pouvez maintenant commencer à formuler entièrement vos propres tests A / B qui peuvent améliorer votre génération de prospects, le nombre de conversations et le nombre de transactions conclues.
Des tests A / B peuvent être créés pour presque tous les aspects de votre cycle de vente. Je recommande de commencer petit, par exemple avec votre script de vente. Aie du plaisir avec ça!
