Wenn es um Forschungstechniken geht, gibt es ein Beispiel, das ich gerne teile. Am 23. April 1985 veröffentlichte Coca-Cola eine neue Version ihres klassischen Limonadens namens New Coke. Diese Formel wurde vor der Freisetzung gründlich getestet. Bis zu 200,000 Menschen probierten das neue Soda. Eine Mehrheit stimmte zu, dass der Geschmack besser war. Bei seiner Veröffentlichung gab es weltweite Empörung. Wie sich herausstellte, hat Coca-Cola andere Gründe, aus denen Verbraucher ihr Soda gekauft haben, nicht berücksichtigt. Coca-Cola hat geteilt diese Geschichte auf seiner Website. Ich kann es nur empfehlen.
Sie fragen sich vielleicht, warum ich diese Geschichte geteilt habe und wie sie sich auf A / B-Tests bezieht. Der wichtigste Aspekt ist, dass Sie bei der Durchführung von Forschungsarbeiten den Prozess nicht beschleunigen möchten. Nehmen Sie sich Zeit, bevor Sie mit den Tests beginnen, um alle möglichen Variablen zu finden und wie Sie sie testen möchten.
Was ist A / B-Test?
Wenn Sie nicht vertraut sind, handelt es sich beim A / B-Test um eine Forschungsmethode, bei der zwei Versionen eines Elements getestet werden, um herauszufinden, welche die besten Ergebnisse erzielen. Ich fürchte, es ist nicht ganz so einfach, wie die Definition klingt. Es ist ein statistischer Analyseprozess erforderlich, um Ihre Ergebnisse zu interpretieren und sicherzustellen, dass Geschäftsentscheidungen, auch kleine, Auswirkungen haben.
Beginnen Sie Ihre Reise in die aufregende Welt der statistischen Analyse mit den folgenden Konzepten:
- Mittelwert, Varianz und Stichprobe
- Statistische Signifikanz
- P-Werte
- Verbesserung der statistischen Aussagekraft
- Konfidenzintervalle und Fehlerquote
- Regression auf den Mittelwert
- Segmentierung
- Verwirrende Variablen und externe Faktoren
Diese Themen und Links stammen alle aus einem sehr gut geschriebenen Artikel mit dem Titel „A / B-Teststatistik: Ein leicht verständlicher Leitfaden“. Ich verspreche, ich versuche nicht, Ihnen Hausaufgaben zu machen. Diese Themen sind lediglich die Grundlage für eine ordnungsgemäße statistische Analyse. Ohne diese können Sie die A / B-Tests auch überhaupt nicht durchführen.
Vor diesem Hintergrund möchte ich nun erläutern, wie Sie sich den A / B-Tests nähern würden. Wenn Sie in einer Verkaufsposition waren oder sind, sind Sie sicher, dass Sie A / B-Tests auf kleine Weise erlebt haben. Der Test wird durchgeführt, indem dieselbe E-Mail mit unterschiedlichen E-Mail-Betreffs versendet oder Aspekte Ihres Kaltanrufskripts geändert werden, um festzustellen, welche Version die besten Ergebnisse erzielt. Das Problem bei diesem Ansatz ist, dass er ungenau ist. Es können mehrere Variablen geändert werden, die Stichprobengröße kann zu klein sein oder der Firmentitel derjenigen, die den Anruf oder die E-Mail erhalten, kann abweichen.
Das häufigste Problem ist im Allgemeinen das erste, das ich erwähnt habe. Es ist üblich, mehrere Variablen unbeabsichtigt zu ändern. Beim A / B-Test konzentrieren Sie sich nur auf eine zu testende Variable, während alles andere konstant ist. Wenn Sie mehrere Variablen in einem Test ändern möchten, können Sie den multivariaten statistischen Prozess verwenden. Dies ist jedoch eine Konversation, die am besten für einen anderen Tag gespeichert wird. Ich würde empfehlen, die zu lesen Blog von Analytics-Toolkit.com wenn Sie interessiert sind.
Ich mag es, den A / B-Testprozess in drei Schritte zu unterteilen: Forschung, Test und Analyse.
Schritt 1: Recherchieren und Definieren des Tests
Erste Untersuchungen zu Ihren bestehenden Verkaufsprozessen sind ein wesentlicher Bestandteil des Testprozesses. In diesem Schritt möchten Sie alle Variablen testen, die sich auf die A / B-Tests beziehen. Die Tests können die aktuelle Antwortrate vorhandener E-Mail-Vorlagen, die Abschlussrate für Telefonanrufskripte und sogar die Tageszeit umfassen, zu der der Verkäufer die potenziellen Kunden erreicht.
Nach dem ersten Test müssen Sie alle relevanten potenziellen Informationen sammeln, die Ihnen derzeit zur Verfügung stehen. Diese Daten umfassen häufig ihre Branche, ihre aktuelle Rolle, den Standort der potenziellen Kunden und andere Informationen, die Sie möglicherweise testen möchten.
Wenn Sie jetzt Zeit investieren, um diese Forschung durchzuführen und die Ergebnisse zu sammeln, können Sie später viel Zeit sparen. Diese Forschung hilft Ihnen auch dabei, die A / B-Tests, die Sie durchführen möchten, richtig zu gestalten.
Von hier aus möchten Sie auswählen, ob Sie einen einseitigen oder einen zweiseitigen Test erstellen möchten. Ein einseitiger Test prüft nur auf Änderungen in einer Richtung, während ein zweiseitiger Test auf Änderungen sowohl in positiver als auch in negativer Richtung prüft.
Es gab immer wieder Streit darüber, was besser ist, aber ich bevorzuge einseitige Tests für A / B-Tests. Ich empfehle immer noch, mehr darüber zu lesen. Sie sollten mit diesem Blog mit dem Titel beginnen. "One-Tailed vs. Two-Tailed Tests (Ist das wichtig?)".
Nachdem wir unseren Testtyp ausgewählt haben, können Sie nun die Nullhypothese und die Alternativhypothese erstellen.
Ich finde, ein Beispiel funktioniert hier am besten. Nehmen wir also an, Sie möchten die Öffnungsrate zwischen einer vorhandenen E-Mail-Betreffzeile und einer neuen kürzeren Version testen, die Sie und Ihr Team geschrieben haben. Wir glauben, dass die kürzere Betreffzeile für E-Mails dazu führen wird, dass mehr E-Mails geöffnet werden. Unsere Null- und Alternativhypothesen sind unten aufgeführt.
Nullhypothese (H0): Es gibt keinen signifikanten Unterschied in der Öffnungsrate von E-Mails zwischen den Betreffzeilen für lange und kurze E-Mails.
Alternative Hypothese: In der kurzen Betreffzeile der E-Mail wurden mehr E-Mails geöffnet als in der längeren Betreffzeile der E-Mail.
Sie können jetzt Ihre Stichprobe konsolidieren. Die Stichprobe ist ein weiteres Thema, das an der Oberfläche einfach zu sein scheint. Um jedoch die perfekte Stichprobengröße zu finden, müssen Sie Ihr erforderliches Konfidenzniveau, die Fehlerquote und die Populationsgröße verstehen. Je höher das Konfidenzniveau und je geringer die Fehlerquote, desto länger dauert der Test. Es ist gut, diese Themen unter Berücksichtigung Ihres Budgets und Ihres Zeitlimits anzugehen.
Qualtrics hat eine erstaunlicher Artikel und verfügbares Tool zur Ermittlung der benötigten Stichprobengröße.
Jetzt können Sie die potenziellen Kunden ermitteln, aus denen sich Ihre Stichprobe zusammensetzt, mit der Sie den Test durchführen möchten.
Nehmen wir unser früheres Beispiel, dass Sie die Öffnungsrate zwischen einer vorhandenen E-Mail-Betreffzeile und einer neuen kürzeren Version testen möchten, die Sie und Ihr Team geschrieben haben.
Sie wissen, dass Sie ein Konfidenzniveau von 95% (Z-Score ist 1.96) mit einer Fehlerrate von 5% wünschen (die Standardwerte, die viele Statistiker für diese Analyse verwenden). Für die Bevölkerungszahl planen Sie, dies an alle Führungskräfte der C-Suite zu senden, die in Unternehmen mit 1,000 oder mehr Mitarbeitern den Business-to-Business-Vertrieb in den USA abwickeln.
Es gibt keine Volkszählung für die Anzahl der Führungskräfte der C-Suite in den USA, aber wir können eine gute Schätzung abgeben. Im Allgemeinen enthalten Unternehmen maximal zwei Führungskräfte der C-Suite, die beim Verkauf helfen. Es gibt Statistiken, die dies belegen 23,533 In den USA gibt es Unternehmen mit 1,000 oder mehr Mitarbeitern. Wir können diese Zahl nehmen und mit 2 für die Anzahl der C-Suite-Führungskräfte multiplizieren. Dies ergibt eine Bevölkerungsgröße von 47,066.
Qualtrics bietet eine kostenlose idealer Taschengrößenrechner. Wenn wir das verwenden, erhalten wir eine ideale Stichprobengröße von 382.
Schritt 2: Testen
Der Testschritt ist der aufregendste, den ich finde. Hier können Sie Ihre Tests vollständig erstellen und beginnen.
Je nachdem, was Sie testen, sollten Sie sicherstellen, dass Sie über die erforderlichen Tools verfügen, um die Ergebnisse zu verfolgen. Dies beinhaltet häufig Funktionen wie E-Mail-Engagement-Tracking, Verfolgung und Aufzeichnung von Telefonanrufen sowie Analyse- oder Berichterstellungssoftware.
Lassen Sie uns mit den benötigten Werkzeugen auf das Beispiel zurückblicken, das ich zuvor gegeben habe. Wir haben unsere Stichprobengröße von 382 Interessenten und unsere beiden E-Mails erstellt.
Sie können jetzt eine der E-Mails an 191 Kontakte und die zweite E-Mail an weitere 191 Kontakte senden. Nachdem die E-Mails gesendet wurden, müssen Sie nur noch warten. Ich empfehle, vorher einen Zeitraum zu wählen, in dem die Kontakte genügend Zeit haben, um die E-Mail zu öffnen. Nehmen wir für dieses Beispiel an, wir geben ihnen eine Woche.
Nach Ablauf der Woche haben wir unsere Ergebnisse. Ich habe die Ergebnisse für das folgende Beispiel zusammengestellt.
Lange Betreffzeile (Steuervariable): 191 Gesendete E-Mails
E-Mails geöffnet: 92
E-Mails ungeöffnet: 99
Kurze Betreffzeile: 191 E-Mails gesendet
E-Mails geöffnet: 121
E-Mails ungeöffnet: 70
Mit unseren Ergebnissen ist bereits ersichtlich, dass die kurze Betreffzeile dazu führte, dass eine größere Anzahl von E-Mails geöffnet wurde. Ich empfehle weiterhin, den dritten Schritt, die Analyse, durchzuführen.
Schritt 3: Analyse
Die Analyse eines A / B-Tests ist eher als Testen der neuen Änderung gegen die Nullhypothese oder die Kontrollvariable definiert. Was Sie suchen, ist, ob die Ergebnisse statistisch signifikant sind.
Es gibt viele Formeln, die an der vollständigen Analyse beteiligt sind. Wenn Sie alle Berechnungen von Hand durchführen möchten, empfehle ich, den Artikel zu lesen "Einseitige vs. zweiseitige Tests - alles, was Sie möglicherweise wissen müssen Einseitige vs. zweiseitige A / B-Tests". Ich bin mir sicher, dass es viele Statistiker gibt, die die Berechnungen von Hand durchführen. In unserem Fall gibt es viele kostenlose und kostenpflichtige Online-Ressourcen, die wir für die Berechnungen verwenden können.
Ich empfehle das A / B-Testrechner verfügbar auf AB Testguide.
Mit diesem Rechner können wir unsere Ergebnisse einstecken und feststellen, dass die Ergebnisse statistisch signifikant sind. Wir können jetzt sagen, dass wir zu 95% davon überzeugt sind, dass die kürzere Betreffzeile der E-Mails die Öffnungsrate der E-Mails erhöht hat.
Nächste Schritte
Ich hoffe, dass Sie jetzt beginnen können, Ihre eigenen A / B-Tests vollständig zu formulieren, um Ihre Lead-Generierung, die Anzahl der Gespräche und die Anzahl der abgeschlossenen Geschäfte zu verbessern.
A / B-Tests können für fast alle Aspekte Ihres Verkaufszyklus erstellt werden. Ich empfehle, klein anzufangen, beispielsweise mit Ihrem Verkaufsskript. Viel Spass damit!
