Jeśli chodzi o techniki badawcze, to chciałbym się podzielić przykładem. 23 kwietnia 1985 roku Coca-Cola wypuściła nową wersję swojego klasycznego napoju o nazwie New Coke. Ta formuła została dokładnie przetestowana przed wydaniem. Do 200,000 XNUMX osób wypróbowało nowy napój gazowany. Większość zgodziła się, że smak był lepszy. Po jego wydaniu doszło do globalnego oburzenia. Jak się okazało, Coca-Cola nie uwzględniła innych powodów, dla których konsumenci kupowali jej sodę. Coca-Cola udostępniła ta historia na swojej stronie internetowej. Gorąco polecam lekturę.
Być może zastanawiasz się, dlaczego podzieliłem się tą historią i jak odnosi się ona do testów A / B. Podstawowym wnioskiem jest to, że gdy prowadzisz badania, nie chcesz spieszyć się z procesem. Poświęć trochę czasu przed rozpoczęciem testów, aby znaleźć wszystkie możliwe zmienne i sposób przetestowania każdej z nich.
Więc co to są testy A / B?
Jeśli nie jesteś zaznajomiony, testy A / B to metoda badawcza, w której testowane są dwie wersje jednej pozycji, aby dowiedzieć się, która daje najlepsze wyniki. Obawiam się, że nie jest to tak proste, jak brzmi definicja. Potrzebny jest proces analizy statystycznej, który pomoże zinterpretować wyniki i zagwarantuje, że podjęte decyzje biznesowe, nawet te małe, będą miały wpływ.
Rozpocznij swoją podróż do ekscytującego świata analizy statystycznej, korzystając z poniższych pojęć:
- Średnia, wariancja i próbkowanie
- Znaczenie statystyczne
- Wartości p
- Moc statystyczna
- Przedziały ufności i margines błędów
- Regresja do średniej
- Segmentacja
- Mylące zmienne i czynniki zewnętrzne
Wszystkie te tematy i linki pochodzą z bardzo dobrze napisanego artykułu zatytułowanego „Statystyki testów A / B: łatwy do zrozumienia przewodnik”. Obiecuję, że nie próbuję zadawać ci pracy domowej. Te tematy są po prostu podstawą prawidłowej analizy statystycznej. Bez nich równie dobrze możesz w ogóle nie wykonywać testów A / B.
Mając to na uwadze, chcę teraz rozbić sposób, w jaki podejmiesz testy A / B. Jeśli byłeś lub obecnie zajmujesz się sprzedażą, jestem pewien, że doświadczyłeś testów A / B w niewielkim stopniu. Testowanie polega na wysłaniu tej samej wiadomości e-mail z różnymi tematami wiadomości e-mail lub zmianie aspektów skryptu zimnego połączenia, aby sprawdzić, która wersja ma najlepsze wyniki. Problem z tym podejściem polega na tym, że jest nieprecyzyjne. Można zmienić wiele zmiennych, wielkość próby może być zbyt mała lub nazwa firmy osób, które otrzymały telefon lub e-mail, może się różnić.
Najczęstszym problemem jest na ogół pierwszy, o którym wspomniałem. Powszechne jest niezamierzone modyfikowanie wielu zmiennych. W przypadku testów A / B skupisz się tylko na jednej zmiennej do przetestowania, a wszystko inne pozostanie niezmienne. Jeśli chcesz zmienić wiele zmiennych w jednym teście, możesz skorzystać z wielowymiarowego procesu statystycznego, ale najlepiej jest zapisać rozmowę na inny dzień. Polecam przeczytanie blog autorstwa Analytics-Toolkit.com Jeśli jesteś zainteresowany.
Lubię podzielić proces testowania A / B na trzy etapy: badania, testy i analizy.
Krok 1: Badanie i definiowanie testu
Wstępne badanie istniejących procesów sprzedaży jest istotną częścią procesu testowania. W tym kroku będziesz chciał przetestować wszystkie zmienne związane z testami A / B. Testy mogą obejmować aktualny wskaźnik odpowiedzi istniejących szablonów wiadomości e-mail, wskaźnik zamknięcia skryptów rozmów telefonicznych, a nawet porę dnia, w której sprzedawca kontaktuje się z potencjalnymi klientami.
Po wstępnych testach będziesz musiał zebrać wszystkie istotne informacje o potencjalnym potencjale, które są obecnie dostępne. Dane te często obejmują ich branżę, obecną rolę, lokalizację potencjalnych klientów i wszelkie inne informacje, które możesz chcieć przetestować.
Poświęcenie teraz czasu na przeprowadzenie tych badań i zebranie wyników może zaoszczędzić wiele czasu w przyszłości. Te badania pomogą również we właściwym opracowaniu testów A / B, które planujesz przeprowadzić.
W tym miejscu będziesz chciał wybrać, czy chcesz utworzyć test jednostronny, czy dwustronny. Test jednostronny sprawdza tylko zmiany w jednym kierunku, podczas gdy test dwustronny sprawdza zmiany zarówno w kierunku dodatnim, jak i ujemnym.
Trwa spór o to, co jest lepsze, ale wolę jednostronne testy do testów A / B. Nadal polecam przeczytać więcej na temat każdego. Powinieneś zacząć od tego bloga zatytułowanego, „Testy jednostronne kontra testy dwustronne (czy to ma znaczenie?)”.
Po wybraniu naszego typu testu możesz teraz utworzyć hipotezę zerową i alternatywną.
Uważam, że przykład działa najlepiej tutaj, więc powiedzmy, że chcesz przetestować współczynnik otwarć między istniejącym tematem wiadomości e-mail a nową, krótszą wersją napisaną przez Ciebie i Twój zespół. Uważamy, że krótszy temat wiadomości e-mail spowoduje, że otworzy się więcej e-maili. Poniżej znajdują się nasze hipotezy zerowe i alternatywne.
Hipoteza zerowa (H0): Nie ma znaczącej różnicy w szybkości otwierania wiadomości e-mail między długimi i krótkimi wierszami tematu wiadomości e-mail.
Hipoteza alternatywna: Krótki wiersz tematu e-maila zawierał więcej e-maili otwartych niż dłuższy wiersz tematu e-maila.
Możesz teraz skonsolidować swoją próbkę. Próbkowanie to kolejny temat, który na pierwszy rzut oka wydaje się prosty, ale znalezienie idealnej wielkości próby wymaga zrozumienia wymaganego poziomu ufności, marginesu błędu i wielkości populacji. Im wyższy poziom ufności i niższy margines błędu, tym dłużej potrwa test. Dobrze jest podejść do tych tematów, mając na uwadze budżet i czas.
Qualtrics ma rozszerzenie niesamowity artykuł oraz dostępne narzędzie pomocne w określeniu wymaganej wielkości próbki.
Teraz możesz zebrać potencjalnych klientów, którzy będą stanowić twoją próbkę, z którą planujesz przeprowadzić test.
Weźmy nasz wcześniejszy przykład, że chcesz przetestować współczynnik otwarć między istniejącym tematem wiadomości e-mail a nową, krótszą wersją napisaną przez Ciebie i Twój zespół.
Wiesz, że potrzebujesz 95% poziomu ufności (Z-score to 1.96) z 5% stopniem błędu (wartości domyślne, których używa wielu statystyków do tej analizy). Jeśli chodzi o wielkość populacji, planujesz wysłać to do wszystkich dyrektorów C-Suite obsługujących sprzedaż typu Business to Business w Stanach Zjednoczonych w firmach zatrudniających co najmniej 1,000 pracowników.
Nie ma dostępnego spisu dotyczącego liczby dyrektorów C-Suite w Stanach Zjednoczonych, ale możemy przedstawić dobre oszacowanie. Ogólnie rzecz biorąc, firmy mają maksymalnie dwóch członków kierownictwa C-suite, którzy pomagają w sprzedaży. Istnieją statystyki, które to potwierdzają 23,533 firmy istnieją w Stanach Zjednoczonych i zatrudniają co najmniej 1,000 pracowników. Możemy wziąć tę liczbę i pomnożyć ją przez 2 dla liczby kierowników C-suite. To daje nam wielkość populacji 47,066 XNUMX.
Qualtrics oferuje darmowy plik idealny kalkulator wielkości próbki. Użycie tego daje nam idealną wielkość próbki 382.
Krok 2: Testowanie
Etap testowania jest tym, który uważam za najbardziej ekscytujący. Tutaj będziesz mógł w pełni tworzyć i rozpoczynać testy.
W zależności od tego, co testujesz, upewnij się, że masz narzędzia niezbędne do śledzenia wyników. Często obejmuje to takie funkcje, jak śledzenie zaangażowania w wiadomości e-mail, Śledzenie i nagrywanie rozmów telefonicznych oraz oprogramowanie do analizy i raportowania.
Mając w ręku potrzebne narzędzia, spójrzmy wstecz na przykład, który podałem wcześniej. Mamy naszą próbną wielkość 382 potencjalnych klientów i utworzyliśmy dwa e-maile.
Możesz teraz wysłać jeden z e-maili do 191 kontaktów, a drugi e-mail do innych 191 kontaktów. Po wysłaniu e-maili pozostaje tylko czekać. Zalecam wcześniejsze wybranie okresu, który da kontaktom wystarczająco dużo czasu na otwarcie wiadomości e-mail. W tym przykładzie powiedzmy, że dajemy im jeden tydzień.
Po tygodniu mamy nasze wyniki. Zrobiłem wyniki dla poniższego przykładu.
Długi wiersz tematu (zmienna kontrolna): 191 wysłanych wiadomości e-mail
Otwarte e-maile: 92
Nieotwarte wiadomości e-mail: 99
Krótki temat: 191 wysłanych e-maili
Otwarte e-maile: 121
Nieotwarte wiadomości e-mail: 70
Z naszych wyników widać już, że krótki temat powodował otwieranie większej liczby e-maili. Nadal zalecam wykonanie trzeciego kroku, analizy.
Krok 3: Analiza
Analiza testu A / B jest bardziej zdefiniowana jako testowanie nowej zmiany względem hipotezy zerowej lub zmiennej kontrolnej. Poszukujesz tego, czy wyniki są istotne statystycznie.
Pełna analiza obejmuje wiele formuł. Jeśli chcesz wykonać wszystkie obliczenia ręcznie, polecam przeczytanie artykułu „Testy jednostronne vs. dwustronne - wszystko, co musisz wiedzieć Testy jednostronne vs. dwustronne A / B”. Jestem pewien, że jest wielu statystyków, którzy wykonują obliczenia ręcznie. W naszym przypadku istnieje wiele darmowych i płatnych zasobów online, które możemy wykorzystać do obliczeń.
Polecam Kalkulator testów A / B dostępne w AB Testguide.
Korzystając z tego kalkulatora, możemy podłączyć nasze wyniki i stwierdzić, że są one istotne statystycznie. Możemy teraz powiedzieć, że jesteśmy w 95% pewni, że krótszy temat wiadomości e-mail zwiększył współczynnik otwierania wiadomości e-mail.
Następne kroki
Mam nadzieję, że teraz możesz zacząć w pełni formułować własne testy A / B, które mogą poprawić generowanie potencjalnych klientów, liczbę rozmów i liczbę zawartych transakcji.
Testy A / B można tworzyć dla prawie wszystkich aspektów cyklu sprzedaży. Zalecam zacząć od małych rzeczy, na przykład od scenariusza sprzedaży. Baw się dobrze!
