Що се отнася до изследователските техники, има пример, който обичам да споделям. На 23 април 1985 г. Coca-Cola пуска нова версия на класическата си газировка, наречена New Coke. Тази формула беше тествана щателно преди пускането. До 200,000 XNUMX души опитаха новата сода. Мнозинството се съгласи, че вкусът е по-добър. След пускането му имаше глобално възмущение. Оказа се, че Coca-Cola не успява да отчете поради други причини, поради които потребителите са закупили газираната си напитка. Coca-Cola сподели тази история на уебсайта си. Горещо препоръчвам да го прочетете.
Може би се чудите защо споделих тази история и как тя е свързана с A / B тестването. Основният износ е, когато провеждате изследвания, не искате да бързате с процеса. Отделете време, преди да започнете тестовете, за да намерите всички възможни променливи и как искате да тествате всяка една.
И така, какво е A / B тестване?
Ако не сте запознати, A / B тестването е изследователски метод, при който се тестват две версии на един елемент, за да се разбере кое постига най-добри резултати. Опасявам се, че не е толкова просто, колкото звучи определението. Необходим е процес на статистически анализ, който да ви помогне да интерпретирате вашите резултати и да гарантира, че взетите бизнес решения, дори и малки, ще окажат въздействие.
Започнете вашето пътешествие в вълнуващия свят на статистическия анализ с концепциите по-долу:
- Средна стойност, отклонение и вземане на проби
- Статистическа значимост
- P-стойности
- Статистическа сила
- Доверителни интервали и допустими грешки
- Регресия към средната стойност
- Сегментиране
- Объркващи променливи и външни фактори
Всички тези теми и връзки са от много добре написана статия, озаглавена „Статистика за A / B тестване: Лесно за разбиране ръководство“. Обещавам, че не се опитвам да ти възлагам домашна работа. Тези теми са просто основата за правилен статистически анализ. Без тях може изобщо да не извършвате A / B тестове.
Имайки предвид тази основа, сега искам да разбия как бихте подходили към A / B тестване. Ако сте били или в момента сте в позиция за продажби, сигурен съм, че сте изпитали A / B тестване по малки начини. Тестването се провежда чрез изпращане на един и същ имейл с различни теми на имейл или промяна на аспекти на вашия скрипт за студен разговор, за да се види коя версия има най-добри резултати. Проблемът с този подход е, че е неточен. Могат да се променят множество променливи, размерът на извадката може да е твърде малък или заглавието на компанията на получателите на обаждането или имейла може да се различава.
Най-често срещаният проблем обикновено е първият, който споменах. Обичайно е неволно да се променят множество променливи. С A / B тестване ще се съсредоточите само върху една променлива за тестване, като всичко останало е постоянно. Ако искате да промените множество променливи в един тест, можете да използвате многомерния статистически процес, но това е разговор, който е най-добре запазен за различен ден. Бих препоръчал да прочетете блог от Analytics-Toolkit.com ако си заинтересован.
Обичам да разбивам процеса на A / B тестване на три стъпки: Изследване, тестване и анализ.
Стъпка 1: Изследване и дефиниране на теста
Първоначалното проучване на вашите съществуващи процеси на продажба е жизненоважна част от процеса на тестване. В тази стъпка ще искате да тествате всички променливи, свързани с A / B тестовете. Тестването може да включва текущия процент на отговор на съществуващите шаблони за имейли, процента на затваряне на скриптове за телефонни обаждания и дори времето от деня, в който продавачът достига до потенциалните клиенти.
След първоначалното тестване ще трябва да съберете цялата съответна информация за потенциални клиенти, с която разполагате в момента. Тези данни често включват техния отрасъл, настоящата им роля, местоположението на потенциалните клиенти и всяка друга информация, която може да искате да тествате.
Прекарването на времето сега за извършване на това изследване и събиране на резултатите може да спести много време по пътя. Това изследване ще ви помогне също така правилно да съставите A / B тестовете, които планирате да извършите.
Оттук ще искате да изберете дали искате да създадете тест с една или две опашки. Тест с една опашка ще тества само за промени в една посока, докато тест с две опашки ще тества за промени както в положителна, така и в отрицателна посока.
Продължава да се води спор кое е по-добро, но аз предпочитам тестове с една опашка за A / B тестове. Все пак препоръчвам да прочетете повече за всеки. Трябва да започнете с този блог, озаглавен, „Тестове с една опашка срещу двустранни (има ли значение?)“.
След като сме избрали нашия тип тест, вече можете да създавате нулевите и алтернативни хипотези.
Намирам пример, който работи най-добре тук, така че да предположим, че искате да тествате скоростта на отваряне между съществуваща тема на имейл и нова по-кратка версия, която вие и вашият екип сте написали. Вярваме, че по-краткият тематичен ред на имейла ще доведе до отваряне на повече имейли. Нашите нулеви и алтернативни хипотези са по-долу.
Нулева хипотеза (H0): Няма значителна разлика в процентите на отваряне на имейли между дългите и късите теми на имейла.
Алтернативна хипотеза: Краткият ред на тема на имейла имаше повече отворени имейли, отколкото по-дългият ред на тема на имейла.
Вече можете да консолидирате пробата си. Вземането на проби е друга тема, която на пръв поглед изглежда проста, но намирането на перфектния размер на извадката изисква разбиране на необходимото ниво на доверие, степента на грешка и размера на популацията. Колкото по-високо е нивото на доверие и по-нисък процент на грешка, толкова по-дълго ще отнеме тестът. Добре е да подходите към тези теми, като имате предвид бюджета и ограниченията във времето.
Qualtrics има невероятна статия и инструмент, който ви помага да определите размера на извадката, от който се нуждаете.
Сега можете да съберете перспективите, които ще съставят вашата извадка, с която планирате да проведете теста.
Нека вземем нашия пример от по-рано, че искате да тествате скоростта на отваряне между съществуваща тема на имейл и нова по-кратка версия, която вие и вашият екип сте написали.
Знаете, че искате ниво на доверие 95% (Z-резултат е 1.96) с 5% процент на грешка (Стойностите по подразбиране, които много статистици използват за този анализ). Що се отнася до числеността на населението, планирате да изпратите това на всички ръководители на C-Suite, които се занимават с продажби от бизнес на бизнес в САЩ в компании с 1,000 или повече служители.
Няма налично преброяване на броя на ръководителите на C-Suite в САЩ, но можем да изготвим добра оценка. Като цяло компаниите съдържат максимум двама ръководители на C-suite, които помагат при продажбите. Налични са статистически данни, които твърдят, че 23,533 съществуват компании в САЩ с 1,000 или повече служители. Можем да вземем това число и да го умножим по 2 за броя на ръководителите на C-suite. Това ни дава население от 47,066 XNUMX.
Qualtrics предлага безплатно идеален калкулатор за размер на пробата. Използването на това ни дава идеален размер на извадката от 382.
Стъпка 2: Тестване
Стъпката за тестване е тази, която намирам за най-вълнуваща. Тук ще можете да създадете и да започнете изцяло тестването си.
В зависимост от това, което тествате, ще искате да се уверите, че разполагате с необходимите инструменти за проследяване на резултатите. Това често включва такива функции като проследяване на ангажираност по имейл, Проследяване и запис на телефонни обаждания и софтуер за анализ или отчитане.
С необходимите инструменти в ръка, нека да се върнем към примера, който дадох по-рано. Размерът на извадката ни е 382 потенциални клиента и са създадени двата ни имейла.
Вече можете да изпратите един от имейлите до 191 контакта, а вторият имейл до други 191 контакта. След изпращане на имейлите не остава нищо друго, освен да изчакате. Препоръчвам предварително да изберете период от време, който ще даде на контактите достатъчно време да отворят имейла. За този пример, да кажем, че им даваме една седмица.
След изтичане на седмицата имаме своите резултати. Измислих резултатите за примера по-долу.
Дълъг темен ред (контролна променлива): 191 изпратени имейла
Имейли отворени: 92
Имейли неотворени: 99
Кратък предмет: 191 изпратени имейла
Имейли отворени: 121
Имейли неотворени: 70
С нашите резултати вече се вижда, че краткият тематичен ред доведе до отваряне на по-голям брой имейли. Все още препоръчвам да следвате третата стъпка - анализ.
Стъпка 3: Анализ
Анализът на A / B тест се определя по-скоро като тестване на новата промяна спрямо нулевата хипотеза или контролната променлива. Това, което търсите, е дали резултатите са статистически значими.
В пълния анализ участват много формули. Ако искате да направите всички изчисления на ръка, препоръчвам да прочетете статията „Тестове с едно опашка срещу двустранно тестване - всичко, което евентуално трябва да знаете Едностранно тестване срещу двустранно A / B тестване“. Сигурен съм, че има много статистици, които обработват изчисленията на ръка. В нашия случай има много безплатни и платени ресурси онлайн, които можем да използваме за изчисленията.
Препоръчвам A / B калкулатор за тестване на разположение на AB Testguide.
С помощта на този калкулатор можем да включим резултатите си и да установим, че резултатите са статистически значими. Сега можем да кажем, че сме 95% уверени, че по-краткият ред на тема на имейла е увеличил процента на отваряне на имейлите.
Следващи стъпки
Надявам се, че сега можете да започнете изцяло да формулирате свои A / B тестове, които могат да подобрят генерирането на потенциални клиенти, броя на разговорите и броя на сключените сделки.
A / B тестове могат да бъдат създадени за почти всички аспекти на вашия цикъл на продажби. Препоръчвам да започнете от малко, като например с вашия скрипт за продажби. Забавлявайте се с него!
