關於研究技術，我想分享一個例子。 23年1985月200,000日，可口可樂公司發布了其經典蘇打水的新版本，稱為新可樂。 該配方在釋放前經過了徹底的測試。 多達XNUMX人嘗試了新的蘇打水。 多數人認為味道更好。 發布後，引起了全球的憤怒。 事實證明，可口可樂未能解釋消費者購買蘇打水的其他原因。 可口可樂分享了 這個故事 在其網站上。 我強烈建議您閱讀。
您可能想知道為什麼我分享了這個故事，以及它與A / B測試之間的關係。 主要的收穫是當您進行研究時，您不想著急進行該過程。 在開始測試之前花一些時間來查找所有可能的變量以及您希望如何測試每個變量。
那麼什麼是A / B測試？
如果您不熟悉，則A / B測試是一種研究方法，其中對一項的兩個版本進行測試以找出哪種方法可獲得最佳效果。 恐怕還不如定義聽起來那麼簡單。 需要一個統計分析過程來幫助您解釋結果並保證所做的業務決策（即使是很小的決策）也會產生影響。
通過以下概念開始您進入令人振奮的統計分析世界的旅程：
這些主題和鏈接均來自一篇寫得很好的文章，標題為“ A / B測試統計：易於理解的指南”。 我保證我不會試圖分配作業。 這些主題只是進行適當的統計分析的基礎。 沒有這些，您可能根本就不會執行A / B測試。
牢記這一基礎，我現在要分解一下如何進行A / B測試。 如果您曾經或目前在銷售職位，我相信您已經經歷了小規模的A / B測試。 通過發送具有不同電子郵件主題的同一封電子郵件或更改冷撥電話腳本的各個方面以查看哪個版本的效果最佳，可以進行測試。 這種方法的問題在於它是不精確的。 可以更改多個變量，樣本量可能太小，或者接收電話或電子郵件的公司的名稱可能會有所不同。
最常見的問題通常是我提到的第一個問題。 無意中修改多個變量是很常見的。 使用A / B測試，您將只關註一個要測試的變量，而其他所有條件都是不變的。 如果您想在一個測試中更改多個變量，則可以採用多元統計過程，但這是最好保存在另一天的對話。 我建議閱讀 Analytics-Toolkit.com撰寫的博客 如果你感興趣。
我喜歡將A / B測試過程分為三個步驟：研究，測試和分析。
步驟1：研究和定義測試
對您現有的銷售過程進行初步研究是測試過程的重要組成部分。 在此步驟中，您將要測試與A / B測試有關的所有變量。 測試可能包括現有電子郵件模板的當前響應率，電話呼叫腳本的關閉率，甚至是銷售人員與潛在客戶聯繫的時間。
進行初始測試後，您將需要收集當前可用的所有相關潛在客戶信息。 這些數據通常包括他們的行業，他們目前的角色，潛在客戶的位置以及您可能希望測試的任何其他信息。
現在花時間進行這項研究並收集結果可以節省大量的時間。 這項研究還將幫助您正確制定計劃執行的A / B測試。
在這裡，您將要選擇是創建一個單尾還是兩尾測試。 單尾測試只會測試一個方向的變化，而雙尾測試只會測試正方向和負方向的變化。
關於哪種更好的說法一直存在爭議，但我更喜歡A / B測試採用單尾測試。 我仍然建議閱讀更多內容。 您應該從標題為“ “單尾測試與兩尾測試（這很重要嗎？”）.
選擇測試類型後，您現在可以創建零假設和替代假設。
我發現一個示例在這裡效果最好，因此，假設您希望測試現有電子郵件主題行與您和您的團隊編寫的新的較短版本之間的打開率。 我們認為，較短的電子郵件主題行將導致打開更多電子郵件。 我們的零假設和替代假設如下。
零假設（H0）： 長郵件主題行和短郵件主題行之間的電子郵件打開率沒有顯著差異。
替代假設： 較短的電子郵件主題行比較長的電子郵件主題行打開了更多的電子郵件。
您現在可以合併您的樣本。 從表面上看，抽樣是另一個主題，但是要找到理想的樣本量，需要了解所需的置信度，誤差範圍和總體大小。 置信度越高，誤差範圍越小，測試將花費的時間越長。 考慮到您的預算和時間限制，最好處理這些主題。
Qualtrics有一個 很棒的文章 和可用來幫助確定所需樣本量的工具。
現在，您可以收集將構成您計劃用於運行測試的樣本的潛在客戶。
讓我們以較早的示例為例，您希望測試現有電子郵件主題行與您和您的團隊編寫的新的較短版本之間的打開率。
您知道您想要95％的置信度（Z分數為1.96）和5％的錯誤率（許多統計學家用於此分析的默認值）。 對於人口規模，您計劃將其發送給在美國擁有1,000名或更多員工的公司中處理企業對企業銷售的所有C-Suite高管。
美國尚無針對C-Suite高管人數的普查信息，但我們可以得出一個不錯的估計。 通常，公司最多包含兩名幫助銷售的高級管理人員。 有可用的統計數據表明 23,533 公司在美國擁有1,000名或更多員工。 我們可以將這個數字乘以2以得出高級主管的人數。 這使我們的人口總數為47,066。
Qualtrics提供免費 理想的樣本量計算器。 使用該樣本，我們的理想樣本大小為382。
步驟2：測試
測試步驟是我發現最令人興奮的步驟。 在這裡，您將能夠完全創建並開始測試。
根據要測試的內容，您將需要確保擁有必要的工具來跟踪結果。 這通常包括以下功能： 電子郵件參與跟踪，電話跟踪和記錄以及分析或報告軟件。
有了所需的工具，讓我們回顧一下我之前給出的示例。 我們的樣本規模為382位潛在客戶，並創建了兩封電子郵件。
現在，您可以將一封電子郵件發送給191個聯繫人，將第二封電子郵件發送給其他191個聯繫人。 發送電子郵件後，別無選擇，只能等待。 我建議事先選擇一個時間段，以便給聯繫人足夠的時間來打開電子郵件。 對於本示例，假設我們給他們一個星期。
一周結束後，我們得到了結果。 我為下面的示例製作了結果。
較長的主題行（控制變量）：已發送191封電子郵件
已打開電子郵件：92
未打開的電子郵件：99
簡短主題行：已發送191封電子郵件
已打開電子郵件：121
未打開的電子郵件：70
根據我們的結果，已經可以看到，主題行短導致打開了大量電子郵件。 我仍然建議繼續進行第三步分析。
步驟3：分析
A / B檢驗的分析更定義為針對原假設或控制變量檢驗新變化。 您要尋找的是結果是否具有統計意義。
全面分析中涉及很多公式。 如果您希望手動進行所有計算，建議閱讀這篇文章。 “單尾測試與兩尾測試–您可能需要了解單尾與兩尾A / B測試的所有內容”。 我很肯定有很多統計學家會手工處理計算。 在我們的案例中，我們可以使用許多在線免費資源和付費資源進行計算。
我推薦 A / B測試計算器 可在AB Testguide上獲得。
使用此計算器，我們可以插入結果，並發現結果具有統計意義。 現在我們可以說，我們有95％的信心，較短的電子郵件主題行會提高電子郵件的打開率。
下一步
我希望現在您可以開始全面製定自己的A / B測試，以改善潛在客戶的產生，對話次數和完成的交易數量。
可以為銷售週期的幾乎所有方面創建A / B測試。 我建議從小處開始，例如從您的銷售腳本開始。 玩得開心！
