研究手法に関しては、私が共有したい例があります。 23年1985月200,000日、コカ・コーラはクラシックソーダの新しいバージョンであるニューコークをリリースしました。 このフォーミュラは、リリース前に徹底的にテストされました。 最大XNUMX万人が新しいソーダを試しました。 大多数は味がより良いことに同意しました。 そのリリース時に、世界的な怒りがありました。 結局のところ、コカ・コーラは、消費者がソーダを購入した他の理由を説明できませんでした。 コカ・コーラが共有しました この物語 そのウェブサイトで。 私はそれを読むことを強くお勧めします。
なぜ私がこの話を共有したのか、そしてそれがA / Bテストとどのように関連しているか疑問に思われるかもしれません。 主なポイントは、研究を行っているときに、プロセスを急がせたくないということです。 テストを開始する前に時間をかけて、考えられるすべての変数と、それぞれをどのようにテストするかを見つけてください。
では、A / Bテストとは何ですか？
慣れていない場合、A / Bテストは、XNUMXつのアイテムのXNUMXつのバージョンをテストして、どちらが最良の結果を達成するかを判断する調査方法です。 定義が聞こえるほど単純ではないのではないかと思います。 結果を解釈し、ビジネス上の意思決定が小さなものであっても影響を与えることを保証するために必要な統計分析のプロセスがあります。
以下の概念から、統計分析の爽快な世界への旅を始めましょう。
これらのトピックとリンクはすべて、「A / Bテスト統計：わかりやすいガイド」というタイトルの非常によく書かれた記事からのものです。 私はあなたに宿題を割り当てようとはしていないと約束します。 これらのトピックは、適切な統計分析の基礎にすぎません。 これらがないと、A / Bテストをまったく実行しない可能性があります。
その基盤を念頭に置いて、A / Bテストへのアプローチ方法を分析したいと思います。 営業職に就いていた、または現在在籍している場合は、A / Bテストを少し経験したことがあると思います。 テストは、異なる電子メールの件名で同じ電子メールを送信するか、コールドコールスクリプトの側面を変更して、どのバージョンが最良の結果をもたらすかを確認することによって実行されます。 このアプローチの問題は、それが不正確であるということです。 複数の変数を変更したり、サンプルサイズが小さすぎたり、電話やメールを受信した人の会社名が異なったりする可能性があります。
最も一般的な問題は、一般的に私が最初に言及した問題です。 意図せずに複数の変数を変更することはよくあることです。 A / Bテストでは、テストする変数をXNUMXつだけに集中し、他のすべては一定です。 XNUMXつのテストで複数の変数を変更したい場合は、多変量統計プロセスを使用できますが、それは別の日に保存するのが最適な会話です。 私は読むことをお勧めします Analyticsによるブログ-Toolkit.com もし興味があれば。
A / Bテストのプロセスを、調査、テスト、分析のXNUMXつのステップに分けるのが好きです。
ステップ1：テストの調査と定義
既存の販売プロセスの初期調査は、テストプロセスの重要な部分です。 このステップでは、A / Bテストに関連するすべての変数をテストする必要があります。 テストには、既存の電子メールテンプレートの現在の応答率、電話スクリプトの終了率、さらには営業担当者が見込み客に連絡する時刻も含まれる可能性があります。
最初のテストの後、現在利用可能な関連する見込み客情報をすべて収集する必要があります。 このデータには、多くの場合、業界、現在の役割、見込み客の場所、およびテストしたいその他の情報が含まれます。
この調査を実行して結果を収集するために今時間を費やすと、将来的に多くの時間を節約できます。 この調査は、実行する予定のA / Bテストを適切に組み立てるのにも役立ちます。
ここから、片側テストと両側テストのどちらを作成するかを選択できます。 片側検定は一方向の変化のみを検定し、両側検定は正と負の両方向の変化を検定します。
どちらが優れているかについては議論が続いていますが、A / Bテストには片側テストを好みます。 私はまだそれぞれについてもっと読むことをお勧めします。 あなたはタイトルのこのブログから始めるべきです、 「片側検定と両側検定（重要ですか？）」.
テストのタイプを選択したら、ヌル仮説と対立仮説を作成できます。
ここで例が最も効果的であることがわかったので、既存の電子メールの件名と、あなたとあなたのチームが作成した新しい短いバージョンとの間のオープンレートをテストしたいとします。 メールの件名を短くすると、より多くのメールが開かれるようになると考えています。 帰無仮説と対立仮説は以下のとおりです。
帰無仮説（H0）： 長いメールの件名と短いメールの件名の間で、メールの開封率に大きな違いはありません。
対立仮説： 短い電子メールの件名には、長い電子メールの件名よりも多くの電子メールが開かれていました。
これで、サンプルを統合できます。 サンプリングは、表面上は単純に見えるもうXNUMXつのトピックですが、完全なサンプルサイズを見つけるには、必要な信頼水準、許容誤差、および母集団のサイズを理解する必要があります。 信頼水準が高く、許容誤差が小さいほど、テストにかかる時間が長くなります。 予算と時間制限を念頭に置いて、これらのトピックに取り組むことをお勧めします。
Qualtricsには 驚くべき記事 必要なサンプルサイズを決定するのに役立つツールが利用可能です。
これで、テストの実行を計画しているサンプルを構成する見込み客を収集できます。
以前の例を見てみましょう。既存の電子メールの件名と、あなたとあなたのチームが作成した新しい短いバージョンとの間のオープンレートをテストしたいとします。
95％のエラー率（多くの統計学者がこの分析に使用するデフォルト値）で1.96％の信頼水準（Zスコアは5）が必要であることを知っています。 人口規模については、1,000人以上の従業員を抱える企業で米国の企業間取引を担当するすべての経営幹部にこれを送信することを計画しています。
米国の経営幹部の数について利用できる国勢調査はありませんが、適切な見積もりを出すことができます。 通常、企業には、営業を支援する最高XNUMX人の経営幹部が含まれます。 それを示す利用可能な統計があります 23,533 米国には1,000人以上の従業員を抱える企業が存在します。 その数を取得し、経営幹部の数として2を掛けることができます。 これにより、人口サイズは47,066になります。
Qualtricsは無料で提供しています 理想的なサンプルサイズ計算機。 これを使用すると、理想的なサンプルサイズは382になります。
ステップ2：テスト
テストステップは、私が最もエキサイティングだと思うステップです。 ここで、テストを完全に作成して開始できます。
テストする内容に応じて、結果を追跡するために必要なツールがあることを確認する必要があります。 これには、多くの場合、次のような機能が含まれます。 メールエンゲージメントトラッキング、電話の追跡と記録、および分析またはレポート作成ソフトウェア。
必要なツールが手元にあるので、前に示した例を振り返ってみましょう。 サンプルサイズは382の見込み客で、XNUMXつのメールが作成されています。
これで、191つの電子メールを191の連絡先に送信し、XNUMX番目の電子メールを別のXNUMXの連絡先に送信できます。 メールが送信された後は、待つしかありません。 連絡先にメールを開くのに十分な時間を与える期間を事前に選択することをお勧めします。 この例では、XNUMX週間与えたとしましょう。
週が終わった後、私たちは私たちの結果を持っています。 以下の例の結果を作成しました。
長い件名（制御変数）：191通の電子メールが送信されました
開封されたメール：92
未開封のメール：99
短い件名：191通のメールが送信されました
開封されたメール：121
未開封のメール：70
私たちの結果では、件名が短いために多くの電子メールが開かれていることがすでにわかります。 それでも、XNUMX番目のステップである分析を実行することをお勧めします。
ステップ3：分析
A / Bテストの分析は、帰無仮説または制御変数に対して新しい変更をテストすることとしてより明確に定義されます。 あなたが探しているのは、結果が統計的に有意であるかどうかです。
完全な分析には多くの公式が関係しています。 すべての計算を手作業で行いたい場合は、記事を読むことをお勧めします 「片側テストと両側テスト–片側テストと両側A / Bテストについて知っておく必要があるすべてのこと」。 手作業で計算を行う統計学者がたくさんいると思います。 私たちの場合、計算に使用できるオンラインの無料および有料のリソースがたくさんあります。
私はお勧めします A / Bテスト計算機 ABテストガイドで入手できます。
この計算機を使用して、結果をプラグインし、結果が統計的に有意であることがわかります。 これで、メールの件名が短くなるとメールの開封率が上がると95％確信していると言えます。
次のステップ
これで、リードの生成、会話の数、成約した取引の数を改善できる独自のA / Bテストを完全に策定できるようになることを願っています。
A / Bテストは、販売サイクルのほぼすべての側面に対して作成できます。 セールススクリプトなど、小さなものから始めることをお勧めします。 それを楽しんでください！
