Dalam hal teknik penelitian, ada contoh yang ingin saya bagikan. Pada tanggal 23 April 1985, Coca-Cola merilis versi baru dari soda klasik mereka yang disebut New Coke. Formula ini diuji secara menyeluruh sebelum dirilis. Hingga 200,000 orang mencoba soda baru. Mayoritas setuju bahwa rasanya lebih enak. Setelah dirilis, ada kemarahan global. Ternyata, Coca-Cola gagal memperhitungkan alasan lain konsumen membeli soda mereka. Coca-Cola telah berbagi cerita ini di situsnya. Saya sangat merekomendasikan membacanya.
Anda mungkin bertanya-tanya mengapa saya membagikan cerita ini dan bagaimana kaitannya dengan pengujian A / B. Pengambilan utama adalah ketika Anda melakukan penelitian, Anda tidak ingin terburu-buru dalam prosesnya. Luangkan waktu sebelum memulai pengujian untuk menemukan semua kemungkinan variabel dan cara Anda ingin menguji masing-masing variabel.
Jadi, apa itu pengujian A / B?
Jika Anda tidak terbiasa, pengujian A / B adalah metode penelitian di mana dua versi dari satu item diuji untuk mencari tahu mana yang mencapai hasil terbaik. Saya khawatir ini tidak sesederhana definisi yang terdengar. Ada proses analisis statistik yang diperlukan untuk membantu menafsirkan hasil Anda dan menjamin bahwa keputusan bisnis yang dibuat, bahkan yang kecil, akan berdampak.
Mulailah perjalanan Anda ke dunia analisis statistik yang menggembirakan dengan konsep di bawah ini:
- Mean, varians, dan sampling
- Signifikansi statistik
- Nilai-P
- Kekuatan statistik
- Interval keyakinan dan margin kesalahan
- Regresi terhadap mean
- Segmenting
- Variabel perancu dan faktor eksternal
Semua topik dan tautan ini berasal dari artikel yang ditulis dengan sangat baik berjudul "Statistik Pengujian A / B: Panduan yang Mudah Dipahami". Saya berjanji saya tidak mencoba memberi Anda pekerjaan rumah. Topik-topik ini hanyalah dasar untuk analisis statistik yang tepat. Tanpa ini, Anda mungkin juga tidak melakukan pengujian A / B sama sekali.
Dengan dasar pemikiran tersebut, sekarang saya ingin menjelaskan bagaimana pendekatan Anda terhadap pengujian A / B. Jika Anda pernah atau sedang dalam posisi penjualan, saya yakin Anda pernah mengalami pengujian A / B dengan cara-cara kecil. Pengujian dilakukan dengan mengirimkan email yang sama dengan subjek email yang berbeda atau mengubah aspek skrip panggilan dingin Anda untuk melihat versi mana yang memiliki hasil terbaik. Masalah dengan pendekatan ini adalah bahwa pendekatan ini tidak tepat. Beberapa variabel dapat diubah, ukuran sampel mungkin terlalu kecil, atau nama perusahaan penerima panggilan atau email mungkin berbeda.
Masalah paling umum biasanya adalah yang pertama saya sebutkan. Sangat umum untuk secara tidak sengaja memodifikasi beberapa variabel. Dengan pengujian A / B, Anda hanya akan fokus pada satu variabel untuk diuji, dengan yang lainnya konstan. Jika Anda ingin mengubah beberapa variabel dalam satu pengujian, Anda dapat menggunakan proses statistik multivariasi, tetapi percakapan tersebut sebaiknya disimpan untuk hari yang berbeda. Saya akan merekomendasikan membaca blog oleh Analytics-Toolkit.com jika Anda tertarik.
Saya suka memecah proses pengujian A / B menjadi tiga langkah: Riset, Pengujian, dan Analisis.
Langkah 1: Meneliti dan Menentukan Tes
Riset awal ke dalam proses penjualan Anda yang ada adalah bagian penting dari proses pengujian. Pada langkah ini, Anda ingin menguji semua variabel yang terkait dengan pengujian A / B. Pengujian dapat mencakup tingkat respons saat ini dari template email yang ada, tingkat penutupan untuk skrip panggilan telepon, dan bahkan waktu penjual menjangkau prospek.
Setelah pengujian awal, Anda perlu mengumpulkan semua informasi prospek relevan yang Anda miliki saat ini. Data ini sering kali mencakup industri mereka, peran mereka saat ini, lokasi prospek, dan informasi lain yang mungkin ingin Anda uji.
Menghabiskan waktu sekarang untuk melakukan penelitian ini dan mengumpulkan hasilnya dapat menghemat banyak waktu di masa mendatang. Riset ini juga akan membantu Anda membingkai pengujian A / B dengan tepat yang akan Anda lakukan.
Dari sini, Anda dapat memilih apakah Anda ingin membuat pengujian satu sisi atau dua sisi. Tes satu sisi hanya akan menguji perubahan dalam satu arah sementara tes dua sisi akan menguji perubahan arah positif dan negatif.
Ada perdebatan berkelanjutan tentang mana yang lebih baik, tetapi saya lebih suka pengujian satu sisi untuk pengujian A / B. Saya tetap merekomendasikan membaca lebih lanjut tentang masing-masing. Anda harus mulai dengan blog ini berjudul, “Tes Satu-Ekor vs. Dua-Ekor (Apakah Penting?)”.
Setelah kami memilih jenis pengujian, Anda sekarang dapat membuat hipotesis nol dan alternatif.
Saya menemukan contoh bekerja paling baik di sini, jadi katakanlah Anda ingin menguji tingkat terbuka antara baris subjek email yang ada dan versi baru yang lebih pendek yang telah Anda dan tim Anda tulis. Kami percaya bahwa baris subjek email yang lebih pendek akan menyebabkan lebih banyak email dibuka. Hipotesis nol dan alternatif kami ada di bawah.
Hipotesis nol (H0): Tidak ada perbedaan yang signifikan dalam tingkat buka email antara baris subjek email yang panjang dan pendek.
Hipotesis Alternatif: Baris subjek email pendek memiliki lebih banyak email yang dibuka daripada baris subjek email yang lebih panjang.
Sekarang Anda dapat menggabungkan sampel Anda. Pengambilan sampel adalah topik lain yang pada awalnya tampak sederhana, tetapi menemukan ukuran sampel yang sempurna memerlukan pemahaman tentang tingkat kepercayaan yang Anda butuhkan, margin kesalahan, dan ukuran populasi. Semakin tinggi tingkat kepercayaan dan semakin rendah margin of error, semakin lama waktu yang dibutuhkan untuk pengujian. Pendekatan topik ini sebaiknya dilakukan dengan mempertimbangkan anggaran dan batas waktu Anda.
Qualtrics memiliki ekstensi artikel yang luar biasa dan alat yang tersedia untuk membantu menentukan ukuran sampel yang Anda butuhkan.
Sekarang, Anda dapat mengumpulkan prospek yang akan membentuk sampel yang Anda rencanakan untuk menjalankan pengujian.
Mari kita ambil contoh sebelumnya bahwa Anda ingin menguji tingkat terbuka antara baris subjek email yang ada dan versi baru yang lebih pendek yang Anda dan tim Anda tulis.
Anda tahu bahwa Anda menginginkan tingkat kepercayaan 95% (Z-score adalah 1.96) dengan tingkat kesalahan 5% (Nilai default yang digunakan banyak ahli statistik untuk analisis ini). Untuk ukuran populasi, Anda berencana mengirimkan ini ke semua eksekutif C-Suite yang menangani Penjualan Bisnis ke Bisnis di Amerika Serikat di perusahaan dengan 1,000 karyawan atau lebih.
Tidak ada sensus yang tersedia untuk jumlah eksekutif C-Suite di Amerika Serikat, tetapi kami dapat memberikan perkiraan yang baik. Umumnya, perusahaan berisi maksimal dua eksekutif C-suite yang membantu penjualan. Ada statistik yang tersedia yang menyatakan itu 23,533 perusahaan ada di Amerika Serikat dengan 1,000 karyawan atau lebih. Kita dapat mengambil angka itu dan mengalikannya dengan 2 untuk jumlah eksekutif C-suite. Ini memberi kita ukuran populasi 47,066.
Qualtrics menawarkan gratis kalkulator ukuran sampel yang ideal. Menggunakannya memberi kita ukuran sampel ideal 382.
Langkah 2: Menguji
Langkah pengujian adalah yang menurut saya paling menarik. Di sini Anda akan dapat membuat dan memulai pengujian Anda sepenuhnya.
Bergantung pada apa yang Anda uji, Anda pasti ingin memastikan bahwa Anda memiliki alat yang diperlukan untuk melacak hasil. Ini sering kali mencakup fitur-fitur seperti pelacakan keterlibatan email, Pelacakan dan perekaman Panggilan Telepon, dan perangkat lunak analisis atau pelaporan.
Dengan alat yang dibutuhkan di tangan, mari kita lihat kembali contoh yang saya berikan sebelumnya. Kami memiliki ukuran sampel 382 prospek dan dua email kami dibuat.
Anda sekarang dapat mengirim salah satu email ke 191 kontak dan email kedua ke 191 kontak lainnya. Setelah email terkirim, tidak ada lagi yang bisa dilakukan selain menunggu. Saya merekomendasikan memilih jangka waktu sebelumnya yang akan memberi kontak cukup waktu untuk membuka email. Untuk contoh ini, katakanlah kita memberi mereka waktu satu minggu.
Setelah seminggu habis, kami mendapatkan hasil kami. Saya telah membuat hasil untuk contoh di bawah ini.
Baris Subjek Panjang (Variabel Kontrol): 191 Email Terkirim
Email dibuka: 92
Email belum dibuka: 99
Baris Subjek Singkat: 191 Email Terkirim
Email dibuka: 121
Email belum dibuka: 70
Dengan hasil kami, sudah dapat dilihat bahwa baris subjek yang pendek menghasilkan lebih banyak email yang dibuka. Saya tetap merekomendasikan untuk menindaklanjuti langkah ketiga, analisis.
Langkah 3: Analisis
Analisis pengujian A / B lebih didefinisikan sebagai pengujian perubahan baru terhadap hipotesis nol atau variabel kontrol. Apa yang Anda cari adalah apakah hasilnya signifikan secara statistik.
Ada banyak rumus yang terlibat dalam analisis lengkap. Jika Anda ingin melakukan semua perhitungan dengan tangan, saya sarankan membaca artikel “Pengujian Satu Sisi vs. Pengujian Dua Sisi - Segala Sesuatu yang Mungkin Perlu Anda Ketahui Pengujian A / B Satu Sisi vs. Dua Sisi”. Saya yakin ada banyak ahli statistik yang menangani kalkulasi dengan tangan. Dalam kasus kami, ada banyak sumber daya gratis dan berbayar online yang dapat kami gunakan untuk penghitungan.
Saya merekomendasikan Kalkulator pengujian A / B tersedia di AB Testguide.
Dengan menggunakan kalkulator ini, kami dapat memasukkan hasil kami dan menemukan bahwa hasilnya signifikan secara statistik. Sekarang kami dapat mengatakan bahwa kami 95% yakin bahwa baris subjek email yang lebih pendek meningkatkan tingkat pembukaan email.
Langkah Selanjutnya
Saya harap sekarang Anda dapat mulai merumuskan pengujian A / B Anda sendiri yang dapat meningkatkan perolehan prospek, jumlah percakapan, dan jumlah kesepakatan yang ditutup.
Pengujian A / B dapat dibuat untuk hampir semua aspek siklus penjualan Anda. Saya sarankan memulai dari yang kecil, seperti dengan skrip penjualan Anda. Bersenang-senanglah dengan itu!
