Quando si tratta di tecniche di ricerca, c'è un esempio che mi piace condividere. Il 23 aprile 1985, la Coca-Cola ha rilasciato una nuova versione della loro classica soda chiamata New Coke. Questa formula è stata testata accuratamente prima del rilascio. Fino a 200,000 persone hanno provato la nuova soda. La maggioranza ha convenuto che il gusto era migliore. Al momento del suo rilascio, ci fu indignazione globale. Come si è scoperto, la Coca-Cola non ha tenuto conto di altri motivi per cui i consumatori hanno acquistato la loro soda. Coca-Cola ha condiviso questa storia sul suo sito web. Consiglio vivamente di leggerlo.
Forse ti starai chiedendo perché ho condiviso questa storia e come si collega ai test A / B. Il punto principale è che quando conduci ricerche, non vuoi affrettare il processo. Prenditi il tempo prima di iniziare i test per trovare tutte le possibili variabili e come desideri testarle.
Allora, cos'è il test A / B?
Se non hai familiarità, il test A / B è un metodo di ricerca in cui vengono testate due versioni di un elemento per capire quale ottiene i migliori risultati. Temo che non sia così semplice come sembra la definizione. È necessario un processo di analisi statistica per aiutare a interpretare i risultati e garantire che le decisioni aziendali prese, anche di piccole dimensioni, avranno un impatto.
Inizia il tuo viaggio nell'esilarante mondo dell'analisi statistica con i concetti seguenti:
- Media, varianza e campionamento
- Significato statistico
- Valori di P.
- Potere statistico
- Intervalli di fiducia e margine di errore
- Regressione alla media
- segmentazione
- Variabili confondenti e fattori esterni
Questi argomenti e collegamenti provengono tutti da un articolo molto ben scritto intitolato "Statistiche sui test A / B: una guida di facile comprensione". Prometto che non sto cercando di assegnarti i compiti. Questi argomenti sono semplicemente la base per una corretta analisi statistica. Senza questi, potresti anche non eseguire affatto i test A / B.
Con queste basi in mente, ora voglio analizzare come ti avvicineresti al test A / B. Se sei stato o sei attualmente in una posizione di vendita, sono sicuro che hai sperimentato test A / B in piccoli modi. Il test viene condotto inviando la stessa e-mail con diversi oggetti dell'e-mail o modificando aspetti dello script di chiamata a freddo per vedere quale versione ha i migliori risultati. Il problema con questo approccio è che è impreciso. È possibile modificare più variabili, la dimensione del campione potrebbe essere troppo piccola o il titolo dell'azienda di coloro che ricevono la chiamata o l'e-mail potrebbe essere diverso.
Il problema più comune è generalmente il primo che ho menzionato. È comune modificare involontariamente più variabili. Con il test A / B, ti concentrerai solo su una sola variabile da testare, con tutto il resto costante. Se desideri modificare più variabili in un test, potresti utilizzare il processo statistico multivariato, ma questa è una conversazione che è meglio salvare per un giorno diverso. Consiglierei di leggere il blog di Analytics-Toolkit.com se siete interessati.
Mi piace suddividere il processo di test A / B in tre fasi: ricerca, test e analisi.
Passaggio 1: ricerca e definizione del test
La ricerca iniziale sui processi di vendita esistenti è una parte vitale del processo di test. In questo passaggio, vorrai testare tutte le variabili relative ai test A / B. Il test potrebbe includere l'attuale tasso di risposta dei modelli di e-mail esistenti, il tasso di chiusura per gli script delle telefonate e persino l'ora del giorno in cui il venditore si rivolge ai potenziali clienti.
Dopo il test iniziale, dovrai raccogliere tutte le informazioni rilevanti sui potenziali clienti che hai attualmente a disposizione. Questi dati includeranno spesso il loro settore, il loro ruolo attuale, l'ubicazione dei potenziali clienti e qualsiasi altra informazione che potresti voler testare.
Trascorrere ora il tempo per eseguire questa ricerca e raccogliere i risultati può far risparmiare molto tempo lungo la strada. Questa ricerca ti aiuterà anche a inquadrare correttamente i test A / B che prevedi di eseguire.
Da qui, vorrai scegliere se desideri creare un test a una coda oa due code. Un test a una coda verificherà solo i cambiamenti in una direzione, mentre un test a due code verificherà i cambiamenti in entrambe le direzioni positive e negative.
C'è stata una discussione in corso su quale sia il migliore, ma preferisco i test a una coda per i test A / B. Consiglio ancora di leggere di più su ciascuno. Dovresti iniziare con questo blog intitolato, "Test a una coda rispetto a quelli a due code (è importante?)".
Dopo aver scelto il nostro tipo di test, ora puoi creare le ipotesi nulle e alternative.
Trovo che un esempio funzioni meglio qui, quindi supponiamo che desideri testare il tasso di apertura tra una riga dell'oggetto di posta elettronica esistente e una nuova versione più breve che tu e il tuo team avete scritto. Riteniamo che la riga dell'oggetto più breve dell'email porterà all'apertura di più email. Le nostre ipotesi nulle e alternative sono di seguito.
Ipotesi nulla (H0): Non vi è alcuna differenza significativa nei tassi di apertura delle e-mail tra le righe dell'oggetto e-mail lunghe e brevi.
Ipotesi alternativa: La riga dell'oggetto dell'email corta aveva più email aperte rispetto alla riga dell'oggetto dell'email più lunga.
Ora puoi consolidare il tuo campione. Il campionamento è un altro argomento che in superficie sembra semplice, ma per trovare la dimensione perfetta del campione è necessario comprendere il livello di confidenza richiesto, il margine di errore e la dimensione della popolazione. Più alto è il livello di confidenza e più basso è il margine di errore, più lungo sarà il test. È bene affrontare questi argomenti tenendo a mente il budget e il limite di tempo.
Qualtrics ha un file articolo fantastico e lo strumento disponibile per determinare la dimensione del campione necessaria.
Ora puoi raccogliere i potenziali clienti che costituiranno il campione con cui intendi eseguire il test.
Prendiamo il nostro esempio di prima in cui desideri testare il tasso di apertura tra una riga dell'oggetto di posta elettronica esistente e una nuova versione più breve che tu e il tuo team avete scritto.
Sai che vuoi un livello di confidenza del 95% (il punteggio Z è 1.96) con un tasso di errore del 5% (i valori predefiniti usati da molti statistici per questa analisi). Per le dimensioni della popolazione, prevedi di inviarlo a tutti i dirigenti di C-Suite che gestiscono le vendite Business to Business negli Stati Uniti in aziende con 1,000 dipendenti o più.
Non è disponibile un censimento per il numero di dirigenti di C-Suite negli Stati Uniti, ma possiamo fornire una buona stima. In genere, le aziende contengono un massimo di due dirigenti C-suite che aiutano con le vendite. Ci sono statistiche disponibili che lo affermano 23,533 esistono società negli Stati Uniti con 1,000 o più dipendenti. Possiamo prendere quel numero e moltiplicarlo per 2 per il numero di dirigenti C-suite. Questo ci dà una dimensione della popolazione di 47,066.
Qualtrics offre un calcolatore della dimensione del campione ideale. L'utilizzo di questo ci dà una dimensione del campione ideale di 382.
Passo 2: test
La fase del test è quella che trovo più eccitante. Qui sarai in grado di creare e iniziare completamente i tuoi test.
A seconda di ciò che stai testando, assicurati di avere gli strumenti necessari per monitorare i risultati. Questo spesso includerà funzionalità come monitoraggio del coinvolgimento tramite posta elettronica, Monitoraggio e registrazione delle telefonate e software di analisi o reportistica.
Con gli strumenti necessari in mano, torniamo all'esempio che ho fornito in precedenza. Abbiamo il nostro campione di 382 potenziali clienti e le nostre due e-mail create.
È ora possibile inviare una delle e-mail a 191 contatti e la seconda e-mail ad altri 191 contatti. Dopo che le e-mail sono state inviate, non resta altro da fare che attendere. Consiglio di scegliere un periodo di tempo in anticipo che darà ai contatti abbastanza tempo per aprire l'email. Per questo esempio, diciamo di dare loro una settimana.
Alla fine della settimana, abbiamo i nostri risultati. Ho composto i risultati per l'esempio seguente.
Riga oggetto lunga (variabile di controllo): 191 messaggi di posta elettronica inviati
Email aperte: 92
Email non aperte: 99
Oggetto breve: 191 messaggi di posta elettronica inviati
Email aperte: 121
Email non aperte: 70
Con i nostri risultati, si può già vedere che la breve riga dell'oggetto ha portato all'apertura di un numero maggiore di e-mail. Consiglio comunque di completare il terzo passaggio, l'analisi.
Passaggio 3: analisi
L'analisi di un test A / B è più così definita come testare la nuova modifica contro l'ipotesi nulla o la variabile di controllo. Quello che stai cercando è se i risultati sono statisticamente significativi.
Ci sono molte formule coinvolte nell'analisi completa. Se desideri fare tutti i calcoli a mano, ti consiglio di leggere l'articolo "Test A / B a una coda rispetto a quelli a due code: tutto ciò che è necessario sapere Test A / B a una coda e a due code". Sono sicuro che ci sono molti statistici che gestiscono i calcoli a mano. Nel nostro caso, ci sono molte risorse online gratuite ea pagamento che possiamo utilizzare per i calcoli.
Raccomando il Calcolatrice per test A / B disponibile su AB Testguide.
Utilizzando questo calcolatore, possiamo collegare i nostri risultati e scoprire che i risultati sono statisticamente significativi. Ora possiamo affermare che siamo sicuri al 95% che la riga dell'oggetto più breve dell'email abbia aumentato il tasso di apertura dell'email.
Passi successivi
Spero che ora tu possa iniziare a formulare completamente i tuoi test A / B che possono migliorare la tua generazione di lead, il numero di conversazioni e il numero di affari chiusi.
È possibile creare test A / B per quasi tutti gli aspetti del ciclo di vendita. Consiglio di iniziare in piccolo, ad esempio con il tuo script di vendita. Divertiti con esso!
