Als het om onderzoekstechnieken gaat, is er een voorbeeld dat ik graag deel. Op 23 april 1985 bracht Coca-Cola een nieuwe versie van hun klassieke frisdrank uit, genaamd New Coke. Deze formule is grondig getest voordat deze werd uitgebracht. Tot 200,000 mensen probeerden de nieuwe frisdrank. Een meerderheid was het erover eens dat de smaak beter was. Bij de vrijlating was er wereldwijde verontwaardiging. Het bleek dat Coca-Cola geen rekening hield met andere redenen waarom consumenten hun frisdrank kochten. Coca-Cola heeft gedeeld dit verhaal op haar website. Ik raad het ten zeerste aan om het te lezen.
U vraagt zich misschien af waarom ik dit verhaal heb gedeeld en hoe het zich verhoudt tot A / B-testen. De belangrijkste afhaalmaaltijd is dat wanneer u onderzoek doet, u het proces niet wilt overhaasten. Neem de tijd voordat u met de tests begint om alle mogelijke variabelen te vinden en hoe u ze allemaal wilt testen.
Dus wat is A / B-testen?
Als u niet bekend bent, is A / B-testen een onderzoeksmethode waarbij twee versies van één item worden getest om erachter te komen welke de beste resultaten opleveren. Ik ben bang dat het niet zo eenvoudig is als de definitie klinkt. Er is een proces van statistische analyse nodig om uw resultaten te helpen interpreteren en te garanderen dat genomen zakelijke beslissingen, zelfs kleine, impact zullen hebben.
Begin uw reis naar de opwindende wereld van statistische analyse met de onderstaande concepten:
- Gemiddelde, variantie en steekproeven
- Statistische significantie
- P-waarden
- Statistische kracht
- Betrouwbaarheidsintervallen en foutenmarge
- Regressie naar het gemiddelde
- segmenteren
- Verwarrende variabelen en externe factoren
Deze onderwerpen en links zijn allemaal afkomstig uit een zeer goed geschreven artikel met de titel "A / B-teststatistieken: een gemakkelijk te begrijpen gids". Ik beloof je dat ik je geen huiswerk probeer toe te wijzen. Deze onderwerpen zijn gewoon de basis voor een goede statistische analyse. Zonder deze kunt u net zo goed de A / B-tests helemaal niet uitvoeren.
Met dat fundament in gedachten, wil ik nu uitsplitsen hoe u A / B-testen zou benaderen. Als je een verkoopfunctie hebt gehad of momenteel hebt, ben ik er zeker van dat je op kleine manieren A / B-testen hebt ervaren. Het testen wordt uitgevoerd door dezelfde e-mail te verzenden met verschillende e-mailonderwerpen of door aspecten van uw cold call-script te wijzigen om te zien welke versie de beste resultaten heeft. Het probleem met deze benadering is dat deze onnauwkeurig is. Er kunnen meerdere variabelen worden gewijzigd, de steekproefomvang kan te klein zijn of de titel van het bedrijf van degenen die de oproep of e-mail ontvangen, kan verschillen.
Het meest voorkomende probleem is over het algemeen het eerste dat ik noemde. Het is gebruikelijk om onbedoeld meerdere variabelen te wijzigen. Met A / B-testen concentreert u zich alleen op slechts één te testen variabele, terwijl al het andere constant is. Als u meerdere variabelen in één test wilt wijzigen, kunt u kiezen voor het multivariate statistische proces, maar dat is een gesprek dat u het beste kunt bewaren voor een andere dag. Ik zou aanraden om het blog door Analytics-Toolkit.com als je geïnteresseerd bent.
Ik vind het leuk om het A / B-testproces op te splitsen in drie stappen: onderzoek, testen en analyse.
Stap 1: Onderzoek en definieer de test
Een eerste onderzoek naar uw bestaande verkoopprocessen is een essentieel onderdeel van het testproces. In deze stap wilt u alle variabelen testen die verband houden met de A / B-tests. Het testen kan het huidige responspercentage van bestaande e-mailsjablonen omvatten, het sluitingspercentage voor telefoongesprekkenscripts en zelfs het tijdstip waarop de verkoper contact zoekt met de potentiële klanten.
Na de eerste test moet u alle relevante prospectinformatie verzamelen waarover u momenteel beschikt. Deze gegevens bevatten vaak hun branche, hun huidige functie, de locatie van de potentiële klanten en alle andere informatie die u wilt testen.
Nu de tijd besteden aan het uitvoeren van dit onderzoek en het verzamelen van de resultaten kan veel tijd besparen. Dit onderzoek helpt u ook om de A / B-tests die u wilt gaan uitvoeren, goed in te kaderen.
Vanaf hier wilt u kiezen of u een eenzijdige of tweezijdige toets wilt maken. Een eenzijdige test zal alleen testen op veranderingen in één richting, terwijl een tweezijdige test zal testen op veranderingen in zowel positieve als negatieve richtingen.
Er is een voortdurende discussie geweest over wat beter is, maar ik geef de voorkeur aan eenzijdige tests voor A / B-tests. Ik raad nog steeds aan om er meer over te lezen. Je zou moeten beginnen met deze blog met de titel, "Eenzijdige versus tweezijdige tests (maakt het uit?)".
Nadat we ons type test hebben gekozen, kunt u nu de nulhypothese en alternatieve hypothesen maken.
Ik vind dat een voorbeeld hier het beste werkt, dus stel dat u de open rate wilt testen tussen een bestaande onderwerpregel van een e-mail en een nieuwe, kortere versie die u en uw team hebben geschreven. Wij zijn van mening dat de kortere onderwerpregel van de e-mail ertoe zal leiden dat er meer e-mails worden geopend. Onze nulhypothesen en alternatieve hypothesen staan hieronder.
Null-hypothese (H0): Er is geen significant verschil in e-mailopeningspercentages tussen de lange en korte onderwerpregels voor e-mail.
Alternatieve hypothese: De korte onderwerpregel van de e-mail had meer e-mails geopend dan de langere onderwerpregel van de e-mail.
U kunt nu uw steekproef consolideren. Steekproeven zijn een ander onderwerp dat aan de oppervlakte eenvoudig lijkt, maar het vinden van de perfecte steekproefomvang vereist inzicht in uw vereiste betrouwbaarheidsniveau, de foutmarge en de populatiegrootte. Hoe hoger het betrouwbaarheidsniveau en hoe lager de foutmarge, hoe langer de test zal duren. Het is goed om deze onderwerpen te benaderen met het oog op uw budget en tijdslimiet.
Qualtrics heeft een geweldig artikel en tool beschikbaar om te helpen bepalen welke steekproefomvang u nodig heeft.
Nu kunt u de potentiële klanten verzamelen die uw steekproef zullen vormen waarmee u de test wilt uitvoeren.
Laten we ons voorbeeld van eerder nemen dat u de open rate wilt testen tussen een bestaande onderwerpregel van een e-mail en een nieuwe, kortere versie die u en uw team hebben geschreven.
U weet dat u een betrouwbaarheidsniveau van 95% wilt (Z-score is 1.96) met een foutenpercentage van 5% (de standaardwaarden die veel statistici voor deze analyse gebruiken). Wat de omvang van de populatie betreft, bent u van plan dit naar alle leidinggevenden van C-Suite te sturen die Business to Business Sales afhandelen in de Verenigde Staten in bedrijven met 1,000 werknemers of meer.
Er is geen volkstelling beschikbaar voor het aantal C-Suite executives in de Verenigde Staten, maar we kunnen wel een goede schatting maken. Over het algemeen hebben bedrijven maximaal twee leidinggevenden uit de C-suite die helpen bij de verkoop. Er zijn statistieken beschikbaar die dat aangeven 23,533 er bestaan bedrijven in de Verenigde Staten met 1,000 werknemers of meer. We kunnen dat aantal nemen en het vermenigvuldigen met 2 voor het aantal C-suite executives. Dit geeft ons een populatiegrootte van 47,066.
Qualtrics biedt een gratis ideale rekenmachine voor steekproefomvang. Als we dat gebruiken, krijgen we een ideale steekproefomvang van 382.
Stap 2: Testen
De teststap vind ik de meest opwindende. Hier kunt u uw testen maken en volledig beginnen.
Afhankelijk van wat u test, wilt u ervoor zorgen dat u over de nodige tools beschikt om de resultaten bij te houden. Dit omvat vaak functies zoals bijhouden van e-mailbetrokkenheid, Volgen en opnemen van telefoongesprekken en software voor analyse of rapportage.
Laten we, met het benodigde gereedschap in de hand, terugkijken naar het voorbeeld dat ik eerder heb gegeven. We hebben onze steekproefomvang van 382 potentiële klanten en onze twee e-mails gemaakt.
U kunt nu een van de e-mails naar 191 contacten sturen en de tweede e-mail naar nog eens 191 contacten. Nadat de e-mails zijn verzonden, hoeft u alleen maar te wachten. Ik raad aan om van tevoren een tijdsperiode te kiezen die de contacten voldoende tijd geeft om de e-mail te openen. Laten we voor dit voorbeeld zeggen dat we ze een week geven.
Als de week voorbij is, hebben we onze resultaten. Ik heb de resultaten voor het onderstaande voorbeeld verzonnen.
Lange onderwerpregel (besturingsvariabele): 191 verzonden e-mails
E-mails geopend: 92
E-mails ongeopend: 99
Korte onderwerpregel: 191 verzonden e-mails
E-mails geopend: 121
E-mails ongeopend: 70
Met onze resultaten is al te zien dat de korte onderwerpregel resulteerde in een groter aantal e-mails dat werd geopend. Ik raad nog steeds aan om door te gaan met de derde stap, analyse.
Stap 3: Analyse
De analyse van een A / B-test wordt meer gedefinieerd als het toetsen van de nieuwe verandering aan de nulhypothese of de controlevariabele. Wat u zoekt, is of de resultaten statistisch significant zijn.
Er zijn veel formules betrokken bij de volledige analyse. Als je alle berekeningen met de hand wilt doen, raad ik je aan het artikel te lezen "Eenzijdige vs. tweezijdige tests - alles wat u mogelijk moet weten Eenzijdige vs. tweezijdige A / B-tests". Ik ben er zeker van dat er veel statistici zijn die de berekeningen met de hand afhandelen. In ons geval zijn er veel gratis en betaalde bronnen online die we kunnen gebruiken voor de berekeningen.
Ik beveel het aan Rekenmachine voor A / B-testen beschikbaar op AB Testguide.
Met behulp van deze calculator kunnen we onze resultaten inpluggen en vaststellen dat de resultaten statistisch significant zijn. We kunnen nu zeggen dat we er 95% zeker van zijn dat de kortere onderwerpregel van de e-mail de open rate van de e-mail heeft verhoogd.
Volgende stappen
Ik hoop dat u nu kunt beginnen met het volledig formuleren van uw eigen A / B-tests die uw leadgeneratie, het aantal gesprekken en het aantal gesloten deals kunnen verbeteren.
A / B-tests kunnen worden gemaakt voor bijna alle aspecten van uw verkoopcyclus. Ik raad aan om klein te beginnen, zoals met je verkoopscript. Veel plezier ermee!
