Cuando se trata de técnicas de investigación, hay un ejemplo que me gusta compartir. El 23 de abril de 1985, Coca-Cola lanzó una nueva versión de su refresco clásico llamado New Coke. Esta fórmula fue probada a fondo antes de su lanzamiento. Hasta 200,000 personas probaron el nuevo refresco. La mayoría estuvo de acuerdo en que el sabor era mejor. Tras su lanzamiento, hubo indignación mundial. Al final resultó que, Coca-Cola no tuvo en cuenta otras razones por las que los consumidores compraron su refresco. Coca-Cola ha compartido esta historia en su sitio web. Recomiendo fuertemente leer esto.
Quizás se pregunte por qué he compartido esta historia y cómo se relaciona con las pruebas A / B. La conclusión principal es que cuando realiza una investigación, no desea apresurar el proceso. Tómese el tiempo antes de comenzar las pruebas para encontrar todas las variables posibles y cómo desea probar cada una.
Entonces, ¿qué son las pruebas A / B?
Si no está familiarizado, las pruebas A / B son un método de investigación en el que se prueban dos versiones de un elemento para determinar cuál logra los mejores resultados. Me temo que no es tan simple como suena la definición. Se requiere un proceso de análisis estadístico para ayudar a interpretar sus resultados y garantizar que las decisiones comerciales que se tomen, incluso las pequeñas, tendrán un impacto.
Comience su viaje hacia el apasionante mundo del análisis estadístico con los siguientes conceptos:
- Media, varianza y muestreo
- Significancia estadística
- Valores p
- Poder estatico
- Intervalos de confianza y margen de error
- Regresión a la media.
- Segmentando
- Variables de confusión y factores externos
Estos temas y enlaces son todos de un artículo muy bien escrito titulado "Estadísticas de pruebas A / B: una guía fácil de entender". Te prometo que no estoy tratando de asignarte tarea. Estos temas son simplemente la base para un análisis estadístico adecuado. Sin estos, es posible que no realice las pruebas A / B en absoluto.
Con esa base en mente, ahora quiero desglosar cómo abordaría las pruebas A / B. Si ha estado o se encuentra actualmente en un puesto de ventas, estoy seguro de que ha experimentado las pruebas A / B en pequeñas formas. La prueba se realiza enviando el mismo correo electrónico con diferentes asuntos de correo electrónico o cambiando aspectos de su script de llamada en frío para ver qué versión tiene los mejores resultados. El problema con este enfoque es que es impreciso. Se pueden cambiar varias variables, el tamaño de la muestra puede ser demasiado pequeño o el nombre de la empresa de quienes reciben la llamada o el correo electrónico puede diferir.
El problema más común es generalmente el primero que mencioné. Es común modificar involuntariamente múltiples variables. Con las pruebas A / B, solo se concentrará en una sola variable para probar, con todo lo demás constante. Si desea cambiar varias variables en una prueba, puede optar por el proceso estadístico multivariante, pero es mejor guardar esa conversación para un día diferente. Recomendaría leer el blog de Analytics-Toolkit.com si estás interesado.
Me gusta dividir el proceso de prueba A / B en tres pasos: investigación, prueba y análisis.
Paso 1: investigación y definición de la prueba
La investigación inicial de sus procesos de ventas existentes es una parte vital del proceso de prueba. En este paso, querrá probar todas las variables relacionadas con las pruebas A / B. La prueba podría incluir la tasa de respuesta actual de las plantillas de correo electrónico existentes, la tasa de cierre de los guiones de llamadas telefónicas e incluso la hora del día en que el vendedor se comunica con los clientes potenciales.
Después de la prueba inicial, deberá recopilar toda la información relevante del cliente potencial que tenga disponible actualmente. Estos datos a menudo incluirán su industria, su función actual, la ubicación de los clientes potenciales y cualquier otra información que desee probar.
Dedicar tiempo ahora a realizar esta investigación y recopilar los resultados puede ahorrar mucho tiempo en el futuro. Esta investigación también lo ayudará a enmarcar adecuadamente las pruebas A / B que planea realizar.
Desde aquí, querrá elegir si desea crear una prueba de una o dos colas. Una prueba de una cola solo probará los cambios en una dirección, mientras que una prueba de dos colas probará los cambios en las direcciones tanto positivas como negativas.
Ha habido una discusión en curso sobre cuál es mejor, pero prefiero las pruebas de una cola para las pruebas A / B. Todavía recomiendo leer más sobre cada uno. Deberías comenzar con este blog titulado, "Pruebas de una cola frente a pruebas de dos colas (¿importa?)".
Una vez que hayamos elegido nuestro tipo de prueba, ahora puede crear las hipótesis nula y alternativa.
Creo que un ejemplo funciona mejor aquí, así que supongamos que desea probar la tasa de apertura entre una línea de asunto de correo electrónico existente y una nueva versión más corta que usted y su equipo han escrito. Creemos que la línea de asunto del correo electrónico más corta dará lugar a que se abran más correos electrónicos. Nuestras hipótesis nula y alternativa se encuentran a continuación.
Hipótesis nula (H0): No hay una diferencia significativa en las tasas de apertura de correo electrónico entre las líneas de asunto de correo electrónico largas y cortas.
Hipótesis alternativa: La línea de asunto de correo electrónico corta tenía más correos electrónicos abiertos que la línea de asunto de correo electrónico más larga.
Ahora puede consolidar su muestra. El muestreo es otro tema que a primera vista parece simple, pero encontrar el tamaño de muestra perfecto requiere una comprensión del nivel de confianza requerido, el margen de error y el tamaño de la población. Cuanto mayor sea el nivel de confianza y menor el margen de error, más tiempo llevará la prueba. Es bueno abordar estos temas teniendo en cuenta su presupuesto y límite de tiempo.
Qualtrics tiene una artículo asombroso y una herramienta disponible para ayudar a determinar el tamaño de muestra que necesita.
Ahora, puede recopilar los prospectos que conformarán su muestra con la que planea ejecutar la prueba.
Tomemos nuestro ejemplo anterior de que desea probar la tasa de apertura entre una línea de asunto de correo electrónico existente y una nueva versión más corta que usted y su equipo han escrito.
Sabe que desea un nivel de confianza del 95% (la puntuación Z es 1.96) con una tasa de error del 5% (los valores predeterminados que utilizan muchos estadísticos para este análisis). Para el tamaño de la población, planea enviar esto a todos los ejecutivos de C-Suite que manejan ventas de empresa a empresa en los Estados Unidos en empresas con 1,000 empleados o más.
No hay un censo disponible para el número de ejecutivos de C-Suite en los Estados Unidos, pero podemos hacer una buena estimación. Generalmente, las empresas contienen un máximo de dos ejecutivos de alto nivel que ayudan con las ventas. Hay estadísticas disponibles que indican que 23,533 existen empresas en los Estados Unidos con 1,000 empleados o más. Podemos tomar ese número y multiplicarlo por 2 para el número de ejecutivos de alto nivel. Esto nos da un tamaño de población de 47,066.
Qualtrics ofrece un calculadora de tamaño de muestra ideal. Usar eso nos da un tamaño de muestra ideal de 382.
Paso 2: Pruebas
El paso de prueba es el que encuentro más emocionante. Aquí podrá crear y comenzar sus pruebas por completo.
Dependiendo de lo que esté probando, querrá asegurarse de tener las herramientas necesarias para realizar un seguimiento de los resultados. Esto a menudo incluirá características tales como seguimiento de interacción por correo electrónico, Software de seguimiento y grabación de llamadas telefónicas y análisis o informes.
Con las herramientas necesarias en la mano, volvamos al ejemplo que di anteriormente. Tenemos nuestro tamaño de muestra de 382 prospectos y nuestros dos correos electrónicos creados.
Ahora puede enviar uno de los correos electrónicos a 191 contactos y el segundo correo electrónico a otros 191 contactos. Una vez enviados los correos electrónicos, no queda nada por hacer más que esperar. Recomiendo elegir un período de tiempo de antemano que les dé a los contactos tiempo suficiente para abrir el correo electrónico. Para este ejemplo, digamos que les damos una semana.
Después de que termine la semana, tenemos nuestros resultados. He inventado los resultados del siguiente ejemplo.
Línea de asunto larga (variable de control): 191 correos electrónicos enviados
Correos electrónicos abiertos: 92
Correos electrónicos sin abrir: 99
Línea de asunto corta: 191 correos electrónicos enviados
Correos electrónicos abiertos: 121
Correos electrónicos sin abrir: 70
Con nuestros resultados, ya se puede ver que la línea de asunto corta resultó en la apertura de una mayor cantidad de correos electrónicos. Todavía recomiendo seguir con el tercer paso, el análisis.
Paso 3: análisis
El análisis de una prueba A / B se define más como probar el nuevo cambio contra la hipótesis nula o la variable de control. Lo que busca es si los resultados son estadísticamente significativos.
Hay muchas fórmulas involucradas en el análisis completo. Si desea hacer todos los cálculos a mano, le recomiendo leer el artículo. "Pruebas de una cola frente a pruebas de dos colas: todo lo que posiblemente necesite saber Pruebas A / B de una cola o de dos colas". Estoy seguro de que hay muchos estadísticos que manejan los cálculos a mano. En nuestro caso, hay muchos recursos en línea gratuitos y de pago que podemos utilizar para los cálculos.
Recomiendo el Calculadora de pruebas A / B disponible en AB Testguide.
Usando esta calculadora, podemos conectar nuestros resultados y encontrar que los resultados son estadísticamente significativos. Ahora podemos decir que tenemos un 95% de confianza en que la línea de asunto del correo electrónico más corta aumentó la tasa de apertura del correo electrónico.
Siguientes Pasos
Espero que ahora pueda comenzar a formular completamente sus propias pruebas A / B que puedan mejorar su generación de clientes potenciales, la cantidad de conversaciones y la cantidad de acuerdos cerrados.
Se pueden crear pruebas A / B para casi todos los aspectos de su ciclo de ventas. Recomiendo comenzar poco a poco, como con su guión de ventas. ¡Diviértete con eso!
