La fórmula
z = (p_B − p_A) / √( p̂(1 − p̂)(1/n_A + 1/n_B) )
Qué significa
Un test A/B compara dos proporciones de conversión. La pregunta no es cuál tiene el número más alto —siempre habrá uno más alto— sino si esa diferencia se explica por el azar de quién entró en cada versión. El contraste calcula cuántos errores estándar separan a las dos tasas y traduce eso a una probabilidad: si es muy pequeña, el azar es una mala explicación.
Cómo calcularlo a mano
- Calcula la tasa de conversión de cada versión
- Calcula la proporción común juntando las dos y su error estándar
- Divide la diferencia de tasas entre ese error: ese es el estadístico z
- Traduce z a un valor p y compáralo con el nivel que hayas fijado
Lo que conviene saber
Mirar el test cada día y pararlo en cuanto salga significativo es la forma más habitual de engañarse: con suficientes miradas, casi cualquier test cruza el umbral en algún momento aunque no haya diferencia real. Hay que fijar de antemano el tamaño de muestra y esperar. Y la mejora relativa, que es la cifra que se lleva a la reunión, es la más inestable de todas: un intervalo de la diferencia que va del 0,1 % al 3 % puede corresponder a una mejora relativa de entre el 2 % y el 60 %.