Matemáticas para ciencia de datos · Lección 8 de 10
Muestreo e incertidumbre
Cuantificar cuánta confianza merece un resultado.
Antes de empezar, una de repaso
Recordar algo cuesta más que releerlo, y por eso funciona mejor. Esta pregunta es de una lección anterior.
Un resultado siempre viene de una muestra
Cualquier medida calculada sobre datos es una estimación, y otra muestra habría dado un número algo distinto. El error estándar mide cuánto.
Presentar un resultado sin intervalo de confianza es presentarlo como si fuera exacto, y no lo es.
Los tests A/B
Comparar dos versiones y quedarse con la que más convierte parece obvio, pero una diferencia pequeña con pocos usuarios es indistinguible del azar.
Antes de lanzar el test hay que calcular cuántos usuarios hacen falta para detectar la diferencia que interesa. Pararlo en cuanto sale favorable infla los falsos positivos.
La significación no es importancia
Con una muestra suficientemente grande, cualquier diferencia por minúscula que sea acaba siendo estadísticamente significativa. Eso no la hace relevante.
Hay que mirar el tamaño del efecto, no solo si es significativo. Un aumento del 0,01 % puede ser real y no merecer ningún cambio.
Practica
Cada ejercicio se genera con números nuevos y lo corrige el mismo motor que mueve las calculadoras del sitio. La lección se da por dominada al acertar 4 de los últimos 5.
¿Quieres comprobar tus propios números? Esta calculadora resuelve lo mismo paso a paso: Calculadora de test A/B.