[13]Inferencia, experimentos y causalidad
Pasar de describir a concluir: si un cambio es real o es ruido, leer un experimento, y estimar causas cuando no puedes experimentar.
Intervalos de confianza: la incertidumbre honesta
No es 4,2%. Es entre 3,8% y 4,6% con un 95% de confianza. Qué significa eso de verdad, por qué importa, y cómo se calcula.
¿Es real o es ruido? Significancia estadística para analistas
La conversión subió del 3,2% al 3,5%. Antes de descorchar: ¿es un cambio real o una fluctuación aleatoria? p-valores, tests A/B y cómo traducir significativo al lenguaje de decisión.
El p-valor, bien entendido
Qué dice de verdad el p-valor, las tres frases falsas que se repiten a diario, y por qué si pruebas veinte cosas una «acierta» por azar.
Diseñar un experimento: A/B testing desde la pregunta
El equipo cree que el botón naranja convierte más. Antes de tocar nada: qué hipótesis planteamos, cuántos usuarios necesitamos, cuánto tiempo esperamos, y los errores que invalidan un test antes de empezar.
Leer resultados y decidir: el test terminó, ¿y ahora qué?
El test ha terminado y tienes un p-valor, un intervalo de confianza y una diferencia en puntos porcentuales. Ahora viene lo difícil: convertir esos números en una decisión de negocio que alguien pueda defender.
Cuando no puedes experimentar: el confusor
El «¿y entonces qué hago?» de correlación no es causa: qué es un confusor, por qué el azar lo disuelve y por qué controlar no basta.
Diferencias en diferencias
Restar la tendencia de un grupo testigo para aislar el efecto de una intervención, y el supuesto del que dudar: las tendencias paralelas.
Propensity score: comparar peras con peras
Emparejar a los parecidos estimando su probabilidad de recibir el tratamiento, y el límite que cierra el módulo: solo equilibra lo que mediste.