¿Es real o es ruido? Significancia estadística para analistas

La conversión subió de 3,2% a 3,5% esta semana. El equipo de marketing quiere celebrar. Alguien ya está apuntando la mejora en el informe mensual y atribuyéndola al cambio en la landing page. Pero tú miras la serie histórica y ves que la semana pasada fue 3,4%, la anterior 3,1%, la de antes 3,3%. La métrica se mueve entre 3,0% y 3,5% cada semana sin que nadie haga nada. Con 2.000 visitas semanales, una fluctuación de ±0,3 puntos es perfectamente normal por puro azar muestral. Ese 3,5% de hoy puede no ser una señal — puede ser ruido estadístico disfrazado de resultado. Y si lo celebras como un éxito, la semana que baje a 3,1% tendrás que explicar un "fracaso" que tampoco es real. El problema no es el número: es que no sabes si el número te está diciendo algo o no te está diciendo nada.

Este es el problema que cierra el módulo de estadística, y probablemente el más importante de todos para tu día a día. Un analista ve cifras que cambian constantemente. Ventas que suben y bajan. Tasas de abandono que oscilan. Métricas de producto que un mes mejoran y al siguiente vuelven a donde estaban. La pregunta que tienes que responder — la que te van a hacer una y otra vez — es: ¿este cambio que veo, es real? ¿O es simplemente la variación natural que cualquier métrica tiene de un periodo a otro?

### El problema: toda métrica tiene ruido

Piensa en tu peso corporal. Si te pesas cada mañana durante un mes, verás oscilaciones de medio kilo o un kilo de un día a otro. Has comido más sal, has bebido más agua, has ido al baño antes o después de pesarte. Ninguna de esas variaciones significa que estés engordando o adelgazando de verdad. Si un día marcas 72,3 kg y al siguiente 72,8 kg, no llamas al nutricionista. Pero si llevas tres semanas pasando de 72 a 74, ahí SÍ hay algo real.

Las métricas de negocio son exactamente iguales. La conversión de un e-commerce no es un número fijo: cada semana ves una muestra distinta de usuarios, con comportamientos distintos, en circunstancias distintas. Si la semana pasada entraron 10.000 personas y 320 compraron (3,2%), y esta semana entraron otras 10.000 y compraron 350 (3,5%), la diferencia puede deberse a que tu landing es mejor — o puede deberse a que esta semana te tocó una muestra ligeramente mejor por puro azar. Como en la báscula: la fluctuación existe, y tu trabajo es distinguirla de un cambio real.

### Significancia estadística: la pregunta en lenguaje llano

La significancia estadística responde a una sola pregunta: si NO hubiera ningún cambio real, ¿cuál es la probabilidad de que yo viera una diferencia tan grande (o más) solo por azar? Si esa probabilidad es muy baja — por convención, menor del 5% — decimos que la diferencia es estadísticamente significativa. En castellano llano: si no hubiera nada real detrás, un resultado así saldría muy pocas veces; así que probablemente hay algo.

Piensa en un juicio. El acusado es inocente hasta que se demuestre lo contrario. La hipótesis por defecto — la que asumimos si no hay pruebas — es que NO hay cambio: la conversión sigue siendo la misma de siempre, y la variación que ves esta semana es puro azar. A esa hipótesis por defecto se la llama hipótesis nula (null hypothesis). La significancia estadística dice: "las pruebas son lo bastante fuertes como para rechazar esa hipótesis de que no pasa nada". No PRUEBA que tu cambio funciona — pero hace que sea muy poco creíble que no haya pasado nada.

### El p-valor explicado sin fórmulas

El p-valor es el número que cuantifica esa pregunta. Su definición exacta, en lenguaje humano: "si la hipótesis nula fuera cierta (es decir, si NO hubiera diferencia real), ¿cuál es la probabilidad de obtener un resultado tan extremo como el que he observado, o más?". Cuanto más bajo el p-valor, menos creíble es que lo que ves sea casualidad.

La analogía del dado. Imagina que alguien te dice que su dado no está trucado. Lo lanza y sale un 6. Te parece normal — un 6 sale 1 de cada 6 veces (16,7%). Lo lanza otra vez: otro 6. Posible, pero empiezas a sospechar (probabilidad de dos seises seguidos: 2,8%). Lo lanza diez veces seguidas y sale 6 las diez. La probabilidad de eso con un dado justo es de 1 entre 60 millones. Tu conclusión: "es extremadamente improbable que esto pase por azar, así que rechazo la hipótesis de que el dado es justo". Eso es exactamente lo que hace un p-valor: mide cuánto de improbable sería tu resultado SI la hipótesis nula fuera verdad.

En el contexto del negocio: la conversión pasó del 3,2% al 3,5%. Si no hubiera habido ningún cambio real, ¿cuál es la probabilidad de ver una fluctuación de 0,3 puntos o más por azar? Si la respuesta es "pasa el 40% de las semanas sin que hagas nada" (p = 0,40), no te emociones: es ruido. Si la respuesta es "solo pasaría el 2% de las veces por casualidad" (p = 0,02), entonces probablemente hay algo real. El umbral que se usa por convención es p < 0,05 (5%): si, cuando no hay ningún efecto, un resultado así saliera menos de 5 veces de cada 100, lo llamamos significativo.

### Error tipo I y error tipo II: las dos formas de equivocarte

Cuando decides si un cambio es real o es ruido, puedes equivocarte de dos maneras. Y las dos tienen consecuencias distintas para el negocio:

• ▹Error tipo I (falso positivo): creer que hay un efecto real cuando en realidad no lo hay. Decides que la nueva landing funciona, la despliegas a todos los usuarios, y resulta que la mejora era puro azar. Consecuencia: has gastado tiempo y recursos implementando algo que no aporta nada, y ahora atribuyes resultados futuros a algo que nunca funcionó.
• ▹Error tipo II (falso negativo): no detectar un efecto real que SÍ existe. La nueva landing de verdad mejora la conversión, pero tu test dice "no significativo" porque no tenías suficientes datos. Consecuencia: descartas un cambio que habría generado valor. Te pierdes una mejora real.

La analogía del detector de humo. Un falso positivo es que suene la alarma de incendio cuando alguien ha quemado una tostada: no hay fuego, pero te has tirado al suelo y has evacuado el edificio para nada. Un falso negativo es que haya un incendio de verdad y la alarma no suene: mucho peor en consecuencias. En el negocio, cuál es peor depende del contexto. Si estás probando un botón de color distinto, un falso positivo es barato (el botón no hace nada, vuelves al anterior). Si estás decidiendo lanzar un producto nuevo a toda la base de usuarios, un falso positivo es caro.

El umbral del 5% (p < 0,05) controla directamente el error tipo I: quiere decir que aceptas un 5% de probabilidad de cantar victoria cuando no hay nada. Para reducir el error tipo II — para no dejarte efectos reales sin detectar — necesitas más datos o un efecto más grande. Por eso un test A/B necesita calcularse ANTES de lanzarlo: "¿cuántos usuarios necesito para detectar una mejora de X puntos con un 80% de probabilidad?". Eso se llama potencia estadística, y el 80% es la convención: aceptas un 20% de probabilidad de no ver un efecto real.

### Tests A/B: cómo funcionan por dentro

Un test A/B es la herramienta que te permite responder "¿es real o es ruido?" de forma controlada. La lógica es elegante y sencilla: en lugar de hacer un cambio y comparar el antes con el después (donde mil cosas pueden haber cambiado al mismo tiempo), divides a tus usuarios en dos grupos SIMULTÁNEOS. El grupo A ve la versión original. El grupo B ve la versión nueva. Como los dos grupos conviven en el mismo periodo, las únicas diferencias entre ellos son el azar de la asignación y el cambio que estás probando.

Es el mismo principio que un ensayo clínico: si quieres saber si un medicamento funciona, no se lo das a todos y miras si mejoran (porque quizá habrían mejorado solos). Le das el medicamento a un grupo y un placebo al otro, al mismo tiempo, y comparas. El grupo de control es lo que te permite aislar la variable que te interesa de todo lo demás que pueda estar cambiando.

El proceso, paso a paso: (1) Defines la métrica que vas a medir — por ejemplo, la tasa de conversión. (2) Decides el tamaño de muestra necesario para detectar una mejora de X puntos con significancia al 5% y potencia del 80%. (3) Asignas usuarios aleatoriamente a control (A) o variante (B). (4) Esperas hasta alcanzar el tamaño de muestra. (5) Miras los resultados y calculas si la diferencia es significativa. Si p < 0.05, la variante gana. Si no, no hay evidencia suficiente.

### Cuándo NO necesitas un test estadístico

No todo cambio requiere un test formal. La estadística es una herramienta de precisión para cuando la diferencia es pequeña y podría ser ruido. Pero hay situaciones donde la señal es tan fuerte que no necesitas instrumentos de precisión — la ves a simple vista:

• ▹El cambio es enorme. Si la conversión pasa del 3% al 15%, no necesitas un p-valor. Ninguna fluctuación aleatoria produce un salto de 5x. Eso es como encontrar un elefante en tu salón: no necesitas un detective para saber que está ahí.
• ▹El cambio afecta al 100% de la población. Si un bug hace que el 0% de los usuarios pueda pagar, no corres un test A/B para "verificar si el checkout está roto". Lo arreglas.
• ▹Es una decisión fácilmente reversible y de bajo coste. Si estás eligiendo entre dos copys para un email que se envía hoy, y la diferencia es minúscula en cualquier caso, el coste de equivocarte es tan bajo que no merece la pena esperar dos semanas por un test. Lanza uno y mide después.
• ▹Solo tienes un dato. Si un evento pasó una vez (un lanzamiento de producto, un Black Friday), no puedes hacer estadística frecuentista clásica con N=1. Puedes comparar con periodos equivalentes, pero no es un test A/B.

La regla práctica: necesitas significancia estadística cuando la diferencia observada es lo bastante pequeña como para que el azar sea una explicación creíble. Si ves 3,2% frente a 3,5% con 10.000 usuarios en cada grupo, la pregunta tiene sentido. Si ves 3% frente a 15%, la respuesta es obvia sin fórmulas.

### El error más peligroso: peeking (mirar antes de tiempo)

Un equipo de producto lanza un test A/B para probar un nuevo flujo de onboarding (la experiencia de los primeros minutos después de registrarse). El test necesita 14 días y 8.000 usuarios por grupo para alcanzar significancia. Al tercer día, el PM mira los resultados: la variante B tiene un 12% más de activación, con p = 0,03. "¡Es significativo!", dice. "Paremos el test y despleguemos B". Se para el test. Se despliega B. Tres semanas después, la activación de toda la base vuelve exactamente a donde estaba. ¿Qué ha pasado?

Ha pasado que los primeros días de un test A/B están llenos de ruido. La muestra es pequeña, los usuarios tempranos no son representativos, y si miras los datos cada día, ENCONTRARÁS un momento en que p < 0.05 por pura casualidad. Es como lanzar una moneda 100 veces: en algún tramo de 10 lanzamientos te saldrán 8 caras, y si paras justo ahí dirás "la moneda está trucada". Pero si dejas que termine la serie completa, el 50/50 reaparece.

Esto se llama peeking (mirar de reojo), y es la causa número uno de tests A/B que "funcionan" en el test y no funcionan en producción. El mecanismo es estadísticamente inevitable: si miras los resultados N veces durante un test, la probabilidad de encontrar un falso positivo en alguna de esas miradas es mucho mayor que el 5%. Concretamente, si miras 5 veces, tu tasa real de falsos positivos sube del 5% al 14%. Si miras 10 veces, al 19%. Cada mirada es otra oportunidad de que el azar te engañe.

La regla es simple: define antes de empezar cuántos datos necesitas y cuándo vas a mirar. Cuando llegue el momento, miras UNA vez y decides. Si necesitas mirar antes (por razones de negocio: "no podemos esperar dos semanas"), existen técnicas que ajustan el umbral por las múltiples miradas — se llaman métodos secuenciales o de "always valid p-values" — pero eso lo implementa el equipo de experimentación, no tú. Tu trabajo como analista es saber que el peeking existe, por qué es peligroso, y avisar cuando alguien quiere parar un test antes de tiempo.

### Significancia estadística vs significancia práctica

Una distinción que te va a salvar de quedar mal en reuniones: que algo sea estadísticamente significativo NO significa que sea importante. Con suficientes datos, cualquier diferencia por minúscula que sea se vuelve significativa. Si tienes un millón de usuarios en cada grupo, una mejora del 3,20% al 3,21% será significativa con p < 0.001 — estadísticamente, es real. Pero en la práctica, una mejora de 0,01 puntos porcentuales puede no merecer los recursos de implementar el cambio.

La significancia práctica (o relevancia de negocio) pregunta: ¿esta diferencia, aunque sea real, es lo bastante grande como para que importe? Para responder necesitas contexto: ¿cuánto dinero mueve cada punto de conversión? ¿Cuánto cuesta implementar y mantener el cambio? ¿Hay otras cosas más impactantes que podríais hacer con ese esfuerzo? Un test A/B puede ser significativo y no merecer acción. Tu papel como analista es dar las dos lecturas: "sí, la diferencia es real; no, no merece actuar sobre ella dado el coste de implementación".

### Qué decirle al PM cuando pregunta "¿es significativo?"

El PM te va a hacer esta pregunta, y la va a hacer con prisa. No quiere una clase de estadística. Quiere saber si puede actuar o no. Tu respuesta tiene que dar tres cosas en treinta segundos: (1) sí o no, (2) con qué nivel de confianza, y (3) qué significa en términos de negocio. Aquí van tres plantillas según el resultado:

1. 01.Significativo y relevante: "Sí, la variante B gana. Si las dos fueran iguales, un resultado como este saldría menos de 5 veces de cada 100. La mejora es de 0,8 puntos de conversión, que son unos 12.000 euros al mes en ingresos adicionales. Mi recomendación: desplegar B."
2. 02.Significativo pero irrelevante: "Técnicamente B es mejor — la diferencia es real, no es ruido. Pero hablamos de 0,02 puntos de conversión, unos 200 euros al mes. Dado que implementarlo requiere dos sprints de ingeniería, yo priorizaría otra cosa."
3. 03.No significativo (sin evidencia): "Con los datos que tenemos, no puedo decir que B sea mejor. La diferencia que veo (0,3 puntos) está dentro del margen de error. Tenemos dos opciones: esperar una semana más para acumular datos, o aceptar que no hay ganador claro y elegir la que prefiramos por otras razones (coste de mantenimiento, coherencia de marca, velocidad de carga)."

Fíjate en que las tres respuestas terminan con una acción o una alternativa. Nunca "no es significativo" a secas. Eso deja al PM sin saber qué hacer, y la siguiente vez no te preguntará — decidirá sin datos, que es peor.

### Historia: de dónde viene todo esto

La idea de la significancia estadística nació en una fiesta de té. A principios de los años veinte, en una estación de investigación agrícola inglesa, una bióloga llamada Muriel Bristol afirmó que podía distinguir si la leche se había echado antes o después del té en una taza. Ronald Fisher — uno de los padres de la estadística moderna — pensó: Fisher pensó: si le doy 8 tazas (4 de cada tipo) y acierta las 8, ¿cuál es la probabilidad de que lo haya hecho por azar? Si esa probabilidad es muy baja, la mujer tiene un talento real. Ese es el p-valor: la probabilidad de un resultado así de extremo bajo la hipótesis de que no hay efecto.

El umbral del 5% también viene de Fisher, y fue más una convención práctica que una ley. En su libro de 1925, escribió: "un resultado puede considerarse significativo si es del tipo que se produciría por azar no más de una vez en veinte ensayos". Desde entonces, generaciones de científicos y analistas han usado 0,05 como la línea que separa "esto vale la pena investigar" de "probablemente es ruido". No es magia: es una convención útil que ha sobrevivido un siglo porque balancea bien el riesgo de equivocarte con la practicidad de decidir.

Lo que Fisher no imaginó es que 100 años después, millones de tests A/B se ejecutarían cada día en internet, y que equipos de producto pararían tests antes de tiempo, mirarían decenas de métricas a la vez buscando "algo significativo", y declararían ganadores basándose en p = 0.049. El framework que creó para experimentos agrícolas controlados se usa hoy en un contexto donde las tentaciones de hacer trampas (consciente o inconscientemente) son mucho mayores.

### El checklist: 5 preguntas antes de decir "es real"

1. 01.El tamaño de muestra, ¿es suficiente? Una diferencia del 3,2% al 3,5% con 200 usuarios por grupo no es significativa. Con 20.000 tampoco: haría falta más del doble para que un test la detectara con garantías. Cuanto más pequeña es la diferencia que buscas, más datos necesitas — y esa cuenta se hace ANTES. Si no sabes cuántos necesitas, no puedes interpretar el resultado.
2. 02.¿Se decidió el tamaño de muestra ANTES de mirar? Si calculas después ("veamos si con estos datos sale significativo"), estás haciendo trampa sin saberlo. El umbral se fija antes del experimento.
3. 03.¿Se miró una sola vez al final, o se fue mirando? Si el PM te dice "miré el martes y era significativo, miré el jueves y ya no, miré hoy y vuelve a serlo" — eso es peeking, y el resultado no es fiable.
4. 04.La diferencia, ¿importa en términos de negocio? Significativo no es sinónimo de importante. 0,01 puntos de conversión pueden ser reales y no merecer acción.
5. 05.¿Hay alguna otra explicación? Un test A/B bien hecho aísla la variable. Pero un cambio observado sin test (el "antes y después") puede tener mil causas: estacionalidad, un competidor que cerró, una campaña de marketing que coincidió. Significativo no implica causal.