El p-valor, bien entendido

En 2016 ocurrió algo insólito: la Asociación Americana de Estadística, una organización que en 177 años de historia jamás se había pronunciado sobre un método concreto, publicó un comunicado oficial para aclarar qué significa un p-valor. No lo hizo porque fuera un concepto nuevo, lleva un siglo en uso. Lo hizo porque estaba tan mal entendido, y las malas interpretaciones habían causado tanto daño en la ciencia y en los negocios, que hizo falta un documento firmado por seis estadísticos de primera línea para decir, básicamente, lo que no es. Ese comunicado es la mejor prueba de algo que vas a comprobar en tu trabajo: el p-valor es el número más citado de la estadística aplicada y, al mismo tiempo, el peor entendido.

Ya sabes qué es la significancia estadística y de dónde sale un p-valor: es la probabilidad de ver un resultado tan extremo como el tuyo, o más, si no hubiera ningún efecto real. Esta vez no vamos a repetir esa definición: vamos a vivir dentro de ella. Porque el problema no es memorizar la frase, el problema es que la frase se parece peligrosamente a otras tres que suenan igual de razonables y son falsas. Y quien las confunde toma decisiones equivocadas con una seguridad que asusta. Tu objetivo hoy no es calcular un p-valor mejor, es no dejarte engañar por él, ni dejar que engañe a quien te escucha.

## La frase que condiciona al revés

Empecemos por el malentendido más común, el que está detrás de casi todos los demás. Alguien ve un p-valor de 0,03 y dice: "hay un 3% de probabilidad de que la hipótesis nula sea cierta" o, lo que es lo mismo, "estoy un 97% seguro de que mi efecto es real". Suena perfecto. Y es falso.

El p-valor no te dice la probabilidad de que la hipótesis nula sea cierta. Te dice lo contrario: la probabilidad de los datos SUPONIENDO que la nula es cierta. Son dos cosas distintas, y el orden importa tanto como en una frase. "La probabilidad de que esté nublado dado que llueve" es casi del 100%: si llueve, casi seguro hay nubes. Pero "la probabilidad de que llueva dado que está nublado" es mucho menor: hay muchísimos días nublados sin una gota. Mismas dos variables, probabilidades completamente distintas según cuál pones como condición. Darles la vuelta se llama, en estadística, "la falacia del condicional transpuesto", y es exactamente lo que haces cuando lees un p-valor de 0,03 como "97% de que el efecto es real".

Por qué importa tanto: la probabilidad de que la nula sea cierta depende de algo que el p-valor no sabe, que es cómo de plausible era tu hipótesis ANTES de ver los datos. Si pruebas un efecto absurdo (que el color del botón de pago cambia las ventas un 40%), un p-valor de 0,03 no te deja un 97% seguro de nada: lo más probable sigue siendo que haya sido casualidad, porque el efecto era inverosímil de entrada. El p-valor mide la rareza de los datos bajo una suposición; no mide la verdad de esa suposición. Para lo segundo hace falta más información de la que un solo p-valor contiene.

## La frase del 95% de confianza

La segunda frase falsa es prima de la primera: "p = 0,05 significa que hay un 95% de probabilidad de que el efecto sea real". Ya has visto por qué el "95% de que sea real" no sale del p-valor. Pero esta merece un apartado propio porque mezcla dos ideas que conviene separar: el umbral y la confianza.

El 0,05 es un umbral de decisión, no una medida de confianza en tu resultado concreto. Lo que el 5% controla es la frecuencia de errores a largo plazo: si adoptas la regla "declaro significativo todo lo que baje de 0,05", y la nula fuera cierta siempre, te equivocarías cantando victoria aproximadamente 5 de cada 100 veces. Es una propiedad del PROCEDIMIENTO repetido muchas veces, no una etiqueta de probabilidad sobre el experimento que tienes delante. Tu test de hoy no es "95% fiable": o hay efecto o no lo hay, y el p-valor solo te dice si tus datos son lo bastante raros como para actuar bajo esa regla.

La diferencia parece sutil y tiene consecuencias prácticas enormes. Si crees que cada resultado con p < 0,05 es "95% fiable", acumularás una colección de hallazgos en la que uno de cada veinte es basura, y los tratarás a todos como oro. Si entiendes que el 5% es una tasa de error del proceso, sabrás que cuantas más cosas pruebes, más basura entra, y buscarás protegerte. Esa es, precisamente, la trampa de la que trata la última parte de esta lección.

## La frase que confunde no saber con saber que no

La tercera frase es la más silenciosa y quizá la más dañina: "no ha salido significativo, así que no hay efecto". Alguien lanza un experimento, obtiene p = 0,20, y concluye que la nueva función no sirve. Archiva la idea. Y puede estar tirando a la basura algo que sí funcionaba.

Un resultado no significativo significa "no he reunido pruebas suficientes para descartar el azar", y eso no es lo mismo que "he probado que no hay nada". La diferencia entre ausencia de prueba y prueba de ausencia. Si buscas setas en el bosque una tarde y no encuentras ninguna, ¿has demostrado que no hay setas en el bosque? No: has demostrado que no las encontraste esa tarde, con esa luz, en esa zona. A lo mejor no había; a lo mejor buscaste poco. Un p-valor alto es exactamente esa tarde sin setas.

La causa más frecuente de un "no significativo" no es que el efecto no exista, sino que la muestra era pequeña. Con pocos datos, hasta un efecto real de buen tamaño se pierde en el ruido y no cruza el umbral. Por eso un resultado no significativo con una muestra minúscula no dice casi nada, mientras que uno con una muestra enorme sí empuja hacia "si hubiera un efecto apreciable, lo habríamos visto". Antes de concluir "no funciona", la pregunta correcta no es "¿cuál fue el p-valor?", sino "¿tenía este test alguna posibilidad de detectar el efecto que buscábamos?". Esa capacidad de detectar lo que existe tiene nombre, potencia, y es el otro lado de la moneda del p-valor.

## Qué dice de verdad un p-valor, en una tarjeta

Vamos a dejar fijado lo que SÍ puedes afirmar, para tenerlo como referencia. Un p-valor es un número entre 0 y 1 que responde a una única pregunta: si no hubiera ningún efecto real, ¿con qué frecuencia el azar produciría datos tan extremos como los míos, o más? De ahí salen las lecturas legítimas:

• ▹Un p-valor bajo significa que tus datos serían raros bajo la hipótesis de que no pasa nada. Eso es una pista contra la hipótesis nula, no una medida de cuánto crees en tu teoría.
• ▹Un p-valor alto significa que tus datos son perfectamente compatibles con que no pase nada. No prueba que no pase nada: solo que no has reunido pruebas en contra.
• ▹El p-valor no mide el tamaño del efecto. Un efecto minúsculo e irrelevante puede dar un p-valor diminuto si la muestra es gigante. Pequeño p no es igual a gran efecto.
• ▹El p-valor depende del tamaño de muestra. El mismo efecto da p-valores distintos con 100 o con 100.000 observaciones. No es una propiedad del efecto, es una propiedad del efecto más tus datos.
• ▹El p-valor no te dice qué decisión tomar. Esa depende del coste de equivocarte, del tamaño del efecto y de lo plausible que fuera tu hipótesis de partida. El número es un ingrediente, no la receta.

## El p-valor no es el tamaño del efecto

Hay un cuarto malentendido que no es tan famoso como los tres anteriores pero mete en líos igual: confundir un p-valor pequeño con un efecto grande. Son cosas independientes. Un p-valor pequeño dice que es muy improbable que lo que ves sea azar; no dice nada sobre cuánto cambia la cosa. Puedes tener un efecto diminuto, de un valor que a nadie le importa, con un p-valor minúsculo, simplemente porque tienes una montaña de datos.

Es una consecuencia directa de que el p-valor dependa del tamaño de la muestra. Con cien observaciones, un efecto real pero pequeño quizá no cruce el umbral: p alto. Con cien millones de observaciones, ese mismo efecto minúsculo dará un p-valor pegado a cero, porque con tantos datos hasta la diferencia más ridícula se mide con una precisión brutal. Las grandes plataformas viven esto a diario: con cientos de millones de usuarios, casi cualquier cambio sale "significativo", y el p-valor deja de ser útil para decidir. Lo que importa entonces no es si el efecto existe (seguro que sí, aunque sea minúsculo), sino si es lo bastante grande como para que merezca la pena. Por eso un p-valor nunca se presenta solo: va con el tamaño del efecto al lado, que es lo que de verdad dice si hay que hacer algo.

## Los gominolas verdes: por qué veinte pruebas rompen el 5%

Hay una viñeta de cómic que se ha convertido en el ejemplo canónico de este problema, y la vas a reconocer en cuanto la cuente aunque no la hayas visto. Unos personajes afirman que los gominolas (las golosinas de gelatina) causan acné. Unos científicos lo prueban y no encuentran relación: no significativo. Entonces alguien sugiere que a lo mejor es solo un color concreto. Prueban con los morados: nada. Los marrones: nada. Los rosas, los azules, los turquesa... veinte colores, veinte pruebas, veinte veces nada. Hasta que prueban los verdes y sale significativo, p < 0,05. Al día siguiente, un titular de periódico a toda página: "los gominolas verdes causan acné". La viñeta remata con una barra de "confianza del 95%" junto a la noticia.

El chiste es una clase entera de estadística. No hay ninguna relación entre los gominolas y el acné, de ningún color. Pero si haces veinte pruebas independientes sobre datos sin efecto, y en cada una aceptas un 5% de probabilidad de un falso positivo, la probabilidad de que al menos una salga "significativa" por azar deja de ser el 5%. Se dispara. Con veinte pruebas, la probabilidad de que al menos una cante por casualidad es de alrededor del 64%. Es decir: lo raro habría sido NO encontrar ningún color "culpable".

Esto se llama el problema de las comparaciones múltiples, y es el mecanismo detrás de la mayoría de los hallazgos que luego no se replican. La cuenta es intuitiva: la probabilidad de que una prueba concreta NO dé falso positivo es del 95%. La de que veinte pruebas seguidas se porten bien todas es 0,95 elevado a 20, que da alrededor del 36%. Así que la probabilidad de que al menos una se desmande es el resto: un 64%. Cada prueba extra es otro billete de lotería para el azar.

Lo peligroso del p-hacking (buscar hasta encontrar algo "significativo") es que casi nunca es fraude consciente. Nadie se dice "voy a hacer trampa". Lo que pasa es más humano: pruebas una hipótesis, no sale, pruebas otra variante, miras otro segmento de usuarios, cortas los datos por país, por dispositivo, por día de la semana... y en algún corte, el azar te regala un p < 0,05. Como la narrativa encaja ("¡claro, en móvil tiene más sentido!"), lo cuentas como hallazgo. No mentiste: te engañó el procedimiento. Por eso la defensa no es la buena fe, es el método.

## La defensa: decidir qué vas a probar antes de mirar

Hay dos defensas contra las comparaciones múltiples, y las dos son parte del oficio. La primera es declarar de antemano qué vas a medir. Si antes de ver los datos escribes "voy a medir el efecto sobre la conversión global", y luego el azar te regala un p bonito en el segmento de usuarios de Android a las tres de la tarde los martes, sabes que ese hallazgo es sospechoso porque no era tu pregunta. La hipótesis que decides después de ver los datos no cuenta igual que la que decides antes. Es la diferencia entre apostar al número que va a salir y "apostar" al que ya ha salido.

La segunda defensa es ajustar el umbral cuando de verdad haces muchas pruebas a la vez. La corrección más sencilla y conocida es la de Bonferroni: si vas a hacer veinte pruebas y quieres que la probabilidad global de equivocarte siga siendo del 5%, exige a cada prueba individual un umbral de 0,05 dividido entre 20, es decir, 0,0025. Repartes tu presupuesto de error de 5% entre todas las pruebas. Es conservadora (a veces de más, se deja escapar efectos reales), pero tiene la virtud de ser trivial de aplicar y de explicar, y basta para entender la idea: más pruebas, listón más alto para cada una.

## Qué le dices a quien decide

Todo esto no es teoría de sobremesa: cambia lo que escribes en un informe. Un p-valor nunca va solo. Va acompañado del tamaño del efecto (cuánto cambia la cosa, no solo si cambia), de la muestra (cuántos datos lo sostienen), y de cuántas cosas probaste para llegar a él. "Significativo con p = 0,03" no es una conclusión; "la variante mejora la conversión 0,6 puntos, con p = 0,03, en el único test que hicimos y preregistrado" sí lo es. La primera invita a confiar a ciegas; la segunda da a quien decide lo que necesita para pesar el riesgo.

Y cuando el resultado no sale, el servicio que prestas no es decir "no funciona", es decir qué sabes y qué no: "no hemos reunido pruebas de que funcione; con esta muestra, un efecto de menos de X puntos no lo habríamos detectado, así que no podemos descartarlo del todo; si nos importa, hace falta más datos". Esa frase es más larga que "no significativo" y es la que impide que se tire a la basura una buena idea por un test débil, o que se celebre un espejismo por un test con suerte.

En las próximas lecciones vas a dar un paso más difícil. Hasta ahora, cuando querías saber si algo causaba algo, la respuesta era "haz un experimento": reparte al azar y compara. Pero muchas veces no puedes repartir al azar. No puedes obligar al azar a que la mitad de tus clientes se den de alta en premium, ni decidir por sorteo qué región recibe una ley nueva. Cuando el sorteo no existe, el p-valor sigue sabiendo decirte si una diferencia es rara, pero deja de poder decirte si es causal. Ahí empieza la parte difícil del módulo.