Los supuestos y los residuos

Un médico que solo mirara la temperatura declararía sano a casi cualquier paciente, porque la mayoría de la gente tiene 36,5 grados aunque le pase algo grave. La temperatura es un número cómodo que casi siempre sale bien y rara vez cuenta la historia completa. En el trabajo con modelos existe un número exactamente igual de tramposo: el summary. Siempre te devuelve un coeficiente, un intervalo y un p-valor con aspecto respetable, incluso cuando la recta que has ajustado es una mentira que no se parece en nada a tus datos. El summary no sabe mentir, pero tampoco sabe avisarte de que lo que mide no tiene sentido. Para eso hay que auscultar al paciente, y en una regresión auscultar significa mirar los residuos.

Ya sabes ajustar una regresión, leer sus coeficientes, desconfiar cuando dos variables compiten y pasar de la recta a la curva cuando el resultado es un sí o un no. Todo eso produce un summary. Hoy aprendes lo que el summary no te cuenta: si el modelo que has ajustado es siquiera la forma correcta para tus datos. Y la herramienta no es un número más, es una mirada: la de lo que el modelo no consiguió explicar. Es la diferencia entre fiarte de lo que un modelo dice de sí mismo y comprobarlo por tu cuenta.

## Qué es un residuo

Un residuo es lo que le sobra o le falta al modelo en cada punto: la diferencia entre lo que de verdad pasó y lo que la recta predijo. Si para un día de 30 grados tu modelo predijo 250 helados y vendiste 268, el residuo es +18 (vendiste 18 más de lo que el modelo esperaba). Si vendiste 240, el residuo es -10. Cada punto de tus datos tiene su residuo, y juntos forman la lista de los errores del modelo. La idea central de hoy es sencilla y potente: si el modelo es correcto, esos errores no deberían tener ninguna forma. Deberían ser puro ruido, repartido al azar por encima y por debajo de cero, sin ningún patrón. En cuanto los residuos dibujan una forma, el modelo te está ocultando algo.

La forma de mirarlos es un gráfico que vas a hacer muchas veces: los residuos en el eje vertical, frente a los valores que predijo el modelo (o frente a una variable) en el horizontal. En ese gráfico, un modelo sano se ve como una nube sin forma centrada en el cero, una banda horizontal de puntos dispersos sin orden. Es aburrido, y que sea aburrido es exactamente la buena noticia. Los problemas aparecen cuando la nube deja de ser aburrida: cuando se abre como un embudo, cuando se curva, o cuando se agrupa en bloques. Cada una de esas formas es un diagnóstico distinto.

## Los supuestos, contados por lo que pasa cuando fallan

La regresión lineal descansa sobre unos supuestos. Casi todos los cursos los sueltan como una lista de requisitos que hay que recitar, y así no se aprenden ni se recuerdan. Vamos a hacerlo al revés: no te voy a decir qué supuesto hay que cumplir, sino qué le pasa a tu modelo cuando NO se cumple, y cómo se ve eso en los residuos. Porque al final no te vas a acordar de la lista; te vas a acordar de la forma que delata cada problema.

## La forma mala número uno: el embudo

El primer supuesto es que el modelo se equivoca más o menos lo mismo en todo el rango: tanto para valores pequeños como para grandes, el error típico es parecido. Cuando esto falla, los residuos dibujan un embudo: muy estrechos en un extremo y muy abiertos en el otro. Es facilísimo de ver en la realidad. Si modelas el gasto de las familias en función de sus ingresos, las familias pobres gastan poco y de forma predecible (residuos pequeños), mientras que las ricas gastan de maneras muy variadas (residuos enormes). El modelo acierta bien a los pobres y falla mucho con los ricos: el error no es constante, crece. Este fenómeno tiene nombre técnico, heterocedasticidad, pero lo que importa es que lo reconozcas por su forma de embudo.

La consecuencia es concreta y es la razón por la que importa: cuando hay embudo, los intervalos de confianza y los p-valores del summary dejan de ser de fiar. El summary te sigue dando un intervalo con pinta normal, pero ese intervalo está mal calculado, porque el método supuso un error constante que no existe. Puedes acabar afirmando que un efecto es significativo cuando no lo es, o al revés. El embudo no estropea el coeficiente en sí, pero envenena justo la parte que usas para decidir: la incertidumbre.

Que el coeficiente aguante pero el intervalo se envenene es una distinción fina que vale la pena entender, porque cambia qué puedes salvar del modelo. El embudo no hace que el modelo prediga mal de media: la pendiente sigue siendo una estimación razonable del efecto típico. Lo que rompe es tu capacidad de poner incertidumbre honesta alrededor de esa pendiente, y como en el oficio de explicar la incertidumbre es media respuesta, el modelo deja de servir para afirmar nada con seguridad. Es como una báscula que da el peso medio correcto pero cuya aguja tiembla de forma impredecible: te sirve para una idea aproximada, no para decidir si alguien pasa un límite por doscientos gramos.

La buena noticia es que el embudo casi siempre tiene arreglo, y suele ser sencillo. El más habitual es transformar la variable del resultado con un logaritmo: muchos fenómenos que crecen de forma multiplicativa (los ingresos, los precios, las poblaciones) producen embudos al modelarlos tal cual, y al tomar logaritmos el embudo desaparece y los residuos se aplanan. No necesitas dominar esto todavía, pero sí saber que ver un embudo no es el final del camino: es una señal de que la escala de tus datos no era la buena, y de que una transformación suele devolverte un modelo sano.

## La forma mala número dos: la curva

El segundo supuesto, y el más importante, es que la relación es de verdad una línea recta. Si en realidad la relación es curva (crece despacio y luego se dispara, o sube y luego baja) y tú le encajas una recta, el summary te dará un coeficiente y un R² que pueden parecer buenísimos, y sin embargo la recta será una mala descripción de lo que pasa. Los residuos lo cantan: en lugar de una nube sin forma, dibujan una curva o una U. Donde la relación real sube más que la recta, los residuos son positivos; donde sube menos, negativos. Esa ondulación en los residuos es la huella de una relación no lineal que la recta no supo capturar.

Este caso es especialmente traicionero porque el R² puede ser alto. Ajustar una recta a una parábola puede explicar el 90% de la variación y aun así ser el modelo equivocado: ese 90% esconde un error sistemático que no es azar. El summary está encantado, el R² sonríe, y los residuos, si te molestas en mirarlos, te enseñan la verdad. Es el mejor ejemplo de por qué los residuos están por encima del summary: un número alto no te protege de haber elegido la forma equivocada.

La diferencia entre un error aleatorio y un error sistemático es el corazón de esta lección, así que vale la pena clavarla. Un error aleatorio es que el modelo a veces se pase y a veces se quede corto, sin ningún orden: eso es inevitable y sano, es el ruido de la vida. Un error sistemático es que el modelo se equivoque siempre en la misma dirección en una zona concreta: siempre de más en el centro, siempre de menos en los extremos. Eso no es ruido, es un defecto del modelo, porque significa que hay una estructura en los datos que el modelo no capturó. Los residuos sanos son aleatorios; los residuos con forma son sistemáticos. Toda la lectura de un gráfico de residuos consiste en distinguir una cosa de la otra.

Y la cura de la curva, cuando aparece, también suele estar a mano: si la relación es curva, le das al modelo la posibilidad de curvarse, añadiendo un término que eleve la variable al cuadrado. Eso convierte la recta en una parábola capaz de seguir la forma real, y los residuos se aplanan. Igual que con el embudo, lo importante ahora no es que domines la técnica del arreglo, sino que entiendas la secuencia: miras los residuos, ves una curva, y sabes que el problema no es que falten datos ni que el efecto no exista, sino que le pediste una recta a algo que no lo era. El diagnóstico correcto es la mitad de la solución.

## La forma mala número tres: los bloques

A veces los residuos no se curvan ni se abren, pero se agrupan: unos puntos sistemáticamente por encima del cero y otros sistemáticamente por debajo, en bloques separados. Eso suele significar que falta una variable importante que distingue a esos dos grupos. Imagina que modelas el precio de una vivienda solo con los metros cuadrados, pero en tu ciudad hay dos barrios con precios muy distintos. Los residuos del barrio caro saldrán casi todos positivos (el modelo predice de menos) y los del barato casi todos negativos. El modelo no sabe que el barrio existe, porque no se lo diste, y los residuos te lo gritan agrupándose. La solución, cuando puedes, es meter esa variable que falta (el barrio) en el modelo.

El caso de los bloques enlaza directamente con lo que ya sabes de confusores y de variables que faltan. Cuando los residuos se agrupan, el modelo te está diciendo "hay algo que separa a estos puntos de aquellos, y no me lo has contado". A veces ese algo es una variable que tienes a mano y basta con añadirla (el barrio, el canal de venta, el tipo de cliente). Otras veces es una variable que no mediste, y entonces los bloques son una advertencia honesta de que tu modelo está incompleto. En los dos casos, los residuos han hecho su trabajo: te han enseñado que falta información, aunque no te digan exactamente cuál.

Hay un cuarto supuesto, la normalidad aproximada de los residuos, que importa menos de lo que suele enseñarse y por eso lo dejamos para el final y en una línea: para que los intervalos y p-valores sean exactos conviene que los residuos se repartan de forma más o menos acampanada, sin colas extremas. Pero con muestras razonablemente grandes esto deja de ser crítico, así que no te obsesiones. Los tres problemas que de verdad arruinan un modelo son el embudo, la curva y los bloques; la normalidad es la letra pequeña.

## Detectar el patrón con números, no solo con los ojos

El gráfico es la herramienta principal, pero cuando no puedes dibujar o quieres algo objetivo, hay un truco sencillo para cazar una curva: parte el rango en tramos y mira la media de los residuos en cada tramo. Si el modelo es sano, la media de los residuos en cualquier tramo ronda el cero (los errores se compensan). Si hay una curva, verás un patrón claro: por ejemplo, residuos positivos de media en los extremos y negativos en el centro (una U), o al revés. Que las medias por tramos se alejen del cero de forma ordenada es la versión numérica de ver la curva en el gráfico.

1import numpy as np
2import pandas as pd
3import statsmodels.formula.api as smf
4
5# Datos donde la relacion REAL es curva (cuadratica), no recta
6rng = np.random.default_rng(5)
7n = 100
8x = rng.uniform(0, 10, n)
9y = 3 + 2 * x**2 + rng.normal(0, 5, n)
10df = pd.DataFrame({"x": x, "y": y})
11
12# Ajustamos una RECTA a algo que es curvo
13modelo = smf.ols("y ~ x", data=df).fit()
14resid = modelo.resid
15
16print(f"R2 de la recta: {modelo.rsquared:.3f}")   # alto, enganoso
17# Media de residuos por tercios de x
18print(f"Residuos x bajo:  {resid[x < 3.33].mean():.1f}")
19print(f"Residuos x medio: {resid[(x >= 3.33) & (x < 6.66)].mean():.1f}")
20print(f"Residuos x alto:  {resid[x >= 6.66].mean():.1f}")

## Por qué los residuos están por encima del summary

Hay una frase de un estadístico, George Box, que resume el oficio entero: "todos los modelos son falsos, pero algunos son útiles". Un modelo es siempre una simplificación: nunca captura la realidad entera, y por eso siempre deja residuos. La pregunta no es si el modelo es verdad (no lo es), sino si lo que deja fuera es ruido inofensivo o un patrón que invalida tus conclusiones. El summary no distingue esas dos cosas: le da igual que el error sobrante sea azar o una curva ignorada. Los residuos sí lo distinguen, y por eso son el juez final. Un modelo con un summary impecable y unos residuos con forma es un modelo que no has entendido todavía.

Esto conecta con la desconfianza que recorre toda la profesión: un resultado bueno es una hipótesis, no una conclusión. Un summary bonito es un resultado bueno, y como todo resultado bueno, hay que intentar tumbarlo antes de creérselo. Mirar los residuos es exactamente ese intento de tumbar tu propio modelo: le preguntas "¿qué has dejado sin explicar, y tiene forma?". Si la respuesta es "nada con forma, solo ruido", entonces y solo entonces puedes fiarte del coeficiente que tanto te gustaba.

Ya sabes ajustar un modelo, leerlo, desconfiar de los coeficientes inestables y comprobar si la forma es siquiera la correcta. Tienes el oficio de explicar completo. Queda una última pieza: cruzar al otro lado. La misma regresión que has estado usando para explicar existe también en la herramienta del oficio de predecir, con otra forma de pensar y otras reglas. Verla ahí, y entender qué se gana y qué se pierde al cambiar de herramienta, es lo que cierra el módulo y te deja listo para lo que viene.