Propensity score: comparar peras con peras

Imagina que quieres saber si apuntarse al gimnasio de la empresa mejora la salud de los empleados. Miras los datos y es rotundo: los que van al gimnasio tienen la tensión más baja, menos bajas por enfermedad y mejor forma física que los que no van. ¿Conclusión, el gimnasio funciona de maravilla? Frena. ¿Quién se apunta al gimnasio de la empresa? La gente que ya se preocupa por su salud, que ya come mejor, que ya era más activa. Los que no se apuntan son, de media, gente con otros hábitos. Así que cuando comparas a unos con otros, no estás comparando "gimnasio contra no gimnasio": estás comparando "personas sanas que van al gimnasio" contra "personas menos sanas que no van". Las dos cosas que querías separar vienen pegadas de fábrica.

Este es el problema que te queda cuando no hubo sorteo y no tienes un antes-y-después limpio que restar como en diferencias en diferencias. Tienes dos grupos, los que recibieron algo y los que no, y resulta que esos dos grupos ya eran distintos ANTES de recibir nada. Los que compraron la suscripción premium ya eran mejores clientes. Los que activaron la función nueva ya eran más enganchados. Los que fueron al gimnasio ya cuidaban su salud. Compararlos de frente es sumar el efecto de lo que estudias y el efecto de que son gente distinta de entrada. La técnica de hoy, el propensity score, es una forma ingeniosa de separar las dos cosas, y con ella cerramos el módulo volviendo justo al límite con el que empezó la parte de causalidad.

## El problema: los grupos no son comparables de entrada

Pongámoslo en números para verlo claro. Supón que los clientes premium gastan de media 90 euros al mes y los no premium gastan 50. La diferencia bruta es de 40 euros. La tentación es decir "premium hace gastar 40 euros más". Pero si miras quién es cada grupo, descubres que los clientes que se hicieron premium ya eran los más veteranos y los que más compraban antes de hacerse premium. Es decir, ya iban a gastar más aunque premium no existiera. Parte de esos 40 euros es el efecto de premium, y parte es simplemente que son clientes distintos. ¿Cuánto de cada? La comparación directa no lo sabe.

La solución ideal sería comparar solo clientes idénticos: coger un cliente premium y buscar un cliente no premium exactamente igual en todo lo demás (misma antigüedad, mismas compras previas, mismo perfil), y comparar su gasto. Si hicieras eso con muchas parejas, la única diferencia sistemática entre premium y no premium sería premium, y la diferencia de gasto sería el efecto limpio. El problema práctico es que, con muchas características, encontrar un gemelo exacto para cada cliente es casi imposible: hay demasiadas combinaciones. Si tienes diez características, cada cliente es casi único, y nunca encuentras su pareja.

Piénsalo con números. Si cada característica tuviera solo dos valores posibles (alto o bajo), con diez características ya hay más de mil combinaciones distintas de perfil. Con muchos clientes repartidos entre mil casillas, la mayoría de las casillas tienen a lo sumo una persona, y encontrar un premium y un no-premium en la misma casilla es raro. Y las características reales no son de dos valores: la antigüedad va en días, el gasto en euros. El espacio de perfiles se vuelve tan enorme que el emparejamiento exacto deja de existir. A este problema, el de que todo se vuelve escaso cuando hay muchas dimensiones, se le llama la maldición de la dimensionalidad, y es exactamente lo que el propensity score sortea.

## La idea: resumir todo en un solo número

Aquí está la jugada que resolvió el problema, propuesta por dos estadísticos, Paul Rosenbaum y Donald Rubin, en 1983. En lugar de emparejar por todas las características a la vez (imposible), las resumimos todas en un único número: la probabilidad que tenía cada individuo de recibir el tratamiento, dadas sus características. A ese número se le llama el propensity score, la propensión. Es, literalmente, "según cómo eres, ¿qué probabilidad tenías de acabar en el grupo tratado?".

Un cliente muy veterano y con muchas compras previas tenía, pongamos, un 80% de propensión a hacerse premium: gente así casi siempre acaba contratándolo. Un cliente nuevo y con pocas compras tenía quizá un 20%. El propensity score colapsa todas las características de una persona (antigüedad, compras, perfil, lo que midas) en una sola cifra entre 0 y 1. Y el resultado matemático que hace que esto funcione, y que es lo que descubrieron Rosenbaum y Rubin, es que basta con emparejar por esa única cifra: dos personas con el mismo propensity score son comparables en conjunto, aunque sus características individuales no sean idénticas. Un problema de diez dimensiones se convierte en uno de una sola.

Vale la pena detenerse en por qué funciona, porque es poco intuitivo. Parece que al tirar la información de las características individuales y quedarte con un solo número pierdes algo. Y sin embargo no, para este propósito concreto. La intuición: dos personas con el mismo propensity score tenían la misma probabilidad de recibir el tratamiento según el modelo, aunque una sea veterana con pocas compras y la otra sea nueva con muchas. Como tenían la misma propensión a ser tratadas, el que una lo fuera y la otra no se parece más a un sorteo entre ellas dos: es casi como si una moneda hubiera decidido quién de las dos entra en el grupo tratado. Y ya sabes qué hace un sorteo. Emparejar por propensión reconstruye, a trozos, esa situación de sorteo que no tuviste.

## Cómo se calcula y cómo se usa

El propensity score se estima con un modelo que predice la probabilidad de recibir el tratamiento a partir de las características. El más habitual es la regresión logística, que es justo lo que hace: le das las características de cada individuo y si recibió o no el tratamiento, y te devuelve, para cada uno, una probabilidad entre 0 y 1 de haberlo recibido. No necesitas que ese modelo prediga bien el tratamiento como fin en sí mismo; lo que necesitas es que capture cómo las características empujan hacia el tratamiento, para poder equilibrarlas después.

Con el score ya calculado, hay dos formas de usarlo, y conviene conocer las dos. La primera es el emparejamiento: para cada individuo tratado, buscas uno no tratado con un propensity score parecido y los comparas. Formas muchas parejas de propensión similar y promedias las diferencias. La segunda es la ponderación: en vez de emparejar, das a cada individuo un peso inversamente proporcional a la probabilidad que tenía de acabar donde acabó, de forma que reconstruyes artificialmente una población en la que recibir el tratamiento ya no dependía de las características. Las dos buscan lo mismo (comparar gente con la misma propensión) y se parecen en los resultados; la ponderación aprovecha todos los datos y el emparejamiento es más fácil de explicar en una reunión.

El resultado, bien hecho, es espectacular. Una comparación directa que daba un efecto inflado (porque mezclaba el tratamiento con las diferencias previas) se corrige y se acerca al efecto real. En el ejercicio vas a ver un caso donde la comparación directa dice +21 y el efecto verdadero es +8: el propensity score recupera el +8 porque deja de comparar a los clientes buenos que compraron premium con los clientes flojos que no, y empieza a comparar a cada uno con alguien de su misma propensión.

Hay una condición técnica que conviene nombrar, porque cuando falla el método se rompe de forma silenciosa: tiene que haber solapamiento. Es decir, para cada tipo de individuo tratado tiene que existir alguien parecido sin tratar con quien compararlo, y al revés. Si todos los clientes con propensión altísima se hicieron premium y ninguno se quedó fuera, no tienes con quién compararlos: no hay no-premium de esa propensión. En esa zona el propensity score no puede hacer nada, porque no existe la pareja. Por eso, antes de ponderar o emparejar, se mira que los dos grupos cubran el mismo rango de propensión; donde no se solapan, no hay comparación posible y hay que decirlo.

Resumido, el método tiene cuatro pasos, y conviene tenerlos en orden porque saltarse el último es el error más común:

1. 01.Elegir las características que crees que empujan a la vez al tratamiento y al resultado: los confusores que tienes medidos.
2. 02.Estimar con ellas el propensity score de cada individuo, su probabilidad de haber recibido el tratamiento.
3. 03.Emparejar o ponderar por ese score, para comparar solo gente de propensión parecida.
4. 04.Comprobar el equilibrio: verificar que, tras el ajuste, las características de los dos grupos ya se parecen. Si no, el ajuste no funcionó y el resultado no vale.

## El límite que cierra el módulo

Y aquí llega la parte más importante de la lección, la que no puedes olvidar aunque olvides cómo se calcula el score. El propensity score solo equilibra las variables que mediste. Solo esas. Si hay un confusor que no observaste, que no está en tus datos, el propensity score no lo toca, no lo equilibra, no te salva de él. Puedes construir el modelo más fino del mundo con las diez características que tienes, y si la característica que de verdad importaba es la número once, la que no mediste, tu estimación sigue sesgada y el método te da una falsa sensación de rigor.

Vuelve al gimnasio. Ajustas por edad, por sexo, por puesto, por todo lo que tienes en la base de datos de recursos humanos. Pero lo que de verdad separaba a los que van de los que no van era la motivación por la salud, y eso no está en ninguna tabla: no lo mediste. El propensity score equilibra la edad y el puesto perfectamente, y la motivación sigue intacta, metida de contrabando en la comparación, inflando el efecto del gimnasio exactamente igual que antes. El método ha trabajado, pero sobre las variables equivocadas, porque las correctas no las tenías.

Fíjate en que esto es exactamente el mismo límite que viste con el confusor y con controlar por una variable. No es casualidad: el propensity score es una forma sofisticada de controlar por los confusores observados, y por eso hereda su talón de Aquiles entero. Es más elegante que estratificar a mano, resuelve el problema de las muchas dimensiones, se ve muy profesional en un informe, y aun así no puede hacer lo único que de verdad resolvería el problema de raíz: equilibrar lo que no conoces. Para eso sigue haciendo falta lo que no siempre puedes tener, el sorteo.

## Cuándo usarlo y cuándo buscar otra cosa

El propensity score brilla cuando tienes muchos individuos, cada uno con un montón de características medidas, y dos grupos (tratado y no tratado) que de entrada son distintos por cómo se formaron. Es la situación típica de los datos que ya tienes acumulados: clientes que eligieron un plan, usuarios que activaron una función, pacientes que recibieron un tratamiento según su cuadro. Donde no hubo sorteo y no hay un antes-después limpio que restar, pero sí hay muchas variables con las que caracterizar a cada uno, el propensity score es la herramienta natural.

No es la mejor opción cuando tienes pocas variables medidas (si solo conoces dos cosas de cada individuo, estratificar a mano por esas dos es más transparente y da casi lo mismo), cuando no hay solapamiento entre los grupos (si los tratados y los no tratados viven en zonas de propensión distintas, no hay con quién comparar), o cuando sospechas que el confusor que de verdad importa no está medido, porque entonces ninguna sofisticación lo arregla y lo honesto es decir que el dato no permite concluir causa. Y nunca es la opción cuando puedes aleatorizar: si puedes echar la moneda, échala, porque un experimento resuelve de raíz lo que el propensity score solo arregla a medias.

Una nota sobre la elegancia, porque es una trampa real. El propensity score tiene un aire técnico que impresiona: hablas de un modelo que estima probabilidades, de ponderación por el inverso, de equilibrio de covariables, y en una reunión suena a que has hecho ciencia dura. Esa misma elegancia es peligrosa, porque invita a bajar la guardia justo donde no se debe. La parte difícil del análisis no es ajustar el modelo, que es mecánico; es haber pensado bien qué confusores existen y reconocer cuáles no tienes. Un propensity score impecable sobre las variables equivocadas da un número preciso y falso, y lo peor de un número preciso y falso es que todo el mundo se lo cree.

Con esto se cierra el recorrido del módulo. Empezaste viendo que un test A/B es inferencia causal con el lujo del sorteo: repartes al azar y todos los confusores, conocidos y desconocidos, se equilibran solos. Luego viste qué hacer cuando ese lujo no existe: controlar por lo que conoces, restar la tendencia de un testigo con diferencias en diferencias, emparejar por propensión con el propensity score. Las tres técnicas sin sorteo son ingeniosas y útiles, y las tres comparten el mismo límite, que no es un detalle sino la lección de fondo: puedes equilibrar lo que mides, nunca lo que ignoras. Saber eso, y decirlo, es lo que separa a quien usa estas herramientas con criterio de quien las usa para vender humo con mejor presentación.