Diferencias en diferencias

En 1992, dos economistas, David Card y Alan Krueger, quisieron responder a una pregunta que llevaba décadas discutiéndose a gritos: ¿subir el salario mínimo destruye empleo? La teoría de manual decía que sí, encarecer el trabajo haría que se contratara menos. Nueva Jersey acababa de subir su salario mínimo; el estado vecino, Pensilvania, no. Card y Krueger hicieron algo que entonces no era habitual: en vez de teorizar, midieron el empleo en restaurantes de comida rápida a los dos lados de la frontera, antes y después de la subida. Y encontraron que el empleo en Nueva Jersey no cayó respecto a Pensilvania; si acaso, subió un poco. El resultado fue tan polémico que cambió el debate, y la forma de medirlo le valió a Card parte del Nobel de Economía de 2021. Esa forma de medir es la que vas a aprender hoy.

Lo interesante del caso de Card y Krueger no es solo el resultado, sino la elegancia del diseño. No tenían un experimento, nadie había repartido estados al azar entre "sube el salario" y "no lo sube". Tenían el mundo tal cual: un estado que cambió su política y uno vecino que no. Y en vez de lamentarse por no poder aleatorizar, usaron al estado vecino como testigo de lo que habría pasado en el primero sin el cambio. Esa jugada, convertir una política que cayó sobre unos y no sobre otros en un casi-experimento, es la que vas a aprender a reconocer y a usar, porque la vas a tener delante muchas más veces de las que vas a poder montar un test A/B.

Ya sabes que cuando no puedes repartir al azar, los confusores te acechan y lo mejor que puedes hacer es controlar por los que conoces. Diferencias en diferencias es una idea más astuta para un caso concreto y muy común: cuando una intervención cae sobre un grupo y no sobre otro, y tú no decidiste quién la recibía. Una ley que entra en una región y no en la de al lado. Una campaña que se lanza en unas tiendas y no en otras. Una función que se activa para los usuarios de un país. En todos estos casos hay, sin que nadie lo haya buscado, un grupo que recibió el cambio y un grupo que no, y eso es justo lo que esta técnica sabe aprovechar.

## Por qué el antes-después engaña

La tentación, cuando lanzas algo y quieres saber si funcionó, es mirar el antes y el después de donde lo lanzaste. Lanzaste una campaña en la región Norte, las ventas pasaron de 100 a 128, y concluyes: la campaña subió las ventas 28. Parece de sentido común. Y es un error, porque entre el antes y el después no solo cambió tu campaña: cambió el mundo entero. Hubo subida de temporada, una tendencia general del mercado, el efecto de la publicidad de la competencia, el clima, lo que sea. Todo eso también movió tus ventas, y tú lo estás metiendo entero en la cuenta de tu campaña.

La pregunta correcta no es "¿cuánto subieron las ventas en el Norte?", sino "¿cuánto subieron en el Norte POR ENCIMA de lo que habrían subido solas?". Y ahí está el problema de fondo de toda la causalidad: no puedes observar lo que habría pasado en el Norte si NO hubieras lanzado la campaña, porque sí la lanzaste. Ese mundo paralelo, el Norte-sin-campaña, no existe. Se llama el contrafactual: lo que habría ocurrido en ausencia de la intervención. Y como no lo puedes ver, tienes que estimarlo. Diferencias en diferencias es una manera de estimarlo.

Esta idea del contrafactual es la que une todo lo que has visto en el módulo, aunque no se llamara así. Un test A/B estima el contrafactual con el grupo de control: lo que les pasa a los que no recibieron el cambio es lo que les habría pasado a los tratados sin él, porque el sorteo hizo a los dos grupos intercambiables. Cuando no hay sorteo, el contrafactual deja de venir servido y hay que fabricarlo con lo que tengas. Diferencias en diferencias lo fabrica de una manera concreta: coge a un grupo que no fue tratado y usa su evolución como la evolución que habría tenido el tratado. Toda la técnica se juega en si ese préstamo es legítimo o no.

## La idea: usar un grupo testigo para medir la tendencia

La jugada es elegante. Si no puedes ver cuánto habría subido el Norte por su cuenta, busca un grupo parecido que NO recibió la campaña, y mira cuánto subió él. Ese grupo, el de control o testigo, vivió el mismo mundo que el Norte, la misma temporada, la misma economía, el mismo clima, con la única diferencia de que a él no le llegó la campaña. Así que su subida es una estimación de la tendencia general: lo que habría subido el Norte solo, sin campaña.

Pongamos números. El Norte (tratado) pasó de 100 a 128: subió 28. El Sur (control), que no recibió la campaña, pasó de 90 a 108: subió 18. Esos 18 son la tendencia general, lo que subió todo el mundo sin hacer nada especial. Entonces, el efecto limpio de la campaña es la subida del Norte MENOS la tendencia general: 28 menos 18, igual a 10. La campaña subió las ventas 10, no 28. Los otros 18 habrían llegado igual. De ahí el nombre: tomas una diferencia (el antes-después del tratado), le restas otra diferencia (el antes-después del control), y lo que queda es la diferencia de las diferencias.

Mira el diagrama con calma, porque es toda la técnica en una imagen. La línea cyan es el Norte: subió de 100 a 128. La línea ámbar es el Sur: subió de 90 a 108. La línea roja punteada es la clave: es el Norte imaginario, el que habría existido si la campaña no se hubiera lanzado. ¿Cómo la dibujamos? Cogemos el punto de partida del Norte (100) y le aplicamos la misma pendiente que tuvo el control. Si el Sur subió 18, suponemos que el Norte habría subido también 18, hasta 118. El efecto de la campaña es la distancia vertical entre donde acabó de verdad el Norte (128) y donde habría acabado sin campaña (118): esos 10 que separan la línea cyan de la roja. No es la subida entera; es solo el trozo que no explica la tendencia general.

## La tabla de cuatro casillas

Hay otra forma de ver la cuenta que a mucha gente le resulta más clara, y es poner los cuatro números en una tabla de dos filas por dos columnas: en las filas, los dos grupos (tratado y control); en las columnas, los dos momentos (antes y después). Cada casilla es una media que observaste de verdad, nada imaginario. El Norte antes: 100. El Norte después: 128. El Sur antes: 90. El Sur después: 108. Cuatro medidas, cuatro casillas.

La diferencia de las diferencias se lee entonces en dos pasos muy visuales. Primero restas por filas: la fila del Norte da 128 menos 100, igual a 28; la fila del Sur da 108 menos 90, igual a 18. Esas son las dos "diferencias" del nombre, el cambio de cada grupo en el tiempo. Y después restas esas dos restas entre sí: 28 menos 18, igual a 10. Ese 10 es la casilla que no observaste, la que se calcula, y es el efecto. El nombre de la técnica es literal: tomas una diferencia, tomas otra, y te quedas con la diferencia entre las dos.

## El supuesto que lo sostiene todo: las tendencias paralelas

Todo esto se apoya en una suposición, y es honesto ponerla sobre la mesa en grande, porque es el punto por donde la técnica se rompe. Para que la subida del control sea una buena estimación de lo que habría subido el tratado por su cuenta, los dos grupos tienen que haber evolucionado igual en ausencia de la intervención. A esto se le llama el supuesto de tendencias paralelas: si la campaña no se hubiera lanzado, el Norte y el Sur habrían subido (o bajado) al mismo ritmo.

Fíjate en lo que NO exige el supuesto. No exige que los dos grupos estén al mismo nivel: el Norte empezaba en 100 y el Sur en 90, y no pasa nada, porque restamos cambios, no niveles. Lo que exige es que se MUEVAN igual. Que la distancia entre ellos se habría mantenido de no mediar la campaña. Es un supuesto sobre las pendientes, no sobre las alturas. Y es un supuesto sobre un mundo que no existe (el contrafactual), así que no se puede comprobar directamente. Pero sí se puede hacer algo casi tan bueno.

Lo que se puede hacer es mirar el pasado. Si tienes datos de varios periodos ANTES de la intervención, puedes comprobar si las dos líneas iban paralelas entonces. Si durante el año anterior el Norte y el Sur subían al mismo ritmo, periodo tras periodo, es muy razonable suponer que habrían seguido paralelos un periodo más de no mediar la campaña. No es una prueba (el pasado no obliga al futuro), pero es la mejor evidencia disponible, y presentarla es lo que separa un análisis de diferencias en diferencias creíble de uno que es un acto de fe. Si, en cambio, las líneas ya se separaban antes de la intervención, el supuesto está roto y el método no vale: estarías atribuyendo a la campaña una divergencia que ya venía de antes.

## Cuándo sirve y cuándo no

Diferencias en diferencias brilla cuando tienes una intervención que cayó sobre un grupo y no sobre otro en un momento identificable, y datos de los dos grupos antes y después. Es muy común: cambios de política que entran por regiones, funciones que se despliegan por fases, promociones que se prueban en unas tiendas. En todos esos casos, aunque no hubo sorteo, hay un testigo natural, y la técnica lo exprime.

No sirve, en cambio, cuando no hay un grupo de control razonable (la intervención cayó sobre todos a la vez, así que no hay testigo), cuando la intervención coincidió con otra cosa que afectó solo al grupo tratado (entonces no puedes separar las dos), o cuando las tendencias previas ya divergían. Y arrastra, por debajo, el mismo límite de toda la causalidad sin sorteo: supone que el único motivo por el que los dos grupos se separan tras la intervención es la intervención misma. Si hubo otro cambio que afectó solo al tratado justo entonces, la diferencia de las diferencias se lo apunta a tu campaña, igual que el antes-después se apuntaba la tendencia general.

Pongamos un ejemplo de ese fallo, porque es sutil. Lanzas la campaña en el Norte justo el mismo mes en que, por casualidad, abre en el Norte un centro comercial enorme que dispara el tráfico de la zona. Las ventas del Norte suben, tú restas la tendencia del Sur y te queda un efecto grande, y lo apuntas a tu campaña. Pero parte de esa subida era el centro comercial, no la campaña, y como el centro comercial solo afectó al Norte, la resta del Sur no lo limpia: no hay forma de que el Sur refleje algo que solo pasó en el Norte. Ese es el agujero de la técnica. Diferencias en diferencias limpia lo que afecta a los dos grupos por igual (la tendencia general), pero es ciega a lo que afecta solo al tratado justo cuando entra la intervención.

Un detalle sobre cómo elegir el control, porque es donde se juega la credibilidad. El control no tiene que ser idéntico al tratado en todo, solo tiene que moverse igual que él. Un barrio rico puede ser el control de un barrio pobre si los dos crecen al mismo ritmo, aunque partan de niveles muy distintos. Lo que invalida un control no es ser diferente, es responder de forma distinta a lo que mueve el mundo: si el tratado y el control reaccionan de manera opuesta a la temporada alta, sus tendencias no serán paralelas y la resta mezclará esa diferencia de reacción con el efecto que buscas. Por eso un buen candidato a control es un grupo que haya vivido las mismas sacudidas que el tratado y haya respondido igual, y la prueba de eso es, otra vez, el periodo previo.

## El checklist antes de fiarte de un resultado

Antes de llevar a una reunión un número que viene de diferencias en diferencias, pásale estas cinco preguntas. Si alguna falla, el número no vale lo que parece:

1. 01.¿Hay un grupo que recibió la intervención y otro que no, y los dos tienen datos antes y después? Sin esas cuatro casillas, no hay técnica.
2. 02.¿Iban paralelos los dos grupos en el periodo previo? Es la prueba del supuesto, y es lo primero que hay que mirar y lo primero que te van a pedir.
3. 03.¿Elegiste el control por parecerse al tratado, o por el resultado que daba? Lo segundo es p-hacking disfrazado: el control se justifica antes de ver el efecto.
4. 04.¿Pasó alguna otra cosa que afectara solo al grupo tratado justo cuando entró la intervención? Si la hubo, la diferencia de las diferencias se la apunta a tu intervención por error.
5. 05.¿Estás restando cambios, no niveles? Que los grupos partan de alturas distintas no es un problema; que se muevan distinto, sí.

Diferencias en diferencias resuelve un caso concreto: cuando hay un grupo tratado y un grupo testigo que se mueven en paralelo. Pero a veces no tienes dos grupos que evolucionan en el tiempo, sino un montón de individuos que, de entrada, son distintos entre sí: los que compraron premium no se parecen a los que no, antes incluso de comprarlo. Ahí no hay un "antes y después" limpio que restar, hay que comparar peras con peras de otra manera. Esa es la última técnica del módulo, y comparte con esta exactamente el mismo talón de Aquiles.