Muestreo: de quién hablas cuando dices «los clientes»

Te piden el porcentaje de clientes satisfechos. Mandas una encuesta a 40.000 personas y contestan 1.200. Calculas el porcentaje sobre esas 1.200, lo pones en una diapositiva que dice «nuestros clientes» y la presentas. Acabas de hacer algo que parece inofensivo y no lo es: has hablado en nombre de 40.000 personas habiendo escuchado a 1.200, y no has dicho una palabra sobre las 38.800 que no contestaron.

Esto no es un problema de encuestas. Es la situación normal de todo lo que vas a hacer. La tabla de pedidos tiene los pedidos que se registraron, no los que la gente quiso hacer y abandonó. El histórico de la web tiene a los que llegaron, no a los que no encontraron la página. Nunca tienes a todos. Y como nunca los tienes, hay que saber decir a quién se está mirando y a quién no.

## Tres palabras que hay que separar

La población es el conjunto entero del que quieres hablar. No es un dato que tengas: es una decisión que tomas. «Los clientes» no es una población, es una expresión vaga; «los clientes que hicieron al menos un pedido en los últimos doce meses» sí lo es, porque se puede decidir de cualquier persona si está dentro o fuera.

El marco es la lista real a la que puedes llegar. Si tu población son los clientes del último año pero solo tienes correo electrónico de los que se registraron, tu marco son los registrados. Todo el que esté en la población y no en el marco es invisible para ti, y no aparece en ningún resultado: ni suma, ni resta, ni sale en un aviso. Simplemente no existe en tus números.

La muestra son los que finalmente has mirado. Y aquí está lo que casi nadie separa: entre la población y la muestra hay dos saltos, no uno. Del primero —población a marco— se habla poco y es el que más daño hace. Del segundo —marco a muestra— se habla mucho, porque es el que se calcula.

## El desastre de 1936: 2,4 millones de respuestas y un error histórico

En 1936, la revista Literary Digest llevaba veinte años acertando quién ganaba las elecciones de Estados Unidos. Ese año hizo la encuesta más grande de su historia: mandó diez millones de papeletas y recibió 2,4 millones de respuestas. Con ese volumen anunció que Alfred Landon ganaría con el 57% de los votos. Roosevelt ganó con el 60,8% y se llevó 46 de los 48 estados. Fue uno de los errores de predicción más grandes que se recuerdan, y la revista cerró poco después.

Ese mismo año, un hombre llamado George Gallup predijo el resultado correcto con unas 50.000 personas, cincuenta veces menos. Y no solo eso: predijo también, con 3.000 personas, que el Literary Digest se iba a equivocar y en qué dirección.

¿Qué hizo mal la revista? Sacó las direcciones de tres sitios: listines de teléfono, registros de matriculación de coches y su propia lista de suscriptores. En 1936, en plena Gran Depresión, tener teléfono, coche o una suscripción a una revista significaba tener dinero. Su marco eran los americanos acomodados, y los americanos acomodados votaban a Landon. La población que querían medir era «los votantes»; la lista a la que llegaron era otra cosa. Ese es el salto 1 del dibujo, y ninguna cantidad de respuestas lo arregla.

Lo que hizo Gallup distinto merece contarse, porque es el oficio entero en una idea. Él no intentó llegar a más gente: intentó llegar a la gente en la proporción correcta. Miró los censos, vio cómo se repartía el país por región, por tipo de municipio, por nivel económico, y luego se propuso que su muestra tuviera esas mismas proporciones. Si el 30% del país vivía en zonas rurales, el 30% de sus encuestas tenía que ser rural. Con cincuenta mil personas bien repartidas ganó a dos millones y medio mal repartidas.

Y hay un detalle de esa historia que suele omitirse y que es el más instructivo: Gallup también predijo, con 3.000 personas, que el Literary Digest se equivocaría y en qué dirección. Para eso no necesitó adivinar nada. Le bastó con reproducir el método de la revista a pequeña escala —preguntar a gente sacada de listines y registros de coches— y comparar ese resultado con el de su propia muestra bien repartida. Sabía cuánto desviaba el marco de la revista porque lo midió. Esa es la maniobra que hay que copiar: cuando sospechas que una lista está torcida, no discutas, mide cuánto.

## Los cuatro métodos, y cuándo usar cada uno

Una vez tienes el marco, hay cuatro formas estándar de sacar de él a quién vas a mirar. No son intercambiables:

• ▹Aleatorio simple: todos tienen la misma probabilidad de salir, como sacar bolas de un bombo. Es el que se supone en casi todas las fórmulas y el que usarás por defecto. En SQL es un `ORDER BY RANDOM() LIMIT n`.
• ▹Sistemático: ordenas la lista y coges uno cada N (el 1º, el 50º, el 100º…). Es más fácil de ejecutar, y tiene una trampa: si la lista está ordenada por algo que se repite con ese mismo ritmo, coges siempre el mismo tipo de caso.
• ▹Estratificado: partes la población en grupos que te interesan (regiones, tamaños de cliente, tramos de edad) y sacas una muestra de cada uno. Garantiza que ningún grupo se queda fuera y es el que resuelve el problema práctico más común.
• ▹Por conglomerados: eliges grupos enteros al azar y miras a todos los de dentro (diez tiendas de doscientas, y en esas diez a todo el mundo). Se usa cuando llegar a cada individuo suelto es carísimo, y a cambio da menos precisión por persona medida.

Merece la pena bajar al detalle de cada uno, porque la diferencia entre ellos no es de estilo: cada uno falla de una manera distinta y conviene saber cuál.

El aleatorio simple es el patrón oro y el que suponen las fórmulas. Su única dificultad es de verdad tener acceso a la lista entera: si sacas «al azar» de los que entraron esta semana, no has hecho un aleatorio simple de tus clientes, has hecho un aleatorio simple de los clientes activos esta semana, que es otra población. La palabra «azar» no arregla un marco: solo reparte bien dentro del marco que le das.

El sistemático —uno cada N— se usa porque es fácil de ejecutar y de auditar: cualquiera puede comprobar que lo hiciste bien. Su fallo tiene un nombre gráfico: la periodicidad. Si coges un pedido cada 7 en una lista ordenada por fecha, coges siempre el mismo día de la semana, y los lunes no se parecen a los sábados. El aviso práctico: antes de usarlo, mira por qué está ordenada la lista. Si el orden tiene un ritmo, el método lo copia.

El estratificado merece una parada larga, porque resuelve algo que el aleatorio simple hace mal. Imagina que tienes 900 clientes pequeños y 100 grandes, y sacas 20 al azar. Lo más probable es que salgan 18 pequeños y 2 grandes; pero con esa suerte normal también puede salir ningún grande, y entonces tu conclusión sobre «los clientes» no tiene ni un solo cliente grande dentro. Con estratificado decides de antemano que quieres 10 de cada uno y eso no puede pasar.

Hay una segunda razón para estratificar que se aprecia menos y es igual de buena: te deja hablar de cada grupo por separado. Con 20 al azar no puedes decir nada del segmento grande, porque tienes dos casos. Con 10 y 10 puedes decir algo de los dos, aunque de ninguno con mucha precisión. Es la diferencia entre un resultado global y un resultado que se puede accionar por segmento, que casi siempre es lo que te van a pedir en la segunda pregunta.

El por conglomerados es el que casi nadie entiende bien, así que va con su ejemplo. Quieres saber qué opinan los empleados de una cadena de 200 tiendas. Con aleatorio simple tendrías que visitar casi las 200 para encontrar a las 400 personas elegidas, una o dos por tienda. Con conglomerados eliges 10 tiendas al azar y entrevistas a todo el mundo en esas 10. Diez visitas en vez de doscientas. La factura es real: la gente de una misma tienda se parece entre sí —mismo jefe, mismo horario, misma clientela— así que 400 personas de 10 tiendas te informan menos que 400 de 200 tiendas. Cambias precisión por presupuesto, y es un intercambio legítimo siempre que lo digas.

## La muestra varía, y eso sí se puede medir

Si sacaras otra muestra de la misma lista, saldría otro número. No porque hayas hecho nada mal: porque son otras personas. Ese temblor se puede medir, y la medida se llama margen de error. Cuando una encuesta dice «47% con un margen de ±3 puntos», está diciendo «he medido 47, y si repitiera esto muchas veces casi siempre me saldría algo entre 44 y 50».

Lo que importa del margen es cómo se comporta: no baja proporcionalmente al tamaño, baja con su raíz cuadrada. Para partir el margen por la mitad no necesitas el doble de datos: necesitas cuatro veces más.

1import math
2
3# Margen de error aproximado para un porcentaje, al 95% de confianza
4# y en el caso mas exigente (un reparto 50-50).
5for n in [100, 400, 1600, 6400, 25600]:
6    margen = 0.98 / math.sqrt(n) * 100
7    print(n, "personas ->", str(round(margen, 1)) + " puntos")

## Los tres sitios por donde se rompe una muestra

Cuando una muestra engaña, casi siempre es por uno de estos tres, y conviene saber distinguirlos porque se arreglan de formas distintas:

1. 01.Cobertura: hay gente de tu población que no está en tu lista. Es el caso de 1936. No se arregla con más datos ni con matemáticas: se arregla consiguiendo una lista mejor, o declarando a quién no cubres.
2. 02.No respuesta: están en la lista, los has elegido, y no contestan. Si los que no contestan se parecen a los que sí, no pasa nada; si son distintos —y suelen serlo— tu resultado se desplaza. La defensa es comparar lo que sabes de los que contestaron con lo que sabes de todo el marco: edad, región, antigüedad.
3. 03.Autoselección: nadie los ha elegido, se han apuntado ellos. Las reseñas de un producto, los formularios de «cuéntanos tu experiencia», los votos en una encuesta de Twitter. Contesta quien tiene algo fuerte que decir, así que mides intensidad, no proporción.

De los tres, el más traicionero es el segundo, porque el número de respuestas puede ser enorme y aun así estar torcido. En el caso de la encuesta con la que abría esta lección, 1.200 de 40.000 son un 3% de respuesta: el 97% de las personas ha decidido no contestar, y decidir no contestar no es un acto aleatorio.

## Qué hacer cuando descubres que tu muestra está torcida

Supón que haces el control: comparas a los 1.200 que contestaron con lo que sabes de los 40.000 del marco, y descubres que entre los que contestaron hay el doble de clientes antiguos de los que le corresponden. Ya no puedes presentar el número tal cual. Tienes tres salidas honestas, en este orden.

La primera es ponderar. Si los clientes antiguos son el 20% del marco y el 40% de tus respuestas, cada respuesta de un cliente antiguo tiene que pesar la mitad. Es la misma cuenta que se hace con un muestreo estratificado: devolverle a cada grupo el peso que tiene en la población en lugar del que tiene en tu muestra. Funciona bien cuando la desviación es en algo que conoces y puedes medir, y es lo que hacen todas las encuestas profesionales.

La segunda es acotar de quién hablas. Si tu muestra no representa a los clientes, a lo mejor sí representa bien a los clientes activos del último trimestre. Entonces se dice eso, y ya no hay problema: la conclusión es verdadera para la población que sí has cubierto. Cambiar el titular de «nuestros clientes» a «nuestros clientes activos» no es rebajar el trabajo, es dejar de mentir con él.

La tercera es decir que no se puede responder con estos datos. Es la menos apetecible y a veces es la única. Si los que no contestan son precisamente los que estaban descontentos —y en una encuesta de satisfacción eso es lo más probable— no hay ponderación que lo salve, porque el motivo de no contestar está relacionado con lo que querías medir. Ahí lo que hay que pedir es otra recogida de datos, no otra cuenta.

## Cómo se dice esto en una reunión

• ▹Al presentar cualquier porcentaje de una encuesta: «esto es lo que dicen los 1.200 que contestaron, de 40.000 a los que preguntamos». Se tarda cuatro segundos y cambia por completo lo que la sala entiende.
• ▹Cuando alguien propone subir el tamaño: «¿el problema es que la muestra es pequeña, o que no llega a todo el mundo? Porque si es lo segundo, más respuestas no lo arreglan».
• ▹Con reseñas o formularios voluntarios: «esto mide a quien tenía algo que decir; para saber la proporción real hay que preguntar a gente elegida por nosotros, no por ella misma».
• ▹Si te piden comparar dos grupos pequeños: «con este tamaño el margen es de X puntos, y la diferencia que estamos viendo es menor que eso». Es la forma honesta de decir «todavía no se sabe».

## Resumen: lo que te llevas

1. 01.La población es una decisión que se toma antes de mirar, no un dato que se tenga.
2. 02.Entre la población y la muestra hay dos saltos. El primero —quién no está en tu lista— es el que hace más daño y el único que no se calcula.
3. 03.Más tamaño no arregla un marco torcido: lo confirma con más confianza.
4. 04.Cuatro métodos: aleatorio simple, sistemático, estratificado y por conglomerados. El estratificado es el que evita quedarse sin un grupo entero.
5. 05.Si estratificas, cada grupo pesa en el total lo que pesa en la población, no lo que pesa en tu muestra.
6. 06.El margen de error baja con la raíz del tamaño: para partirlo por la mitad hacen falta cuatro veces más datos.
7. 07.Tres roturas: cobertura, no respuesta y autoselección. Se arreglan de tres formas distintas.

Todo lo de esta lección son fallos de procedimiento: se evitan eligiendo bien a quién miras. Pero hay una familia de errores peor, porque aparece cuando el procedimiento ha sido impecable: los datos son correctos, las cuentas están bien hechas, y la conclusión es falsa de todas formas. Eso es lo que viene ahora.