Tres sesgos que te van a engañar: supervivencia, selección, Simpson

La mayoría de las decisiones que se toman con datos en las empresas están equivocadas. No por falta de datos, no por errores de cálculo, no por herramientas malas — sino porque quien analiza los datos no ve lo que NO está en la tabla. El 78% de retención que celebra el comité de dirección es el 78% de los usuarios que completaron el onboarding, pero nadie pregunta qué porcentaje lo completa: resulta que el 65% se fue antes. El estudio que "demuestra" que tu producto funciona solo incluye a quienes siguieron usándolo. La métrica que baja en un segmento y sube en otro puede subir en el total — y las tres cifras ser correctas a la vez. Estos no son errores exóticos de laboratorio: son trampas que aparecen en reuniones normales, con datos reales, y que pasan desapercibidas precisamente porque todo está bien calculado.

Ese día, una única pregunta — "¿a quién NO estamos viendo en estos datos?" — cambió la prioridad del trimestre entero. En lugar de invertir en funcionalidades para usuarios activos, el equipo redujo el onboarding de cinco pasos a dos. La retención "aparente" bajó al 61%, pero los usuarios activos a 90 días subieron un 40% en términos absolutos, porque ahora había el doble de gente pasando la puerta.

Esa pregunta — "¿a quién no estamos mirando?" — es la que vamos a aprender a hacer hoy, sistemáticamente, ante tres sesgos que se comen a analistas con experiencia: el sesgo de supervivencia, el sesgo de selección y la paradoja de Simpson. Los tres tienen algo en común: los datos son correctos, las cuentas están bien hechas, y la conclusión es falsa.

### Sesgo de supervivencia: solo ves a los que siguen en pie

La historia más famosa de sesgo de supervivencia viene de la Segunda Guerra Mundial. El matemático Abraham Wald trabajaba en el Statistical Research Group de la Universidad de Columbia, un equipo de académicos civiles que asesoraba a las fuerzas armadas. Le llevaron un problema: los bombarderos volvían de las misiones con los impactos de bala repartidos de forma muy desigual — muchos en las alas y el fuselaje, y casi ninguno en el motor ni la cabina. La lectura intuitiva era blindar donde había más agujeros. Wald desarrolló un método para calcular lo contrario: los aviones alcanzados en las zonas críticas no volvían, así que los que se podían examinar eran los supervivientes, y las zonas sin impactos no estaban sin impactos porque nadie disparase ahí, sino porque los aviones que los recibían estaban en el fondo del mar. Conviene saber que la escena que se cuenta por ahí, con Wald discutiendo con un general y señalando dónde poner el blindaje, es una recreación posterior: sus documentos son un método de estimación, puramente técnico, y no recomiendan nada. La idea sí es suya; el diálogo no.

El patrón es siempre el mismo: analizas solo a los que "sobrevivieron" a algún filtro — los que siguen siendo clientes, las empresas que siguen abiertas, los productos que siguen en catálogo, los usuarios que completaron el onboarding — y sacas conclusiones como si tu muestra representara a todos. Pero no los representa: te falta la mitad que se fue, y esa mitad tiene información que cambia la conclusión.

En negocio, el sesgo de supervivencia aparece constantemente. Algunos ejemplos que he visto de primera mano:

• ▹Encuestas de satisfacción — "nuestros clientes nos puntúan con un 8,7". Sí, los que siguen siendo clientes. Los que se fueron no contestan la encuesta, y probablemente te habrían puesto un 3.
• ▹Análisis de retención — "el 78% de usuarios activos a 90 días". Solo de los que pasaron el onboarding. Si el onboarding pierde al 65%, tu retención real del universo completo es 0,35 x 0,78 = 27%.
• ▹Benchmarks de startups — "las empresas con product-market fit crecen un 20% mensual". Las que no lo encontraron cerraron. No entran en el benchmark.
• ▹Mejores prácticas de éxito — "las empresas exitosas empezaron en un garaje" ignora el cementerio de garajes que nunca llegaron a ninguna parte. Aprender de los ganadores sin contar a los perdedores es como estudiar solo los billetes de lotería premiados para "descubrir la fórmula".
• ▹Fondos de inversión — "nuestros fondos promedian un 12% de rentabilidad a 10 años". Los fondos que cerraron por malos resultados desaparecen del histórico. Solo quedan los que funcionaron.

¿Cómo se detecta en tu día a día? Con tres preguntas concretas:

1. 01.¿Desde qué punto estoy midiendo? Si mido desde "usuarios que completaron el onboarding", estoy excluyendo a todos los que se fueron antes.
2. 02.¿Qué pasó con los que no están en mi dataset? Si analizo "clientes activos", los que cancelaron la semana pasada no aparecen. ¿Eran muchos? ¿Por qué se fueron?
3. 03.¿Cambiaría mi conclusión si incluyo a los ausentes? Si la retención es 78% de supervivientes pero 27% del total, la historia es completamente distinta.

### Sesgo de selección: tu muestra no representa a nadie

El sesgo de selección es primo hermano del de supervivencia, pero con un matiz distinto. En el de supervivencia, el filtro es temporal — alguien "sobrevive" o no a un proceso. En el de selección, el problema es que la muestra que recoges no representa a la población sobre la que quieres concluir, porque el mecanismo de recogida favorece a un tipo de persona.

La analogía más clara: imagina que quieres saber qué opina tu barrio sobre el ruido nocturno. Pones una urna en la puerta del bar que cierra a las 4 de la mañana y pides a la gente que vote. ¿Quién va a votar? Los que salen a las 4 de la mañana. Su opinión sobre el ruido nocturno es predecible — y no representa al vecino de 70 años que se acuesta a las 10 y tiene una opinión muy distinta, pero no pasará por delante de esa urna.

En datos de negocio, el sesgo de selección aparece cada vez que tu fuente de datos tiene un filtro implícito que no controlas:

• ▹Encuestas de satisfacción voluntarias — solo contestan los extremos. El cliente "normal", el del 6 o 7 sobre 10, no pierde tiempo. Contesta el que está furioso (1-2) y el que está encantado (9-10). Tu media dice 6,5 pero la distribución real es bimodal.
• ▹Analizar solo a los que compraron — si estudias las características de "los clientes que convirtieron" para saber qué funciona, te pierdes a los que visitaron la web y se fueron. Las dos poblaciones pueden ser completamente distintas.
• ▹Datos de CRM que solo registran llamadas — "nuestros clientes no se quejan por email". No: tu CRM solo recoge llamadas. No sabes cuántos se quejan por email porque no los captas.
• ▹Entrevistas a usuarios activos — "hemos hablado con 20 usuarios y todos dicen que la app es fácil de usar". Has hablado con los que siguen usándola. Los que la encontraron difícil se fueron sin decírtelo.

El caso más traicionero que he visto fue en una empresa de e-commerce. El equipo de producto quería saber "por qué los usuarios abandonan el carrito". Hicieron una encuesta emergente en el paso 3 del checkout. Conclusión: "los usuarios dicen que el envío es caro". El problema: la encuesta solo aparecía a los que llegaban al paso 3. Los que abandonaban en el paso 1 (porque la página tardaba 8 segundos en cargar) nunca veían la encuesta. El envío era un problema real, sí — pero el rendimiento era un problema más grande que la encuesta no podía captar por su propia ubicación.

¿Cómo se detecta el sesgo de selección? Con estas preguntas:

1. 01.¿Quién puede aparecer en mi muestra y quién no? Si hago una encuesta online, excluyo a quien no tiene internet. Si analizo "usuarios activos", excluyo a los inactivos.
2. 02.¿El mecanismo de recogida favorece a algún grupo? Las encuestas voluntarias favorecen a los extremos. Los datos de CRM favorecen al canal que se registra.
3. 03.¿Sobre qué población quiero concluir? Si quiero concluir sobre "todos mis usuarios" pero solo tengo datos de "los que llegaron al paso 3", mi conclusión no aplica a los primeros.
4. 04.¿Puedo completar la muestra? A veces basta con añadir otra fuente: logs del servidor para el rendimiento, datos de cancelación para los que se fueron, encuesta por otro canal para los silenciosos.

### Paradoja de Simpson: la tendencia que se invierte al segmentar

De los tres sesgos, este es el más contraintuitivo — y el que más te va a sorprender la primera vez que lo veas en tus datos. La paradoja de Simpson ocurre cuando una tendencia que aparece en los datos agregados se INVIERTE al dividir esos mismos datos en subgrupos. No es un error de cálculo: los números están bien sumados. Es que la agregación oculta una estructura que, al revelarse, cuenta la historia opuesta.

El ejemplo clásico viene de la medicina. Imagina dos hospitales: el Hospital A tiene una mortalidad global del 3%, y el Hospital B del 5%. Un periodista escribe: "el Hospital B es peor, tiene más mortalidad". Pero si segmentas por gravedad del paciente:

• ▹Casos leves — Hospital A: mortalidad 1%. Hospital B: mortalidad 0,5%. B es mejor.
• ▹Casos graves — Hospital A: mortalidad 10%. Hospital B: mortalidad 8%. B es mejor.
• ▹Global — Hospital A: 3%. Hospital B: 5%. A parece mejor.

¿Cómo puede ser? Porque el Hospital B es el centro de referencia regional y recibe el 80% de los casos graves. Su "mezcla" de pacientes es mucho más dura. Aunque es mejor tratando tanto casos leves como casos graves, su global es peor porque trata proporcionalmente muchos más casos difíciles. Es como comparar la nota media de dos profesores sin tener en cuenta que uno da primero de primaria y el otro da bachillerato: el de bachillerato tendrá notas medias más bajas, y no porque sea peor profesor.

En negocio, la paradoja de Simpson aparece más de lo que crees. He aquí un caso real que viví: dos campañas de marketing, A y B. La campaña A tiene una tasa de conversión global del 4,1% y la B del 3,4%. El director de marketing quiere cancelar B. Pero al segmentar por canal:

• ▹Canal móvil — Campaña A: 2,1%. Campaña B: 2,5%. B es mejor.
• ▹Canal escritorio — Campaña A: 6,0%. Campaña B: 6,8%. B es mejor.
• ▹Global — A: 4,2%. B: 3,8%. A parece mejor.

La explicación: la campaña B se lanzó un 80% en móvil (donde la conversión es naturalmente más baja) y solo un 20% en escritorio. La campaña A se repartió 50/50. La campaña B es mejor en AMBOS canales, pero su global es peor porque jugó más tiempo en el campo difícil. Cancelarla sería un error: lo que hay que hacer es ajustar la distribución de canales, no cambiar la campaña.

### Por qué Simpson engaña: la aritmética de las proporciones ponderadas

Para que la paradoja no sea "magia", vamos a ver la mecánica con números concretos. Campaña A: 500 visitas en móvil con 2,1% de conversión = 10,5 conversiones. 500 visitas en escritorio con 6,0% = 30 conversiones. Total: 40,5 conversiones de 1.000 visitas = 4,05% global. Campaña B: 800 visitas en móvil con 2,5% = 20 conversiones. 200 visitas en escritorio con 6,8% = 13,6 conversiones. Total: 33,6 de 1.000 = 3,36% global.

Fíjate: B tiene mejor tasa en móvil (2,5 vs 2,1) y mejor tasa en escritorio (6,8 vs 6,0), pero peor global (3,36 vs 4,05). La razón es puramente aritmética: la global es una media PONDERADA por el tamaño de cada segmento. B pone el 80% de su peso en el segmento de baja conversión (móvil), así que su media se "arrastra" hacia abajo. La tasa global no es un promedio simple: es un promedio donde los pesos importan, y si los pesos son distintos, la comparación global no refleja la calidad.

La lección para tu día a día: una tasa global (conversión, retención, NPS, mortalidad, lo que sea) es siempre una media ponderada. Si los pesos son distintos entre lo que comparas, el global puede decir lo contrario de lo que dice cada parte. Por eso la primera reacción ante cualquier comparación de tasas debe ser: "¿la composición es la misma?".

### Cómo detectar cada sesgo: el checklist del detective

El protocolo se resume en una frase que repito a todos mis juniors: "antes de presentar un número, pártelo por la mitad de todas las formas que se te ocurran y mira si la historia sigue siendo la misma". Si al segmentar por canal, por antigüedad, por país, por tamaño de cuenta — la conclusión se mantiene, puedes dormir tranquilo. Si al segmentar se invierte... acabas de evitar que tu empresa tome una decisión equivocada.

### Comunicar un sesgo al stakeholder que ya tiene su conclusión

Esta es la parte difícil del trabajo, y la que ningún libro de estadística te enseña. Has encontrado un sesgo. Sabes que la conclusión del director está equivocada. Ahora tienes que decírselo sin que se ponga a la defensiva, sin que piense que le estás corrigiendo, y de forma que cambie de opinión en los cinco minutos que dura tu turno en la reunión.

La técnica que mejor me ha funcionado en 12 años tiene tres pasos:

1. 01.Valida el dato, no la conclusión. "El 78% es correcto — la retención de los que pasan el onboarding es esa. Eso está bien calculado." Empieza dando la razón al número. Así el stakeholder no siente que le dices que su equipo calcula mal.
2. 02.Introduce lo que falta, no lo que está mal. "Lo que me pregunto es si esa cifra incluye a los que no pasaron el onboarding. Porque si el onboarding pierde al 65%, el universo real es mucho más grande." No dices "estás equivocado" — dices "hay más datos que añadir".
3. 03.Lleva el dato alternativo YA calculado. No vayas a la reunión a plantear dudas: ve con la respuesta. "He mirado: si contamos a todos desde el registro, la retención real es del 27%. Ese es el número sobre el que estamos decidiendo." El contraste habla solo.

El patrón es: validar + ampliar + demostrar. Nunca corregir. Nadie escucha después de sentirse corregido en público. Tu trabajo no es tener razón — es que la decisión sea correcta. Y para eso necesitas que te escuchen, y para que te escuchen necesitas que no se sientan atacados.

### Ejemplo guiado: la paradoja de Simpson con datos en SQL

Vamos a construir la paradoja de Simpson con datos que puedes ejecutar ahora mismo. El escenario: dos vendedores de una empresa SaaS, Elena y Carlos. El director comercial quiere saber quién tiene mejor tasa de cierre para darle la cuenta corporativa grande. Mirando los números globales, Elena cierra el 45% y Carlos el 50%. Conclusión: Carlos es mejor. Pero vamos a segmentar por tipo de cliente (pyme vs enterprise) y ver qué pasa.

1-- Datos de ventas: vendedor, tipo de cliente, oportunidades, cierres
2CREATE OR REPLACE TABLE ventas AS
3SELECT * FROM (VALUES
4  ('Elena', 'pyme',       200, 120),
5  ('Elena', 'enterprise',  50,  10),
6  ('Carlos', 'pyme',       50,  30),
7  ('Carlos', 'enterprise', 200,  80)
8) AS t(vendedor, tipo_cliente, oportunidades, cierres);
9
10-- Global: quien cierra mas?
11SELECT vendedor,
12       SUM(oportunidades) AS total_oportunidades,
13       SUM(cierres) AS total_cierres,
14       ROUND(100.0 * SUM(cierres) / SUM(oportunidades), 1) AS tasa_cierre_pct
15FROM ventas
16GROUP BY vendedor
17ORDER BY tasa_cierre_pct DESC;

1-- Segmentado: quien cierra mas DENTRO de cada tipo?
2CREATE OR REPLACE TABLE ventas AS
3SELECT * FROM (VALUES
4  ('Elena', 'pyme',       200, 120),
5  ('Elena', 'enterprise',  50,  10),
6  ('Carlos', 'pyme',       50,  30),
7  ('Carlos', 'enterprise', 200,  80)
8) AS t(vendedor, tipo_cliente, oportunidades, cierres);
9
10-- Por tipo de cliente
11SELECT vendedor, tipo_cliente, oportunidades, cierres,
12       ROUND(100.0 * cierres / oportunidades, 1) AS tasa_cierre_pct
13FROM ventas
14ORDER BY tipo_cliente, vendedor;
15
16-- Y ahora el global para comparar
17SELECT vendedor,
18       SUM(oportunidades) AS total_oport,
19       SUM(cierres) AS total_cierres,
20       ROUND(100.0 * SUM(cierres) / SUM(oportunidades), 1) AS tasa_global_pct
21FROM ventas
22GROUP BY vendedor;

El director comercial que solo mira el global concluiría que Elena es mejor vendedora. Pero Carlos cierra igual en pyme y MEJOR en enterprise — que es exactamente el segmento de la cuenta grande que quieren asignar. La decisión correcta es darle la cuenta a Carlos, a pesar de que su global es peor. Simpson en acción.

### Un poco de historia: de dónde viene la paradoja

La paradoja lleva el nombre de Edward H. Simpson, que la describió formalmente en un artículo de 1951, aunque el fenómeno ya lo había observado Karl Pearson en 1899 y Udny Yule en 1903. Es interesante que tardara medio siglo en formalizarse algo que se podía ver con una tabla de 2x2: hasta que no se nombró y se explicó con un marco claro, la gente lo veía como "un dato raro" y lo descartaba. Nombrar un sesgo es la mitad de poder detectarlo.

El caso más famoso en el mundo real es el de la Universidad de Berkeley en 1973. Los datos de admisión de posgrado mostraban que el 44% de los hombres era admitido frente al 35% de las mujeres. ¿Discriminación? El estudio que analizó los datos departamento por departamento (Bickel, Hammel y O'Connell, publicado en Science en 1975) encontró lo contrario de lo que parecía: de 85 departamentos, solo cuatro mostraban un sesgo significativo contra las mujeres y seis lo mostraban a favor, y una vez tenido en cuenta dónde solicitaba plaza cada grupo aparecía un sesgo pequeño pero significativo a favor de ellas. La explicación: las mujeres solicitaban sobre todo en los departamentos más difíciles de entrar — casi dos tercios de quienes pedían plaza en inglés eran mujeres, frente a un 2% en ingeniería mecánica. El sesgo no estaba en la admisión, estaba en dónde solicitaba cada grupo.

### Resumen: las tres preguntas que te proteges

1. 01.Sesgo de supervivencia — "¿A quién NO estoy viendo en estos datos?" Si solo analizas a los que sobrevivieron a un filtro (completaron onboarding, siguen activos, respondieron encuesta), tu conclusión solo aplica a los supervivientes, no al universo completo.
2. 02.Sesgo de selección — "¿Mi muestra representa realmente a la población sobre la que quiero concluir?" Si el mecanismo de recogida favorece a un subgrupo (los enfadados, los que llegaron al paso 3, los activos), tu conclusión está sesgada hacia ese grupo.
3. 03.Paradoja de Simpson — "¿La composición de los grupos que comparo es la misma?" Si un grupo trabaja más casos difíciles que el otro, su global será peor aunque sea mejor en cada segmento. Segmenta siempre antes de comparar.

Los tres se resuelven con el mismo hábito: antes de presentar un número, pártelo. Segmenta por todo lo que se te ocurra. Si la historia sobrevive al corte, es sólida. Si se invierte, acabas de salvar una decisión.