Día 3 (tarde) — La primera grieta: el destacado convierte peor

### Un número puede darte la razón y quitártela según cómo lo mires

Ayer cerraste el día con todo a favor de Gonzalo: el destacado dobla las visitas y los contactos, y la tasa global a contrato parece sana. Si pararas ahí, escribirías el informe que él espera y el Destacado Premium saldría aprobado el viernes. Pero te quedó una pregunta colgando, la que Irene te empujó a hacer: esa tasa global tan tranquilizadora, ¿es la misma para los destacados que para los normales? Es una pregunta de una línea de SQL —añadir un GROUP BY por tipo a la tasa que ya calculaste— y la respuesta le da la vuelta al día. Hoy vas a ver cómo el mismo dato que confirmaba a Gonzalo, mirado un palmo más abajo, empieza a desmontarlo. No porque los datos cambien: porque los desagregas.

Esto es de las cosas más importantes que vas a aprender del oficio, así que grábatela: casi ningún hallazgo interesante vive en un total. Vive en la comparación entre grupos. Un promedio es una sola cifra que resume a mucha gente distinta, y su gracia —resumir— es también su peligro: esconde las diferencias. La pregunta que convierte a un analista en detective no es «¿cuánto es?», sino «¿es igual para todos, o hay grupos que se comportan al revés?». Vamos a hacerle esa pregunta a la tasa a contrato.

Conviene tener presente una asimetría que hace este caso especialmente engañoso: el destacado no compite en igualdad de condiciones, porque parte con más contactos. Cuando comparas dos grupos de tamaños muy distintos, el instinto de mirar totales te traiciona: el destacado tiene más contactos totales, así que también tendrá bastantes contratos totales, y de un vistazo parece que «va bien». Es la tasa —contratos por contacto, no contratos totales— la que iguala el terreno de juego y permite comparar peras con peras. Un grupo grande casi siempre gana en totales por el mero hecho de ser grande; solo la tasa dice si aprovecha mejor o peor lo que recibe. Por eso, cuando compares grupos de distinto tamaño, tu instinto tiene que ir siempre a la tasa, no al total: el total premia al grande por ser grande, y eso no es mérito.

### Segmentar: la herramienta más poderosa y la más sencilla

A partir a un total en grupos y comparar esos grupos se le llama segmentar, y es a la vez la técnica más poderosa del análisis y una de las más sencillas de ejecutar: en SQL, casi siempre es añadir una columna al GROUP BY. Su potencia no está en la dificultad técnica, sino en que cada segmentación es una pregunta al dato, y elegir por qué segmentar es donde se juega el análisis. Puedes partir por tipo de anuncio, por canal, por ciudad, por tramo de precio, por tiempo de respuesta... y cada corte revela una historia distinta o descarta una. El arte no es saber escribir el GROUP BY —eso lo hace cualquiera—, sino tener el olfato para segmentar por la variable correcta, la que de verdad separa comportamientos. Esta semana vas a probar varias; casi todas dirán «los grupos son parecidos, aquí no hay nada», y una dirá «los grupos son abismalmente distintos». Esa última es el hallazgo.

Hay una regla de oro para segmentar sin perderte: empieza por las dimensiones que el negocio ya usa para decidir, y solo si esas no explican nada, busca las creativas. Aquí el negocio decide sobre el tipo de anuncio (es lo que vende Comercial), así que segmentar por tipo es lo primero, obligado. Cuando eso abre una grieta pero no la explica, pasas a las dimensiones de descarte —canal, ciudad, anunciante— y por fin a la que nadie miraba, el tiempo de respuesta, que resulta ser la buena. Esa progresión —de lo que el negocio ya mira a lo que nadie ha mirado— es la ruta natural de una investigación: primero confirmas o descartas lo evidente, y el hallazgo casi siempre está en la dimensión que a nadie se le había ocurrido cruzar.

### La grieta: más contactos, peor conversión

Partes la tasa contacto→contrato por tipo de anuncio, y sale lo que nadie esperaba: los anuncios destacados convierten alrededor del 5%, y los normales alrededor del 8%. El destacado, que recibe el doble de contactos, los convierte peor. Léelo despacio porque es contraintuitivo: no es que el destacado convierta un poco menos, es que un contacto que llega a un anuncio normal tiene bastante más probabilidad de acabar en contrato que uno que llega a un destacado. El destacado atrae más gente, sí, pero esa gente extra se queda por el camino. Más ruido arriba, mismo (o menos) alquiler abajo.

Se lo llevas a Irene y su respuesta marca el resto de la semana: «Bien visto. Pero no te quedes en el destacado es malo, que es media respuesta y encima la peor, porque no explica nada. Pregúntate qué SÍ hace que un contacto acabe en contrato. Tienes los sellos de tiempo del chat: cuándo entró el contacto y cuándo respondió la agencia. Cruza eso. Y acuérdate de la fecha de respuesta vacía.» Es el paso de un analista junior a uno bueno: no basta con encontrar que un grupo va peor; hay que encontrar la variable que lo explica. «El destacado convierte peor» es un síntoma. La causa está en otro sitio, y mañana la buscas.

Fíjate en cómo leer el gráfico de la paradoja, porque saber leer un gráfico es tan importante como saber hacerlo. Arriba, la barra del destacado es más larga: gana en contactos. Abajo, la barra del normal es más larga: gana en conversión. Las dos barras se cruzan al pasar de un panel al otro, y ese cruce es toda la historia en un gesto visual. Cuando en una comparación de dos grupos las barras se cruzan al cambiar de métrica —uno gana en una cosa y pierde en otra—, tienes casi siempre un caso interesante entre manos, porque significa que la métrica que miras cambia la conclusión. Quien solo mira la métrica de arriba (Comercial) ve un ganador; quien mira las dos ve una paradoja que hay que explicar. Entrenar el ojo para detectar esos cruces es entrenar el olfato para los buenos hallazgos.

Y una advertencia sobre el impulso natural que sentirás ahora: querer contárselo a Gonzalo enseguida. Resiste. Un hallazgo a medias, soltado en caliente, hace daño: si le dices hoy «oye, resulta que el destacado convierte peor» sin la causa ni el control, le das munición para descartarlo («será una casualidad, será por otra cosa») o, peor, para sacar la conclusión equivocada («entonces quitamos el destacado»). Un hallazgo se comunica cuando está completo y blindado, no cuando es un titular a medio hacer. La disciplina de guardarte una grieta prometedora hasta haberla entendido del todo es difícil —arde en las manos— pero es lo que separa un análisis que convence de un rumor que se desmonta. Mañana tendrás la historia entera; entonces se cuenta.

### Lo que acabas de ver tiene nombre: la paradoja de Simpson

Esta situación —un grupo que parece ir bien en el total pero peor al desagregar, o al revés— es tan famosa en estadística que tiene nombre propio: la paradoja de Simpson. Ocurre cuando una tendencia que aparece en el conjunto se invierte, o desaparece, al partir los datos en grupos. El caso clásico es de 1973, en la Universidad de Berkeley: miraron las admisiones de posgrado y parecía que admitían a un porcentaje mayor de hombres que de mujeres, lo que olía a discriminación. Pero al desagregar por departamento, resultó que dentro de casi cada departamento las mujeres eran admitidas igual o más que los hombres. ¿Cómo puede ser? Porque las mujeres solicitaban más en los departamentos más difíciles (con menos plazas para todos), y los hombres en los más fáciles. La variable escondida —a qué departamento se apuntaba cada uno— explicaba la diferencia global, no el sexo.

Cámbiale los nombres y es tu caso exacto. «Sexo» es «tipo de anuncio»; «departamento» es «tiempo de respuesta»; «admisión» es «contrato». El destacado parece convertir peor, pero quizá haya una variable escondida que reparte a destacados y normales de forma distinta y que es la que de verdad manda. En Berkeley era el departamento; aquí, ya te lo adelanto, es lo rápido que responde la agencia. La paradoja de Simpson no es un truco de examen: es la razón por la que un analista nunca se queda en el total ni en el primer grupo culpable. Detrás de una diferencia entre grupos casi siempre hay una tercera variable esperando, y encontrarla es el trabajo.

### Descartar explicaciones fáciles: canal, ciudad, anunciante

Antes de perseguir la hipótesis buena, conviene descartar las fáciles, porque un hallazgo que aguanta es un hallazgo al que ya le has quitado las explicaciones alternativas. ¿Y si los destacados convierten peor porque llegan por un canal distinto —más por teléfono, menos por formulario—? Lo miras: partes la tasa por canal de contacto y ves que los tres canales (formulario, teléfono, chat) convierten muy parecido, en torno al 6-7%. El canal no explica la grieta. ¿Y si es la ciudad, o si es que las agencias convierten distinto que los particulares? También lo miras, y también salen parecidos. Cada explicación fácil que descartas hace más sólido el hallazgo cuando por fin llegues a él.

Esto es método, no desconfianza porque sí. Cuando llegues el viernes ante Álvaro y Gonzalo con «el destacado no mejora los contratos», lo primero que van a intentar es tumbarlo con un «ya, pero será porque…». Si tú ya has mirado el canal, la ciudad y el tipo de anunciante y ninguno explica la diferencia, tienes la respuesta preparada. Un análisis que solo enseña el hallazgo es frágil; uno que enseña el hallazgo y las tres explicaciones que descartó es difícil de rebatir.

### Correlación no es causalidad: el ejemplo de los helados

Hay una frase que se repite tanto en análisis que suena a tópico, pero que casi nadie aplica de verdad cuando le conviene: correlación no es causalidad. Que dos cosas vayan juntas no significa que una cause la otra. El ejemplo clásico: en verano se venden más helados y también se ahogan más personas. Las dos suben a la vez, están correlacionadas, pero el helado no ahoga a nadie. Hay una tercera variable —el calor— que hace subir las dos: cuando hace calor, la gente come helado y la gente se baña, y bañarse más significa ahogarse más. El helado y los ahogamientos son primos, no padre e hijo. Quien no busca la tercera variable concluiría que hay que prohibir los helados para salvar vidas.

Tu grieta de hoy tiene exactamente esa forma. El destacado y la peor conversión van juntos —están correlacionados—, y la conclusión fácil sería «el destacado causa peor conversión, luego el destacado es malo». Pero puede haber un calor, una tercera variable que mueva las dos: el tiempo de respuesta. Si el destacado, al traer más contactos, hace que las agencias respondan peor, y responder peor es lo que de verdad hunde la conversión, entonces el destacado es el helado y el tiempo de respuesta es el calor. El destacado no causa la mala conversión; arrastra la variable que sí la causa. Mañana lo comprobarás, y la forma de comprobarlo es la que aprenderás a usar siempre: mantener fija la tercera variable y ver si la relación desaparece.

### El dinero en juego: comisión frente a coste de visibilidad

Merece la pena poner cifras de dinero al lado de las tasas, porque es el idioma en el que Álvaro decide. ¿Cuánta comisión generan los contratos de destacados frente a los de normales? ¿Cuánto ingresa NidoHogar por vender visibilidad? Al mirarlo verás algo revelador: los normales, aun siendo menos vistosos, generan más comisión total simplemente porque convierten mejor y son más numerosos. Y la visibilidad genera un ingreso propio (la venta del destacado), pero ese ingreso no es lo mismo que la comisión por contrato que Álvaro quiere hacer crecer. Poner las dos cosas una al lado de la otra prepara el terreno para la pregunta del viernes: si vender más destacado no mueve la comisión, ¿estamos optimizando el ingreso correcto?

### Por qué Gonzalo solo veía la mitad: el sesgo de confirmación

Merece la pena entender por qué nadie había visto esta grieta antes, porque no es que Gonzalo sea tonto ni esté engañando a nadie. Es un fenómeno de la cabeza humana tan común que tiene nombre: el sesgo de confirmación, la tendencia a buscar y quedarnos con los datos que confirman lo que ya creemos, e ignorar los que lo contradicen. Gonzalo cree que el destacado funciona —es su producto, lo vende, tiene sentido para él—, así que mira las visitas y los contactos, que le dan la razón, y no se le ocurre bajar a mirar los contratos, que se la quitarían. No miente: mira sinceramente los números que confirman su idea y se detiene ahí. Todos lo hacemos; es el modo por defecto del cerebro. La diferencia del analista no es ser inmune —no lo eres—, sino tener un método que lo compensa: desagregar aunque el total esté bien, buscar la tercera variable aunque la correlación te encante, descartar tus propias explicaciones antes de defenderlas.

Esto tiene una consecuencia práctica que te va a acompañar toda la carrera: tu valor como analista no está solo en calcular, sino en ser el que mira donde a los demás no les conviene mirar. Cada área tiene un incentivo para ver su parte —Comercial quiere que el destacado funcione porque lo vende, Producto quiere que su embudo luzca, Dirección quiere crecer la comisión—, y todos, sin mala fe, miran los números que les dan la razón. El analista es el único cuyo trabajo es no tener esa venda, y por eso su independencia vale oro. En cuanto un analista empieza a buscar los datos que le gustan a quien le paga, deja de servir para nada: se convierte en una máquina de fabricar excusas con aspecto de rigor. Tu peor enemigo no es el dato sucio; es la tentación de encontrar lo que el stakeholder quiere que encuentres.

### Dejar que el dato te cambie de opinión

Hay algo que sentirás hoy y que conviene nombrar: cuando empezaste el encargo, tú también esperabas, más o menos, que el destacado funcionara —es lo intuitivo, lo que dice todo el mundo—. Y el dato te ha llevado al sitio contrario. Ese momento en que los números te obligan a abandonar lo que creías es incómodo, y es exactamente el momento en que un análisis empieza a valer. Si tus análisis siempre confirman lo que ya pensabas, o no estás mirando de verdad, o estás viendo lo que quieres ver. El dato solo sirve para algo si tiene permiso para llevarte la contraria, y dárselo —cambiar de opinión ante la evidencia, incluso cuando te incomoda— es una disciplina que se entrena.

Esto vale para ti tanto como para Gonzalo. Es fácil ver el sesgo de confirmación en el otro y no en uno mismo. Por eso el método —desagregar aunque el total esté bien, descartar tus propias explicaciones, comparar dentro de grupos— no es burocracia: es la barandilla que te protege de tus propios prejuicios, que tienes aunque no los veas. Un analista humilde no es el que no tiene opiniones, es el que somete las suyas al dato con la misma dureza con la que somete las de los demás. Y cuando el dato te cambia de opinión, como hoy, no es un fracaso de tu intuición: es la prueba de que estás haciendo el trabajo de verdad y no una ceremonia para confirmar lo que ya habías decidido.

### El peligro de actuar sobre media respuesta

Imagina que hoy pararas aquí y llevaras a la demo «el destacado convierte peor, hay que quitarlo o bajarle el precio». Sería una recomendación desastrosa, y conviene entender por qué, porque es un error clásico: actuar sobre el síntoma sin conocer la causa. Si el problema real es que las agencias no responden, quitar el destacado no arregla nada —los normales también tienen un tercio de contactos sin responder— y encima cargarías contra un producto que sí trae tráfico real. Es como un médico que ve fiebre y receta bajarla con hielo sin averiguar que hay una infección debajo: trata el número, no la enfermedad. Media respuesta —«el destacado va mal»— puede ser peor que ninguna, porque suena a conclusión y lleva a actuar en la dirección equivocada con seguridad.

Por eso Irene te frena con su «no te quedes en el destacado es malo». Un hallazgo a medias tiene la peligrosa cualidad de parecer completo: tienes un número (5% vs 8%), tienes un culpable (el destacado), tienes una acción (quitarlo). Todo encaja, y esa sensación de cierre es justo la trampa, porque te invita a dejar de investigar cuando estás a mitad de camino. La disciplina del analista es desconfiar del cierre fácil: cuando encuentras un culpable a la primera y todo cuadra sospechosamente rápido, casi siempre te falta la variable que de verdad manda. El caso solo se cierra cuando encuentras el mecanismo —por qué convierte peor—, no cuando encuentras a quién señalar.

Con la grieta abierta, las explicaciones fáciles descartadas y el dinero puesto sobre la mesa, tienes medio caso. Falta la otra mitad, la que de verdad importa: si no es el destacado lo que decide un contrato, ¿qué es? Irene te ha dado la pista —los sellos de tiempo del chat— y el aviso —la fecha de respuesta vacía—. Mañana cruzas cuándo entró cada contacto con cuándo (si es que) le respondió la agencia, y aparece el motor que mueve todo el embudo. La grieta de hoy era el síntoma; mañana encuentras la causa.