lección 5
Día 3 (miércoles) — La primera grieta: el anual renueva peor
Partes la renovación global por plan y aparece la grieta: el anual, el socio de oro de Rubén, renueva peor que el mensual. Los que pagan y no vienen son sobre todo anuales. Y descartas las explicaciones fáciles (canal, sede, edad) para preguntarte por qué, dejando el terreno listo para el hallazgo del jueves.
⏱ 50 min
### Un 52% que se rompe en dos
Ayer cerraste el día con una renovación global del 52% y la sensación de que todo iba bien. Hoy haces lo que un analista hace siempre con un total que parece sano: lo parte en trozos. Y el primer corte, el más evidente, es por plan: ¿renueva igual el anual que el mensual? Recuerda que ayer aprendiste a desagregar cualquier métrica por una dimensión con GROUP BY; hoy aplicas eso a la renovación, que ya sabes derivar con el self-join. La operación es casi la misma consulta de ayer, pero añadiendo el plan al agrupar. Lo que sale te va a hacer parar en seco, porque contradice todo lo que Rubén ha estado diciendo y todo lo que el LTV sugería.
El anual renueva el 41%. El mensual, el 60%. El plan que Growth considera el socio de oro —el del LTV más alto, el que prepaga el año, el que quieren empujar con una campaña— es el que peor vuelve cuando le toca renovar. Seis de cada diez anuales no renuevan al acabar su año; en el mensual, casi seis de cada diez sí siguen. El LTV alto era un espejismo del prepago: entra mucho dinero de golpe, sí, pero cuando llega el momento de la verdad, el socio anual se va más que el mensual. Esta es la primera grieta, y todavía no la entiendes —no sabes por qué pasa—, pero ya sabes que la historia de Rubén tiene un agujero. La campaña «Pásate al Anual» pretende meter a más gente en el plan que peor renueva.
### Los que pagan y no vienen son, sobre todo, anuales
La segunda pieza de hoy conecta con el hueco que anotaste ayer: los 1.200 socios que pagan pero no vienen. Toca partirlos por plan, como hizo con todo lo demás. Y el resultado empieza a dibujar la historia: el 36% de los anuales activos no ha pisado el gimnasio en las últimas cuatro semanas, frente a solo el 13% de los mensuales. Más de un tercio de los anuales paga y no viene, casi el triple que en el mensual. Empieza a tener sentido: el socio anual prepagó el año, así que sigue contando como activo aunque no aparezca, mientras que el mensual que deja de venir también deja de pagar pronto y desaparece de la lista de activos. El anual esconde a sus fugados dentro de la caja del prepago. Todavía no es la respuesta completa —eso llega mañana—, pero la grieta y este dato apuntan en la misma dirección: al anual le pasa algo con el hábito de venir.
### Descartar antes de explicar: ¿y si son gente distinta?
Aquí es donde un analista se separa de alguien que solo sabe hacer consultas. Tienes una grieta —el anual renueva peor— y la tentación es correr a contarla. Nuria te frenaría: «bien visto, pero no te quedes en "el anual es malo", que es media respuesta». Antes de explicar por qué el anual renueva peor, hay que descartar las explicaciones aburridas, las que harían que el hallazgo no significara nada. ¿Y si el anual renueva peor no por ser anual, sino porque los anuales entran por un canal peor? ¿O porque están en sedes peores? ¿O porque son gente distinta —más joven, más mayor— que de por sí renueva menos? Si alguna de esas fuera la causa, el plan no tendría nada que ver, y la campaña de Rubén no sería tan mala idea. Descartar esas explicaciones es lo que convierte una correlación llamativa en un hallazgo sólido.
Así que hoy juegas a detective: coges cada sospechoso y lo interrogas. Renovación por canal de captación: si todos los canales renuevan parecido, el canal no explica la grieta. Renovación por sede: si todas las ciudades renuevan parecido, la sede tampoco. Edad media por plan: si los anuales y los mensuales tienen prácticamente la misma edad, no son «gente distinta» por edad. Y cuando hagas estas consultas verás que, en efecto, ninguno de los sospechosos tiene coartada que explique la grieta: los canales renuevan todos en torno al 51-54%, las sedes también, y la edad media del anual (34,8) y del mensual (34,6) es casi idéntica. La grieta no viene del canal, ni de la sede, ni de la edad. Viene de otra cosa, y esa otra cosa es la que perseguirás mañana. Descartar no es tiempo perdido: es lo que hace que, cuando encuentres la causa de verdad, aguante cualquier pregunta incómoda en la demo del viernes.
Encontrar una diferencia entre dos grupos no es encontrar una causa. El anual renueva peor: es un hecho. Pero saltar de ahí a «el plan anual hace que la gente se vaya» es un salto que un buen análisis no da sin descartar antes que los dos grupos sean distintos de base. Este error tiene nombre —confundir correlación con causa— y es el que llena las presentaciones de conclusiones que se caen a la primera pregunta. Interroga a los sospechosos alternativos antes de acusar al plan; si todos tienen coartada, tu acusación se sostiene.
### Pensar como un detective: aislar una variable cada vez
Lo que has hecho hoy —coger la grieta y descartar sospechosos uno a uno— es, en el fondo, el método de un detective, y merece la pena verlo así porque es una forma de pensar que sirve para cualquier problema, no solo para este. Un buen detective no acusa al primer sospechoso que tiene un motivo; interroga a cada uno, comprueba su coartada, y va descartando hasta que solo queda uno sin explicación. Tú has hecho lo mismo con la renovación del anual: ¿fue el canal? Coartada, todos los canales renuevan igual. ¿La sede? Coartada. ¿La edad? Coartada. Cada descarte es un interrogatorio con una sola pregunta, y la disciplina está en interrogar a un sospechoso cada vez, sin mezclarlos. Si hubieras cambiado el canal, la sede y la edad todo a la vez, no sabrías cuál importaba. Aislar una variable y mirar solo su efecto, dejando lo demás quieto, es la esencia del razonamiento causal.
Esta forma de pensar tiene un principio detrás que conviene nombrar: para saber si algo causa un efecto, hay que compararlo con un escenario idéntico en todo salvo en ese algo. El detective se pregunta «¿el mayordomo pudo hacerlo?» imaginando la escena con y sin el mayordomo. Tú te preguntas «¿es el plan?» comparando anual y mensual dentro de gente por lo demás parecida —el mismo tramo de asistencia—. Cuanto más consigas que los dos grupos que comparas se parezcan en todo menos en la variable que investigas, más limpia es la conclusión. Es imposible aislar del todo en datos observacionales como estos —no puedes garantizar que anuales y mensuales sean idénticos en todo lo demás—, pero acercarte a ese ideal, controlando las variables que puedas, es lo que separa una sospecha de una conclusión. Piensa siempre: «para que esto fuera una causa y no una casualidad, ¿qué más tendría que ser igual entre los dos grupos?».
### El sesgo de supervivencia: por qué los activos que pagan engañan
Hay un error de razonamiento tan famoso que tiene una historia de guerra detrás. En la Segunda Guerra Mundial, los ingenieros estudiaban dónde reforzar el blindaje de los aviones que volvían de combate, y proponían blindar las zonas donde veían más impactos de bala. Un matemático, Abraham Wald, les paró: hay que blindar justo donde los aviones que vuelven NO tienen impactos, porque los que recibieron balazos ahí no volvieron para que los estudiéis. Estaban mirando solo a los supervivientes, y los supervivientes, por definición, son los que sobrevivieron a los daños que ves. A eso se le llama sesgo de supervivencia: sacar conclusiones mirando solo lo que ha sobrevivido, ignorando lo que ha desaparecido, que suele ser justo lo que explica la historia.
Tu caso tiene una versión sutil de este sesgo, y conviene verla porque explica por qué «activo que paga» engaña. Si midieras la salud de VueltaFit mirando solo a los socios que están activos hoy —los que pagan—, verías una foto engañosamente buena, porque entre ellos están los anuales que prepagaron y ya no vienen: siguen «vivos» en la lista de activos solo porque el cobro está hecho, como el avión que aún no se ha estrellado pero ya está tocado. Los mensuales que dejaron de venir, en cambio, dejaron de pagar y desaparecieron de la lista: son los aviones que no volvieron. Así que la lista de activos sobre-representa a los anuales fugados-pero-pagados e infra-representa a los mensuales fugados. Mirar solo a los que pagan es mirar solo a los supervivientes aparentes, y por eso el hueco entre «paga» y «viene» no es un detalle: es el sesgo de supervivencia asomando en tus datos.
Consejo de senior: ante cualquier análisis, pregúntate siempre «¿a quién no estoy viendo?». Los que se dieron de baja no están en la lista de activos, los clientes que nunca compraron no están en la tabla de ventas, los aviones derribados no volvieron a la base. Las conclusiones sacadas solo de los que quedan casi siempre están sesgadas hacia el optimismo, porque los casos malos ya se han ido y no cuentan su historia. Reconstruir a los ausentes —los que se fueron, los que faltan— es a menudo donde vive el hallazgo. El dato que no está también es un dato.
### Que exista una diferencia no basta: ¿es grande?
Cuando encuentras que dos grupos se comportan distinto, hay dos preguntas separadas que un analista no debe confundir. La primera es «¿la diferencia es real, o podría ser azar?». La segunda es «¿la diferencia es grande, importa para el negocio?». Son cosas distintas. Una diferencia puede ser real pero minúscula: si el anual renovara el 52,1% y el mensual el 52,4%, con miles de casos detrás esa diferencia podría ser «real» en el sentido estadístico y a la vez completamente irrelevante para decidir nada. Y al revés: una diferencia enorme sobre poquísimos casos puede ser pura casualidad. Lo que hace fuerte al hallazgo de esta semana es que gana en las dos preguntas: la grieta del anual (41% frente a 60%) es enorme —diecinueve puntos, no dos décimas— y está calculada sobre miles de suscripciones vencidas, así que ni es pequeña ni es azar. Un hallazgo que solo pasa una de las dos pruebas hay que presentarlo con muchísima cautela.
A la magnitud de una diferencia se le llama tamaño del efecto, y es lo que de verdad importa para una decisión de negocio, más que la mera existencia de la diferencia. Diecinueve puntos de renovación entre planes es un abismo que justifica actuar; cuatro veces más renovación entre asistencia alta y baja (79% frente a 22%) es de los efectos más grandes que verás en tu carrera, y por eso el hallazgo del jueves es tan potente. Cuando presentes un hallazgo, no digas solo «hay diferencia»: di cuánta, y ponla en términos que quien decide entienda. «El anual renueva peor» es tibio; «de cada diez anuales que vencen, seis no vuelven, frente a cuatro en el mensual» es una diferencia que se siente. El tamaño del efecto traducido a lenguaje de negocio es lo que convierte un dato en un argumento.
### Correlación no es causa: helados y ahogamientos
Hay un ejemplo clásico que todo analista debería llevar tatuado. En verano se venden más helados, y también se ahoga más gente en las playas. Si dibujas las dos cosas en el tiempo, suben y bajan juntas: están correlacionadas. Un analista descuidado concluiría que los helados provocan ahogamientos, o que para reducir los ahogamientos hay que prohibir los helados. Es absurdo, y todos lo vemos, porque conocemos la causa real que mueve las dos: el calor. Cuando hace calor, la gente come más helados y también se baña más, y al bañarse más, se ahoga más. El calor es una tercera variable —un factor de confusión, o confounder en inglés— que explica la relación entre las otras dos, que en realidad no tienen nada que ver entre sí. Los helados y los ahogamientos van juntos sin que uno cause al otro.
Tu caso de esta semana tiene exactamente esa forma, y por eso el ejemplo del helado no es una anécdota, es tu situación. Observas que el plan anual va con peor renovación: están correlacionados. La conclusión perezosa sería «el plan anual causa que la gente se vaya», igual que «los helados causan ahogamientos». Pero hay una tercera variable acechando: la asistencia temprana, el hábito de las primeras semanas. Es el «calor» de tu caso. Los anuales renuevan peor y arrancan con menos hábito; el hábito es lo que de verdad mueve la renovación. Si actuaras sobre el plan (dejar de vender anuales) sin tocar el hábito, sería como prohibir los helados para que no se ahogue nadie: atacarías la correlación en vez de la causa, y no cambiarías nada. Por eso descartar sospechosos y buscar la tercera variable no es pedantería académica: es lo que hace que la recomendación funcione en el mundo real.
### Segmentar: cortar el pastel por donde cuenta la historia
Lo que has hecho hoy —partir la renovación por plan, por canal, por sede, por edad— tiene un nombre en el oficio: segmentar. Segmentar es cortar un total en grupos para ver si todos se comportan igual o hay uno que se sale. Es la herramienta más básica y más poderosa del analista, porque casi todos los hallazgos que cambian decisiones viven en un segmento, no en el total. La destreza no está en saber hacer un GROUP BY —eso es sintaxis—, está en elegir por qué dimensión cortar. Cortar por plan reveló la grieta; cortar por canal y sede no reveló nada (y por eso los descartaste). Un analista experimentado desarrolla olfato para saber qué corte va a contar algo: normalmente, las dimensiones ligadas a una decisión (aquí, el plan, porque hay una campaña sobre él) o al comportamiento (la asistencia).
Segmentar tiene un límite que conviene respetar: si troceas demasiado, cada grupo se queda con tan pocos datos que sus cifras dejan de ser fiables. Si partieras la renovación por plan, por sede, por canal y por tramo de edad todo a la vez, tendrías cientos de grupitos, algunos con tres o cuatro socios, y una tasa calculada sobre cuatro personas no significa nada: que renueven dos o tres cambia el porcentaje del 50% al 75% por puro azar. La regla es partir por una o dos dimensiones a la vez, las que tengan sentido para la pregunta, y vigilar que cada grupo conserve suficientes casos para que su cifra aguante. Cuando veas un segmento con una tasa espectacular, lo primero que hay que mirar no es la tasa, es cuántos casos hay detrás. Una tasa sin su tamaño de muestra al lado es tan sospechosa como una tasa sin su denominador.
Consejo de senior: cuando descubras una diferencia entre dos grupos, tu segunda pregunta (después de «¿es grande?») debe ser siempre «¿y qué más los distingue?». Dos grupos casi nunca se diferencian en una sola cosa. Los anuales no solo tienen otro plan: quizá entraron por otro canal, en otra época, con otra promoción. Listar todo lo que distingue a los dos grupos y descartarlo uno a uno es lo que convierte «A rinde distinto que B» en «A rinde distinto que B por ESTA razón». Sin ese trabajo, tienes un titular; con él, tienes un hallazgo.
Consejo de senior: churn y renovación son la misma moneda por sus dos caras. Si el anual renueva el 41%, su churn (fuga) es el 59%; si el mensual renueva el 60%, su churn es el 40%. Habla siempre en la cara que tu interlocutor entiende mejor: a un director de producto le dices retención («retenemos al 60%»), a uno de finanzas a veces le llega más el churn («perdemos al 59% de los anuales cada año»). Es el mismo número, pero la palabra que eliges cambia cómo de urgente suena.
Consejo de senior: cuando descartes un sospechoso, guarda la consulta y el resultado, no solo la conclusión. En la demo del viernes, cuando alguien pregunte «¿y no será que los anuales son de sedes peores?», poder enseñar la tabla de renovación por sede en dos segundos vale más que mil palabras. Las objeciones a un hallazgo son predecibles: son justo los sospechosos que descartaste. Llega a la reunión con las coartadas ya impresas y nadie podrá tumbar tu historia con un «¿y si...?».
Regístrate para guardar tu progreso.