lección 5
Día 3 (mañana) — La primera grieta: la finalización por canal
La foto de superficie corona al cupón. Pero en cuanto miras si sus alumnos terminan lo que empiezan, se abre la primera grieta: el cupón finaliza el 9 % de sus matrículas, el referido el 44 %. No es que el cupón se matricule menos —todos se matriculan parecido—, es que no termina. La pregunta ya no es cuántos entran, sino quiénes aprenden.
⏱ 55 min
### La primera consulta que no cuadra con el relato
Nueve por ciento. Esa es la cifra que rompe la mañana. Ayer cerraste con el cupón coronando casi todas las fotos de superficie, y esta mañana, en cuanto calculas qué parte de las matrículas terminan los alumnos de cada canal, aparece un número que no encaja con nada de lo anterior: los alumnos del cupón terminan el 9 % de los cursos en los que se matriculan, mientras los del referido terminan el 44 %. Cinco veces más. Es la primera grieta en el relato de la mina de oro, y es de las que no se pueden ignorar: la finalización de curso es, en una plataforma de aprendizaje, la señal más directa de si un alumno vale, porque un alumno que termina cursos es un alumno que aprende, y uno que aprende es uno que renueva.
Ya sabes agrupar y contar por canal —lo hiciste ayer con las altas—. La tasa de finalización es lo mismo con un giro: en lugar de contar filas, cuentas qué proporción de ellas cumple una condición. Cada matrícula tiene una columna completado que dice si el alumno terminó el curso o no. La finalización de un canal es el número de matrículas completadas dividido por el total de sus matrículas. El patrón en SQL es el de siempre para una proporción condicional: SUM(CASE WHEN completado THEN 1 ELSE 0 END) partido por COUNT(*), multiplicado por cien. Cruzas matrículas con usuarios para saber el canal de cada alumno, agrupas por canal, y ahí está la grieta.
### El cubo agujereado
Hay una imagen que resume lo que empiezas a ver, y conviene tenerla en la cabeza el resto de la semana: el cubo agujereado. Imagina que cada canal es un grifo que echa agua (altas) en un cubo (los suscriptores activos), y que el cubo tiene agujeros por donde el agua se escapa (las bajas). Growth mira los grifos: cuál echa más agua, y a qué coste. El cupón es el grifo más caudaloso y más barato, así que Growth quiere abrirlo a tope. Pero nadie ha mirado los agujeros. Y resulta que el agua que echa el cupón cae justo sobre el agujero más grande: entra mucha, se va casi toda. Abrir más ese grifo no llena el cubo; solo hace correr más agua hacia el desagüe.
La finalización que acabas de calcular es la primera medida de esos agujeros. Un alumno que no termina los cursos es agua que ya se está escapando: todavía no se ha dado de baja, pero no está aprendiendo, así que su marcha es cuestión de tiempo. Por eso la finalización es tan valiosa: mide el tamaño del agujero antes de que el agua termine de salir, cuando todavía se podría tapar. Medir solo las altas —el caudal del grifo— sin medir la finalización —el tamaño del agujero— es la forma más común de engañarse en un negocio de suscripción. El cubo no se llena abriendo el grifo que cae sobre el agujero; se llena eligiendo los grifos cuya agua se queda.
### No es que se matriculen menos: es que no terminan
La primera pregunta de un analista con criterio ante ese 9 % es: ¿será que los alumnos del cupón simplemente se matriculan en menos cursos? Sería una explicación inocente: si apenas se apuntan, es normal que terminen poco. Pero los datos la descartan de plano. Si cuentas cuántos cursos se matricula de media un alumno de cada canal, sale prácticamente lo mismo en los cinco: unos seis cursos por alumno. Los del cupón se apuntan tanto como los demás —de hecho, el descuento invita a apuntarse a todo—; lo que no hacen es terminar. Se matriculan en seis cursos y no acaban casi ninguno. Eso descarta la explicación fácil y apunta a la de verdad: no es un problema de cantidad de matrículas, es un problema de intención.
La palabra clave es esa: intención. Un alumno que entra por un cupón del 70 % entra atraído por el precio, no necesariamente por las ganas de aprender. Se apunta a muchos cursos porque le salen casi gratis, curiosea, y los deja. Un alumno que llega recomendado por un amigo llega con una intención distinta: alguien que ya aprende en AulaViva le ha dicho que merece la pena, y viene a lo que viene. La misma plataforma, los mismos cursos, pero dos tipos de alumno con dos intenciones opuestas. La finalización no mide la calidad del curso: mide la intención del alumno que lo abre. Y la intención, resulta, viaja con el canal por el que entró.
Consejo de senior: cuando encuentres una diferencia grande entre grupos, tu primer reflejo no debe ser explicarla, sino intentar tumbarla. Antes de contar la historia bonita («el cupón trae gente de baja intención»), pregúntate qué explicación aburrida podría producir el mismo número —que se matriculen menos, que lleven menos tiempo, que estén en cursos más difíciles— y compruébala. Si la explicación aburrida no se sostiene, tu historia gana fuerza; si se sostiene, te has ahorrado un ridículo delante de Elena. Aquí has tumbado la primera (no se matriculan menos); la de la dificultad del curso, la de Paula, la tumbarás mañana.
### La media que engaña
Si calculas la finalización de toda la plataforma sin separar por canal, te sale un 23 %. Ese número, tomado solo, no describe a nadie: es como el sueldo medio de una oficina donde está sentado el dueño. Si en una sala hay nueve personas que cobran 1.500 € y el dueño que cobra 500.000, el sueldo medio es de 51.350 €, una cifra que no describe ni a los nueve ni al dueño; es un número que existe en la hoja de cálculo y no en la realidad de nadie. El 23 % de finalización global es igual: es la mezcla de un cupón que finaliza el 9 % y unas empresas que finalizan el 52 %, y no describe a ningún alumno real. Promediar grupos muy distintos produce un número técnicamente correcto y prácticamente inútil.
Esta es una de las trampas más viejas y más repetidas del análisis, y ya te la habrás cruzado en encargos anteriores con otras caras: la media esconde la distribución. Growth vive cómodo en las medias globales —«nuestra finalización es del 23 %, no está mal»— porque la media global nunca señala a un culpable. El trabajo del analista es justo el contrario: desagregar, partir la media en los grupos que la componen y ver quién tira hacia arriba y quién hacia abajo. La media te dice que hay una habitación; la desagregación te dice que dentro hay un dueño y nueve empleados. El hallazgo nunca vive en la media: vive en la diferencia entre los grupos que la media aplasta.
Desconfía de cualquier métrica global que te presenten sin desagregar, especialmente si viene con un «no está tan mal». Una finalización media del 23 %, un LTV medio de la plataforma, una renovación global: todos esconden que hay grupos en la ruina y grupos florecientes. La pregunta de un analista ante una media siempre es la misma: «¿y esto, por segmento?». En este caso, «¿y la finalización, por canal?» es la pregunta que abre la grieta. Aceptar la media global como respuesta es el error que ha mantenido a AulaViva sin ver el problema del cupón: nadie había partido la media por canal.
### Por qué la finalización es la causa y no un síntoma más
Conviene entender por qué la finalización, y no otra métrica, es el primer eslabón de la cadena. En una plataforma de aprendizaje, terminar un curso es la prueba de que el producto ha funcionado: el alumno vino a aprender algo y lo aprendió. Y esa experiencia es la que genera todo lo demás. Un alumno que termina un curso siente que su cuota vale la pena, así que renueva; y como renueva, deja dinero. Al revés, un alumno que se apunta a seis cursos y no acaba ninguno no ha vivido esa experiencia: para él, la suscripción es un gasto que no le devuelve nada, así que en cuanto se lo plantea, se da de baja. La finalización no es una métrica más al lado de la renovación y el LTV: es la que las provoca. Por eso es el sitio correcto por donde empezar a tirar del hilo.
Esto conecta con algo que ya sabías de otros negocios: una métrica de uso temprano suele predecir el valor a largo plazo mejor que cualquier dato del momento del alta. En un gimnasio, quien va las tres primeras semanas se queda; quien no pisa la sala, se borra en enero. En una app, quien vuelve el segundo día se queda; quien no, se pierde. Aquí, quien termina un curso se queda; quien no, se va. La señal temprana de compromiso —ir, volver, terminar— predice la retención mucho antes de que llegue la baja. Encontrar cuál es esa señal en cada negocio, y medirla por segmento, es uno de los trabajos más valiosos de un analista, porque permite ver el futuro de un cliente cuando todavía se puede hacer algo.
### La intención: el factor que no está en ninguna columna
Aquí conviene un momento de honestidad sobre lo que puedes y no puedes medir. En ninguna tabla de AulaViva hay una columna que diga «intención del alumno» ni «vino a aprender de verdad». La intención es invisible: nadie la registra. Y sin embargo es la explicación de todo lo que ves. ¿Cómo puedes afirmar algo que no está en los datos? Porque la intención, aunque no se mida directamente, deja huellas que sí se miden: quien viene a aprender termina cursos, ve vídeo, renueva; quien viene por el precio se apunta y desaparece. La finalización, los minutos vistos y la renovación son las huellas de la intención, como las pisadas son la huella de alguien que pasó aunque no lo hayas visto. El analista no mide la intención; mide sus consecuencias y deduce la causa.
Esto es una habilidad central del oficio y conviene nombrarla: razonar sobre causas que no están en los datos a partir de efectos que sí lo están. Casi nunca tendrás una columna con la respuesta que buscas; casi siempre tendrás que inferirla de un conjunto de señales que apuntan en la misma dirección. Por eso importa tanto que finalización, minutos y renovación coincidan: cada una por separado admitiría otra explicación, pero las tres juntas, todas peores en el cupón, solo se explican bien por una causa común que no se ve pero se deduce. Cuando presentes esto, no digas «los datos dicen que el cupón trae baja intención» —los datos no dicen eso literalmente—; di «tres señales independientes apuntan a que el cupón trae alumnos menos comprometidos». La primera frase es falsa de forma; la segunda es exactamente lo que has demostrado.
### Media respuesta: falta saber si eso cuesta dinero
Le llevas el hallazgo a Nuria y su respuesta te marca el resto de la semana. «La finalización es media respuesta», te dice. «Me has demostrado que los del cupón no aprenden. Pero a Elena no le vas a decir que no terminan cursos: le vas a decir cuánto le cuesta eso. Necesito que conectes esa grieta con el dinero: si no aprenden, ¿tampoco renuevan? Y si no renuevan, ¿cuánto menos dejan?» Tiene razón. La finalización es la causa, pero la decisión de presupuesto se toma sobre el efecto: la renovación y el valor. Un director de crecimiento puede encogerse de hombros ante una tasa de finalización baja —«bueno, no todos terminan»—, pero no ante un LTV que es una quinta parte del de otro canal.
Así que la grieta de hoy es el principio de una cadena, no un hallazgo aislado. La historia que empiezas a ver tiene una sola lógica: el cupón trae alumnos de baja intención → esos alumnos no terminan los cursos (finalización 9 %) → como no aprenden, no encuentran motivo para seguir → no renuevan → dejan muy poco dinero (LTV bajo). Finalización, renovación y LTV no son tres hallazgos distintos: son tres fotos del mismo alumno en tres momentos. Hoy has visto la primera. Mañana, el día del descubrimiento de verdad, atas las otras dos y las conviertes en el número que decide el presupuesto: la cuota de valor.
No presentes la finalización como el hallazgo final ni como una recomendación por sí sola. «El cupón finaliza poco» es una pieza, no la conclusión. Si te precipitas y le dices a Elena «hay que frenar el cupón porque su gente no termina cursos», Diego te contestará —con razón— que la finalización no paga las nóminas, que lo que importa es el dinero. La finalización solo convence cuando la encadenas con la renovación y el LTV y la cierras en cuota de valor. Guárdate el titular hasta tener la cadena entera: mañana.
### ¿Es real la diferencia, o es ruido?
Antes de irte a casa con el 9 % frente al 44 %, un analista con criterio se hace una última pregunta: ¿esta diferencia es de verdad, o podría ser casualidad de la muestra? Es una pregunta sana, porque a veces una diferencia grande entre grupos se debe a que uno de los grupos es minúsculo y cualquier variación se magnifica. Si el cupón tuviera doce matrículas y ocho fueran sin terminar, el «9 %» no significaría nada. Pero mira los tamaños: el cupón tiene 93.905 matrículas y el referido 29.705. Son decenas de miles de casos en cada grupo. Con muestras así de grandes, una diferencia de 9 % a 44 % no es ruido ni de lejos: es una señal rotunda. El azar puede mover un porcentaje una décima arriba o abajo con estos volúmenes, no treinta y cinco puntos.
La regla intuitiva que conviene interiorizar: cuanto más grande es la muestra, más pequeña es la diferencia que puedes creerte, y al revés, con muestras pequeñas hay que desconfiar hasta de diferencias grandes. Aquí las muestras son enormes y la diferencia es descomunal, así que la conclusión es sólida sin necesidad de estadística fina. Pero el reflejo de mirar el tamaño de cada grupo antes de celebrar una diferencia es de los que te ahorran ridículos: más de un analista ha presentado con orgullo que «el segmento X convierte el doble» cuando el segmento X tenía quince personas. Comprobar que hay suficientes casos detrás de cada porcentaje es parte de que un número aguante.
Consejo de senior: acostúmbrate a poner siempre el tamaño de la muestra al lado del porcentaje, en tus tablas y en tus gráficos. No es lo mismo «finalización 9 %» que «finalización 9 % sobre 93.905 matrículas». El primero invita a preguntar «¿de cuántos?»; el segundo ya responde y transmite solidez. Cuando enseñes la finalización por canal a Nuria o a Elena, que se vea el número de matrículas detrás de cada tasa: es la diferencia entre un porcentaje que flota en el aire y uno que se apoya en decenas de miles de casos. Un porcentaje sin su denominador es una media verdad.
Cierras la mañana con la grieta abierta y la cadena a medio montar. Sabes que el cupón trae gente que no termina, sabes que no es por matricularse menos, sabes que la diferencia es real y no ruido, y sospechas —pero aún no lo has demostrado— que eso significa que no renuevan y dejan poco. También tienes pendiente la corazonada de Paula, que dice que todo esto es culpa de la programación y no del canal. Mañana lo cierras todo: la renovación, el LTV, la cuota de valor y el control que descarta a Paula. Hoy solo has encontrado el hilo del que tirar.
Regístrate para guardar tu progreso.