Día 5 - La demo y el feedback que lo cambia todo

1Tu  15:35 PM (DM a Pablo)
2Todo listo para la demo. Mi estructura:
31. Recordatorio del problema (retención 68% -> 61%)
42. Lo que construi (pipeline eventos, 1.7M eventos cargados)
53. Hallazgo 1: Paradoja de Simpson (mix de planes)
64. Hallazgo 2: Churn se concentra en días 3-7
75. Hallazgo 3: "Aha moment" = automation_created (4.8x)
86. Next steps
9
10Total: ~12 min con preguntas.
11
12Pablo Herrera  15:37 PM
13?? Perfecto. Un consejo: empieza por el hallazgo de Simpson.
14Es lo más impactante y Andres (CTO) va a estar. Le gusta
15cuando los datos contradicen la intuicion.
16
17Ah, y no digas "paradoja de Simpson" -- di "los números
18agregados son enganosos". Nadie fuera de datos sabe que es
19Simpson excepto Sandra ??

1Tu (compartiendo pantalla):
2"Buenos días a todos. Esta semana mi objetivo era construir
3el análisis de retención por cohortes. Antes de entrar en
4los números, quiero compartir un descubrimiento que cambia
5la narrativa:
6
7Todos sabiamos que la retención W1 cayo de 72% a 61%.
8La interpretacion obvia es: el producto está empeorando.
9Pero los datos cuentan otra historia.
10
11[Muestra tabla segmentada por plan]
12
13La retención de usuarios Pro apenas cambio (82% a 80%).
14Business tampoco (91% a 89%). Lo que cambio es el MIX:
15en enero el 40% de nuevos signups eran free. En marzo
16es el 65%. Y los usuarios free retienen al 58%.
17
18No es que el producto sea peor. Es que estamos trayendo
19un tipo de usuario diferente."
20
21Andres Lopez (CTO):
22"Espera. Estas diciendo que marketing está trayendo peor
23calidad de leads?"
24
25Tu:
26"No necesariamente peor calidad -- pero si leads que
27tienen menos intencion de pagar. El funnel de adquisicion
28cambio: en enero la mayoria venía de referrals y contenido
29organico. Ahora hay más paid ads dirigidos a freelancers.
30Los freelancers usan el plan free y churnan rápido."
31
32Lucia:
33"Ey, eso tiene sentido ?? El equipo de growth lanzo una
34campaña de paid en febrero orientada a freelancers. Puedo
35confirmar que el volumen de signups free subio un 45% desde
36entonces."
37
38Andres:
39"OK. Entonces la pregunta no es como mejorar el producto
40para retener free -- es como convertir free a Pro. O como
41cambiar el targeting de la campaña. Interesante. Que más
42tienes?"

1Tu:
2"Segundo hallazgo: del churn de usuarios free, el 68% se
3concentra entre los días 3 y 7 después del signup. Si un
4usuario free sobrevive la primera semana, su probabilidad
5de quedarse a W4 sube del 30% al 52%.
6
7Y el tercer hallazgo: los usuarios que crean una
8automatización en su primera semana retienen 4.8x más
9que los que no. Es el 'aha moment' del producto. Pero
10solo el 12% de usuarios lo descubren en W0."
11
12Lucia:
13"Ey, eso es SUPER actionable ?? Si el aha moment es
14automatizaciones... podemos guiar a los usuarios hacía
15ahi en el onboarding. Un tooltip, un template, lo que sea.
16Puedo prototiparlo la semana que viene."
17
18Sandra:
19"Tengo una pregunta técnica ??: la correlación entre
20automation_created y retención... es causal o hay un
21sesgo? Los usuarios que crean automatizaciones podrian
22ser simplemente más sofisticados -- retenerian de todos
23modos sin la feature."
24
25Tu:
26"Es una pregunta excelente y honestamente no puedo
27probarlo con estos datos. Es correlación, no causalidad.
28Para probar causalidad necesitariamos un A/B test:
29mostrar el onboarding de automatizaciones a un grupo
30y no al otro. Pero la correlación es lo suficientemente
31fuerte como para justificar el experimento."
32
33Andres:
34"De acuerdo. Lucia, monta el A/B test. Equipo de datos,
35seguid profundizando en las features. Quiero este nivel
36de análisis cada semana."
37
38Pablo:
39"?? Anotado. Sandra y el nuevo se encargan del modelo
40recurrente de cohortes en dbt."

1Andres Lopez (CTO):
2"Muy bien. Dos preguntas finales:
3
41. Este análisis... se puede automatizar? Quiero verlo
5   cada semana sin que nadie tenga que ejecutar una query.
6   Un dashboard que se actualice solo.
7
82. Los números que has mostrado... son verificables?
9   Si alguien del board me pregunta 'de donde sale ese 61%',
10   quiero poder decir 'de aquí, con está definición, con
11   este pipeline'. No quiero que sea un número que alguien
12   saco de un notebook una vez."
13
14Tu: "Para la primera: Sandra y yo estamos convirtiendo las
15queries en modelos dbt que se ejecutan cada día. El lunes
16tenemos el modelo corriendo automaticamente. El dashboard
17en Looker puede estar para la semana que viene.
18
19Para la segunda: absolutamente. Cada métrica tiene su
20definición documentada en Notion con fecha de vigencia,
21responsable y criterios exactos de inclusion. Si alguien
22quiere auditar, puede seguir el trail completo: definición
23-> modelo dbt -> tabla -> dashboard."
24
25Andres: "Excelente. Eso es exactamente lo que necesito.
26Pablo, quiero este nivel de rigor en todo lo que produzcamos."
27
28Pablo: "?? Anotado."
29
30Marcos: (levanta el pulgar sin decir nada)

1#data-team | Viernes 16:30 PM
2
3Pablo Herrera  16:30 PM
4?? Gran demo equipo. Especialmente la parte de Simpson --
5Andres se activo cuando nunca lo había visto en una demo
6nuestra. Eso es exactamente el tipo de insight que
7justifica la existencia de este equipo.
8
9@nuevo: excelente primera semana. Has entregado más de lo
10que esperaba. El lunes hacemos retro y planificamos la
11siguiente iteracion.
12
13Sandra Vidal  16:32 PM
14+1 ?? Y el hallazgo del bug de timestamps... eso nos
15habria dado números erroneos durante meses si no lo
16pillas. Bien hecho.
17
18Marcos Delgado  16:35 PM
19Buen pipeline. Clean code.
20
21Lucia Fernandez  16:37 PM
22Ey, gracias por los datos ?? Ya estoy pensando en el
23onboarding de automatizaciones. La semana que viene te
24pido segmentaciones por industria del workspace.
25Heads up ??
26
27    ?? 5   ?? 3   ?? 2

1#data-team | Viernes 17:15 PM
2
3Sandra Vidal  17:15 PM
4Buen finde equipo! ??
5El lunes arrancamos con el modelo incremental de cohortes.
6@nuevo si te queda un hueco lee esto:
7https://docs.getdbt.com/docs/build/incremental-models
8No es obligatorio pero te va a servir para entender lo que
9hacemos la semana que viene.
10
11Marcos Delgado  17:18 PM
12Buen finde.
13
14Pablo Herrera  17:20 PM
15?? Buen trabajó está semana equipo. Descansad.
16El lunes retro + planning. Nos vemos!
17
18Lucia Fernandez  17:22 PM
19Ey buen finde todos! ??
20La semana que viene os voy a dar la chapa con segmentacion
21por industria. Perdonadme de antemano jaja
22
23    ?? 3   ??? 2