lección 8

Retrospectiva -- De junior a senior en 8 empresas

Reflexión final sobre toda tu carrera: qué aprendiste en cada empresa, cómo cada experiencia te preparó para la siguiente, y qué significa ser un senior data engineer de verdad.

25 min

### Viernes por la tarde -- mirando atrás

Son las 17:00 del viernes. Marta acaba de escribir en el canal general de Slack: "Equipo, acabo de hablar con Meridian Capital. Nos envían term sheet la semana que viene. Serie A. Vamos a poder contratar, invertir en contenido y escalar. GRACIAS a todos." Debajo, un hilo de emojis de celebración, confeti y cerveza.

Tú estás sentado en tu mesa con el portátil cerrado, un café frío y una sensación difícil de describir. No es orgullo exactamente -- es más bien la calma que viene de saber que estás en el lugar correcto haciendo lo correcto. Hace 5 años no habrías podido hacer esto. No por falta de inteligencia, sino por falta de contexto, experiencia y criterio.

Cada empresa te enseñó algo que necesitabas para la siguiente. Y ahora, mirando atrás, ves el hilo conductor de toda tu carrera con una claridad que no tenías cuando la estabas viviendo.

### FreshMart -- Donde todo empezó (Junior, Mes 1-6)

Tu primer día real como data engineer. María de Marketing te pasó un CSV y te temblaban las manos. Elena, tu tech lead, te enseñó que "los datos siempre están sucios" y que tu trabajó no es quejarte del desorden -- es convertirlo en algo útil. Aprendiste a escribir SQL bajo presión, a limpiar datos con Pandas, a no tener miedo de un dataset feo. Sobre todo, aprendiste que el negocio no espera a que los datos estén perfectos -- necesita respuestas HOY.

  • Lección técnica: SQL real, pipelines básicos, CSVs, calidad de datos.
  • Lección profesional: Los datos siempre están sucios. Tu trabajó es hacerlos útiles, no perfectos.
  • Lo que te llevaste: La capacidad de abrir cualquier dataset sin miedo y encontrar valor.

### TaskFlow -- Eventos de producto y métricas SaaS (Junior+, Mes 6-12)

Pablo, el PM de datos, te enseñó a pensar como producto. Ya no eran "filas en una tabla" -- eran comportamientos de usuarios, cohortes de retención, funnels de conversión. Aprendiste que DAU no es solo un número: es la respuesta a "¿nuestro producto es un hábito?" Lucía, de producto, te retó: "Si no puedes decirme cuántos usuarios vuelven después de 7 días, no tenemos producto." Esa frase te cambió.

  • Lección técnica: Eventos, Kafka, cohortes de retención, métricas de producto (DAU, MAU, churn).
  • Lección profesional: Las métricas correctas son más importantes que muchas métricas. Calidad sobre cantidad.
  • Lo que te llevaste: La capacidad de traducir comportamiento de usuarios en KPIs accionables.

### AdPulse -- Múltiples fuentes y comunicación (Mid, Mes 12-18)

Carmen, la directora de datos, te fichó porque necesitaba a alguien que pudiera reconciliar datos de Google Ads, Meta y email marketing en una sola fuente de verdad. Aprendiste que cada fuente tiene su propio formato, su propio timezone, su propia definición de "conversión". Pero lo más importante que aprendiste en AdPulse no fue técnico: fue comunicar. Presentar a clientes, explicar discrepancias sin perder la confianza, decir "no sé" sin vergüenza y volver al día siguiente con la respuesta.

  • Lección técnica: Reconciliación de fuentes, modelos de atribución, APIs múltiples.
  • Lección profesional: Comunicar con stakeholders no técnicos es TAN importante como el código.
  • Lo que te llevaste: La capacidad de presentar datos a personas que no saben SQL y ganarte su confianza.

### NeoBank -- Arquitectura y regulación (Mid, Mes 18-30)

Alberto, el arquitecto, te enseñó que un data engineer mid ya no solo ejecuta -- DISEÑA. Te hizo escribir tu primer ADR. Te obligó a evaluar 3 opciones antes de elegir una. Sara de compliance te enseñó que los datos financieros tienen consecuencias legales: un error en un pipeline no es "un bug" -- es una potencial multa del regulador. Aprendiste a pensar en idempotencia, en auditoría, en GDPR, en que cada decisión técnica tiene implicaciones de negocio.

  • Lección técnica: Spark, Redshift, feature stores, idempotencia, incident management.
  • Lección profesional: Documentar decisiones (ADRs). Pensar en consecuencias a largo plazo. Regulación importa.
  • Lo que te llevaste: La disciplina de diseñar antes de construir y documentar el por qué.

### FlashRoute -- Real-time y ownership (Mid, Mes 30-42)

Marcos, el CTO, te dio algo que ningún jefe anterior te había dado: ownership completo de un dominio. "El pipeline de ETAs es TUYO. Si se cae, tú lo arreglas. Si necesita escalar, tú lo escalas. Si hay un bug, el equipo de operaciones te llama a TI." Por primera vez eras responsable de un sistema end-to-end en producción, con SLAs reales y consecuencias reales cuando fallaba. Aprendiste streaming, Kafka, presión de Black Friday, y sobre todo, la soledad del on-call.

  • Lección técnica: Kafka, Spark Streaming, deduplicación en real-time, escalado bajo presión.
  • Lección profesional: Ownership completo es libertad Y responsabilidad. El on-call te madura rápido.
  • Lo que te llevaste: La confianza de saber que puedes mantener un sistema en producción sin supervisión.

### MediTrack -- Datos sensibles y gobernanza (Mid-Senior, Mes 42-54)

Rosa, la DPO, te enseñó que algunos datos no son solo bytes -- son personas. Un error de privacidad en datos médicos no es un incident report: es un paciente cuyo historial se expuso. Implementaste right-to-be-forgotten, k-anonymity, audit trails y row-level security. Aprendiste que ser un buen data engineer no es solo mover datos rápido -- es moverlos de forma RESPONSABLE.

  • Lección técnica: GDPR operacionalizado, anonimización avanzada, audit trails, row-level security.
  • Lección profesional: Los datos representan personas. La ética no es un nice-to-have.
  • Lo que te llevaste: La perspectiva de que cada decisión técnica tiene un impacto humano.

### SmartFactory -- Arquitectura a escala y liderazgo (Senior, Mes 54-66)

Fernando, el VP de Engineering, no te contrató para que escribieras pipelines -- te contrató para que DECIDIERAS qué arquitectura usar y la defendieras. 2000 sensores, 10 millones de eventos por hora, clientes OEM que exigen formato ISO. Por primera vez, tus decisiones de diseño afectaban directamente al P&L de la empresa (una línea parada = 36.000 EUR/hora perdidos). Aprendiste a presentar trade-offs al VP, a pensar a 6 meses vista, y a aceptar que no siempre hay una respuesta "correcta" -- solo trade-offs bien comunicados.

  • Lección técnica: IoT a escala, Iceberg, circuit breakers, procesamiento de 10M eventos/hora.
  • Lección profesional: Liderar no es tener razón -- es evaluar opciones, decidir y comunicar el por qué.
  • Lo que te llevaste: La autoridad tranquila de alguien que ha visto suficientes sistemas para saber que todo tiene trade-offs.

### StreamVibe -- Desde cero, con todo lo aprendido (Senior, ahora)

Y llegaste aquí. A una startup de 30 personas con cero datos y un deadline de 5 días. Y en esos 5 días hiciste lo que ninguna persona con menos experiencia podría haber hecho: definiste la estrategia, diseñaste la arquitectura, implementaste el pipeline, calculaste las métricas, construiste el dashboard y ayudaste a cerrar una ronda de 4M EUR. No porque seas más inteligente que un junior -- sino porque cada empresa anterior te dio una pieza del puzzle.

  • De FreshMart: No tener miedo de datos sucios. Empezar con lo que hay.
  • De TaskFlow: Saber qué métricas importan y cómo calcularlas.
  • De AdPulse: Comunicar con negocio, presentar con confianza.
  • De NeoBank: Diseñar antes de construir. Documentar decisiones.
  • De FlashRoute: Mover rápido bajo presión. Ownership total.
  • De MediTrack: Responsabilidad. Pensar en las personas detrás de los datos.
  • De SmartFactory: Liderar el diseño. Evaluar trade-offs. Pensar a largo plazo.

### ¿Qué define a un senior data engineer?

Después de 5+ años y 8 empresas, tienes una definición clara de lo que significa ser senior. No es saber más herramientas (un junior puede saber Spark y Kafka). No es escribir código más rápido. Es algo más sutil y más difícil de adquirir:

  1. 01.CRITERIO: Saber qué NO hacer es tan valioso como saber qué hacer. No usar Spark para 7K eventos/día. No implementar Airflow para 3 scripts. No montar Kafka para 15K usuarios. El senior elige la herramienta correcta para el problema, no la más impresionante.
  2. 02.CONTEXTO: Entender que el código existe dentro de un negocio. Que un dashboard puede cerrar una ronda de 4M EUR. Que una métrica mal calculada puede matar una startup. Que los stakeholders son personas con presiones propias.
  3. 03.COMUNICACIÓN: Explicar decisiones técnicas a personas no técnicas sin condescendencia. Escribir un ADR que alguien lea dentro de 2 años y entienda POR QUÉ decidiste lo que decidiste. Decir "no sé, lo investigo" sin vergüenza.
  4. 04.AUTONOMÍA: No esperar a que te digan qué hacer. Identificar el problema, proponer la solución, ejecutar y comunicar el resultado. En StreamVibe nadie te dijo "usa DuckDB" -- tú evaluaste opciones y decidiste.
  5. 05.VELOCIDAD CON CALIDAD: Entregar en 5 días algo que funciona Y está bien diseñado. No "rápido pero chapucero" ni "perfecto pero tarde". El balance entre pragmatismo y excelencia técnica es la marca del senior.
  6. 06.HUMILDAD TÉCNICA: Saber que toda arquitectura es temporal. Que DuckDB se reemplazará cuando escale. Que el código que escribiste está semana alguien lo reescribirá. Y que eso está bien -- porque resolviste el problema de HOY.

### El mapa completo -- tecnologías y cuándo aprendiste cada una

Cada empresa fue un escalón. Cada tecnología aprendida en contexto. Cada salto preparado por el anterior.

### ¿Y ahora qué? -- El futuro después de StreamVibe

StreamVibe cierra la ronda la semana que viene. Marta quiere que te quedes como Head of Data. "Contrata a tu equipo -- 2 data engineers y un analista para empezar. Tú defines las prioridades." Es tentador. Pero independientemente de lo que decidas, lo que tienes ahora es algo que nadie te puede quitar: la certeza de que puedes entrar a cualquier empresa, de cualquier industria, con cualquier estado de sus datos, y aportar valor desde el día uno.

El camino de junior a senior no es lineal ni predecible. No hay certificación que te lo dé. No hay curso que te prepare completamente. Se construye proyecto a proyecto, error a error, stakeholder a stakeholder. Cada CSV sucio de FreshMart, cada cohorte mal calculada en TaskFlow, cada discrepancia de datos en AdPulse, cada incidente en NeoBank, cada pico de Black Friday en FlashRoute, cada audit trail en MediTrack, cada presentación al VP en SmartFactory -- todo eso te trajo aquí.

Y aquí, en StreamVibe, demostraste lo que significa ser senior: no es saber más, es saber CUÁNDO aplicar qué, y tener el criterio para elegir lo simple sobre lo complejo cuando el problema lo permite.

Si te fijas, ninguna empresa te enseñó "todo". FreshMart no te enseñó streaming. TaskFlow no te enseñó regulación. NeoBank no te enseñó a presentar a clientes externos. Cada empresa fue una pieza del puzzle. Y solo cuando tienes todas las piezas puedes hacer lo que hiciste en StreamVibe: mirar un problema completamente nuevo y saber, con confianza tranquila, que puedes resolverlo. Porque ya has resuelto problemas similares (nunca idénticos) en 7 contextos diferentes.

Esa es la diferencia entre un senior con 5 años de experiencia diversa y alguien con 5 años haciendo lo mismo: el primero tiene un repertorio de patrones, el segundo tiene un martillo que aplica a todo. Los inversores de Meridian Capital no se impresionaron por DuckDB o por tu dashboard en Metabase -- se impresionaron porque en 5 días resolviste un problema que otras startups llevan meses sin abordar. Y eso no viene de saber una herramienta, viene de saber pensar.

Has completado los 8 casos de uso de Mundo Real. Has pasado de junior a senior, de CSV a arquitectura, de "no sé por dónde empezar" a "déjame 5 minutos y te diseño la solución". Lo que has aprendido aquí no caduca con la siguiente versión de Spark o el próximo framework de moda. Las herramientas cambian cada 2 años. El criterio, la comunicación y la capacidad de resolver problemas de negocio con datos duran toda una carrera.

### Lecciones que trascienden la tecnología

  1. 01.Los datos sin contexto de negocio son ruido. Un número solo tiene valor cuando responde una pregunta de alguien que toma decisiones.
  2. 02.La arquitectura perfecta no existe. Solo existen trade-offs bien documentados y planes de migración claros.
  3. 03.Comunicar es el 50% del trabajó de un senior. Código que nadie entiende es código que nadie mantiene.
  4. 04.La velocidad importa MÁS que la perfección en startups. Un MVP que funciona hoy vale más que un sistema perfecto dentro de 3 meses.
  5. 05.La deuda técnica es inevitable y a veces deseable. Lo importante es que sea CONSCIENTE y documentada.
  6. 06.Cada industria tiene su particularidad, pero los patrones de datos son universales: ingesta, transformación, almacenamiento, servicio.
  7. 07.El mejor stack es el que una persona puede mantener sola. La complejidad se justifica solo cuando el volumen o el equipo la requieren.
  8. 08.Ser senior no es no equivocarse. Es equivocarse rápido, aprender rápido y comunicar el error sin drama.

Enhorabuena. Has llegado al final del track de Mundo Real. Ahora ve y construye algo que importe.

### Un último consejo

Si hay algo que resume los 5+ años de carrera en una frase, es esto: el valor de un data engineer no está en las herramientas que domina, sino en los problemas de negocio que resuelve. Las herramientas cambian cada 2 años. Spark reemplazó a MapReduce. DuckDB está reemplazando a muchos usos de Spark. Algo reemplazará a DuckDB. Pero la capacidad de sentarte con un CEO, entender qué necesita, diseñar una solución pragmática y ejecutarla bajo presión -- eso no caduca nunca.

La próxima vez que alguien te diga "no tenemos datos", ya sabes qué hacer. Empieza por preguntar: "¿Qué decisión necesitas tomar?" Y desde ahí, construye hacía atrás hasta los datos que necesitas para tomar esa decisión. Siempre de la decisión a los datos, nunca al revés.

Y recuerda: el stack no importa tanto como crees. DuckDB, Redshift, Snowflake, Databricks -- son todas herramientas válidas en el contexto correcto. Lo que importa es la pregunta que respondiste: "¿Qué necesita el negocio?" y el camino que elegiste para llegar ahí con las restricciones que tenías. El día que dejes StreamVibe para tu siguiente aventura, el siguiente data engineer heredará tu arquitectura. Si puede entenderla en un día gracias a tu documentación, hiciste un buen trabajó. Si necesita una semana para descifrarla, no.

El mejor código es el que alguien que no conoces puede mantener sin ti. La mejor arquitectura es la que se puede explicar en una pizarra en 5 minutos. La mejor métrica es la que cambia una decisión. Esas son las verdades que aprendiste en 5 años y 8 empresas. Son simples de enunciar y difíciles de internalizar. Pero tú ya las llevas dentro.

Bienvenido al otro lado. Ya eres senior.

## ejercicios

[01]

Mapa de competencias: tu evolución profesional

Genera un análisis estructurado de las competencias adquiridas en cada empresa. Para cada una, identifica las skills técnicas y soft skills que ganaste, y cómo se conectan con lo que hiciste en StreamVibe.

Cargando editor...
[02]

Documentar la estrategia de datos de StreamVibe

Antes de irte el viernes, Marta te pide que documentes la estrategia de datos para el próximo hire. Genera el documento de Data Strategy que vivirá en Notion con visión, principios, estado actual, métricas y riesgos.

Cargando editor...
[03]

Plan de escalabilidad post-Serie A

StreamVibe ha cerrado la Serie A. Marta quiere un plan de datos para los próximos 6 meses. Diseña el roadmap: qué contratar, qué migrar, qué construir y en qué orden. Incluye triggers, costes y timeline.

Cargando editor...

Regístrate para guardar tu progreso.

## comentarios

Reporta erratas, ayuda a otros o comparte tu opinión. Sé constructivo.

Inicia sesión para comentar y responder.

cargando comentarios...