lección 8

Retrospectiva -- Tu evolución y preparación para FlashRoute

Reflexión sobre la semana en NeoBank: skills ganadas, nivel de autonomía, lo que el banco te enseñó que no está en ningún tutorial, y preparación para FlashRoute.

25 min

### De junior asustado a mid engineer con criterio

Hace 18 meses estabas en FreshMart, nervioso porque María te pasaba un CSV con formatos raros y no sabías ni por dónde empezar. Hoy acabas de resolver un incidente de producción a las 3AM en un banco regulado por el Banco de España, has diseñado una arquitectura de feature store que un VP ha aprobado, y has implementado un proceso de GDPR que protege los datos de 2.1 millones de personas reales.

La progresión no ha sido lineal -- ha sido exponencial. Cada empresa te ha dado algo que las anteriores no podían:

  • FreshMart (retail, 3 meses): Aprendiste a trabajar con datos reales que siempre vienen sucios. A comunicarte con negocio sin jerga técnica. A que un CSV "final_v3_BUENO" es la norma, no la excepción.
  • TaskFlow (SaaS, 6 meses): Aprendiste a pensar en eventos, cohortes y métricas de producto. A que los datos cuentan historias de comportamiento si sabes preguntarles. A lidiar con tracking roto.
  • AdPulse (marketing, 9 meses): Aprendiste a integrar múltiples fuentes, reconciliar discrepancias y presentar a clientes exigentes. A que "los datos cuadran" es una decisión de ingeniería, no un hecho.
  • NeoBank (fintech, 1.5 años): Aprendiste streaming real-time, regulación, incident management y feature engineering para ML. A que los datos tienen consecuencias legales y financieras reales.
Tu nivel de autonomía ha crecido exponencialmente con cada empresa

### Lo que NeoBank te enseñó que no está en ningún tutorial

  • Los ADRs son tu memoria institucional. Sin ellos, cada decisión se re-debate cada 3 meses con personas que no estuvieron en la reunión original.
  • GDPR no es un checkbox en un formulario -- es un proceso de ingeniería real con consecuencias millonarias si lo haces mal.
  • Los incidentes no son fracasos -- son oportunidades de aprendizaje Y de conseguir presupuesto para hacer las cosas bien.
  • Un feature store no es solo Redis + queries. Es arquitectura, governance, monitoring y un serving API con SLAs definidos.
  • Streaming no es "batch más rápido". Es un paradigma diferente con problemas propios: watermarks, exactly-once, data skew, late data.
  • Los stakeholders regulatorios (Sara) no son enemigos ni burócratas -- son aliados que te mantienen fuera de problemas legales de millones.
  • La demo de sprint es tan importante como el código. Comunicar bien es una habilidad técnica que multiplica el impacto de tu trabajó.
  • Diseñar para el caso malo (skew, picos, bugs de terceros) es más importante que optimizar para el caso normal.

### Skills técnicas adquiridas en NeoBank

  • Spark Structured Streaming: micro-batch, watermarks, exactly-once con checkpoints, ventanas deslizantes
  • Data skew: diagnóstico, salting, circuit breakers, alertas de volumen
  • GDPR/RGPD: inventario PII, anonimización irreversible, SHA-256 + salt efímero, compliance reports
  • Feature Store: arquitectura hot/warm/cold, Redis como serving layer, feature registry
  • ADRs: evaluar opciones con scoring, documentar trade-offs, defender ante ARB
  • Incident Management: PagerDuty, hotfix vs solución permanente, post-mortem blameless
  • Kafka: consumer lag monitoring, exactly-once delivery, topic management

### Preparación para FlashRoute

NeoBank te hizo sólido técnicamente. Sabes resolver problemas en producción con calma bajo presión, tomar decisiones de arquitectura justificadas con datos, y comunicarte con compliance sin que parezca una conversación de sordos. Pero hay algo que NeoBank no te dio: OWNERSHIP completo de un dominio.

Marcos, CTO de FlashRoute, te contactó por LinkedIn. FlashRoute es una empresa de logística de última milla -- 1.000 repartidores, 100K envíos al día, datos GPS en real-time. Marcos te ofrece algo que NeoBank no puede: "Serás el owner del dominio de datos de tracking. No un contribuidor -- EL responsable. Diseñas, implementas, operas, y decides la tecnología. Si funciona, es mérito tuyo. Si se cae, es tu problema."

Es el siguiente pasó natural: de hacer bien lo que te piden (NeoBank) a decidir QUÉ se hace (FlashRoute). El reto ya no es "¿puedo implementar esto?" sino "¿qué debemos construir y por qué?". NeoBank te dio la base técnica. FlashRoute te dará la base de liderazgo técnico.

El salto de "ejecutor" a "owner" es el más difícil de la carrera de un data engineer. No es un salto técnico -- es un salto de mentalidad. Ya no preguntas "¿cómo hago esto?" sino "¿qué debemos hacer?". Nadie te va a dar un ADR template y decir "rellena esto". Tú decides si se necesita un ADR en primer lugar. Es aterrador y liberador a partes iguales.

## ejercicios

[01]

Mapear progresión de carrera

Genera un mapa de skills adquiridas por empresa y calcula tu "market value" basado en las tecnologías que dominas y el nivel de autonomía alcanzado.

Cargando editor...
[02]

Reconciliación batch vs streaming

Implementa un BatchStreamReconciler que compara resultados del pipeline batch con el streaming y genera alertas cuando hay discrepancias significativas.

Cargando editor...
[03]

Consumer Lag Monitor con alertas

Implementa un monitor de consumer lag que detecta degradación del pipeline de streaming y dispara alertas con thresholds configurables.

Cargando editor...

Regístrate para guardar tu progreso.

## comentarios

Reporta erratas, ayuda a otros o comparte tu opinión. Sé constructivo.

Inicia sesión para comentar y responder.

cargando comentarios...