lección 8
Retrospectiva -- Tu evolución y preparación para FlashRoute
Reflexión sobre la semana en NeoBank: skills ganadas, nivel de autonomía, lo que el banco te enseñó que no está en ningún tutorial, y preparación para FlashRoute.
⏱ 25 min
### De junior asustado a mid engineer con criterio
Hace 18 meses estabas en FreshMart, nervioso porque María te pasaba un CSV con formatos raros y no sabías ni por dónde empezar. Hoy acabas de resolver un incidente de producción a las 3AM en un banco regulado por el Banco de España, has diseñado una arquitectura de feature store que un VP ha aprobado, y has implementado un proceso de GDPR que protege los datos de 2.1 millones de personas reales.
La progresión no ha sido lineal -- ha sido exponencial. Cada empresa te ha dado algo que las anteriores no podían:
- FreshMart (retail, 3 meses): Aprendiste a trabajar con datos reales que siempre vienen sucios. A comunicarte con negocio sin jerga técnica. A que un CSV "final_v3_BUENO" es la norma, no la excepción.
- TaskFlow (SaaS, 6 meses): Aprendiste a pensar en eventos, cohortes y métricas de producto. A que los datos cuentan historias de comportamiento si sabes preguntarles. A lidiar con tracking roto.
- AdPulse (marketing, 9 meses): Aprendiste a integrar múltiples fuentes, reconciliar discrepancias y presentar a clientes exigentes. A que "los datos cuadran" es una decisión de ingeniería, no un hecho.
- NeoBank (fintech, 1.5 años): Aprendiste streaming real-time, regulación, incident management y feature engineering para ML. A que los datos tienen consecuencias legales y financieras reales.
### Lo que NeoBank te enseñó que no está en ningún tutorial
- Los ADRs son tu memoria institucional. Sin ellos, cada decisión se re-debate cada 3 meses con personas que no estuvieron en la reunión original.
- GDPR no es un checkbox en un formulario -- es un proceso de ingeniería real con consecuencias millonarias si lo haces mal.
- Los incidentes no son fracasos -- son oportunidades de aprendizaje Y de conseguir presupuesto para hacer las cosas bien.
- Un feature store no es solo Redis + queries. Es arquitectura, governance, monitoring y un serving API con SLAs definidos.
- Streaming no es "batch más rápido". Es un paradigma diferente con problemas propios: watermarks, exactly-once, data skew, late data.
- Los stakeholders regulatorios (Sara) no son enemigos ni burócratas -- son aliados que te mantienen fuera de problemas legales de millones.
- La demo de sprint es tan importante como el código. Comunicar bien es una habilidad técnica que multiplica el impacto de tu trabajó.
- Diseñar para el caso malo (skew, picos, bugs de terceros) es más importante que optimizar para el caso normal.
### Skills técnicas adquiridas en NeoBank
- Spark Structured Streaming: micro-batch, watermarks, exactly-once con checkpoints, ventanas deslizantes
- Data skew: diagnóstico, salting, circuit breakers, alertas de volumen
- GDPR/RGPD: inventario PII, anonimización irreversible, SHA-256 + salt efímero, compliance reports
- Feature Store: arquitectura hot/warm/cold, Redis como serving layer, feature registry
- ADRs: evaluar opciones con scoring, documentar trade-offs, defender ante ARB
- Incident Management: PagerDuty, hotfix vs solución permanente, post-mortem blameless
- Kafka: consumer lag monitoring, exactly-once delivery, topic management
### Preparación para FlashRoute
NeoBank te hizo sólido técnicamente. Sabes resolver problemas en producción con calma bajo presión, tomar decisiones de arquitectura justificadas con datos, y comunicarte con compliance sin que parezca una conversación de sordos. Pero hay algo que NeoBank no te dio: OWNERSHIP completo de un dominio.
Marcos, CTO de FlashRoute, te contactó por LinkedIn. FlashRoute es una empresa de logística de última milla -- 1.000 repartidores, 100K envíos al día, datos GPS en real-time. Marcos te ofrece algo que NeoBank no puede: "Serás el owner del dominio de datos de tracking. No un contribuidor -- EL responsable. Diseñas, implementas, operas, y decides la tecnología. Si funciona, es mérito tuyo. Si se cae, es tu problema."
Es el siguiente pasó natural: de hacer bien lo que te piden (NeoBank) a decidir QUÉ se hace (FlashRoute). El reto ya no es "¿puedo implementar esto?" sino "¿qué debemos construir y por qué?". NeoBank te dio la base técnica. FlashRoute te dará la base de liderazgo técnico.
El salto de "ejecutor" a "owner" es el más difícil de la carrera de un data engineer. No es un salto técnico -- es un salto de mentalidad. Ya no preguntas "¿cómo hago esto?" sino "¿qué debemos hacer?". Nadie te va a dar un ADR template y decir "rellena esto". Tú decides si se necesita un ADR en primer lugar. Es aterrador y liberador a partes iguales.
## ejercicios
Mapear progresión de carrera
Genera un mapa de skills adquiridas por empresa y calcula tu "market value" basado en las tecnologías que dominas y el nivel de autonomía alcanzado.
Reconciliación batch vs streaming
Implementa un BatchStreamReconciler que compara resultados del pipeline batch con el streaming y genera alertas cuando hay discrepancias significativas.
Consumer Lag Monitor con alertas
Implementa un monitor de consumer lag que detecta degradación del pipeline de streaming y dispara alertas con thresholds configurables.
Regístrate para guardar tu progreso.
## comentarios
Reporta erratas, ayuda a otros o comparte tu opinión. Sé constructivo.
Inicia sesión para comentar y responder.
cargando comentarios...