caso de uso
SmartFactory, industria: cuando los sensores no callan — Mundo Real
Caso de uso 7: Industria: IoT/Manufactura. Nivel: Senior. 8 lecciones. 10M eventos/hora, Spark Streaming, Iceberg, alertas predictivas.
Bienvenido a SmartFactory
Conoce la fábrica de componentes de automoción, los 2000 sensores, el equipo y la escala de más de 7 millones de eventos por hora que vas a arquitecturar.
Día 1 -- Diseñar ingesta de sensor de vibración a escala
Fernando te pide diseñar la ingesta de 720 sensores de vibración de alta frecuencia. Evalúas 3 opciones arquitectónicas, decides schema, particionado y retención. Entregas un ADR completo.
Día 2 -- Features de mantenimiento predictivo con PySpark Streaming
Patricia necesita detectar degradación de rodamientos ANTES de que fallen. Diseñas el pipeline de feature engineering en Spark Structured Streaming: rolling stats, correlaciones y detección de anomalías.
Día 3 -- Exportar datos de calidad para BMW + trazabilidad
BMW exige datos de calidad dimensional en formato ISO 8601 con trazabilidad end-to-end. Diseñas el pipeline de exportación, validación de schema y certificación de lotes.
Día 3 (tarde) -- Sensor defectuoso inunda stream
El sensor de presión PSR-0087 se avería y empieza a inundar Kafka con miles de lecturas constantes por segundo. Implementas un circuit breaker que lo detecta, lo aísla y notifica sin perder datos legítimos del resto de sensores.
Día 4 -- Optimización: compresión Iceberg, particionado y Z-order
El data lake de 12,3 TB crece 40 GB/día hoy y crecerá 100 cuando entren los sensores de vibración a 5 Hz. Optimizas el almacenamiento con retención, compresión Zstandard, compaction y Z-order. Reduces el tamaño hasta ~80% (según cuántos días de raw se conserven) y aceleras las consultas de Patricia.
Día 5 -- Presentación de arquitectura completa + roadmap 6 meses
Presentas la arquitectura end-to-end a Fernando: ingesta MQTT, features predictivas, exportación BMW, circuit breaker y optimización del lake. Él te cuestiona cada decisión. Propones el roadmap de evolución a 6 meses.
Retrospectiva -- De junior a senior, preparación StreamVibe
Reflexión sobre tu carrera de 4.5 años: de subir CSVs en FreshMart a diseñar arquitecturas que mueven millones. Qué has aprendido, qué te falta, y qué viene en StreamVibe donde diseñarás TODO desde cero.