caso de uso
Volumen extremo: arquitectura IoT en SmartFactory — Mundo Real
Caso de uso 7: Industria: IoT/Manufactura. Nivel: Senior. 8 lecciones. 10M eventos/hora, Spark Streaming, Iceberg, alertas predictivas.
Bienvenido a SmartFactory
Conoce la fábrica de componentes de automoción, los 2000 sensores, el equipo y la escala de 10 millones de eventos por hora que vas a arquitecturar.
Día 1 -- Diseñar ingesta de sensor de vibración a escala
Fernando te pide diseñar la ingesta de 720 sensores de vibración de alta frecuencia. Evalúas 3 opciones arquitectónicas, decides schema, particionado y retención. Entregas un ADR completo.
Día 2 -- Features de mantenimiento predictivo con PySpark Streaming
Patricia necesita detectar degradación de rodamientos ANTES de que fallen. Diseñas el pipeline de feature engineering en Spark Structured Streaming: rolling stats, correlaciones y detección de anomalías.
Día 3 -- Exportar datos ISO para BMW + trazabilidad
BMW exige datos de calidad dimensional en formato ISO 8601 con trazabilidad end-to-end. Diseñas el pipeline de exportación, validación de schema y certificación de lotes.
Día 3 (tarde) -- Sensor defectuoso inunda stream
Un sensor de vibración defectuoso emite 50x su volumen normal inundando Kafka. Implementas un circuit breaker que detecta, aísla y notifica sin perder datos legítimos del resto de sensores.
Día 4 -- Optimización: compresión Iceberg, particionado y Z-order
El data lake de 12TB crece 100GB diarios. Optimizas el almacenamiento con compresión Zstandard, particionado temporal inteligente y Z-order para queries de Patricia. Reduces coste 40% y mejoras latencia 5x.
Día 5 -- Presentación de arquitectura completa + roadmap 6 meses
Presentas la arquitectura end-to-end a Fernando: ingesta MQTT, features predictivas, exportación BMW, circuit breaker y optimización del lake. Él te cuestiona cada decisión. Propones el roadmap de evolución a 6 meses.
Retrospectiva -- De junior a senior, preparación StreamVibe
Reflexión sobre tu carrera de 4.5 años: de subir CSVs en FreshMart a diseñar arquitecturas que mueven millones. Qué has aprendido, qué te falta, y qué viene en StreamVibe donde diseñarás TODO desde cero.