[10]Calidad de datos y testing de pipelines
Validación, Great Expectations, contratos de datos y alertas. Porque basura entra, basura sale — y el CEO no perdona.
Por qué la calidad de datos es tu trabajo más importante
Horror stories reales de decisiones tomadas con datos incorrectos. El coste de la NO calidad. Basura entra, basura sale.
Las 5 dimensiones de la calidad: completitud, unicidad, validez, consistencia, frescura
Un framework profesional para evaluar datos. Cada dimensión con ejemplos reales, métricas y código para medirlas.
Instalar pytest: testing automatizado
pytest, el framework de testing de Python: escribe los tests automáticos que garantizan la calidad de tus datos y pipelines en cada cambio.
Validación con Python puro: funciones y assertions
Escribir validadores reutilizables, patterns comunes, cuándo usar assert vs raise, y decoradores de validación.
Great Expectations: el framework profesional de validación
Instalación, Expectations, Suites, Data Sources y reportes HTML. El estándar de la industria para validación de datos.
Contratos de datos: definir qué esperas ANTES de que lleguen
El concepto de contrato entre productor y consumidor de datos. Schemas, versioning, breaking changes y cómo evitar el caos.
Alertas y monitorización: enterarte ANTES de que el CEO pregunte
Qué monitorizar (frescura, volumen, distribuciones), cómo alertar (Slack, email), umbrales estáticos y dinámicos.
Proyecto: pipeline con validación completa y alertas
Un pipeline end-to-end que ingiere datos, valida con GE, alerta si falla y genera un reporte de calidad. Todo lo aprendido en acción.