[15]Orquestación de pipelines
Haz que tus pipelines se ejecuten solos cada día: Step Functions, Airflow, idempotencia y reintentos.
El problema: "mi script funciona... cuando lo ejecuto yo"
Por qué ejecutar pipelines manualmente es una bomba de relojería y qué significa orquestar.
Instalar LocalStack y levantar Step Functions en local
Configura LocalStack con Docker para emular AWS Step Functions en tu máquina sin coste ni cuenta de AWS.
Máquinas de estado: Step Functions desde cero
Aprende el modelo mental de las máquinas de estado: estados, transiciones, tipos de tareas y Amazon States Language.
Tu primer workflow: ingesta → transformación → carga
Construye un pipeline real con Step Functions que ingiere datos de S3, los transforma y los carga en destino.
Errores, reintentos y bifurcaciones en Step Functions
Gestiona fallos con Retry, Catch y Choice. Haz que tu pipeline se recupere solo de errores transitorios.
Instalar Airflow con Docker: el estándar de la industria
Levanta Apache Airflow en tu máquina con Docker Compose. El orquestador que encontrarás en la mayoría de empresas.
DAGs, operators y scheduling: Airflow en la práctica
Domina los conceptos centrales de Airflow: estructura de DAGs, tipos de operators, scheduling con cron y XCom para pasar datos.
Cuándo usar qué: Step Functions vs Airflow vs cron
Compara las tres herramientas: cuándo brilla cada una, cuándo es overkill y cómo elegir para tu caso.