Glue: el pegamento que cataloga y transforma

1import boto3
2
3glue = boto3.client('glue', endpoint_url='http://localhost:4566',
4                    aws_access_key_id='test', aws_secret_access_key='test',
5                    region_name='eu-west-1')
6
7# Crear una base de datos en el catálogo
8glue.create_database(
9    DatabaseInput={
10        'Name': 'ecommerce_datalake',
11        'Description': 'Data lake de FashionStore: ventas, clientes, productos'
12    }
13)
14
15# Registrar una tabla manualmente (normalmente lo hace el crawler)
16glue.create_table(
17    DatabaseName='ecommerce_datalake',
18    TableInput={
19        'Name': 'ventas_raw',
20        'Description': 'Ventas diarias en formato CSV crudo',
21        'StorageDescriptor': {
22            'Columns': [
23                {'Name': 'order_id', 'Type': 'string'},
24                {'Name': 'customer_id', 'Type': 'string'},
25                {'Name': 'product_id', 'Type': 'string'},
26                {'Name': 'quantity', 'Type': 'int'},
27                {'Name': 'price', 'Type': 'double'},
28                {'Name': 'order_date', 'Type': 'string'},
29            ],
30            'Location': 's3://datalake-empresa/raw/ventas/',
31            'InputFormat': 'org.apache.hadoop.mapred.TextInputFormat',
32            'OutputFormat': 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',
33            'SerdeInfo': {
34                'SerializationLibrary': 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
35            }
36        },
37        'PartitionKeys': [
38            {'Name': 'year', 'Type': 'string'},
39            {'Name': 'month', 'Type': 'string'},
40        ]
41    }
42)
43print("✅ Database y tabla creadas en el catálogo")

El Data Catalog registra la estructura de tus datos — es el "information_schema" del data lake

1# Crear un crawler que escanee la zona raw de ventas
2glue.create_crawler(
3    Name='ventas-raw-crawler',
4    Role='arn:aws:iam::000000000000:role/GlueETLRole',
5    DatabaseName='ecommerce_datalake',
6    Targets={
7        'S3Targets': [
8            {'Path': 's3://datalake-empresa/raw/ventas/'}
9        ]
10    },
11    Description='Descubre esquema de archivos de ventas en raw/',
12    SchemaChangePolicy={
13        'UpdateBehavior': 'UPDATE_IN_DATABASE',
14        'DeleteBehavior': 'LOG'
15    }
16)
17
18# Ejecutar el crawler
19glue.start_crawler(Name='ventas-raw-crawler')
20print("🕷️ Crawler ejecutándose...")

El crawler escanea S3, descubre columnas y tipos, y actualiza el catálogo

1# Ejemplo conceptual de un Glue ETL Job script
2# (Este script correría dentro del entorno Glue, no en local)
3"""
4import sys
5from awsglue.transforms import *
6from awsglue.utils import getResolvedOptions
7from pyspark.context import SparkContext
8from awsglue.context import GlueContext
9
10# Inicializar contexto
11sc = SparkContext()
12glueContext = GlueContext(sc)
13spark = glueContext.spark_session
14
15# Leer datos del catálogo (no necesitas especificar esquema ni ruta)
16ventas_raw = glueContext.create_dynamic_frame.from_catalog(
17    database="ecommerce_datalake",
18    table_name="ventas_raw"
19)
20
21# Transformar: limpiar, filtrar, convertir tipos
22ventas_limpio = ventas_raw.resolveChoice(specs=[
23    ('price', 'cast:double'),
24    ('quantity', 'cast:int')
25])
26
27# Escribir en formato Parquet en zona processed
28glueContext.write_dynamic_frame.from_options(
29    frame=ventas_limpio,
30    connection_type="s3",
31    connection_options={"path": "s3://datalake-empresa/processed/ventas/"},
32    format="parquet"
33)
34"""
35print("👆 Este script correría dentro de un Glue ETL Job")

Un Glue Job es PySpark con helpers de Glue — lee del catálogo y escribe en S3