Control de costes: cómo no arruinarte (historias de terror)

Voy a empezar esta lección con tres historias reales que me han contado colegas o he vivido yo mismo. Primera: un equipo dejó un clúster EMR de 20 nodos corriendo un viernes por la tarde. El lunes descubrieron una factura de $3,200 por 60 horas de compute inútil. Segunda: un desarrollador publicó un bucket S3 con Transfer Acceleration activado y una Lambda que se trigger recursiva (Lambda escribe en S3, S3 triggerea Lambda, Lambda escribe en S3...). 200 millones de invocaciones en 4 horas. $8,000. Tercera: un data engineer configuró Kinesis con 100 shards "por si acaso" para un proyecto que recibía 10 eventos/segundo. $3,600/mes por capacidad que nunca usó.

AWS puede ser muy barato o muy caro. La diferencia no es suerte — es diseño. Un pipeline bien diseñado que procesa 1TB/día puede costar $30/mes. El mismo pipeline mal diseñado puede costar $3,000/mes. Esta lección es sobre cómo estar en el grupo de los $30.

### Regla #1: Configura alertas de facturación ANTES de hacer nada

Lo primero que debes hacer en CUALQUIER cuenta AWS — antes de crear un solo recurso — es configurar alertas de billing. AWS te envía un email cuando tu gasto supera un umbral. Configura alertas a $10, $50, $100 y $500. Así nunca te llevarás una sorpresa.

1# Ejemplo conceptual: crear presupuesto con alertas
2# (En AWS real usarías la API de Budgets)
3import boto3
4
5def crear_presupuesto_alerta(limite_mensual: float, emails: list):
6    """Crea un presupuesto con alertas al 50%, 80% y 100%."""
7    budget = {
8        'nombre': 'limite-equipo-datos',
9        'limite_usd': limite_mensual,
10        'alertas': [
11            {'umbral': 50, 'mensaje': f'⚠️ 50% del presupuesto (${limite_mensual*0.5})'},
12            {'umbral': 80, 'mensaje': f'🚨 80% del presupuesto (${limite_mensual*0.8})'},
13            {'umbral': 100, 'mensaje': f'🔴 LÍMITE ALCANZADO (${limite_mensual})'},
14        ],
15        'destinatarios': emails
16    }
17    print(f"✅ Presupuesto configurado: ${limite_mensual}/mes")
18    for alerta in budget['alertas']:
19        print(f"   Alerta al {alerta['umbral']}%: {alerta['mensaje']}")
20    return budget
21
22crear_presupuesto_alerta(200, ['data-team@empresa.com'])

### Los 5 mayores ladrones de dinero en pipelines de datos

1. 01.Recursos olvidados: clústeres EMR, instancias EC2, endpoints VPC que nadie apagó. Solución: tags obligatorios + scripts de limpieza automática.
2. 02.Sobredimensionamiento: Glue con 20 DPUs cuando 5 bastaban. Redshift con nodos ra3.4xlarge cuando dc2.large era suficiente. Solución: empieza pequeño y escala.
3. 03.Formato incorrecto en S3: consultar CSV sin comprimir con Athena en vez de Parquet particionado. 100x más caro. Solución: SIEMPRE Parquet para analítica.
4. 04.Lambdas recursivas: Lambda → S3 → Lambda → S3... loop infinito. Solución: prefijos diferentes para input/output, nunca escribas donde lees.
5. 05.Transfer innecesario: mover datos entre regiones ($0.02/GB), usar NAT Gateway para tráfico S3 ($0.045/GB). Solución: VPC Endpoints para S3, todo en la misma región.

### Estrategias de ahorro por servicio

• ▹S3: Intelligent-Tiering para datos con acceso impredecible. Lifecycle rules para mover a Glacier. Borrar versiones antiguas.
• ▹EMR: Clústeres efímeros + Spot instances. Nunca dejar clústeres 24/7 para batch nocturno.
• ▹Glue: Ajustar DPUs al mínimo necesario. Usar push-down predicates para leer menos datos.
• ▹Athena: Parquet + particionado + workgroup con límite de scan. CTAS para crear tablas optimizadas.
• ▹Lambda: Ajustar memoria al mínimo (128MB si es posible). ARM64 en vez de x86 (20% más barato).
• ▹Redshift: Pausar clúster fuera de horario laboral. Reserved Instances para cargas predecibles.

### Reserved Instances y Savings Plans

Si sabes que vas a usar un recurso durante 1 o 3 años (Redshift, EMR core nodes, RDS), puedes pagar por adelantado y ahorrar 30-60%. Es como pagar la matrícula del gimnasio anual en vez de mensual. AWS te da un descuento por comprometerte. Pero cuidado: si no lo usas, pagas igual.