Día 4 (mañana) — Algo se rompe en producción

1#data-alerts  9:15 AM
2🚨 AIRFLOW ALERT — DAG: raw_orders_daily — FAILED
3Task: extract_orders failed at 2024-09-19 03:00 UTC
4Error: ConnectionRefusedError: [Errno 111] Connection refused
5Retries exhausted (3/3)
6Next retry: NONE (max retries reached)
7
8Dag run: scheduled__2024-09-19T03:00:00+00:00
9Duration before failure: 2m 34s

Tu primera alerta de producción — el DAG de pedidos no se ejecutó anoche

1Elena Torres  9:31 AM
2¿Alguien ha visto la alerta de raw_orders? Lleva fallando desde las 3AM.
3Raúl, ¿es tuyo ese DAG?
4
5Raúl Vega  9:34 AM
6sí, es mío... pero estoy en medio de lo del inventario
7la verdad no sé por qué falla, la semana pasada iba bien
8puede ser que RDS esté saturado?
9
10Elena Torres  9:36 AM
11tú, ¿puedes echarle un ojo? No te pido que lo arregles, solo
12que diagnostiques qué pasa y me digas. Si es algo de RDS escala a
13infra. Si es un bug en el DAG, dime qué ves.
14
15Tú  9:37 AM
16Dale, me pongo con ello ahora mismo.

Elena confía en ti para diagnosticar — no para arreglar (aún)

1# dags/raw_orders_daily.py (simplificado)
2"""
3DAG: raw_orders_daily
4Schedule: Cada día a las 03:00 UTC
5Qué hace:
6  1. Conecta a PostgreSQL de producción (RDS)
7  2. Extrae todos los pedidos del día anterior
8  3. Los escribe como CSV en S3: raw/orders/{year}/{month}/{day}/
9  4. Envía un mensaje a #data-alerts si falla
10"""
11from airflow import DAG
12from airflow.operators.python import PythonOperator
13from datetime import datetime, timedelta
14import psycopg2
15import pandas as pd
16import boto3
17
18default_args = {
19    "owner": "raul.vega",
20    "retries": 3,
21    "retry_delay": timedelta(minutes=5),
22}
23
24def extract_orders(**context):
25    """Extrae pedidos del día anterior de PostgreSQL."""
26    execution_date = context["ds"]
27
28    # ⚠️ CONEXIÓN HARDCODEADA (esto lo verás después)
29    conn = psycopg2.connect(
30        host="freshmart-prod.xxxxx.eu-west-1.rds.amazonaws.com",
31        port=5432,
32        dbname="orders",
33        user="data_readonly",
34        password="FrM4rt_R0_2024!",  # 🚩 CREDENCIAL EN EL CÓDIGO
35    )
36
37    query = f"""
38        SELECT * FROM orders
39        WHERE order_date = '{execution_date}'
40    """
41    df = pd.read_sql(query, conn)
42    conn.close()
43
44    # Escribir a S3
45    output_path = f"s3://freshmart-lake/raw/orders/{execution_date}/"
46    df.to_csv(f"{output_path}orders.csv", index=False)
47
48with DAG(
49    "raw_orders_daily",
50    default_args=default_args,
51    schedule_interval="0 3 * * *",
52    start_date=datetime(2024, 1, 1),
53    catchup=False,
54) as dag:
55    extract = PythonOperator(
56        task_id="extract_orders",
57        python_callable=extract_orders,
58    )

El DAG de Raúl: funcional pero con MUCHOS problemas de buenas prácticas

1# Logs del task extract_orders — run del 2024-09-19
2
3[2024-09-19 03:00:05] INFO - Starting task extract_orders
4[2024-09-19 03:00:05] INFO - Execution date: 2024-09-18
5[2024-09-19 03:00:06] INFO - Connecting to PostgreSQL at freshmart-prod.xxxxx.eu-west-1.rds.amazonaws.com:5432
6[2024-09-19 03:00:06] ERROR - Connection failed:
7    psycopg2.OperationalError: could not connect to server: Connection refused
8    Is the server running on host "freshmart-prod.xxxxx.eu-west-1.rds.amazonaws.com"
9    and accepting TCP/IP connections on port 5432?
10[2024-09-19 03:00:06] INFO - Retrying in 300 seconds (attempt 1/3)
11[2024-09-19 03:05:06] ERROR - Connection failed (retry 2/3): Connection refused
12[2024-09-19 03:10:06] ERROR - Connection failed (retry 3/3): Connection refused
13[2024-09-19 03:10:06] ERROR - Max retries reached. Task FAILED.
14
15# Logs del run anterior (2024-09-18, que también falló)
16[2024-09-18 03:00:06] ERROR - Connection failed:
17    psycopg2.OperationalError: FATAL: password authentication failed
18    for user "data_readonly"
19[2024-09-18 03:05:06] ERROR - password authentication failed (retry 2/3)
20[2024-09-18 03:10:06] ERROR - password authentication failed (retry 3/3)

Los logs revelan DOS errores distintos: primero auth failed, luego connection refused

1Tú  10:15 AM  en #infra
2Hola equipo, estoy investigando un fallo en el DAG raw_orders_daily.
3Los logs muestran "password authentication failed" desde el miércoles.
4¿Se rotaron credenciales de RDS esta semana?
5
6Carlos (Infra)  10:22 AM
7Sí, rotamos las credenciales de todos los usuarios de solo lectura
8el martes por la noche. Es parte del protocolo trimestral de seguridad.
9Mandamos un email al canal de engineering el lunes avisando.
10Las nuevas credenciales están en AWS Secrets Manager:
11secret: freshmart/prod/rds/data_readonly
12
13Carlos (Infra)  10:23 AM
14¿El equipo de data no usa Secrets Manager? 🤔
15
16Tú  10:25 AM
17Aparentemente este DAG tiene las credenciales hardcodeadas en el código...
18Vamos a arreglarlo. Gracias Carlos!

Verificación: infra rotó credenciales y el DAG usa las antiguas hardcodeadas

1Tú  11:22 AM
2Elena, encontré el problema del DAG raw_orders.
3No es que RDS esté caído — las credenciales se rotaron el martes
4por la noche (protocolo trimestral de seguridad de infra) y nadie
5avisó al equipo de data. El DAG usa las credenciales antiguas
6hardcodeadas en el script.
7
8Opciones:
91. Fix rápido (5 min): actualizar la contraseña en el código con la
10   nueva. Mismo problema la próxima vez que roten (en 3 meses).
112. Fix definitivo (2-3h): migrar la conexión a Airflow Connections
12   o leer de AWS Secrets Manager. Nunca más se rompe por rotación.
13
14¿Cómo prefieres que proceda?
15
16Elena Torres  11:25 AM
17Buena investigación. 👏
18Haz el fix rápido AHORA (que llevamos sin datos de pedidos desde
19ayer) y abre un ticket para el fix definitivo. Lo hacemos la semana
20que viene con calma.
21Y por favor, manda un mensaje a #data-team diciendo qué pasó y que
22ya está arreglado. El equipo necesita saber.

Reporta: problema + causa raíz + opciones con trade-offs. Esto es profesional.

1# Fix rápido: actualizar la credencial (temporal)
2# Obtenemos la nueva credencial de AWS Secrets Manager
3# (en la terminal, con aws cli)
4
5# 🟦 Windows (PowerShell):
6# aws secretsmanager get-secret-value --secret-id freshmart/prod/rds/data_readonly --query SecretString --output text
7
8# 🍎 Mac (Terminal):
9# aws secretsmanager get-secret-value --secret-id freshmart/prod/rds/data_readonly --query SecretString --output text
10
11# Luego actualizamos el DAG con la nueva password:
12# (esto es el fix TEMPORAL — la semana que viene lo migramos a Connections)
13conn = psycopg2.connect(
14    host="freshmart-prod.xxxxx.eu-west-1.rds.amazonaws.com",
15    port=5432,
16    dbname="orders",
17    user="data_readonly",
18    password="NEW_FrM4rt_R0_Q4_2024!",  # ← Nueva credencial (FIX TEMPORAL)
19)

Fix temporal: actualizar la credencial. La semana que viene se hace bien.

1Tú  12:05 PM  en #data-team
2🔧 Resumen del incidente raw_orders_daily:
3
4**Qué pasó:** El DAG raw_orders_daily falló miércoles y jueves (2 días sin datos de pedidos nuevos).
5
6**Causa raíz:** Infra rotó las credenciales de RDS el martes noche (protocolo trimestral). El DAG tenía las credenciales hardcodeadas en el código → usaba las antiguas.
7
8**Fix aplicado:** Actualizada la credencial en el código. DAG re-ejecutado. Los datos de miércoles y jueves ya están en el lake.
9
10**Impacto:** Dashboards de pedidos mostraron datos de hace 2 días entre miércoles 3AM y hoy 12PM. Ya están actualizados.
11
12**Próximos pasos:** Ticket DATA-162 abierto para migrar la conexión a Airflow Connections / Secrets Manager (fix definitivo, sprint que viene).
13
14cc @elena.torres @raul.vega
15
16Elena Torres  12:08 PM
17Perfecto. Gracias por el resumen claro.
18
19Jorge Ruiz  12:10 PM
20Gracias! Entonces los números de pedidos de ayer en Metabase ya son correctos?
21
22Tú  12:11 PM
23Sí, el backfill ya corrió. Los datos de miércoles y jueves están en el lake.
24
25Raúl Vega  12:15 PM
26uf perdona, ese DAG lleva meses con las creds hardcodeadas 😅
27lo de Secrets Manager lo tenía en mi TODO... gracias por el ticket

Comunicar el incidente: claro, estructurado y con next steps

1╔══════════════════════════════════════════════════════════════╗
2║  TICKET: DATA-162                                            ║
3║  Título: Migrar credenciales de raw_orders_daily a           ║
4║          Airflow Connections / AWS Secrets Manager            ║
5╠══════════════════════════════════════════════════════════════╣
6║  Contexto:                                                   ║
7║  El DAG raw_orders_daily tiene credenciales de RDS            ║
8║  hardcodeadas en el código. Cuando infra rotó las creds       ║
9║  (protocolo trimestral), el DAG falló 2 días hasta que        ║
10║  se detectó y se actualizó manualmente.                       ║
11║                                                              ║
12║  Solución propuesta:                                          ║
13║  1. Crear una Airflow Connection tipo 'postgres' con las      ║
14║     credenciales correctas                                    ║
15║  2. O: leer la credential de AWS Secrets Manager en runtime   ║
16║  3. Eliminar la password del código fuente                    ║
17║  4. Verificar que no haya más DAGs con creds hardcodeadas     ║
18║                                                              ║
19║  Prioridad: Media (fix rápido ya aplicado)                    ║
20║  Asignado a: Por definir (¿Raúl? ¿Yo?)                      ║
21║  Estimación: 2-3 horas                                        ║
22╚══════════════════════════════════════════════════════════════╝

El ticket documenta el problema para que el fix definitivo no se olvide