El viaje del dato: de dónde nace a quién lo usa

Piensa en el agua que sale del grifo de tu casa. Antes de llegar ahí ha recorrido un camino largo que nadie ve: nace en un embalse o un pozo, viaja por tuberías enormes, pasa por una planta donde se le quitan las impurezas y se comprueba que es potable, se almacena en depósitos, y solo entonces llega, limpia y a presión, al grifo desde el que llenas un vaso sin pensar dos veces. Un dato en una empresa hace exactamente el mismo viaje. Nace en algún sitio, viaja, se limpia, se guarda y llega hasta alguien que lo usa sin saber nada de todo lo anterior. El ingeniero de datos es quien construye y mantiene esa red de tuberías. Y para construirla, primero hay que conocer el recorrido entero.

Este es el mapa mental más importante de toda la profesión. Antes de aprender ninguna herramienta concreta, conviene tener en la cabeza el viaje completo del dato, porque cada herramienta que aprenderás más adelante encaja en una etapa concreta de este viaje. Sin el mapa, cada herramienta parece un truco suelto. Con el mapa, cada una tiene su sitio y su porqué. Vamos a recorrer las seis etapas de una en una.

## Etapa 1 — El origen: dónde nace el dato

Todo dato nace en algún sitio, y casi nunca nace pensando en ti. Nace cuando alguien pulsa "comprar" en una tienda online y la app registra ese pedido. Nace cuando un sensor de una fábrica mide la temperatura de una máquina cada segundo. Nace cuando una pasarela de pago confirma que una tarjeta ha cobrado. Nace cuando un usuario abre una aplicación y esta anota qué botón tocó. Cada uno de esos sistemas —la app, el sensor, la pasarela— genera datos como efecto secundario de hacer su trabajo, no para que tú los analices. Ese es el primer detalle importante del oficio: los datos casi siempre vienen de sistemas que no se construyeron para dártelos cómodos.

Los orígenes se agrupan en unos pocos tipos que se repiten en casi todas las empresas: las bases de datos de las aplicaciones (donde vive lo que pasa dentro del producto), los servicios externos a los que se les pregunta por internet (el proveedor de pagos, la plataforma de envíos, la red social), los ficheros que alguien deja en una carpeta (el informe diario que manda un socio, el volcado de un sistema antiguo), y los flujos continuos de eventos (cada clic, cada movimiento, llegando sin parar). Reconocer de qué tipo es un origen es lo primero que se hace, porque de eso depende todo lo que viene después.

## Etapa 2 — La ingesta: traer el dato hasta ti

Ingerir es traer el dato desde donde nació hasta un sitio donde puedas trabajar con él. Suena trivial y no lo es, porque cada origen se trae de una forma distinta y ninguno te lo pone fácil. A una base de datos ajena hay que pedirle una copia sin frenar el sistema que la usa de verdad. A un servicio externo hay que preguntarle por internet respetando sus límites, porque si le preguntas demasiado rápido te corta el paso. Un flujo continuo hay que recogerlo según llega, sin perder nada aunque venga a ráfagas. Aquí aparece una de las primeras decisiones de peso del oficio: traer el dato en lotes cada cierto tiempo (por ejemplo, todo lo del día una vez por la noche) o traerlo de forma continua según se genera. Cada opción tiene su coste y su momento.

## Etapa 3 — La limpieza: el dato viene sucio

Aquí es donde los novatos se llevan la primera sorpresa grande: el dato que llega está sucio, siempre, sin excepción. No porque nadie haga mal su trabajo, sino porque el mundo real es desordenado. Habrá fechas escritas de tres formas distintas, nombres con espacios de más, importes negativos donde no deberían, filas duplicadas porque un pedido se registró dos veces, campos vacíos donde faltaba información, y valores imposibles que aparecen porque alguien tecleó mal. Limpiar es detectar toda esa suciedad y decidir qué hacer con ella: corregirla, descartarla o marcarla. No es una tarea menor ni un trámite; es donde se gana o se pierde la confianza en todo lo que viene después.

La regla de oro de esta etapa es que un número mal calculado es peor que la falta del número. Si una tabla está incompleta, alguien lo nota y pregunta. Si una tabla está completa pero mal, nadie lo nota y se toman decisiones caras con ella hasta que el error sale a la luz meses después, cuando ya ha hecho daño. Por eso limpiar no es cosmética: es la etapa que decide si lo que entregas se puede creer.

## Etapa 4 — La transformación: darle forma útil

Un dato limpio todavía no es un dato útil. Transformar es darle la forma en la que va a responder preguntas de negocio. Aquí es donde se cruzan varias fuentes —los pedidos con los clientes, las ventas con los productos— para que juntas cuenten algo que por separado no cuentan. Donde se calculan las cifras que a la empresa le importan: la facturación por mes, la tasa de abandono, el ticket medio. Donde se agrupa el detalle en resúmenes que se puedan mirar de un vistazo. El dato entra como una lista larga de hechos en bruto y sale como una tabla pensada para responder justo las preguntas que alguien va a hacer.

Esta etapa es la que la gente de fuera imagina cuando piensa en "trabajar con datos", y es importante, pero fíjate en que llega la cuarta. Sin un buen origen, una ingesta fiable y una limpieza cuidadosa, la transformación más elegante del mundo produce un número precioso y falso. El orden importa, y este es el orden.

## Etapa 5 — El almacenamiento: dejarlo listo y a mano

El dato ya está limpio y con la forma correcta, pero hay que guardarlo en algún sitio pensado para que quien lo necesite lo encuentre rápido. No vale con dejarlo en cualquier parte: se guarda de forma que se pueda consultar sin esperas, que aguante el crecimiento cuando pasen los años y sean muchos más datos, y que separe lo que llegó crudo de lo que ya está listo para usar. Esta separación por etapas —lo crudo por un lado, lo limpio por otro, lo definitivo en un tercero— es una idea que se repite en todo el oficio, porque permite volver atrás cuando algo falla sin tener que rehacer el viaje entero.

Aquí también se decide una cosa que parece técnica y es de negocio: cuánto tiempo se guarda cada cosa y con qué nivel de detalle. Guardar todo para siempre al máximo detalle es caro y casi nunca hace falta. Tirar demasiado pronto deja a la empresa sin poder responder una pregunta que surgirá dentro de un año. Encontrar el equilibrio es parte del trabajo, y se hace pensando en qué preguntas va a querer responder alguien en el futuro.

## Etapa 6 — El consumo: para esto era todo

La última etapa es la razón de ser de las otras cinco: alguien usa el dato para decidir algo. Puede ser un analista que abre una tabla y responde por qué bajaron las ventas. Puede ser un panel que se actualiza solo cada noche y que la dirección mira en su reunión. Puede ser otro sistema que lee ese dato para recomendarte un producto. En todos los casos, el dato por fin sirve para lo que existía: cambiar una decisión que sin él se habría tomado a ciegas. Un dato que recorre las cinco primeras etapas de maravilla pero que nadie consume nunca es una tubería carísima que no lleva agua a ningún grifo.

Este viaje —origen, ingesta, limpieza, transformación, almacenamiento y consumo— es el esqueleto de todo lo que hace un ingeniero de datos. Todo lo que aprendas de aquí en adelante cuelga de una de estas seis etapas. Cuando algo te parezca desconectado o no entiendas para qué sirve, vuelve a este mapa y busca su sitio. Casi siempre lo tiene.