El mapa del aprendizaje: supervisado, no supervisado y por refuerzo

Hay una pregunta que un buen profesional se hace antes de abrir ninguna herramienta, y es tan sencilla que da pudor decirla en voz alta: "¿qué tengo, y qué quiero sacar de ello?". Suena a perogrullada, pero es la pregunta que ordena todo el aprendizaje automático. Porque el aprendizaje automático no es una técnica, es un territorio enorme, y ese territorio se divide en tres grandes regiones que no se parecen en casi nada. No comparten los mismos algoritmos, no se miden igual, no sirven para lo mismo. Lo único que comparten es un apellido. Y confundir en qué región estás es el equivalente a salir de excursión con el mapa de otra montaña: no importa lo bien que camines, no vas a llegar.

Vienes de ajustar modelos para entender relaciones: sabes poner un número al efecto de una variable sobre otra y acompañarlo de su incertidumbre. También sabes ya que hay dos oficios distintos, el de explicar y el de predecir, y que la herramienta del segundo trabaja con dos verbos, aprender y predecir. Lo que empieza aquí es el oficio de predecir de pleno derecho, y la primera cosa que hay que hacer no es predecir nada todavía: es dibujar el mapa. Durante el resto de este recorrido vas a construir modelos que aciertan, y cada vez que empieces uno, lo primero será situarlo en una de estas tres regiones. Si te saltas ese paso, acabarás usando la vara de medir de una región para juzgar un modelo de otra, que es uno de los errores más silenciosos que existen.

## La frontera verdadera: qué datos tienes

La tentación, al llegar aquí, es pensar que las tres regiones se distinguen por el algoritmo que usan. No es así, y conviene desmontarlo ya. Lo que separa de verdad a los tres territorios es qué información traes de partida sobre la respuesta correcta. En uno de ellos tienes ejemplos del pasado con su respuesta ya puesta, como un montón de exámenes ya corregidos. En otro no tienes ninguna respuesta: solo tienes casos, y quieres que la estructura emerja sola. Y en el tercero no tienes ni respuestas ni casos quietos, sino un sistema que actúa y recibe premios o castigos según le vaya. Esa diferencia de materia prima es la que decide todo lo demás.

Fíjate en que esto es una propiedad de tus DATOS, no de tu intención. Puedes tener muchas ganas de predecir qué clientes se van a marchar, pero si no tienes ni un solo caso pasado de un cliente que se marchó o se quedó, no estás en el territorio del aprendizaje supervisado por mucho que lo desees: no tienes con qué enseñarle al modelo qué es marcharse. El mapa no se elige, se descubre mirando lo que tienes sobre la mesa. Por eso la pregunta inicial era "¿qué tengo?" antes que "¿qué quiero?". Las dos importan, pero la primera manda sobre la segunda más de lo que parece.

## Supervisado: aprender de exámenes ya corregidos

Imagina una pila de miles de correos electrónicos, y que al lado de cada uno hay una pegatina que dice "spam" o "no es spam", puesta por una persona en su día. Esa pila es el material del aprendizaje supervisado. Tienes ejemplos del pasado, y cada ejemplo viene acompañado de su respuesta correcta. El modelo se entrena mirando esa pila: observa qué distingue a los correos con pegatina de spam de los que no la tienen, y a partir de ahí se forma una regla. Después llega un correo nuevo, sin pegatina, y el modelo aplica lo que aprendió para decidir qué pegatina le pondría. La palabra "supervisado" viene justo de ahí: alguien supervisó los ejemplos de entrenamiento, es decir, les puso la respuesta correcta de antemano.

La analogía del examen corregido es la que mejor funciona. Un estudiante aprende repasando exámenes de años anteriores que vienen con las soluciones: ve el enunciado, ve la respuesta buena, y poco a poco entiende qué separa una respuesta correcta de una incorrecta. El examen de verdad, el que cuenta, llega sin soluciones, y ahí el estudiante aplica lo aprendido. El aprendizaje supervisado es exactamente eso, automatizado: la pila de exámenes corregidos son tus datos de entrenamiento, y el examen nuevo es el caso que quieres predecir. La respuesta que acompaña a cada ejemplo tiene un nombre que vas a usar sin parar: la etiqueta.

Los ejemplos de este territorio están por todas partes, y casi siempre comparten la misma forma: un hecho del pasado cuyo desenlace ya conoces. En todos ellos tienes el "antes" (lo que sabías del caso) y el "después" (lo que acabó pasando), y lo que quieres es, con un caso nuevo del que solo tienes el "antes", adivinar el "después" que todavía no ha ocurrido. Esa es la pregunta del aprendizaje supervisado, y es la pregunta que más veces se hace en el mundo real. Mira cómo todos los ejemplos clásicos encajan en ese molde del "antes y después":

• ▹Correos de los que sabes si fueron spam o legítimos, para decidir la pegatina de los que lleguen.
• ▹Clientes de los que sabes si se dieron de baja o se quedaron, para anticipar quién tiene riesgo de irse.
• ▹Transacciones de las que sabes si resultaron fraude o no, para marcar las nuevas que conviene revisar.
• ▹Pedidos de los que sabes si se entregaron tarde o a tiempo, para avisar antes de los que corren peligro.
• ▹Pacientes de los que sabes si reingresaron o no, para reforzar el seguimiento de los más expuestos.

En los cinco, el patrón es idéntico: tienes una historia completa (el caso y su desenlace) y la usas para adivinar el desenlace de un caso cuya historia todavía no ha terminado. Si eres capaz de reconocer ese molde en un problema nuevo, ya sabes que estás en el territorio supervisado, y eso solo ya te dice cómo lo vas a medir y qué puedes esperar.

Hay un matiz que conviene dejar claro desde ya, porque evita una confusión frecuente: lo que convierte un problema en supervisado no es que la respuesta sea un sí o un no. La respuesta puede ser una categoría (spam o no spam), pero también puede ser un número (cuántos euros venderás mañana, cuántos días tardará un envío). Lo que lo hace supervisado es que, sea cual sea la forma de la respuesta, tengas ejemplos pasados donde esa respuesta ya está puesta. Si tienes el histórico de ventas de cada día, cada día pasado es un ejemplo con su respuesta (lo que se vendió), y predecir las ventas de mañana es supervisado aunque la respuesta sea un número y no una pegatina. Volveremos sobre esa distinción entre categoría y número más adelante, con calma.

## No supervisado: encontrar grupos donde nadie los marcó

Ahora cambia la escena. Tienes una tabla con diez mil clientes y, de cada uno, cuánto gasta, cada cuánto compra, qué tipo de productos se lleva, hace cuánto que es cliente. Pero no tienes ninguna pegatina. Nadie ha dicho "este es un cliente de tipo A y este de tipo B", entre otras cosas porque no sabes de antemano cuántos tipos hay ni cuáles son. Lo que quieres es justamente eso: que, mirando los parecidos y las diferencias entre los clientes, emerjan solos unos grupos. Que el modelo te diga "mira, hay un puñado de clientes que se comportan de forma parecida entre sí y distinta del resto". Este es el territorio del aprendizaje no supervisado: no hay respuestas que enseñar, hay estructura que descubrir.

El prefijo "no" de "no supervisado" marca justo la ausencia de la pila de exámenes corregidos. Nadie puso la respuesta buena al lado de cada caso, porque en este problema no existe una respuesta buena de antemano. Y eso tiene una consecuencia profunda que vamos a desarrollar más adelante con calma: cuando no hay respuesta correcta contra la que comparar, la pregunta "¿cuánto acierta el modelo?" se vuelve difícil de responder, porque no hay nada que decir si acertó o no. Un modelo supervisado se puede corregir mirando sus pegatinas; uno no supervisado no, y por eso "bueno" significa otra cosa en este territorio. Quédate con la idea; es una de las que más confunde al principio.

El ejemplo clásico, y el que usarás tú mismo más adelante, es agrupar clientes parecidos sin saber de antemano los grupos. Una empresa no tiene escrito en ninguna parte quiénes son sus "clientes de alto valor" o sus "compradores de ocasión": esas categorías no vienen con los datos, hay que hacerlas emerger. El aprendizaje no supervisado reparte a los clientes en grupos según lo parecidos que son entre sí, y después una persona mira cada grupo y le pone nombre. Pero el nombre lo pone la persona al final, no el algoritmo: el algoritmo solo dice "estos van juntos y estos otros aparte". Es una diferencia que parece pequeña y lo cambia todo.

## Por refuerzo: aprender a base de premios y castigos

La tercera región es la más distinta de las tres, y la más fácil de explicar con un ser vivo. Piensa en cómo se adiestra a un perro, o en cómo aprende a caminar un niño pequeño. No hay una pila de ejemplos etiquetados ni una tabla de casos quietos. Hay un ser que actúa, prueba cosas, y recibe una consecuencia: un premio cuando le sale bien, un tropiezo o un castigo cuando le sale mal. Con el tiempo, repitiendo, va ajustando su comportamiento para conseguir más premios y menos castigos. Eso es el aprendizaje por refuerzo: un agente que aprende probando, guiado por una señal de recompensa.

El ejemplo que mejor lo encapsula es un robot que aprende a andar. Al principio se cae constantemente, y cada caída es una señal de "esto no". De vez en cuando da un paso que no termina en caída, y eso es una señal de "esto sí, un poco más de esto". No hay nadie enseñándole la postura correcta de antemano, como no la hay en los exámenes corregidos del supervisado; tampoco se trata de agrupar nada, como en el no supervisado. Se trata de descubrir, a base de intentos y consecuencias, qué secuencia de movimientos acumula más recompensa a lo largo del tiempo. Es el territorio donde han crecido los sistemas que juegan al ajedrez o al go mejor que cualquier persona, y los que aprenden a controlar máquinas complejas.

Y aquí viene una decisión que conviene tomar de frente y con honestidad, porque es más útil que fingir. El aprendizaje por refuerzo es fascinante, pero en el trabajo cotidiano con datos aparece poquísimo: ronda el 3% de las ofertas de empleo del sector, y en la mayoría de las empresas no se usa nunca. Necesita un entorno donde el agente pueda actuar y recibir consecuencias miles de veces, algo que casi ningún problema de negocio ofrece, y que desde luego no se puede montar dentro del navegador en el que vas a practicar. Así que la decisión es esta: lo nombramos, lo entiendes, sabes reconocerlo si te lo cruzas, y no lo vamos a tocar más. Fingir que lo cubrimos cuando no se puede practicar sería venderte humo, y este sitio no va de eso.

## Por qué el supervisado se lleva la parte del león

Si el mapa tiene tres regiones, ¿por qué vas a pasar la mayor parte del tiempo en una sola? Porque es la que corresponde a la inmensa mayoría de los problemas reales, y la razón es sencilla: en el mundo del trabajo casi siempre tienes casos del pasado con su desenlace ya conocido. Las empresas guardan historia. Saben qué clientes se fueron, qué pagos fueron fraude, qué pedidos llegaron tarde. Esa historia, ese registro de "esto pasó", es exactamente la pila de exámenes corregidos que el aprendizaje supervisado necesita. No es que el supervisado sea mejor que los otros: es que es el que encaja con los datos que la gente tiene de verdad guardados.

El no supervisado ocupa buena parte de lo que queda, porque hay muchas situaciones donde quieres explorar y entender antes de predecir nada: segmentar clientes, detectar patrones raros, ordenar un montón de casos sin etiquetar. Y el refuerzo, como ya hemos dicho, se queda en una esquina pequeña y especializada. La próxima parada del camino es entender a fondo por qué el supervisado se come ese 90%, qué es exactamente una etiqueta y de dónde sale en el mundo real, porque ahí hay una verdad incómoda que casi nadie cuenta: conseguir buenas etiquetas suele ser la mitad del trabajo, y la mitad más difícil.

## El error de llevar la vara de medir equivocada

Hay un fallo que nace justo de no tener claro el mapa, y es tan común que vale la pena anticiparlo. Alguien agrupa a sus clientes con un método no supervisado, obtiene cuatro grupos, y entonces pregunta: "¿y cuánto acierta este modelo?". La pregunta no tiene respuesta, porque en el territorio no supervisado no hay una respuesta correcta contra la que medir el acierto. No había pegatinas. El modelo no ha intentado adivinar ninguna etiqueta: ha repartido casos en grupos según sus parecidos. Preguntarle su "acierto" es como preguntarle a un mapa cuántos goles ha metido: la pregunta pertenece a otro deporte.

El error contrario también ocurre. Alguien entrena un modelo supervisado que predice bajas de clientes, le sale un acierto altísimo, y lo da por bueno sin más. Pero en el territorio supervisado "acierto" es una pregunta legítima y con trampa, porque todo depende de contra qué midas y sobre qué datos. Cada región tiene su propia forma de decir si un modelo es bueno, y usar la de otra región lleva a conclusiones sin sentido. Tener el mapa claro no es un adorno teórico: es lo que te impide juzgar un modelo con la vara equivocada, que es un error que no da ningún aviso, simplemente te hace creer cosas falsas.

## Un apunte de historia: tres caminos que crecieron por separado

Que haya tres territorios no es una clasificación que alguien inventó para ordenar un libro de texto: es el reflejo de tres tradiciones de investigación que crecieron casi por separado durante décadas. El aprendizaje supervisado hunde sus raíces en la estadística clásica, en la idea de ajustar una relación entre entradas y una salida conocida, y es la rama que más pronto encontró usos comerciales masivos. El no supervisado bebe del análisis de datos exploratorio y de la vieja pregunta de cómo agrupar cosas parecidas sin saber de antemano las categorías, un problema que lleva estudiándose desde mucho antes de que existieran los ordenadores. Y el refuerzo nació del cruce entre la psicología del condicionamiento (premios y castigos) y la teoría del control, y durante años fue la rama más teórica y con menos aplicaciones prácticas.

Durante mucho tiempo quien trabajaba en una de estas ramas apenas hablaba con quien trabajaba en otra, usaban vocabularios distintos y publicaban en sitios distintos. Lo que las unió bajo el paraguas común de "aprendizaje automático" fue, sobre todo, que acabaron compartiendo las mismas matemáticas de fondo y, más tarde, las mismas herramientas de software. Pero esa unión es reciente, y por eso todavía hoy, cuando lees sobre el tema, notas que el supervisado y el refuerzo parecen hablar de mundos distintos. Lo parecen porque, en buena medida, lo son. Tener presente que son tres linajes distintos ayuda a no esperar que lo que aprendiste en uno se traslade sin más al otro.

## El mapa que te llevas

Resumamos el terreno antes de empezar a caminarlo. El aprendizaje automático tiene tres regiones, y lo que las separa es qué sabes de la respuesta correcta. En el supervisado tienes ejemplos del pasado con su respuesta puesta, como exámenes corregidos, y quieres predecir la respuesta de un caso nuevo: es donde está la gran mayoría del trabajo, porque es lo que encaja con la historia que guardan las empresas. En el no supervisado no tienes respuestas, solo casos, y quieres que emerja una estructura, como agrupar clientes parecidos: aquí "bueno" no significa "acierta", porque no hay nada contra lo que acertar. Y en el refuerzo un agente aprende probando, guiado por premios y castigos: existe, es potente y no es donde vas a vivir, así que lo dejamos nombrado y seguimos.

Ya tienes el mapa. Ahora toca entender por qué una de sus regiones es tan grande que casi parece ser el territorio entero, y qué es exactamente eso de la etiqueta que tanto hemos nombrado y de donde sale. Porque detrás de esa palabra tan inofensiva se esconde la parte del oficio que menos se cuenta y más decide si un proyecto funciona.