Vigilar un modelo en marcha

Ya sabes que un modelo se degrada porque el mundo se mueve, y que no vigilarlo es dejar una decisión automática envejeciendo sola. Así que la conclusión parece sencilla: vigilémoslo. Pero en cuanto intentas hacerlo de verdad te topas con un obstáculo que no es evidente hasta que lo piensas. Lo natural sería mirar si el modelo sigue acertando: comparar lo que predijo con lo que de verdad pasó, y ver si el acierto se mantiene. El problema es que, para saber lo que de verdad pasó, tienes que esperar a que pase. Y eso, en muchos problemas, tarda muchísimo, o no llega nunca.

Este retraso con el que llega la verdad es una de las cosas que separan un modelo en el cuaderno de un modelo en producción. Cuando concedes un préstamo a treinta años, ¿cuándo sabes si acertaste al predecir que lo devolvería? Dentro de meses, cuando empiece a pagar o a fallar, y la certeza completa, dentro de años. Cuando predices que un cliente se va a dar de baja, no lo sabes hasta que se da de baja o hasta que pasa suficiente tiempo sin que lo haga. Cuando marcas una transacción como fraude y la bloqueas, a veces nunca sabes si lo era de verdad, porque al bloquearla impediste que el desenlace ocurriera. La respuesta real, la etiqueta que necesitas para medir el acierto, llega tarde, llega incompleta, o no llega.

Y mientras esa verdad tarda en llegar, el modelo no está parado esperándola: sigue decidiendo, cada día, sobre casos nuevos. Si solo supieras vigilar mirando el acierto real, estarías condenado a enterarte de que el modelo se degradó meses después de que empezara a hacerlo, con un rastro de decisiones malas ya tomadas. Necesitas algo mejor: señales que puedas mirar hoy, sobre los casos de hoy, sin esperar a saber si acertaste. Por eso la vigilancia de un modelo se hace en dos frentes, y entender la diferencia entre ellos es casi toda la lección.

## Frente uno: el rendimiento real, cuando por fin llega la verdad

El primer frente es el que ya conoces: medir si el modelo acierta, comparando sus predicciones con lo que de verdad pasó. Es la vigilancia de oro, la más fiable, porque mide directamente lo único que importa de verdad. Cuando las etiquetas reales van llegando (el préstamo se paga o se falla, el cliente se va o se queda), rehaces tu matriz de confusión, recalculas la precisión y la exhaustividad sobre los casos recientes, y las comparas con las que tenías el día que validaste. Si han bajado, el modelo se está degradando y lo sabes con certeza. Es la medición honesta de siempre, repetida ahora sobre datos de producción en lugar de sobre tu examen reservado.

La pega de este frente, ya lo has visto, es el calendario. Solo puedes medir el rendimiento real a la velocidad a la que la realidad te da las respuestas, y esa velocidad la marca el problema, no tú. En problemas donde la verdad llega rápido (un modelo que predice si lloverá mañana sabe en un día si acertó) este frente es casi suficiente. En problemas donde la verdad tarda meses o años, el rendimiento real te sirve para confirmar y ajustar, pero llega demasiado tarde para ser tu única alarma. No puedes esperar a que te confirmen el desastre para empezar a sospecharlo. Para eso está el segundo frente.

Hay un caso particularmente retorcido del problema de la verdad que llega tarde, y es cuando tu propio modelo impide que la verdad llegue. Piensa en el detector de fraude que bloquea las transacciones que marca: de las que bloqueó, nunca sabrás si eran fraude de verdad, porque al bloquearlas impediste que el desenlace ocurriera. Solo ves la verdad de las que dejaste pasar. Es como un médico que solo pudiera comprobar sus diagnósticos en los pacientes a los que decidió no tratar: su propia acción le ciega sobre sus aciertos. Esto crea un círculo vicioso silencioso: el modelo aprende de lo que ve, pero solo ve lo que no bloqueó, así que con el tiempo puede ir perdiendo el contacto con el tipo de fraude que siempre bloquea bien, sin que nada te avise. Para romperlo, a veces hay que dejar pasar a propósito una pequeña muestra de casos sospechosos, aceptando el coste, solo para seguir viendo la verdad completa. Es incómodo, pero es la única forma de no quedarte ciego sobre tu propio modelo.

## Frente dos: las señales que puedes ver sin esperar la verdad

El segundo frente es más sutil y es el que marca la diferencia entre un profesional que entiende la producción y uno que no. La idea es esta: aunque no sepas todavía si el modelo acertó, sí puedes mirar las cosas que, de cambiar, suelen anticipar que algo va mal. Son como los síntomas antes del diagnóstico: no te confirman la enfermedad, pero te dicen que vayas al médico. Y lo mejor es que las tienes disponibles al instante, sobre los casos de hoy, sin esperar a que ningún desenlace se produzca.

La primera señal es vigilar si la distribución de lo que entra se ha movido. Recuerda la deriva de datos: el modelo falla cuando le llegan casos de un perfil que apenas vio al entrenar. Pues bien, eso lo puedes detectar sin ninguna etiqueta, solo mirando los datos de entrada. Si tu modelo de riesgo se entrenó con clientes de ingresos medios de 2.500 euros y de pronto los clientes que llegan tienen ingresos medios de 1.500, eso lo ves hoy, en los datos de entrada de hoy, mucho antes de saber si alguno de esos clientes impagará. Un cambio brusco en la media, en el reparto, en la proporción de alguna categoría de tus variables es una bandera: el mundo de entrada se está moviendo, y la deriva de datos puede estar empezando.

La segunda señal es vigilar lo que el propio modelo está decidiendo: la tasa de predicciones positivas. Si tu detector de fraude llevaba meses marcando el 3% de las transacciones y de pronto empieza a marcar el 12%, algo ha pasado, y lo sabes hoy mismo, sin esperar a confirmar ni un solo fraude. Puede ser bueno (hay de verdad más fraude) o malo (el modelo se ha vuelto loco con un tipo de caso nuevo), pero en cualquier caso es un cambio que exige que vayas a mirar. Esta señal es especialmente valiosa porque es baratísima de calcular (solo cuentas cuántos positivos marca el modelo) y se mueve a la vez que el problema, no meses después. Lo viste al mirar la deriva: cuando llegaron los clientes más pobres, la tasa de predicciones positivas del modelo se disparó mucho antes de que pudieras confirmar los impagos.

Conviene ser honesto sobre lo que estas señales tempranas pueden y no pueden decirte, porque es fácil leerlas de más. Que la distribución de entrada se mueva no demuestra que el modelo haya empeorado: a veces el modelo aguanta perfectamente un cambio en los datos de entrada, porque ese cambio cae en una zona donde aprendió bien. Y que la tasa de positivos suba puede ser una buena noticia (de verdad hay más de lo que detectas) o una mala (el modelo se descontroló). Las señales tempranas no diagnostican, solo levantan la mano. Su valor no está en decirte qué pasa, sino en decirte dónde y cuándo mirar, para que vayas a investigar con tiempo en vez de enterarte por el desastre. Confundir una señal de alarma con una confirmación es tan peligroso como no tener alarma: te hace reaccionar a sombras o ignorar fuegos. La señal abre la investigación; no la cierra.

## Cada cuánto se mira, y qué se hace cuando salta la alarma

La frecuencia de la vigilancia la marca la velocidad a la que tu problema cambia, y es una decisión de criterio, no una receta fija. Un detector de fraude, con un adversario que se adapta rápido, pide una vigilancia casi diaria de las señales baratas de entrada y de la tasa de positivos. Un modelo de riesgo de crédito, donde la realidad cambia a ritmo de la economía, puede revisarse semanal o mensualmente. La regla de sentido común: cuanto más rápido pueda moverse el mundo de tu problema, y cuanto más caro sea equivocarse, más de cerca lo vigilas. Vigilar poco un modelo que decide cosas graves en un entorno que cambia rápido es tan irresponsable como no vigilarlo.

Para que la vigilancia sirva de algo, cada señal necesita una raya: un umbral de alarma que diga a partir de cuándo hay que preocuparse. No basta con mirar la gráfica de reojo; hay que decidir de antemano qué cambio es tolerable y cuál dispara una acción. Si la tasa de positivos pasa de tanto, se investiga. Si la media de una variable de entrada se mueve más de tanto, se investiga. Fijar esas rayas es, otra vez, una decisión de criterio que depende del coste de equivocarse, igual que el umbral del clasificador. Y lo importante es que estén puestas antes de que haga falta, no improvisadas el día que algo va mal, porque en caliente todo cambio parece normal o parece catástrofe según el susto.

Y cuando una alarma se confirma, cuando has mirado y de verdad el modelo se ha degradado, la respuesta tiene nombre: reentrenar. Reentrenar es volver a construir el modelo con datos recientes, que incluyan ya el mundo nuevo que hizo fallar al viejo. El modelo nuevo aprende de los clientes de ahora, de las tácticas de fraude de ahora, de la economía de ahora, y vuelve a estar al día, hasta que el mundo se mueva otra vez y haya que repetir. Un modelo en producción no se entrena una vez: se reentrena cada cierto tiempo, porque la deriva no es un accidente que ocurre una vez, es la condición permanente de cualquier modelo que viva en un mundo que cambia. No es un arreglo, es mantenimiento.

Hay un peligro con los umbrales de alarma que conviene nombrar, porque arruina muchos sistemas de vigilancia: ponerlos tan sensibles que salten a todas horas. Una alarma que suena cada día por cambios que luego resultan ser inofensivos acaba ignorada; la gente aprende a silenciarla sin mirar, y el día que salta por algo de verdad grave, nadie le hace caso. Es el cuento del lobo aplicado a la vigilancia de modelos. La raya tiene que estar donde separa el cambio que de verdad merece una investigación del ruido normal del día a día, y encontrar ese punto es un trabajo fino que se ajusta con el tiempo: si una alarma salta mucho y nunca hay nada, se sube; si el modelo se degradó y la alarma no sonó, se baja. Un buen sistema de vigilancia es el que suena poco y, cuando suena, casi siempre hay algo. Ese equilibrio no se logra el primer día, se afina viviendo con el modelo.

Y hay una decisión de vigilancia que casi nadie anticipa y que conviene tener pensada de antemano: qué se hace mientras investigas una alarma, antes de saber si es grave. Un modelo que puede estar degradándose sigue decidiendo cada minuto, así que no basta con poner en marcha la investigación: hay que decidir si el modelo sigue operando con normalidad, si se le pone una red de seguridad (por ejemplo, mandar a revisión humana los casos dudosos mientras dura la sospecha), o si en casos graves se le apaga y se vuelve a una regla simple de emergencia. Esa decisión depende, otra vez, del coste de equivocarse: un modelo que recomienda películas puede seguir tranquilamente mientras investigas; uno que decide tratamientos médicos o concede créditos quizá no. Tener pensado el plan de contingencia antes de que salte la alarma es la diferencia entre reaccionar con cabeza y improvisar en caliente, que es cuando se toman las peores decisiones.

Conviene también entender por qué reentrenar con datos recientes resuelve la deriva, porque la lógica es bonita y cierra el círculo de todo lo que has aprendido. La deriva ocurre porque el modelo aprendió de un mundo que ya pasó; reentrenar con datos recientes es, sencillamente, enseñarle el mundo de ahora. Si llegaron clientes más pobres, los datos recientes ya los incluyen, y el modelo nuevo aprende a opinar sobre ellos en vez de extrapolar a ciegas. Si los defraudadores cambiaron de táctica, los datos recientes ya contienen la táctica nueva, y el modelo nuevo la reconoce. No hay magia: reentrenar funciona porque sustituye el retrato de un mundo viejo por el de uno actual. Y por eso mismo tiene un límite incómodo que conviene no olvidar: contra la deriva de concepto rápida, el modelo reentrenado nace ya un poco desfasado, porque entre que recoges los datos, entrenas, validas y despliegas, el mundo ha seguido moviéndose. Reentrenar no te pone al día del todo; te acerca, y en terrenos muy veloces esa carrera no se gana nunca del todo, solo se mantiene.

## Lo que ya sabes, y lo que viene

Has aprendido que vigilar un modelo choca con un obstáculo real: la verdad que necesitas para medir si acierta llega tarde, incompleta o nunca. Por eso la vigilancia se hace en dos frentes: el rendimiento real cuando por fin llegan las etiquetas, que es fiable pero tardío, y las señales que puedes ver hoy sin esperar nada (si la distribución de lo que entra se ha movido, si la tasa de predicciones positivas se dispara), que avisan pronto aunque no confirmen. La frecuencia la marca lo rápido que cambie tu problema, cada señal necesita una raya de alarma puesta de antemano, y cuando la degradación se confirma, se reentrena con datos recientes, validando el modelo nuevo con todo el rigor de siempre.

Fíjate en todo lo que has ido asumiendo sin darte cuenta a lo largo de estas últimas lecciones: que alguien recoge los datos de entrada en producción para que tú los vigiles, que el modelo está desplegado en algún sitio sirviendo predicciones, que hay una máquina que ejecuta tu reentrenamiento. ¿Quién hace todo eso? ¿Hasta dónde llega tu trabajo y dónde empieza el de otro? Esa frontera, la que separa lo que construye y valida quien hace el modelo de lo que lo pone a funcionar en el mundo, es lo que casi ninguna oferta de trabajo explica y lo que todo el que empieza necesita entender. Es lo que cierra este camino: qué entregas, y dónde acaba tu responsabilidad.