El modelo se degrada porque el mundo se mueve

Imagina que has hecho todo el trabajo de este camino a la perfección. Partiste bien los datos, rotaste el examen cuando hizo falta, cortaste por fecha, cerraste las puertas a la fuga, leíste la matriz de confusión en vez de fiarte del acierto, elegiste el umbral por su coste y comprobaste que las probabilidades estaban calibradas. Tienes un modelo impecable, medido con toda la honestidad del mundo, y lo pones a funcionar. Durante unas semanas va de maravilla, tal como prometía tu validación. Y seis meses después, sin que tú hayas tocado una sola línea de código, empieza a fallar. ¿Qué ha pasado? No has roto nada. Lo que ha pasado es que el mundo se ha movido, y tu modelo se ha quedado quieto.

Aquí hay un cambio de mentalidad grande, y conviene nombrarlo con claridad porque es la frontera entre pensar un modelo como un experimento de laboratorio y pensarlo como algo que vive en producción. Un modelo no es un puente. Un puente se calcula una vez, se construye y aguanta décadas, porque la gravedad no cambia y el acero tampoco. Un modelo es más bien como un ser vivo que se alimenta de una realidad concreta: la del momento en que recogiste sus datos. Si esa realidad cambia (y las realidades cambian siempre), el modelo sigue respondiendo a un mundo que ya no existe. No se rompe de golpe: se va quedando desfasado, prediciendo cada vez peor, como un reloj que fuera perdiendo minutos sin que nadie lo note hasta que llega tarde a algo importante.

Esto que vas a aprender ahora es tu primer contacto con la producción, con lo que le pasa a un modelo cuando sale del cuaderno donde lo construiste y empieza a tomar decisiones sobre el mundo real día tras día. Y conviene aclarar desde el principio qué parte de eso es tuya. Montar la máquina que sirve el modelo a miles de peticiones, el sitio donde se ejecuta, cómo se despliega sin cortes: eso es territorio de otro oficio, y lo verás al final. Lo que es tuyo, lo que nadie más va a hacer por ti porque requiere entender lo que el modelo aprendió, es esto: saber que el modelo caduca, por qué caduca, y qué vigilar para enterarte antes de que el daño sea grande. Es conciencia del problema, no infraestructura.

## La deriva tiene dos formas, y conviene no confundirlas

El fenómeno de que un modelo se degrade porque el mundo cambia se llama deriva, y toma dos formas distintas. Se parecen en el síntoma (el modelo falla cada vez más) pero son cosas diferentes por dentro, y distinguirlas te ayuda a entender qué ha pasado y qué puedes hacer. La primera es la deriva de los datos de entrada: cambian las características de los casos que le llegan al modelo. La segunda es la deriva del concepto: cambia la relación entre lo que el modelo mira y lo que tiene que predecir. Una es un cambio en quién llega; la otra, un cambio en las reglas del juego. Vamos con cada una.

La deriva de los datos de entrada es la más fácil de imaginar. Tu modelo aprendió de un cierto tipo de casos, y con el tiempo empiezan a llegarle casos distintos, de un perfil que apenas vio al entrenar. Un modelo de riesgo de impago entrenado con clientes de ingresos medios-altos empieza a recibir, tras una campaña de captación, clientes mucho más humildes. La regla de fondo (quién impaga) puede no haber cambiado, pero el modelo está opinando sobre un tipo de persona que casi no vio en su entrenamiento, así que opina a ciegas, extrapolando a una zona donde nunca aprendió bien. Es como un médico que se formó atendiendo adultos y de pronto empieza a recibir recién nacidos: su conocimiento sigue siendo bueno, pero no para esos pacientes.

La deriva del concepto es más traicionera, porque los datos pueden tener exactamente el mismo aspecto de siempre y aun así el modelo falla. Lo que cambia no es quién llega, sino la relación entre las variables y la respuesta: las reglas del mundo se han movido. El ejemplo más claro es el fraude. Los defraudadores no son un fenómeno natural fijo como la gravedad: son personas que se adaptan. Un patrón que ayer delataba el fraude (compras pequeñas de prueba antes de una grande, digamos) deja de delatarlo en cuanto los defraudadores cambian de táctica para esquivar justo lo que tu modelo detectaba. Los datos de entrada se parecen a los de siempre, pero lo que significaban ha cambiado. Tu modelo sigue buscando una huella que el adversario ya ha dejado de dejar.

La deriva de concepto es especialmente despiadada cuando hay un adversario inteligente al otro lado, porque entonces no es que el mundo cambie por azar: es que alguien lo cambia a propósito para derrotar a tu modelo. En el fraude, en el correo basura, en la detección de cuentas falsas, hay personas que estudian qué detecta el sistema y adaptan su comportamiento justo para esquivarlo. Es una carrera: tú entrenas un modelo que caza el patrón de hoy, el adversario cambia de patrón para que tu modelo deje de verlo, tú reentrenas con el patrón nuevo, y vuelta a empezar. En estos problemas la deriva de concepto no es un riesgo ocasional, es la regla, y un modelo que no se reentrena con regularidad tiene los días contados por diseño. Es muy distinto de un problema donde la relación de fondo es estable, como predecir el consumo eléctrico por la temperatura: ahí la física no se adapta para engañarte, y un modelo aguanta mucho más sin tocarlo.

Entre los dos extremos, deriva brusca y deriva lenta, hay toda una gama que conviene reconocer. A veces el cambio es de golpe: una ley nueva, una crisis, un cambio de producto que de la noche a la mañana altera quién llega o cómo se comporta. Otras veces es un goteo lentísimo, casi imperceptible mes a mes, que solo se nota al comparar hoy con hace dos años: los clientes envejecen poco a poco, los precios suben despacio, los hábitos se desplazan sin que ningún día en concreto cambie nada. Y a veces es estacional, un vaivén que va y vuelve: el comportamiento de diciembre no se parece al de julio, pero el diciembre que viene volverá a parecerse a este. Cada tipo de deriva pide una vigilancia distinta, y confundir un vaivén estacional con una degradación de verdad lleva a reentrenar cuando no hacía falta, persiguiendo un fantasma que se iría solo.

Hay un ejemplo que vivió medio mundo a la vez y que ilustra la deriva de concepto mejor que cualquier teoría: lo que les pasó a los modelos de predicción de demanda cuando llegó una pandemia global. Durante años, modelos que predecían cuánto se vendería de cada producto habían funcionado de maravilla, aprendiendo patrones estables: los paraguas se venden cuando llueve, los billetes de avión suben en vacaciones, el papel higiénico se compra a un ritmo constante y aburrido. De la noche a la mañana, confinamientos mediante, todos esos patrones saltaron por los aires: la gente dejó de volar, acaparó papel higiénico de forma absurda, compró harina como si fuera a abrir panaderías. Ningún modelo había visto nada parecido, porque nada parecido estaba en sus datos de entrenamiento, y los que predecían la demanda empezaron a fallar estrepitosamente todos a la vez. No era que estuvieran mal construidos: es que la relación entre el pasado y el futuro, que es justo lo que un modelo captura, se rompió en cuestión de días. Fue una lección colectiva de que ningún modelo es inmune a un mundo que decide cambiar de golpe.

## Por qué un modelo bien validado puede caducar igual

Aquí está la idea que más cuesta aceptar, y por eso merece decirse despacio: la validación impecable que has aprendido a hacer no te protege de la deriva. No porque la hicieras mal, sino por lo que la validación es y lo que no puede ser. Toda tu validación, por honesta que sea, mide el modelo contra datos del pasado. El conjunto de prueba, el corte por fecha, la validación cruzada: todo son datos que ya recogiste, de un mundo que ya ocurrió. Y el modelo no va a vivir en el pasado: va a vivir en el futuro, prediciendo sobre un mundo que todavía no existe mientras lo entrenas. La validación te dice que el modelo era bueno en el mundo de ayer. No puede decirte si el mundo de mañana se parecerá a ese.

Es tentador pensar que un corte por fecha, ese que aprendiste para no entrenar con el futuro, te defiende de esto. Y ayuda, porque al menos mides el modelo sobre datos posteriores a los de entrenamiento, que es más parecido a lo que hará en producción. Pero no te salva: el corte por fecha mide el modelo en el futuro inmediato a tu entrenamiento, no en el futuro lejano donde el mundo ya se habrá movido de verdad. Puedes validar que el modelo aguanta el salto de enero a febrero y aun así ver cómo se desmorona en noviembre, porque entre febrero y noviembre pasaron cosas que ningún dato de enero podía anticipar. La validación acota el riesgo, no lo elimina. El tiempo siempre tiene la última palabra.

La consecuencia práctica de todo esto es un cambio de actitud profesional que distingue al que entiende la producción del que solo sabe entrenar modelos. Un modelo no es un entregable que terminas y olvidas, con una medición de acierto grabada en piedra. Es algo que nace con fecha de caducidad desconocida y que hay que vigilar mientras vive. El acierto que mediste no es una propiedad permanente del modelo: es una foto del día que lo validaste, y las fotos envejecen. Quien despliega un modelo y se desentiende está dejando una decisión automática en manos de un sistema que, calladamente, va perdiendo el contacto con la realidad sobre la que decide. Y como decide sobre personas (a quién se le da un préstamo, a quién se le bloquea la tarjeta), ese desfase tiene consecuencias reales en gente real.

Conviene también desarmar una esperanza falsa que mucha gente deposita en los datos: la de que si recoges muchísimos datos de entrenamiento, de muchos años, el modelo quedará vacunado contra la deriva porque lo habrá visto todo. No funciona así, y entender por qué es importante. Más datos del pasado te dan un modelo que conoce mejor el pasado, no uno que anticipe el futuro. Si acumulas diez años de datos de fraude, tu modelo sabrá reconocer todas las tácticas de fraude de esos diez años con una solidez envidiable, pero seguirá sin tener ni idea de la táctica nueva que un defraudador inventará el mes que viene, porque esa no está en ningún dato que puedas haber recogido todavía. La deriva no es un problema de cantidad de datos, es un problema de que el futuro, por definición, no está en los datos. Más historia ayuda a ser robusto frente a lo que ya pasó; no da ninguna ventaja frente a lo que aún no ha ocurrido. Por eso la vigilancia no es opcional ni siquiera con un modelo entrenado sobre montañas de datos.

La velocidad a la que un modelo caduca depende muchísimo del problema, y tener una intuición de esa velocidad es parte del oficio. Hay modelos que aguantan años casi sin despeinarse, porque la relación que capturan es estable: predecir el consumo eléctrico a partir de la temperatura y la hora funciona hoy igual que hace una década, porque la física de que la gente enciende la calefacción cuando hace frío no se adapta ni cambia de humor. Y hay modelos que caducan en semanas, porque viven en un terreno que se mueve a toda velocidad: lo que la gente compra, lo que se considera contenido ofensivo, las tácticas de quien intenta estafarte. Antes de desplegar un modelo, pregúntate honestamente a qué ritmo cambia el mundo del que se alimenta, porque esa respuesta decide cada cuánto tendrás que vigilarlo y reentrenarlo. Prometer que un modelo de un terreno movedizo durará sin mantenimiento es prometer algo que no vas a poder cumplir.

Y hay una trampa psicológica contra la que conviene prevenirte, porque engaña a mucha gente lista: la falsa seguridad que da una validación impecable. Cuanto mejor y más honesta ha sido tu validación, más tentador es pensar que el modelo es sólido y olvidarte de él, porque has hecho los deberes mejor que nadie. Pero la calidad de tu validación y la resistencia del modelo a la deriva son dos cosas independientes. Puedes haber medido con una honestidad ejemplar y aun así tener un modelo que caduca en un mes, porque la deriva no es un error de medición que puedas corregir midiendo mejor: es una propiedad del mundo, no de tu método. La validación perfecta te dice que el modelo era bueno; no te da ni un día más de vida útil. Confundir haberlo validado bien con que vaya a durar es el error que convierte a un buen analista de laboratorio en un mal profesional de producción.

## Lo que ya sabes, y lo que viene

Has entendido que un modelo no es un puente sino algo vivo que se alimenta de una realidad concreta, y que cuando esa realidad cambia, el modelo se degrada sin que nadie lo toque. Ese fenómeno, la deriva, toma dos formas: la de los datos de entrada, donde cambia el perfil de los casos que llegan, y la del concepto, donde cambia la propia relación entre las variables y la respuesta. Y has visto por qué tu validación, por impecable que sea, no te protege: mide el modelo contra el pasado, y el modelo vive en el futuro. De ahí sale la actitud correcta: un modelo nace con fecha de caducidad y hay que vigilarlo mientras decide.

Pero decir que hay que vigilarlo es fácil; hacerlo tiene su miga. ¿Qué miras exactamente para saber si tu modelo se está degradando? Lo obvio sería mirar si sigue acertando, pero hay un problema enorme: para saber si acertó necesitas saber qué pasó de verdad, y eso muchas veces tarda meses en llegar, o no llega. Mientras tanto el modelo sigue decidiendo. Así que necesitas señales que puedas vigilar sin esperar a saber si acertó, señales que te avisen de que algo se mueve antes de que puedas confirmarlo. Eso es lo siguiente: qué se vigila de un modelo en marcha, y cada cuánto.