Calibración: si dice 80%, que pase el 80%

Al elegir el umbral construiste todo un razonamiento apoyándote en la probabilidad que da el modelo: si dice 0,25, lo marco; si dice 0,80, lo marco con mucha más confianza. Todo ese edificio se sostiene sobre una suposición que no habíamos puesto a prueba, y que ahora toca mirar de frente: que cuando el modelo dice 0,80, de verdad quiere decir un 80%. Parece evidente que así sea. No lo es. Un modelo puede darte números entre 0 y 1 que ordenan bien los casos pero que no son probabilidades reales, sino una escala propia, deformada, que solo se parece a una probabilidad. Y si decides basándote en esos números creyendo que son porcentajes de verdad, tomas malas decisiones con total confianza.

Vamos a separar dos cosas que solemos tratar como una sola, porque son distintas y un modelo puede hacer una bien y la otra mal. La primera es ordenar: ¿da el modelo más probabilidad a los casos que de verdad son más probables? Un modelo que ordena bien pone por delante a los que sí van a ocurrir y por detrás a los que no, aunque los números concretos sean raros. La segunda es calibrar: ¿coinciden sus números con la frecuencia real? Un modelo bien calibrado cumple una promesa muy concreta: de todos los casos a los que les pone un 0,80, aproximadamente el 80% ocurre de verdad. Son dos virtudes separadas. Se puede ordenar perfecto y estar descalibrado, y según para qué uses el modelo, te importa una, la otra, o las dos.

## Ordenar bien no es lo mismo que calibrar bien

Un ejemplo con números deja clara la diferencia. Imagina un modelo que, para cada caso, calcula la probabilidad verdadera y luego la eleva al cuadrado antes de dártela. Un caso cuya probabilidad real es 0,9 te lo da como 0,81; uno de 0,5 te lo da como 0,25; uno de 0,3 te lo da como 0,09. Fíjate en algo: el orden se conserva perfectamente. El de 0,9 sigue siendo el más alto, el de 0,3 el más bajo; si ordenas los casos por el número del modelo, salen en el mismo orden que si los ordenaras por su probabilidad real. Este modelo ordena de maravilla. Pero sus números son mentira: a un grupo al que les pone 0,25 no les ocurre el 25%, les ocurre el 50%, porque su verdadera probabilidad era 0,5. El modelo subestima todo sistemáticamente. Ordena perfecto y miente en cada número.

La herramienta para ver esto de un vistazo es el diagrama de calibración, y es una de las más honestas que vas a usar. Se construye así: agrupas todos los casos por la probabilidad que les dio el modelo (los que dijo entre 0 y 0,2, los de 0,2 a 0,4, y así), y para cada grupo calculas una cosa muy sencilla: qué fracción de ellos ocurrió de verdad. Luego dibujas un punto por grupo: en el eje horizontal, lo que el modelo dijo de media; en el vertical, lo que de verdad pasó. Un modelo perfectamente calibrado pone todos sus puntos sobre la diagonal, porque en cada grupo lo que dice coincide con lo que pasa. Un modelo que subestima deja sus puntos por encima de la diagonal (pasó más de lo que dijo); uno que exagera, por debajo (pasó menos). La distancia a la diagonal es, literalmente, cuánto te está mintiendo, y la dirección de esa distancia te dice en qué sentido miente: si siempre se queda corto o si siempre se pasa de optimista.

## Cuándo te basta con ordenar y cuándo necesitas calibrar

Aquí está la pregunta práctica, la que decide si la calibración te importa o no en un problema concreto: ¿vas a usar la probabilidad solo para ordenar, o para decidir con su valor? Hay montones de usos en los que solo ordenas. Si tienes un equipo pequeño que puede investigar las 50 transacciones más sospechosas del día, lo único que necesitas es que el modelo ponga arriba las que de verdad son más sospechosas. Da igual que su número sea 0,81 o 0,25 mientras el orden sea bueno: coges las 50 de arriba y a trabajar. Para ordenar, un modelo descalibrado pero que ordena bien te sirve igual de bien que uno calibrado. La deformación de los números no te afecta porque no miras los números, miras las posiciones.

Pero en cuanto empiezas a usar el valor de la probabilidad para decidir, la calibración pasa a ser crítica. Y la usas más de lo que crees. Si decides conceder un préstamo cuando la probabilidad de impago es menor del 10%, estás usando el valor: necesitas que ese 10% sea de verdad un 10%. Si un modelo te dice que un cliente tiene un 70% de probabilidad de impagar y en realidad es un 40%, le negarás el préstamo a alguien que lo habría devuelto seis de cada diez veces, y perderás un buen cliente por confiar en un número descalibrado. Si calculas cuánto esperas ganar multiplicando la probabilidad por el beneficio, un número inflado te hace esperar ganancias que no llegarán. Siempre que la probabilidad entra en una cuenta, o se compara con un número fijo, tiene que ser una probabilidad de verdad.

Esto conecta directo con lo que viste del umbral, y revela una trampa. Cuando eliges un umbral del 0,25 porque crees que marca los casos con más de un 25% de probabilidad de fraude, estás usando el valor del número. Si el modelo está descalibrado y su 0,25 corresponde en realidad a un 10% de probabilidad real, tu umbral no hace lo que crees: estás marcando casos mucho menos sospechosos de lo que pensabas. El razonamiento de costes del umbral, elegir la raya según lo que cuesta cada error, solo funciona limpio si los números del modelo son probabilidades de verdad. Por eso la calibración no es un lujo teórico: es la condición para que todo lo que decidiste sobre el umbral signifique algo.

Veámoslo con una decisión concreta para que el daño de la descalibración deje de ser abstracto. Un banco decide, muy razonablemente, conceder un préstamo solo cuando la probabilidad de impago es menor del 10%. Su modelo ordena de maravilla: de verdad pone por delante a los que más riesgo tienen. Pero está descalibrado hacia arriba, exagera: a un grupo de clientes al que les asigna un 10% de probabilidad de impago, en realidad solo les impaga el 4%. ¿Qué pasa? Que el banco rechaza a todo ese grupo por superar su corte del 10%, cuando en realidad eran clientes buenísimos que habrían devuelto el préstamo 96 de cada 100 veces. El modelo no se equivocó al ordenar; se equivocó en el número, y como la decisión usaba el valor del número, el banco pierde una cartera entera de buenos clientes convencido de que se protege del riesgo. Nadie ve el error, porque los clientes rechazados no dejan rastro: simplemente se fueron a otro banco que sí los aceptó.

Aprender a leer la forma del diagrama de calibración te dice de un vistazo qué le pasa a tu modelo, y las formas típicas son pocas. Si todos los puntos caen por encima de la diagonal, el modelo subestima en todo el rango: siempre pasa más de lo que dice, como el que peca de prudente. Si caen por debajo, exagera: siempre pasa menos de lo que promete, el fanfarrón. Pero la forma más común y más traicionera es una curva en ese, que exagera en los extremos y acierta en el medio: el modelo dice 0,99 cuando debería decir 0,85 y dice 0,01 cuando debería decir 0,10, pero sus 0,50 son honestos. Esa forma es típica de los modelos que se entrenaron para separar las clases a toda costa y por eso se vuelven demasiado seguros en los casos fáciles. Reconocer la forma no es un adorno: te dice en qué rango de probabilidades puedes fiarte del número y en cuál no, que muchas veces es justo el rango donde tomas tus decisiones.

## Qué modelos vienen más descalibrados, y qué se hace

No todos los modelos tienen el mismo problema. Algunos tienden a dar números pegados a los extremos, demasiado seguros: dicen 0,99 cuando deberían decir 0,80, y 0,01 cuando deberían decir 0,20. Es como esa persona que afirma todo con una seguridad absoluta aunque por dentro dude: ordena bien lo que cree, pero sus niveles de confianza están inflados. Otros modelos salen de fábrica bastante bien calibrados y otros tiran a cautelosos. No hace falta que memorices cuál es cuál; lo que importa es el reflejo: no des por hecho que las probabilidades de un modelo están calibradas solo porque sean números entre 0 y 1. Compruébalo, con el diagrama de calibración, antes de usar esos números para decidir con su valor.

Y si descubres que está descalibrado pero ordena bien, la buena noticia es que tiene arreglo, y uno barato. Existen técnicas que toman las probabilidades deformadas del modelo y las reescalan para que coincidan con las frecuencias reales, usando para ello un trozo de datos reservado, como siempre, separado del examen. No cambian el orden (el modelo ya ordenaba bien) sino solo los números, estirándolos o encogiéndolos hasta pegarlos a la diagonal. No necesitas dominar esas técnicas ahora; necesitas saber que existen y, sobre todo, que el problema que arreglan es real y hay que buscarlo. Un modelo que ordena bien y encima está calibrado, o calibrado a mano, es un modelo en el que puedes confiar tanto para ordenar como para decidir con el valor.

Hay una razón honda por la que tantos modelos salen descalibrados, y entenderla te quita el susto. Muchos modelos no se entrenan para dar probabilidades correctas: se entrenan para ordenar bien, o para separar las clases lo mejor posible, y la probabilidad es un subproducto que sale como sale. Si lo que premiaste al entrenar fue acertar la clase, al modelo le da igual decir 0,7 o 0,99 mientras acierte el lado; los dos números caen del mismo lado del 0,5. Así que optimiza por el lado correcto y deja los números por el camino. Es como un estudiante al que solo le preguntan si aprueba o suspende: aprende a distinguir aprobados de suspensos de maravilla, pero si luego le pides que estime su nota exacta, se inventa un número, porque nadie le enseñó a afinar ahí. La calibración es ese afinado que el entrenamiento normal no exige.

Por eso la buena noticia que mencionábamos tiene tanto sentido: si el modelo ya ordena bien, calibrarlo no es rehacerlo, es solo traducir su escala deformada a probabilidades reales. Imagina que tienes un termómetro que siempre marca cinco grados de menos: no está roto, ordena perfectamente (más calor, más marca), solo hay que sumarle cinco a cada lectura. La recalibración es eso, un ajuste aprendido de un trozo de datos reservado que coge los números del modelo y los corrige para que coincidan con las frecuencias reales, sin tocar el orden. Es barata, es segura si usas datos separados del examen (otra vez la misma regla de siempre), y convierte un modelo que ordena bien pero miente en los números en uno en el que puedes confiar tanto para ordenar como para decidir con el valor. No necesitas saber hacerla hoy; necesitas saber que el problema que resuelve es real y que, cuando lo detectes, tiene arreglo.

Hay una confusión muy extendida que esta lección deshace, y vale la pena nombrarla para que no caigas en ella: creer que un modelo con mejor acierto está mejor calibrado, o al revés. No tienen por qué ir juntos. Un modelo puede acertar muchísimo (ordenar de maravilla, poner cada caso del lado correcto del umbral) y estar fatal calibrado, porque acertar el lado no exige que el número sea una probabilidad real. Y al revés, un modelo mediocre acertando podría estar bien calibrado, dando números honestos aunque poco útiles. Son dos ejes distintos de la calidad de un modelo: uno mide si clasifica bien, el otro si sus probabilidades son de fiar. Cuando evalúas un modelo que vas a usar para decidir con el valor de la probabilidad, tienes que mirar los dos, porque uno bueno en el primero y malo en el segundo te va a traicionar justo cuando confíes en sus números. La matriz de confusión te habla del primer eje; el diagrama de calibración, del segundo. Son dos radiografías de dos cosas diferentes, y un modelo serio pasa las dos.

## Lo que ya sabes, y lo que viene

Has aprendido a separar dos virtudes que parecían una: ordenar (poner delante a los más probables) y calibrar (que los números coincidan con la frecuencia real). Un modelo puede ordenar de maravilla y mentir en cada número, y el diagrama de calibración lo delata midiendo la distancia a la diagonal. Si solo usas la probabilidad para ordenar casos, la calibración te da igual; en cuanto decides con su valor, comparándola con un corte o metiéndola en una cuenta, la calibración es la condición de que tu decisión signifique algo. Y comprobarla es puro contar: agrupar por tramos y mirar qué fracción de cada grupo ocurrió de verdad.

Con esto cierras la parte de leer bien una cifra. Sabes conseguir una medición honesta, y ahora sabes interpretarla: qué esconde un acierto, cómo separar los dos errores, dónde poner la raya según su coste y si puedes creerte los números del modelo. Pero toda esta validación, por impecable que sea, tiene una fecha de caducidad que casi nadie te cuenta. Mides tu modelo sobre datos del pasado, y el modelo va a vivir en el futuro, en un mundo que no se queda quieto. Un modelo que validaste a la perfección puede empezar a fallar meses después sin que tú hayas tocado nada, simplemente porque el mundo que lo rodea ha cambiado. Eso es lo siguiente, y es el salto a producción desde tu lado: entender por qué un modelo se degrada aunque esté bien hecho.