Las probabilidades mienten (y el AUC no manda)

## Jueves, 11:35. «¿Y tú te fías de ese 0,12?»

Tienes un umbral de 0,12 elegido por coste y estás a punto de cerrar el día contento. Entonces Lucía te escribe lo de siempre, lo que nadie suele mirar: «antes de que te cases con ese 0,12, ¿has comprobado que el 0,12 del bosque significa de verdad un 12% de probabilidad? Coge todas las lesiones a las que el modelo les da alrededor de 0,8 y mira qué fracción eran graves de verdad. Te vas a llevar una sorpresa». Es una pregunta demoledora, porque todo el umbral que acabas de elegir está construido sobre esos números. Si las probabilidades no son probabilidades de verdad, estás decidiendo sobre arena.

Lo compruebas, y Lucía tenía razón. Agrupas las lesiones por la probabilidad que les dio el modelo y, en cada grupo, miras qué fracción resultó grave. En un modelo bien calibrado, de las lesiones a las que da 0,8 debería ser grave alrededor del 80%; de las que da 0,3, alrededor del 30%. Pero el bosque no cumple: a las que les da 0,35 solo son graves el 21%, y a las que les da 0,84 son graves el 97%. El modelo está sobre-confiado en el medio y corto en los extremos altos. Sus «probabilidades» ordenan bien —por eso el AUC es alto— pero no son fiables como probabilidades. Eso tiene nombre: el modelo está mal calibrado.

## Medir y arreglar la calibración

La calibración se mide con un número, el Brier score: la media del cuadrado de la diferencia entre la probabilidad que dijo el modelo y lo que de verdad pasó (0 o 1). Cuanto más bajo, mejor calibradas están las probabilidades. Y se arregla con una envoltura de scikit-learn, CalibratedClassifierCV, que aprende una función que corrige las probabilidades del modelo para que digan la verdad, usando validación cruzada interna para no hacer trampa. Entrenas el bosque dentro de ese envoltorio, y las probabilidades que salen ya están calibradas: la curva se pega a la diagonal y el Brier baja.

Por qué el bosque sale mal calibrado y la logística no es una cuestión de cómo funciona cada uno. La regresión logística optimiza directamente algo muy parecido a dar buenas probabilidades, así que de serie están bastante bien calibradas. Un bosque, en cambio, promedia votos de muchos árboles y, sobre todo con class_weight balanceado para la clase rara, tiende a sobre-confiar: empuja las probabilidades hacia los extremos. Ordena de maravilla —de ahí el AUC—, pero sus números no son probabilidades reales. No es un fallo tuyo ni un bug: es la naturaleza del modelo, y por eso se calibra.

## El remate: con el umbral bien puesto, da casi igual el modelo

Y aquí llega la lección más grande del caso, la que separa a un senior. Hasta ahora tienes dos palancas: qué modelo eliges y dónde pones el umbral. La pregunta del millón es cuál de las dos manda la decisión. Lo mides: calculas el coste mínimo de cada modelo con su mejor umbral y los pones en fila. La logística da un coste mínimo de 1336; el bosque sin calibrar, 1273; el bosque calibrado, 1272. Los tres están prácticamente empatados, en torno a 1300, aunque sus AUC difieran. Compáralo con lo que movía el umbral: pasar del 0,5 (coste 3505) al umbral por coste (unos 1273) recortó el coste un 64%. Elegir entre los tres modelos solo lo mueve un 5%.

La consecuencia práctica es liberadora. Como los tres modelos deciden casi igual, puedes elegir el que mejor se defienda ante un comité clínico, no el que gane por AUC. Y ahí la logística tiene ventaja: es más simple, da probabilidades calibradas de serie, y a un médico le puedes explicar por qué subió o bajó la puntuación de una lesión mirando los coeficientes. Un bosque de trescientos árboles es una caja mucho más opaca. Queda a un 5% del mejor coste: una elección perfectamente defendible. El AUC, donde el bosque ganaba, no manda esta decisión.