[16]Validación honesta
Saber si puedes fiarte de un modelo: medir sin engañarte, cazar la fuga de datos, leer la cifra y entregarlo sabiendo que caducará.
Por qué tu propio resultado es el sospechoso
Entrenaste un modelo y clavó los aciertos sobre los datos que ya conocía. Sospechaste con razón. Aquí empieza la disciplina que te protege del único adversario que importa: tú.
Los tres montones: aprender, elegir, examinar
Partir los datos en dos (entrenar y probar) parece la solución. Son tres montones, y entender por qué hacen falta tres y no dos es la idea que casi nadie explica bien.
Sobreajuste: el modelo que se lo aprendió de memoria
Un modelo que acierta todo en entrenamiento y falla con lo nuevo no es listo: se ha aprendido las respuestas de memoria. La brecha entre los dos aciertos mide cuánto.
Validación cruzada: cuando no te sobran datos
Partir en tres montones gasta datos, y una sola partición hace que tu medida dependa de la suerte del sorteo. La validación cruzada arregla las dos cosas rotando el examen.
Datos con fecha: el corte que no es un sorteo
Con datos con fecha, partir al azar es entrenar con el futuro para predecir el pasado: el corte tiene que ser temporal, no un sorteo.
Fuga de datos: las dos formas
El error más caro y más difícil de ver: el que da 99% en el examen y fracasa en producción. Toma dos formas, las dos silenciosas. Aprende a reconocerlas y a taparlas.
Leer una cifra de acierto
Un 92% de acierto puede ser excelente o un desastre, y la cifra sola no lo dice: la matriz de confusión, la precisión y la exhaustividad.
El umbral no es 0,5
Un clasificador da una probabilidad, y la raya que la vuelve decisión es una palanca que mueves tú según cuánto cueste cada error.
Calibración: si dice 80%, que pase el 80%
Un modelo puede ordenar bien los casos y mentir con sus números: distinguir ordenar de calibrar, y por qué importa al decidir con la probabilidad.
El modelo se degrada porque el mundo se mueve
Un modelo validado a la perfección puede empezar a fallar sin que toques nada, porque el mundo que aprendió cambia: entra la deriva.
Vigilar un modelo en marcha
Para saber si el modelo acierta necesitas la respuesta real, y tarda: qué se vigila sin esperar a las etiquetas, y cuándo reentrenar.
Entregar el modelo: dónde acaba tu responsabilidad
Qué entregas de verdad —no un cuaderno, sino un modelo documentado y validado— y dónde acaba tu trabajo y empieza el de quien lo despliega.