Leer una cifra de acierto

Has pasado toda esta etapa aprendiendo a conseguir una cifra honesta: repartir los datos en montones separados, rotar el examen cuando no sobran, cortar por fecha en vez de sortear, y cerrar las puertas por las que la respuesta se cuela. Supón que lo has hecho todo bien y tienes delante un número en el que puedes confiar: tu modelo acierta el 92% de las veces, medido sin ninguna trampa. Enhorabuena por la mitad del trabajo. Porque ahora empieza la otra mitad, que es igual de resbaladiza y mucho menos conocida: aprender a leer esa cifra. Un número honesto mal interpretado hace exactamente el mismo daño que uno falso, y se interpreta mal con una facilidad asombrosa.

Vamos a empezar por el ejemplo que más se cuenta en este oficio, porque desmonta de un golpe la idea de que un acierto alto es una buena noticia. Imagina una enfermedad rara que afecta a 5 de cada 100 personas. Construyes un modelo para detectarla y, antes incluso de entrenar nada, se te ocurre un modelo tramposo de una sola línea: uno que dice SIEMPRE que no, que nadie está enfermo, pase lo que pase. ¿Cuánto acierta ese modelo que no mira nada? El 95%. Acierta en los 95 sanos de cada 100 y falla solo en los 5 enfermos. Un 95% de acierto en un modelo que no ha aprendido nada, que es literalmente una línea de código devolviendo siempre lo mismo, y que es completamente inútil, porque no detecta ni a un solo enfermo, que es justo lo único que le pedías.

Ese ejemplo no es un juego de palabras: es la trampa más común de todo el oficio, y tiene un nombre. Se llama desbalanceo de clases, y ocurre siempre que lo que quieres detectar es poco frecuente. El fraude son cuatro de cada mil transacciones; la enfermedad rara, cinco de cada cien; el cliente que abandona, una minoría; la pieza defectuosa en una fábrica buena, una entre miles. En todos esos casos, la clase que de verdad te importa (el fraude, el enfermo, la baja, la pieza mala) es una gota en un mar de casos normales, y por eso un modelo perezoso que ignora la gota y apuesta siempre por el mar acierta casi todo. El acierto, en estos problemas, premia precisamente al modelo que no hace nada.

La lección que hay que extraer de aquí es dura y conviene decirla sin rodeos: una cifra de acierto, por sí sola, no significa nada. No es que signifique poco o que haya que matizarla; es que, aislada, no se puede interpretar en absoluto. Para que un acierto quiera decir algo necesitas saber tres cosas que la cifra nunca te dice. La primera, cómo están repartidas las clases: ese 92% es excelente si las dos clases están al 50%, y es un desastre si una clase es el 92% de los casos, porque entonces lo iguala el modelo perezoso. La segunda, qué error cuesta más caro, porque no todos los fallos valen lo mismo. Y la tercera, contra qué línea base lo comparas, porque un número solo tiene sentido frente a la referencia más tonta posible. Vamos a por la herramienta que nos deja ver las tres.

Antes de seguir, conviene que te quedes con una idea que es casi un lema de todo este oficio: un número bueno es una pregunta, no una respuesta. Cuando te sale un acierto alto, lo profesional no es apuntarlo y pasar a la siguiente tarea, sino preguntarte inmediatamente qué tendría que ser cierto para que ese número no significara nada. En un problema de clases desbalanceadas, lo primero que tendría que ser cierto es que una clase domine, y eso lo puedes comprobar en diez segundos mirando el reparto. Este reflejo, el de desconfiar justo cuando el resultado invita a celebrar, es lo que separa a quien lee bien un modelo de quien se deja engañar por él, y vas a necesitarlo en cada una de las medidas que veremos. La herramienta que viene ahora no es más que la forma sistemática de hacerse esas preguntas: en vez de confiar en un promedio, abres el promedio y miras las piezas de las que está hecho.

## La matriz de confusión: cuatro números que lo cuentan todo

El acierto resume en un solo número algo que en realidad son cuatro situaciones distintas, y al resumirlas las esconde. La herramienta que las saca a la luz se llama matriz de confusión, y es la tabla más importante que vas a aprender a leer en todo esto. La idea es sencilla: cuando un modelo da un sí o un no sobre cada caso, y la realidad también es un sí o un no, hay exactamente cuatro combinaciones posibles de lo que dijo el modelo y lo que de verdad pasó. La matriz de confusión no es más que contar cuántos casos caen en cada una de esas cuatro casillas.

Las cuatro casillas tienen nombres técnicos, pero lo importante es entender qué historia cuenta cada una, así que vamos a traducirlas al problema del fraude. Un verdadero positivo es una transacción fraudulenta que el modelo marcó como fraude: acertó, cazó al malo. Un verdadero negativo es una compra legítima que el modelo dejó pasar: acertó, no molestó a nadie bueno. Hasta aquí los aciertos. Los dos errores son los que de verdad importan. Un falso positivo es una compra legítima que el modelo marcó como fraude: te equivocaste bloqueando a un cliente honrado. Y un falso negativo es un fraude que el modelo dejó pasar como si fuera normal: te equivocaste dejando escapar al malo. Son dos errores con nombres parecidos y consecuencias radicalmente distintas, y confundirlos es confundir el bolsillo del cliente con el agujero en tu caja.

Fíjate en lo que la matriz revela y el acierto esconde. El acierto es, simplemente, la suma de las dos casillas verdes (los dos tipos de acierto) dividida por el total. Al sumarlas, mezcla cosas que no deberían ir juntas y, sobre todo, no distingue entre los dos tipos de error. El modelo perezoso de la enfermedad rara, visto en la matriz, es transparente: tiene la casilla de verdaderos negativos llenísima (los 95 sanos bien clasificados), la de verdaderos positivos vacía (ni un enfermo detectado) y la de falsos negativos con los 5 enfermos que dejó pasar. Su acierto del 95% sale de una sola casilla gorda, y la matriz lo delata al instante: la columna de los enfermos está entera en la casilla roja de los fallos. Lo que en el acierto parecía un buen número, en la matriz se ve como lo que es: un fracaso total en lo único que importaba.

## Precisión y exhaustividad: dos preguntas distintas sobre los positivos

De la matriz salen dos medidas que son, con diferencia, las más útiles cuando lo que te importa es detectar una clase poco frecuente. Las dos miran los positivos, pero hacen dos preguntas distintas, y aquí está casi todo el arte de leer un modelo. La primera medida se llama precisión y responde a esta pregunta: de todos los casos que el modelo marcó como positivos, ¿cuántos lo eran de verdad? Es la fiabilidad de sus alarmas. Si de 100 transacciones que marcó como fraude solo 70 lo eran, su precisión es del 70%: cada vez que grita fraude, acierta 7 de cada 10 veces y se equivoca 3, molestando a 3 clientes honrados.

La segunda medida se llama exhaustividad, aunque la vas a oír muchísimo por su nombre inglés, recall, y responde a una pregunta completamente distinta: de todos los positivos que había de verdad en la realidad, ¿a cuántos pilló el modelo? Es su capacidad de no dejar escapar nada. Si en los datos había 100 fraudes reales y el modelo cazó 60, su exhaustividad es del 60%: se le escaparon 40 fraudes que estaban ahí. Precisión y exhaustividad no son dos nombres para lo mismo ni dos niveles de detalle: son dos preguntas sobre dos cosas diferentes. Una mira la fiabilidad de lo que el modelo dice; la otra, la cobertura de lo que el modelo pilla.

La forma más clara de no confundirlas nunca es fijarse en por dónde dividen. La precisión divide entre lo que el modelo marcó: mira la fila de las alarmas y pregunta cuántas eran ciertas. La exhaustividad divide entre lo que la realidad tenía: mira la columna de los positivos reales y pregunta a cuántos llegó. Por eso cuentan historias que pueden ser opuestas. Un modelo que solo marca fraude cuando está segurísimo tendrá una precisión altísima (casi nunca se equivoca al gritar) y una exhaustividad baja (deja escapar muchos fraudes dudosos). Y un modelo que marca fraude a la mínima sospecha tendrá una exhaustividad altísima (no se le escapa casi nada) y una precisión baja (grita demasiado y molesta a muchos inocentes). Las dos cifras, juntas, describen el carácter del modelo mucho mejor que ningún acierto.

## Casi siempre hay que elegir cuál importa

Aquí llega la parte incómoda, la que convierte esto de un ejercicio de aritmética en una decisión profesional con consecuencias. Precisión y exhaustividad tiran en direcciones opuestas: subir una suele bajar la otra. Si quieres no dejar escapar ni un fraude (exhaustividad altísima), tendrás que marcar a la mínima, y marcarás también muchas compras legítimas (precisión baja). Si quieres no molestar nunca a un cliente honrado (precisión altísima), tendrás que marcar solo cuando estés segurísimo, y se te escaparán fraudes de los dudosos (exhaustividad baja). No puedes tener las dos al máximo salvo en problemas tan fáciles que no necesitarían un modelo. Así que en la práctica, casi siempre, hay que elegir cuál de las dos importa más. Y esa elección no es técnica: es del problema.

Pensemos qué error cuesta más caro en cada caso, porque ahí está la respuesta. En un filtro para detectar un tumor en una radiografía, el error grave es el falso negativo: decirle a alguien que está sano cuando tiene un tumor es una catástrofe, mientras que una falsa alarma solo cuesta una prueba de más. Ahí mandas sobre la exhaustividad: prefieres pecar de marcar demasiado antes que dejar escapar un solo caso real. En cambio, en un filtro de correo que decide qué va a la carpeta de basura, el error grave es el falso positivo: mandar a la basura un correo importante de un cliente es peor que dejar pasar algún anuncio. Ahí mandas sobre la precisión: prefieres que se cuele algo de basura antes que esconder un solo mensaje legítimo. El mismo modelo, con las mismas cifras, se juzga al revés según qué error duela más, y eso solo lo sabe quien conoce el problema de verdad.

Existe un número que intenta combinar precisión y exhaustividad en uno solo, por si necesitas una única cifra para comparar modelos de un vistazo: se llama F1, y es una forma de promediar las dos que castiga que una de ellas sea muy baja. Es útil como resumen, pero no te dejes seducir por la comodidad de tener un solo número otra vez: el F1 también esconde el reparto entre precisión y exhaustividad, y dos modelos con el mismo F1 pueden tener caracteres opuestos, uno preciso y poco exhaustivo, el otro al revés. Úsalo para una primera criba, pero vuelve siempre a las dos cifras por separado para decidir, porque la decisión de qué error duele más no la puede tomar un promedio.

Merece la pena insistir en por qué este reflejo de mirar más allá del acierto no es una manía de perfeccionistas, sino la diferencia entre un modelo que sirve y uno que hace daño. Imagina que presentas con orgullo tu detector de enfermedad rara con su 95% de acierto, nadie mira la matriz de confusión, y el sistema se despliega en un hospital. Durante meses da el visto bueno a casi todo el mundo, porque eso es lo que hace un modelo que apostó siempre por la clase mayoritaria, y los pocos enfermos de verdad pasan el filtro sin que nadie los detecte. El acierto del 95%, que presentaste como un éxito, era en realidad la medida de un fracaso con consecuencias humanas. Nadie mintió; simplemente se miró el número equivocado. Por eso leer bien una cifra no es un refinamiento técnico que puedas saltarte con prisas: es parte de la responsabilidad de poner un modelo a decidir sobre personas.

Y conviene que te lleves una costumbre concreta, no solo el principio general. Siempre que te enfrentes a un clasificador, antes de celebrar ningún número, haz tres preguntas en este orden. Primero: ¿cómo están repartidas las clases? Si una es mucho más frecuente que la otra, el acierto va a engañarte y lo sabes de antemano. Segundo: ¿cuánto sacaría el modelo más tonto posible, el que apuesta siempre por la mayoría? Ese es tu suelo, y si tu modelo no lo supera con holgura, no has construido nada. Y tercero: de los dos errores, ¿cuál me cuesta más caro, y cómo quedan la precisión y la exhaustividad de la clase que me importa? Esas tres preguntas, hechas por rutina antes de mirar el acierto, te vacunan contra casi todas las lecturas ingenuas de un resultado. Son el equivalente, en la fase de leer, al reflejo de desconfiar que llevas entrenando desde el principio en la fase de medir.

## Lo que ya sabes, y lo que viene

Has aprendido que una cifra de acierto, por sí sola, es casi incontable, y que la herramienta para darle sentido es la matriz de confusión: cuatro casillas que separan los dos tipos de acierto y, sobre todo, los dos tipos de error. De ahí salen precisión (la fiabilidad de las alarmas) y exhaustividad (la cobertura de lo real), dos preguntas distintas que tiran en direcciones opuestas y que te obligan a decidir, según qué error cueste más caro en tu problema, cuál de las dos quieres favorecer. Esa decisión es la primera que has tomado en todo esto que no es técnica sino del negocio, y es la correcta: un modelo siempre se usa para decidir algo sobre alguien, y el coste de equivocarse no es simétrico casi nunca.

Pero hay una pieza que hemos dado por supuesta y que esconde otra decisión importante. Hemos hablado todo el rato como si el modelo dijera un sí o un no limpio. No es así. Un clasificador no decide: calcula una probabilidad, un 0,73 de que esto sea fraude, y luego alguien pone una raya que convierte ese número en un sí o un no. Dónde pones esa raya cambia por completo la matriz de confusión, y por tanto la precisión y la exhaustividad. La raya por defecto está en el 0,5, pero casi nunca es la buena, precisamente porque los dos errores no cuestan lo mismo. Eso es lo siguiente: entender que el umbral es una palanca que mueves tú, no una ley de la naturaleza.