Por qué tu propio resultado es el sospechoso

Hace unos años, alguien construyó un modelo para predecir qué clientes de una empresa iban a darse de baja. Lo probó y acertaba el 94% de las veces. Lo puso en marcha. A las tres semanas, un compañero le preguntó por qué el modelo acertaba siempre con los clientes que ya se habían ido. Resultó que una de las variables que le había dado era «número de reclamaciones en los últimos 30 días», y esa casilla se rellenaba justo cuando un cliente llamaba para cancelar. El modelo no estaba prediciendo el futuro: estaba leyendo el presente. No adivinaba quién se iría; miraba una pista que solo existía cuando el cliente ya se iba.

Lo importante de esta historia no es el error técnico, que lo arreglaremos más adelante y tiene nombre. Lo importante es que nadie engañó a quien lo construyó. Se engañó a sí mismo, y la comprobación que había montado le dio la razón. El 94% era real: el modelo acertaba el 94% de las veces sobre los datos con los que lo había medido. El problema es que esos datos no servían para medir lo que de verdad quería saber. Y ese es el patrón que vas a aprender a reconocer en toda esta etapa: no un enemigo que te miente, sino una comprobación mal montada que te dice lo que querías oír.

## Recoges una sospecha que ya tenías

Ya has entrenado modelos. Has visto a un clasificador aprender quién se da de baja, a un regresor estimar un número y a un algoritmo de agrupación repartir clientes en grupos sin que nadie le dijera cuáles. Y en cada uno de esos casos mediste el acierto sobre los mismos datos con los que habías entrenado, mientras una voz te repetía que ese número era provisional, demasiado bonito, una promesa y no una prueba. Viste incluso un árbol de decisión sin límite de profundidad clavar el 100% de aciertos sobre sus propios datos de entrenamiento, y supiste, por intuición, que algo olía mal. Medir el acierto con los datos de los que aprendiste es como corregir un examen con las soluciones delante: siempre apruebas, y el aprobado no significa nada.

Tenías razón en sospechar. Esa sospecha es el punto de partida de todo lo que viene ahora. Lo que no se te ha contado todavía es cómo se mide de verdad: cómo se consigue un número en el que puedas confiar, cómo se reconoce cuándo un modelo se ha aprendido las respuestas de memoria, y cómo se descubren las trampas que hacen que un resultado parezca excelente y luego fracase en cuanto llega el primer dato nuevo. Esta etapa abre esa puerta, y es, con diferencia, la más importante de todo el oficio.

Hay una razón para esa afirmación tan grande. Lo que separa a alguien que sabe usar herramientas de datos de alguien que de verdad hace ciencia de datos no es saber entrenar un modelo. Entrenar un modelo son tres líneas de código, y las has escrito ya. Lo que de verdad distingue a un profesional es saber si puede fiarse de uno. Un modelo que nadie ha validado con honestidad no es un activo: es una cuenta pendiente que estallará el día que alguien tome una decisión basándose en él.

Y conviene decirlo sin rodeos: esta etapa va a ser la más larga del camino, más que entrenar modelos y más que afinarlos. No es un capricho de orden ni un relleno. Es que medir bien es, de lejos, la parte más difícil y la que más errores sutiles esconde, y la industria está llena de modelos espectaculares sobre el papel que nunca funcionaron fuera de él. Cada técnica que verás aquí nació de un fracaso real de alguien que creyó un número que no debía creer. Se tarda una tarde en aprender a llamar a una función que entrena; se tarda una carrera en no dejarse engañar por lo que esa función devuelve.

## Una historia que explica por qué todo esto importa

Hay un episodio que se cuenta mucho en este oficio porque resume la lección entera. Hace años, una gran empresa de alquiler de películas organizó un concurso con un premio de un millón de dólares para quien mejorara su sistema de recomendaciones. Equipos de todo el mundo compitieron durante años, y el ganador construyó un modelo endiabladamente ingenioso, una combinación de decenas de modelos más pequeños, que batió el récord sobre los datos del concurso. Ganaron el premio. Y la empresa, después de pagarlo, nunca llegó a poner ese modelo en producción. Era demasiado complejo, demasiado caro de mantener, demasiado afinado a los datos concretos del concurso para la mejora marginal que daba en el mundo real.

La enseñanza no es que el modelo ganador fuera malo: sobre los datos del concurso era extraordinario, y el número lo demostraba. La enseñanza es que un número excelente, incluso uno medido con todo el rigor de un concurso con un millón de dólares en juego, puede no significar lo que crees que significa. Rendir de maravilla sobre un conjunto de datos concreto y rendir de maravilla en el mundo, con usuarios de verdad y restricciones de verdad, son dos cosas distintas que se parecen lo suficiente para confundirlas. Toda esta etapa consiste en no confundirlas.

Fíjate en el patrón que comparten las dos historias, la del modelo de bajas que leía el presente y la del concurso de películas. En las dos, nadie mintió. En las dos, el número era real sobre los datos con los que se midió. Y en las dos, ese número no respondía a la pregunta que de verdad importaba: ¿funcionará esto cuando salga de aquí? Esa es la pregunta de la validación honesta, y es más difícil de contestar bien de lo que parece, porque exige entender exactamente qué estás midiendo y qué no.

## El adversario no es un tramposo: eres tú

En muchos oficios, cuando algo sale mal, hay un culpable externo: un dato que llegó corrupto, un sistema que se cayó, una persona que entendió mal lo que pedías. En este trabajo, el fallo más caro y más frecuente no viene de fuera. Viene de ti, y por una razón concreta: eres tú quien monta la comprobación de tu propio modelo, y tienes todos los incentivos del mundo para que esa comprobación salga bien. Quieres que funcione. Llevas días con ello. Alguien espera el resultado. Tienes prisa. Y cuando sale un número bonito, la tentación de darlo por bueno y seguir adelante es enorme.

Ese conjunto de ganas, prisa y expectativa no te hace deshonesto. Te hace humano, y por eso es tan peligroso: no se nota. Nadie decide conscientemente engañarse. Lo que pasa es que, cuando una comprobación tiene un fallo que infla el resultado a tu favor, la revisas con menos severidad que si lo hubiera bajado. Si un modelo te da un 99% de acierto, lo celebras; si te da un 61%, buscas qué has hecho mal. Pero la obligación de buscar el error es la misma en los dos casos. El 99% merece exactamente la misma desconfianza, probablemente más.

De aquí sale la idea que recorre toda esta etapa: la ciencia de datos honesta es, antes que una colección de algoritmos, un conjunto de disciplinas diseñadas para protegerte de ti mismo. Partir los datos de cierta manera, no mirar un resultado antes de tiempo, calcular las cosas en un orden concreto: todo eso son barreras que te pones a propósito para que, cuando llegues al número final, no haya forma de que te lo hayas regalado sin darte cuenta. No las montas porque desconfíes de los demás. Las montas porque sabes que el que más fácil te engaña eres tú.

Esta idea tiene un parentesco directo con el método científico, y no es casualidad que esta profesión lleve la palabra ciencia en el nombre. En la ciencia seria, un investigador no busca pruebas de que su hipótesis es correcta: busca pruebas de que es incorrecta, y solo cuando no consigue tumbarla por más que lo intenta empieza a creérsela. Es una actitud contraintuitiva, porque va contra el deseo natural de tener razón. Pero es la única que funciona, porque buscar confirmaciones es facilísimo: si quieres encontrar razones para creer algo, siempre las encuentras. Lo difícil, y lo valioso, es intentar demoler tu propia idea con honestidad y ver si aguanta. Un modelo es exactamente eso: una hipótesis sobre cómo funciona el mundo, y tu trabajo no es demostrar que es buena, es intentar demostrar que es mala.

Verás que las disciplinas de esta etapa tienen todas la misma forma: te quitan a propósito la posibilidad de hacer trampa, aunque sea sin querer. No puedes medir sobre datos que viste, porque los apartaste antes de empezar. No puedes elegir el mejor modelo mirando el examen final, porque te reservaste ese examen y no lo abres hasta el final. No puedes dejar que la respuesta se cuele, porque revisas cada variable preguntándote si estaría disponible en el momento de predecir. Cada barrera cierra una puerta por la que te podrías haber engañado. Y cuantas más puertas cierras, más vale el número que queda al final, porque ha sobrevivido a tu propio intento de tumbarlo.

Hay un detalle de los incentivos que conviene ver con claridad, porque explica por qué esto le pasa hasta a la gente más capaz. Cuando trabajas en algo, no eres un observador neutral de tus propios resultados: tienes la piel en el juego. Si el modelo funciona, quedas bien, cumples el plazo, la persona que esperaba el resultado se queda contenta. Si no funciona, toca empezar otra vez, dar explicaciones, reconocer que lo que llevabas días prometiendo no sale. Con esa asimetría, es natural que mires un resultado bueno con alivio y uno malo con sospecha, cuando la honestidad exige justo lo contrario: mirar el resultado bueno con más sospecha todavía, precisamente porque es el que más te conviene creer. No se trata de ser pesimista. Se trata de reconocer que tu juicio no es imparcial cuando se trata de tu propio trabajo, y de montar un método que no dependa de esa imparcialidad que no tienes.

## El reflejo que vas a entrenar

Toda esta etapa consiste en instalarte un reflejo. No es un reflejo de pesimismo ni de desconfiar del trabajo de los demás; es un reflejo dirigido hacia dentro. Ante cualquier número que mida lo bien que funciona algo tuyo, la primera reacción deja de ser «qué bien» y pasa a ser «a ver cómo lo he medido». Es la misma diferencia que hay entre un aficionado que se cree su propia racha de suerte y un profesional que, precisamente cuando le va bien, revisa si no se estará engañando.

Para que ese reflejo tenga de qué agarrarse, conviene nombrar desde ya los dos autoengaños que vas a ver una y otra vez, con disfraces distintos, durante todo el resto del oficio. El primero es medir sobre lo que ya conoces: dar por buena una nota sacada con las mismas preguntas que usaste para estudiar. El segundo es dejar que la respuesta se cuele en los datos sin que te des cuenta: una variable que es un reflejo de lo que quieres predecir, o un cálculo hecho en el orden equivocado que deja que una parte de los datos espíe a la otra. Los dos producen el mismo síntoma, un acierto irreal, y los dos son silenciosos. No saltan solos. Si no los buscas, no los encuentras.

## Qué cuesta no tener este reflejo

Un modelo que da un número inflado no se queda en una hoja de cálculo: viaja. Alguien lo presenta en una reunión. Alguien decide, basándose en él, a quién se le ofrece un descuento, a quién se le concede un préstamo, qué máquina se para para revisarla. Cuando el modelo que daba un 94% resulta que en realidad acertaba mucho menos, no es un error de laboratorio: son descuentos mal dados, préstamos mal concedidos, revisiones hechas donde no tocaba. El coste del autoengaño no lo paga quien montó la comprobación; lo pagan las personas sobre las que se decidió con un número falso.

Por eso la validación honesta no es una formalidad que se hace al final para quedar bien. Es la parte del trabajo que determina si lo demás sirve de algo. Un modelo brillante medido mal es peor que no tener modelo, porque un modelo da una falsa sensación de certeza que empuja a decidir con más confianza de la que los datos justifican. Preferirás mil veces un modelo modesto que sabes que acierta siete de cada diez, a uno espectacular del que no puedes decir si acierta de verdad o se está mirando las respuestas.

## A dónde vamos desde aquí

Con el reflejo en marcha, lo primero que necesitas es la herramienta base: una forma de medir que no se mire las respuestas. La idea es sencilla de enunciar y tiene matices que casi nadie explica bien. A partir de ahí irás añadiendo defensas: cómo reconocer que un modelo se ha aprendido el ruido de memoria, qué hacer cuando no te sobran datos para repartir, por qué el tiempo lo cambia todo cuando tus datos tienen fecha, y cuáles son las dos formas en que la respuesta se cuela en un modelo y lo infla sin que se note. Cada una de esas defensas resuelve una manera concreta en que podrías engañarte. Y todas comparten el mismo espíritu de hoy: no se montan contra un enemigo de fuera, se montan contra la persona más interesada en que el resultado salga bien, que eres tú.

Antes de escribir una línea de código, los ejercicios de esta lección van sobre el criterio, porque el criterio es lo que vas a usar el resto del oficio. Vas a decidir, mirando una situación, si la forma de medir es honesta o si hay un autoengaño escondido. Es el músculo que de verdad importa: el código vendrá solo cuando el criterio esté claro.

Guarda, para todo lo que viene, una sola frase que resume el espíritu de esta etapa entera: un resultado bueno es una hipótesis, no una conclusión. Un número alto no cierra el trabajo, lo abre, porque obliga a la pregunta de verdad importante, que es si ese número aguanta un intento honesto de tumbarlo. Esa frase vale para cada lección que sigue y para cada modelo que construyas el resto de tu carrera. No es desconfianza por amargura; es el único camino conocido para acabar fiándote de algo con razón, en vez de por ganas.