A quién marca de verdad cada lista

## Miércoles, 16:00. La pregunta que Darío te hace

Le enseñas a Darío la tabla de AUC con los dos modelos. Él no mira el 0,99. Te hace la pregunta que te desatasca: «vale, el ingenuo ordena mejor. Pero a quién mete en la lista. Si mañana Nerea manda la promo a los que marca ese modelo, ¿a quién se la manda?». Y ahí te das cuenta de que no lo has mirado. Has comparado los modelos por su AUC, que es una propiedad abstracta de cómo ordenan, y no por lo único que negocio va a usar: la lista de clientes a los que marcar.

La lista es lo que sale de aplicar un umbral a las probabilidades: los clientes del conjunto de prueba que el modelo marca como positivos. Con el umbral por defecto de 0,5, el modelo ingenuo marca a un buen puñado de clientes. La pregunta de Darío es simple y demoledora: de esos marcados, ¿cuántos son accionables? Es decir, ¿a cuántos de ellos una promo podría de verdad cambiarles la decisión? Y para eso no necesitas más modelo: necesitas cruzar la lista de marcados con el flag accionable que construiste el martes.

## El golpe: la lista ingenua es casi toda inútil

Cuando cruzas la lista del modelo ingenuo con la población accionable, aparece el hallazgo del caso. El modelo marca a unos cuantos cientos de clientes en el conjunto de prueba, y de ellos la inmensa mayoría —en torno al 90%— no son accionables. Son muertos que el modelo clasifica estupendamente como inactivos, nunca-activos que nunca van a volver, gente que ya se llevó la nómina. El modelo ingenuo es buenísimo prediciendo quién está inactivo, y resulta que casi todos los inactivos son irrecuperables. Su lista, la que Nerea quería mandar, está hecha en un 90% de gente a la que mandar una promo es tirar el dinero.

El reformulado hace lo contrario. Como entrenó solo sobre la población accionable, cualquiera a quien marque es accionable por construcción: el 100% de su lista es gente sobre la que se puede actuar. Marca a mucha menos gente —unos pocos cientos frente a los del ingenuo—, pero cada uno de ellos es un cliente aún vivo y con nómina al que una promo puede frenar. Aquí es donde el AUC se cae del pedestal: el modelo de 0,99 produce una lista inútil, y el de 0,73 produce una lista accionable. El número que mirabas no medía la utilidad de la lista; la ocultaba.