Diseñar un experimento: A/B testing desde la pregunta

2007. Dan Siroker, product manager de Google Chrome, deja su puesto y se va a Chicago como voluntario de la campaña de Barack Obama; acabará siendo su director de analítica. El equipo discutía qué poner en la página de registro: unos querían un vídeo del candidato, otros una foto. En vez de decidirlo en una reunión, montaron un experimento: cuatro textos de botón por seis medios — tres imágenes y tres vídeos — repartidos al azar entre los visitantes. Veinticuatro combinaciones. La ganadora subió la tasa de registro del 8,26% al 11,6%: un 40% más. Y el hallazgo que nadie esperaba fue que todos los vídeos funcionaron peor que todas las imágenes. Esos registros de más fueron unos 2,88 millones de correos electrónicos y, con ellos, unos 60 millones de dólares adicionales en donaciones.

(Veinticuatro combinaciones a la vez exigen muchísimo tráfico: la campaña lo tenía. Cuando no lo tienes — que es lo normal — probar tantas cosas de golpe es uno de los errores que veremos más abajo.)

Un A/B test divide a los usuarios en dos grupos simultáneos: uno ve la versión actual (control) y otro la nueva (tratamiento). La aleatorización aísla la causa — si los dos grupos se parecen en todo menos en lo que has cambiado, la diferencia que observas solo puede venir de ahí. Es la herramienta más potente del analista para demostrar causalidad, y es la que la lección anterior explicaba por qué es necesaria. Lo que vamos a ver aquí es cómo se diseña uno bien: las cinco piezas que necesitas antes de lanzar, y los errores que invalidan un test antes de empezar.

### Las cinco piezas de un A/B test

Un test necesita cinco componentes ANTES de lanzar: (1) hipótesis falsable, (2) métrica primaria con su denominador, (3) unidad de aleatorización, (4) tamaño de muestra calculado y (5) duración que cubra al menos un ciclo semanal. Si te falta alguna de las cinco, lanzas un experimento que no podrás interpretar: o no sabrás qué estás midiendo, o no tendrás datos suficientes para decir nada, o no podrás descartar que el azar te haya engañado.

### Pieza 1: una hipótesis que se pueda tumbar

«El botón naranja convierte más» no es una hipótesis: es una opinión. Una hipótesis de test tiene tres partes, y si le falta una no sirve para diseñar nada. Qué cambias, en qué métrica esperas que se note, y cuánto. Por ejemplo: cambiar el texto del botón de «Comprar» a «Añadir a la cesta» subirá la tasa de añadido al carrito del 8% al 9%.

Fíjate en lo que aporta cada parte. El «qué cambias» tiene que ser una sola cosa: si cambias varias a la vez, no sabrás cuál de ellas ha funcionado. La métrica tiene que ser una sola, y elegida antes. Y el «cuánto» es el que decide el tamaño del test: sin él no puedes calcular cuántos usuarios necesitas, así que una hipótesis sin número es una hipótesis que no se puede diseñar.

De ahí salen las dos hipótesis formales, que son las que la estadística contrasta:

• ▹Hipótesis nula (H₀): las dos versiones convierten igual. Es la que se supone cierta mientras no haya pruebas suficientes en contra.
• ▹Hipótesis alternativa (H₁): las dos versiones convierten distinto.

Y una advertencia práctica: escribe también qué vas a hacer con cada resultado, antes de tener el resultado. «Si gana B, lo desplegamos; si no gana, nos quedamos con A y probamos otra cosa». Suena obvio y evita la conversación más incómoda del oficio, que es discutir qué significa un dato cuando ya sabes a quién beneficia.

### Pieza 2: una métrica primaria, con su denominador

Una métrica primaria es la cifra — una sola — que decide el resultado del test. Una sola, porque en cuanto decides con varias vuelves a tener el problema de las comparaciones múltiples: con suficientes métricas, alguna sale «significativa» por puro azar.

Las demás no desaparecen. Se declaran métricas secundarias y se miran después, para entender qué ha pasado, no para decidir si se despliega. Y conviene tener una o dos métricas de guardia: cifras que no quieres empeorar aunque la primaria mejore, como las devoluciones, las bajas o el tiempo de carga. Una métrica de guardia no es una segunda oportunidad de ganar: solo puede frenar el despliegue, nunca justificarlo.

Y ahora la parte que casi nadie escribe: una métrica es un cociente, y hay que fijar las dos partes. «Conversión» no significa nada por sí solo. ¿Compras por sesión? ¿Compras por usuario? ¿Usuarios que compran al menos una vez, entre los que entraron? Son tres números distintos con el mismo nombre, y con los mismos datos pueden apuntar en direcciones opuestas.

Un ejemplo con números redondos. Mil usuarios en cada grupo. Versión A: 1.000 sesiones y 50 compras — 5,0% por usuario y 5,0% por sesión. Versión B: la gente vuelve más veces antes de decidirse (1.400 sesiones) y compran 56 — 5,6% por usuario y 4,0% por sesión. B gana por usuario y pierde por sesión. Los datos son exactamente los mismos; lo único que cambia es el denominador. Si no lo has fijado antes, la discusión de después no la gana quien tenga razón: la gana quien elija el cociente que le conviene.

Escríbelo entero antes de lanzar: numerador, denominador y ventana de tiempo. Por ejemplo: «usuarios únicos que completan una compra en los 7 días siguientes a su primera visita, entre usuarios únicos que vieron la página de producto». Es más largo de decir y no admite discusión después.

### Pieza 3: la unidad de aleatorización

«Repartir al azar» suena a una sola cosa y son varias. La pregunta es: ¿al azar entre qué?

• ▹Por usuario. Cada persona cae en un grupo y se queda ahí. Es lo que quieres casi siempre.
• ▹Por sesión. Cada visita se sortea de nuevo. El mismo usuario ve el botón naranja el lunes y el verde el martes.
• ▹Por cuenta o empresa. En productos B2B, donde varias personas comparten espacio de trabajo, no puedes darle a media plantilla una interfaz y a la otra media, una distinta.

La regla: la unidad que repartes no puede ser más fina que aquella sobre la que vas a decidir. Si tu métrica es «usuarios que compran», repartir por sesión te deja usuarios a caballo entre los dos grupos y su comportamiento ya no es atribuible a ninguna versión. Al revés sí vale — repartir por empresa y mirar el comportamiento de cada persona es normal en B2B — pero entonces los datos de una misma empresa vienen en bloque, se parecen entre sí, y la cuenta tiene que tenerlo en cuenta o el resultado parecerá más sólido de lo que es.

Y guarda la asignación. Si el usuario vuelve dentro de una semana tiene que ver lo mismo que la primera vez. Una experiencia que cambia de una visita a otra no es un test: es un lío.

### Pieza 4: el tamaño de muestra

El tamaño de muestra no es una preferencia: es una consecuencia. Sale de tres decisiones que tomas antes de lanzar.

• ▹El efecto mínimo detectable (MDE). La mejora más pequeña que te haría cambiar algo. No la que esperas, sino la que te importaría.
• ▹El nivel de significancia (alfa). Cuánto riesgo aceptas de cantar victoria sin motivo. Por convención, 0,05.
• ▹La potencia. Cuántas probabilidades quieres tener de detectar la mejora si de verdad existe. Por convención, 80%.

Con esos tres y tu conversión actual, la cuenta está hecha. Lo que importa no es la fórmula, es el orden de magnitud, y sorprende a casi todo el mundo la primera vez. Estos son los usuarios necesarios por grupo, con alfa = 0,05 y potencia del 80%:

1-- Usuarios por grupo necesarios (alfa=0.05, potencia=80%)
2-- Los % son RELATIVOS: '+10%' sobre base 3% = pasar de 3% a 3,3%
3--
4-- Conversion    Detectar   Detectar   Detectar   Detectar
5--   actual        +5%        +10%       +20%       +50%
6--     3%        207.938     53.211     13.914      2.518
7--    10%         57.763     14.751      3.841        686
8--    30%         14.856      3.763        963        163

### Pieza 5: la duración

El tamaño de muestra te dice cuántos usuarios necesitas. La duración es otra cosa, y no se deduce del tamaño: es la que sea mayor de estas dos.

1. 01.El tiempo que tardes en juntar la muestra. Si necesitas 106.000 usuarios y te entran 5.000 al día, son tres semanas.
2. 02.Al menos un ciclo semanal completo. Aunque la muestra la juntes en tres días. El comportamiento de un martes no se parece al de un sábado; si tu test empieza un lunes y termina un jueves, has medido una semana laboral y has hecho como que el fin de semana no existe.

Hay una tercera consideración: si el cambio afecta a algo que la gente no hace todos los días — renovar, devolver, volver a comprar — el test tiene que durar lo que tarde ese comportamiento en ocurrir. No sirve de nada medir devoluciones durante una semana si la ventana de devolución es de treinta días.

Redondea siempre hacia arriba y a semanas completas. Un test que empieza un lunes y termina un lunes se compara consigo mismo; uno que empieza un lunes y termina un jueves, no.

### Los cinco errores clásicos que invalidan un test

1. 01.Parar antes de tiempo (peeking). Mirar el resultado día a día y parar el primer día que sale bien. Como vimos en la lección anterior, tres miradas suben el riesgo de falso positivo del 5% al 11%.
2. 02.Métricas múltiples sin corrección. Si mides cinco cosas y presentas la que salió bien, la probabilidad de que al menos una salga «significativa» por azar ronda el 23%.
3. 03.Demasiadas variantes. Cada versión extra parte el tráfico y multiplica las comparaciones. Con cuatro versiones y una métrica ya hay tres comparaciones contra el control; con tres métricas, nueve.
4. 04.Cambiar algo durante el test. Tocar el diseño, la audiencia o el reparto a mitad de camino convierte los datos de antes y los de después en dos experimentos distintos, y ninguno de los dos tiene la muestra que calculaste.
5. 05.Efecto de novedad. Los usuarios habituales reaccionan a que algo haya cambiado, no a lo que ha cambiado. Un rediseño puede subir los clics la primera semana solo porque es distinto, y volver a la línea de base a la tercera. Se detecta comparando usuarios nuevos con usuarios recurrentes.

### Cuándo NO hacer un A/B test

• ▹Cambios irreversibles o ya comunicados. Una subida de precios anunciada, una migración, un cierre de producto. No puedes dejar a la mitad de la gente en la versión antigua de algo que ya has dicho que cambia.
• ▹Audiencia insuficiente. Si la tabla de tamaños de muestra te pide más usuarios de los que vas a tener en un trimestre, el test no va a concluir. Mejor decidirlo por otra vía y decir en voz alta que se ha decidido así.
• ▹Métricas que tardan meses. Retención a un año, valor de vida del cliente, recomendación boca a boca. Se prueban con métricas intermedias que se muevan antes.
• ▹La respuesta es obvia. Si el checkout está roto, se arregla. Nadie testea si arreglar un error mejora las cosas.
• ▹No vas a actuar con el resultado. Si sabes que vas a desplegar la versión nueva salga lo que salga, el test no es un experimento: es una coartada. Ahórratelo y despliega.

### Resumen

Un A/B test es un acto de humildad intelectual: acepta que no sabes la respuesta y que la opinión más alta del escalafón no la sabe tampoco. Las cinco piezas — hipótesis falsable, métrica con denominador, unidad de aleatorización, tamaño de muestra calculado y duración que cubra un ciclo — son la diferencia entre un experimento y una excusa para hacer lo que ya habías decidido.