Si cambias una campaña y las ventas suben, todavía no sabes si el cambio causó el aumento.
Un experimento controlado crea una comparación diseñada para responder esa pregunta con mayor rigor. En esta ficha aprenderás a formular hipótesis, definir muestra y duración, reducir sesgos, interpretar resultados y documentar el aprendizaje sin convertir el valor p en una respuesta automática.
Objetivo didáctico
Al terminar esta ficha serás capaz de diseñar un experimento A/B básico para una decisión de negocio, definiendo hipótesis, métricas, muestra, duración, controles contra sesgo y criterios de interpretación práctica antes de implementar un resultado.
Introducción
Las organizaciones cambian precios, procesos, mensajes, formularios y políticas continuamente. Después observan si una métrica mejoró. El problema es que, mientras el cambio ocurría, también pudieron cambiar la temporada, la mezcla de clientes, el inventario o la actividad de la competencia.
Un experimento controlado intenta crear dos grupos comparables que difieran principalmente en la intervención estudiada. El grupo A conserva la condición de referencia; el B recibe la alternativa. Si la asignación es adecuada y el experimento está bien ejecutado, la diferencia final ofrece evidencia más fuerte sobre el efecto causal.
Eso no convierte cada A/B test en verdad definitiva. Una mala métrica, una muestra pequeña, una duración insuficiente o una contaminación entre grupos puede producir una conclusión engañosa. Diseñar importa tanto como calcular.
En nivel intermedio, el profesional debe poder conversar con negocio, analítica y operación para acordar qué se probará, qué resultado sería suficientemente importante y qué condiciones obligarían a detener o reinterpretar la prueba.
💡 Experimento controlado
Comparación planificada entre condiciones donde se busca mantener equivalentes los factores relevantes excepto la intervención que se desea evaluar.
Desarrollo del tema
Qué hace controlado a un experimento de negocio
Un A/B test compara al menos dos condiciones simultáneas. Si una página A convierte 4.0% y la B 4.6%, la diferencia observada es de 0.6 puntos porcentuales. La cuestión es si puede atribuirse razonablemente al cambio y no a una diferencia previa entre los grupos.
La asignación aleatoria ayuda a distribuir entre A y B factores conocidos y desconocidos. No garantiza grupos idénticos, pero reduce el riesgo de enviar deliberadamente a un grupo los clientes más valiosos o los horarios de mayor demanda.
El experimento también necesita una unidad de asignación. Puede ser usuario, tienda, vendedor o región. Si un mismo usuario ve A por la mañana y B por la tarde, la experiencia se mezcla y la interpretación puede complicarse.
Ronald Fisher desarrolló principios modernos de experimentación durante su trabajo en Rothamsted en la década de 1920, utilizando aleatorización y diseños comparativos en investigación agrícola. Esos principios terminaron influyendo en medicina, industria y, décadas después, experimentación digital (Montgomery, 2019).
Formular una hipótesis de negocio que pueda ponerse a prueba
Una hipótesis útil conecta intervención, población, métrica y dirección esperada. “Cambiar el formulario mejorará resultados” es demasiado general. “Reducir de ocho a cinco campos el formulario de cotización aumentará la tasa de envío sin elevar la proporción de leads inválidos” es comprobable.
Conviene elegir una métrica primaria antes de iniciar. Si se observan 20 métricas y después se selecciona la que mejoró, aumenta la probabilidad de encontrar algún resultado favorable por azar. Las métricas secundarias pueden explicar efectos, pero no deben sustituir retrospectivamente la pregunta principal.
También son necesarias métricas de protección. Un botón más agresivo podría elevar clics 12% y, al mismo tiempo, aumentar cancelaciones o reclamos. El experimento no debería declarar ganador sin revisar consecuencias importantes.
Finalmente, define una diferencia mínima relevante. Si un cambio inferior a 0.1 puntos no justifica esfuerzo técnico, esa consideración debe existir antes de observar resultados. De lo contrario, una diferencia diminuta puede celebrarse solo porque resulta detectable.
Toca cada elemento y decide qué papel cumple.
Muestra mínima y duración: diseñar antes de mirar resultados
La muestra necesaria depende de la tasa base, el tamaño del efecto que importa, la variabilidad y el nivel de incertidumbre aceptable. No existe una regla universal como “1,000 usuarios por grupo”. Un cambio esperado de 20% puede requerir menos observaciones que uno de 1%.
La duración también debe representar los ciclos del negocio. Ejecutar de lunes a martes puede ser problemático si el comportamiento de fin de semana es diferente. Un experimento de comercio electrónico puede necesitar cubrir al menos un ciclo semanal completo, mientras otros procesos requieren periodos distintos.
Detener la prueba en cuanto B “va ganando” introduce sesgo. Los resultados fluctúan mientras llegan observaciones. Si se revisa cada hora y se detiene en el primer momento favorable, aumenta el riesgo de capturar una oscilación temporal.
Por ello conviene acordar antes el tamaño o duración previstos y las reglas de parada. Existen métodos secuenciales más avanzados, pero incluso en un diseño básico el principio es el mismo: la forma de mirar los datos también forma parte del experimento.
La muestra, duración, métrica principal y regla de decisión deben definirse antes de conocer qué versión va ganando. Decidirlas después permite que el resultado influya en las reglas que supuestamente deben evaluarlo.
Evitar sesgos y contaminaciones en el diseño
El sesgo de selección aparece cuando A y B reciben poblaciones diferentes. Si la nueva oferta se muestra solo a clientes frecuentes y A queda con todos los demás, la comparación mezcla efecto de oferta y tipo de cliente.
La contaminación ocurre cuando una unidad recibe o conoce ambas condiciones. En una prueba con vendedores, integrantes del grupo A pueden copiar espontáneamente el nuevo guion asignado a B. En estos casos quizá convenga aleatorizar por equipo o sucursal en lugar de persona.
También existen cambios simultáneos. Si durante un experimento se modifica precio, logística y publicidad, atribuir el resultado a un solo componente se vuelve difícil. Un buen test intenta aislar la intervención de interés.
Finalmente, revisa instrumentación. Si A y B registran eventos de forma diferente, el experimento puede detectar un problema de medición. Comparar conteos básicos y ejecutar una prueba A/A antes de un programa amplio puede revelar fallas del sistema.
Mayor confianza.
Sesgo de selección.
Contaminación.
Atribución ambigua.
Interpretar el resultado: significancia práctica antes de proclamar ganador
La significancia estadística evalúa compatibilidad entre los datos y una hipótesis bajo determinados supuestos; no mide automáticamente importancia económica. La American Statistical Association ha advertido contra convertir un umbral como 0.05 en una frontera mecánica entre “verdad” y “falsedad” (Wasserstein & Lazar, 2016).
Supongamos que B aumenta la conversión de 5.00% a 5.08% con una muestra enorme. La diferencia puede ser detectable, pero quizá no cubra el costo de implementar la nueva versión. La significancia práctica pregunta si el efecto tiene tamaño suficiente para justificar la decisión.
También deben revisarse métricas de protección y segmentos definidos previamente. Un ganador global puede perjudicar a un grupo crítico. Eso no significa buscar infinitos subgrupos; significa examinar aquellos relevantes por diseño o riesgo.
El aprendizaje debe documentarse incluso cuando no existe ganador. “No encontramos evidencia suficiente de una mejora de al menos 5%” es información útil. Reduce la probabilidad de repetir la misma idea y ayuda a diseñar la siguiente prueba con mejor hipótesis.
B mejora conversión 0.08 puntos, pero cuesta MXN $250,000 implementar. ¿Qué falta?
Conclusión
El A/B testing convierte una discusión de opiniones en una comparación diseñada. Su fuerza proviene de formular la hipótesis antes, crear grupos comparables, definir métricas y duración, proteger la medición y evaluar tanto incertidumbre como impacto práctico.
El nivel intermedio no exige dominar toda la inferencia estadística, pero sí reconocer cuándo una prueba está mal planteada y cuándo un resultado todavía necesita contexto económico antes de convertirse en decisión.
Referencias principales: Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press. Montgomery, D. C. (2019). Design and Analysis of Experiments (10th ed.). Wiley. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values. The American Statistician, 70(2), 129–133.
🔭 Para seguir aprendiendo
- ¿Qué decisión actual de tu área podría resolverse mejor con un experimento que con una reunión de opiniones?
- ¿Qué métrica de protección evitaría optimizar una cifra a costa de otra?
- ¿Qué resultado “no significativo” podría seguir siendo un aprendizaje valioso?
Actividad de aprendizaje autónoma
Producto esperado: protocolo de un experimento A/B listo para revisión.
- Selecciona una decisión real que pueda probarse de manera controlada.
- Define población, unidad de asignación, versión A y versión B.
- Escribe la hipótesis con dirección esperada.
- Define una métrica primaria y al menos una de protección.
- Indica diferencia mínima que tendría valor para el negocio.
- Propón duración y criterio de muestra.
- Identifica dos riesgos de sesgo o contaminación.
- Describe qué harás si B gana, empata o empeora.
Antes de iniciar debo fijar mi métrica y la diferencia mínima con relevancia .
Evidencia de logro: una tercera persona puede ejecutar la prueba siguiendo el protocolo sin tener que inventar después la métrica, los grupos o la regla de decisión.
Reflexión final: ¿qué resultado del experimento te obligaría a abandonar una idea en la que actualmente crees?