Curso libreInteligencia artificial y datos
Pruebas A/B y experimentación con datos
El curso Pruebas A/B y experimentación con datos proporciona al estudiante los métodos para diseñar, ejecutar y analizar experimentos controlados en sitios web, aplicaciones y campañas, con cálculo de muestra, pruebas estadísticas en Python y control de errores frecuentes, para decidir con evidencia qué cambio funciona mejor.
A quién va dirigido
Analistas de datos, profesionales de producto y mercadeo con conocimientos de estadística descriptiva y hojas de cálculo; Python es deseable.
Objetivos
✓Comprender la lógica del experimento controlado: hipótesis, unidad de aleatorización, grupo de control y criterio de éxito.
✓Analizar resultados con prueba z para proporciones, prueba t de Welch, intervalos de confianza y tamaño del efecto.
✓Aplicar el cálculo de tamaño de muestra y duración con statsmodels según efecto mínimo detectable y potencia.
✓Diseñar un experimento con métricas objetivo y de protección, controles de desbalance SRM y corrección por comparaciones múltiples.
✓Evaluar la validez de un experimento frente al efecto novedad y la estacionalidad, y valorar sus implicaciones éticas.
Plan de estudios por sesión
1
Diseño del experimentoHipótesis, unidad de aleatorización, grupo de control y métricas de protección · Efecto mínimo detectable, potencia y tamaño de muestra con statsmodels
2
Análisis estadístico de resultadosPrueba z para proporciones, prueba t de Welch e intervalos de confianza · Desbalance SRM con chi-cuadrado y correcciones de Bonferroni y Benjamini-Hochberg
3
Práctica y decisiónGrowthBook, Optimizely y experimentos en Google Ads · Efecto novedad, estacionalidad, ética y consentimiento de usuarios
4
Presentación del informe del experimento A/BCuaderno de Python con cálculo de muestra y análisis · Recomendación de negocio y retroalimentación
Evaluación
Inicial30%Formulación escrita de hipótesis, métrica objetivo y métricas de protección para un experimento propuesto por el estudiante.
Intermedio30%Taller en Python de cálculo de muestra con statsmodels, prueba z, prueba t de Welch y verificación de SRM con chi-cuadrado.
Final40%Informe completo de un experimento A/B con datos públicos en un cuaderno de Python, desde la muestra hasta la recomendación.
Proyecto final
Informe completo de un experimento A/B con datos públicos, desde el cálculo de muestra hasta la recomendación de negocio, en un cuaderno de Python.