Inferencia causal y Experimentación a escala: A/B testing en MeLi y otras compañías tech

Authors

Speaker ImageSpeaker Image

Description

Intro [5 mins]. Describir los principios donde actúa la IC, cuáles son los retos de la industria en mediciones y toma de decisiones, y la necesidad de usar esta teoría estadística aplicada en problemas reales de distintas naturalezas. Mercado Libre (MeLi) - pushes [8 mins]. Método: A/B testing experimental clásico. Describir la partición aleatoria de dos grupos a priori conocidos en test y control, y el tratamiento al grupo de test y su posterior medición. Medición: CUPED-CUPAC Describir las limitantes en la medición estándar (varianza, sesgo) y por qué es necesario robustecer la medición. Además comparación de ambos métodos, y ejemplo real de cómo mejoran la precisión de la medición. Glovo - clustered [7 mins]. Método: Clustered. Describir el caso de uso especial de estos experimentos, cuando aparecen de forma natural o predeterminada, y la necesidad de tratarlos de forma adecuada para evitar conclusiones erróneas en caso contrario. Medición: Clustered Errors. Describir cómo los clustered errores generalizan el supuesto de independencia, y permiten calcular errores estándar acordes con los que luego se infiere la significancia adecuada del estimador. Doordash - Bernoulli (7 mins). Método: Bernoulli. Describir brevemente el caso de uso Bernoulli, y sus casos de uso más comunes. Medición: DiD. Explicar el problema de sesgo por falta de control en la variabilidad de las observaciones y el contexto cuando se aplica el tratamiento, por ende el uso de comparaciones con ventanas anteriores para mejorar la precisión de la medición. Cierre pitch (3 mins). Resumen del impacto que tiene en la industria tech la toma de decisiones basada en la aplicación de métodos de CI, especialmente dentro de las compañías expuestas, y cómo ese efecto se puede extrapolar a otras industrias. Retos actuales y potenciales para continuar escalando estos conocimientos.