Potenciando tus Pipelines de Datos: Una Introducción a Dagster y DBT en la Era de Arquitecturas Modernas
Description
En el mundo actual de la analítica de datos y el procesamiento de datos a escala, la gestión eficiente de los pipelines de datos es crucial. En esta charla, exploraremos dos herramientas poderosas que están transformando la forma en que diseñamos, ejecutamos y monitoreamos nuestros flujos de datos: Dagster y DBT. Desde la gestión de dependencias hasta la transformación de datos en un almacén como Snowflake, descubriremos por qué estas herramientas son fundamentales en arquitecturas modernas de datos.1. Introducción a los Conceptos Clave (pipelines): 5 min. Dar un inicio e introducción de los conceptos fundamentales de las cuales se deben tener conocimiento para utilizar estas herramientas tales como ¿Qué es un pipeline, DAG, templates Jinja entre otros? 2. ¿Qué es Dagster? 5 min. Introducción a lo que es Dragster como herramienta para crear ETL´s. 3. ¿Por qué DBT? 5 min.Introducción a lo que es DBT como herramienta para crear ETL´s usando SQL y todas las ventajas que ofrece tales como lineage y creación de entidades sin la necesidad de utilizar ningún lenguaje de programación. 4. Comparación con Otras Soluciones 10 min. -Dar una comparativa respecto a herramientas tales como airflow, prefect, panda data pipeline. -Cuales son sus ventajas una con otra. 5. Preguntas y conclusiones 5 min