Authors

Description

Experimentando con Arquitecturas Modernas de Datos y Python: De la Ingesta a los dashboards. En esta conferencia, exploraremos cómo se puede experimentar con arquitecturas modernas de datos utilizando Python como lenguaje principal. Desde la ingesta inicial hasta el servicio de datos en tiempo real, cubriremos todo el ciclo de vida de los datos, enseñando a los asistentes cómo hemos logrado que personas no técnicas de fuera del campo de IT hayan conseguido construir soluciones de extremo a extremo de manera independiente. Temas: Ingesta de Datos: Comenzaremos discutiendo los diferentes métodos de ingesta de datos que usamos, desde fuentes estructuradas hasta datos no estructurados. Entenderemos cómo usamos herramientas como Apache NiFi y Kafka, ayudados por Python, para la ingesta eficiente de datos en tiempo real. Almacenamiento y Procesamiento: Una vez que los datos los tenemos ingestados, veremos cómo decidimos las estrategias de almacenamiento y procesamiento. Desde bases de datos SQL tradicionales hasta soluciones NoSQL como MongoDB, y plataformas de procesamiento como Apache Spark usando PySpark, analizaremos cómo seleccionar la tecnología adecuada para cada caso de uso. Visualización y Análisis: La visualización de datos es crucial para comprender los insights que pueden extraerse de ellos. Exploraremos cómo integramos herramientas como Apache Superset, Grafana y Jupyter para crear visualizaciones interactivas con Python o SQL y como tambien realizamos análisis de datos avanzados. Automatización y Orquestación: Para mantener eficiencia y consistencia en nuestros procesos, discutiremos porque es básico que aprendamos a automatizar tareas utilizando herramientas como Python y Apache Airflow. Además, discutiremos cómo orquestamos y coordinamos flujos de trabajo complejos en un entorno de datos distribuido. Desarrollo de Librerías y Scripts: Finalmente, exploraremos cómo utilizamos Python para desarrollar librerías y scripts que simplifiquen nuestras tareas diarias en la gestión y manipulación de datos. Desde la creación de utilidades personalizadas hasta la integración con API de terceros, veremos cómo Python puede potenciar nuestras capacidades en el campo de la ciencia de datos y la ingeniería de datos. Conclusiones: Esta conferencia proporcionará a los asistentes el conocimiento acerca de cómo se pueden usar herramientas para construir soluciones de datos end-to-end utilizando Python y una variedad de tecnologías modernas sin tener que irse a una solución cloud o tener que comprar servidores adicionales. Al finalizar, veremos como el uso de estas herramientas hace que los alumnos estén equipados para diseñar, implementar y mantener arquitecturas de datos escalables y eficientes en una variedad de contextos empresariales.