Authors

Description

Los científicos de datos trabajan cada vez más en equipos, pero las herramientas para una colaboración efectiva aún enfrentan desafíos significativos. Estos incluyen: * Despliegue fácil: se necesita cierta experiencia en DevOps para desplegar cualquier plataforma de edición colaborativa de Notebooks en una infraestructura específica. * Gestión de entornos: una vez configurado con un entorno base, puede ser complicado agregar y utilizar nuevos paquetes y librerías. * Escalabilidad eficiente: desplegado sobre un conjunto particular de recursos (CPU/GPU/RAM), puede ser complicado escalar rápidamente flujos de trabajo a configuraciones con mayores recursos cuando sea necesario. En esta charla, discutiremos los desafíos en el panorama actual de colaboración e introduciremos Nebari, una plataforma de ciencia de datos de código abierto, diseñada para llenar esos vacíos. Nebari permite a las organizaciones desplegar rápidamente una plataforma colaborativa en cualquiera de los principales proveedores de nube. Una vez desplegado, brinda a sus equipos, pequeños y grandes, la posibilidad de acceder fácilmente a servidores individuales de Jupyter Notebook en la nube, y comenzar a escribir y ejecutar flujos de trabajo de ciencia de datos reproducibles y escalables. Integrado con conda-store y Dask, ofrece a los usuarios no solo la posibilidad de construir, compartir y acceder a entornos virtuales de conda desde sus servidores, sino también de lanzar clústeres para manejar sus tareas intensivas de cómputo. También permite construir y compartir tableros de control y aplicaciones de datos dentro la organización y, además, gestionar la plataforma a través de un enfoque GitOps. Discutiremos por qué y cómo se desarrolló Nebari utilizando herramientas de código abierto como Terraform, Kubernetes, JupyterHub y Keycloak. Al final, esperamos equipar a la audiencia con las herramientas y el conocimiento para promover una mejor colaboración dentro de equipos de ciencia de datos. Aquellas personas interesadas, pueden optar por adoptar Nebari como una plataforma lista para usar dentro de su organización, o tomarla como un modelo para desarrollar una plataforma personalizada basada en herramientas de código abierto.