DeepSignBridge: Traductor de Lenguaje de Señas Usando Transformers y Visión Artificial

Authors

Speaker Image

Description

Únete a nosotros en un viaje exploratorio detrás de las cámaras de “DeepSignBridge”, un sistema pionero que traduce el lenguaje de señas peruano a texto en tiempo real. Esta charla te llevará desde los cimientos de nuestro proyecto, comenzando con la exploración de arquitecturas de NLP como LSTM y GRU, pasando por las innovadoras CNN 1-D, hasta culminar en la elección de los Transformers, que revolucionaron nuestro enfoque. Profundizaremos en los desafíos y las soluciones innovadoras en la detección de poses, destacando el uso de herramientas vanguardistas como MediaPipe y YOLO Pose, que nos permitieron capturar con precisión los gestos complejos del lenguaje de señas. Además, compartiremos nuestras experiencias comparando modelos de vanguardia como ViT y ConvNeXt, y cómo finalmente nos decidimos por MaxViT debido a su excepcional rendimiento y precisión. Además, aprenderemos como el API de ChatGPT nos puede ayudar a mejorar la traducción haciéndola más natural. Esta charla no solo te mostrará la tecnología detrás de DeepSignBridge, sino también el impacto que la inteligencia artificial puede tener en la creación de un mundo más inclusivo. Descubre cómo la perseverancia, la innovación y la tecnología se unen para tender puentes de comunicación inclusiva.