Enseñas : Une plateforme numérique pour faciliter la communication en langue des signes mexicaine

Une initiative de Saeli Seira Saenz et Alana Betanzo Carriles

Le manque d'éducation et d'outils sur la langue des signes mexicaine pour améliorer la communication et l'expérience des personnes malentendantes au Mexique nous a poussés à sensibiliser et promouvoir l'inclusion de ce problème grâce à une plateforme numérique. Grâce aux outils technologiques, nous avons pu créer un modèle d'apprentissage automatique qui permet de lire en temps réel la langue des signes mexicaine, ce qui permet de combler le fossé de communication entre les personnes malentendantes et les personnes sans handicap auditif, évitant ainsi aux gens de faire l'effort d'apprendre la langue des signes mexicaine.

Enseñas est une initiative qui vise à favoriser l'inclusion grâce à un outil numérique basé sur un modèle d'apprentissage automatique (modèle LSM) dans le but de créer une nouvelle façon de communiquer qui facilite l'interaction entre les personnes malentendantes et les personnes entendantes en temps réel. Ce modèle sera capable de traduire les mots de la langue des signes mexicaine en espagnol écrit et vice versa en temps réel.

La première étape de ce projet a été la création d'un ensemble de données composé de 400 vidéos des mots les plus utilisés dans la langue des signes mexicaine. Ces vidéos ont été classées et étiquetées individuellement. Ensuite, nous avons procédé à une prédiction de pose, au cours de laquelle le modèle analyse le contenu de l'ensemble de données en analysant chaque image par le biais de l'estimation de pose par apprentissage automatique. À la fin de cette estimation, notre modèle d'apprentissage supervisé est capable de détecter des motifs dans les poses sans intervention humaine afin d'identifier à quelles paroles, lettres, chiffres et phrases elles appartiennent. Pour compléter ce processus, une sélection manuelle d'images a également été effectuée afin d'obtenir une prédiction plus précise des signaux.

Pour rendre ce projet accessible au public, une plateforme numérique a été créée, sur laquelle il est possible de télécharger gratuitement notre recherche, le modèle de reconnaissance LSM et l'ensemble de données généré, afin que d'autres développeurs, entreprises technologiques et établissements d'enseignement puissent profiter de notre projet et créer davantage d'outils d'inclusion pour la communauté malentendante.

Cette initiative a été récompensée par le prix Iron A' Design Award en 2023. Ce prix est décerné aux créations bien conçues, pratiques et innovantes qui répondent aux exigences professionnelles et industrielles. Respectées pour leur intégration des meilleures pratiques de l'industrie et leurs caractéristiques techniques compétentes, elles procurent une satisfaction et des sentiments positifs, contribuant ainsi à un monde meilleur.