Des signes d’accessibilité pour les sourds
La langue des signes américaine (ASL) est la troisième langue la plus parlée aux États-Unis, mais il y a beaucoup moins d’outils d’IA développés avec des données ASL qu’avec des données représentant les langues les plus courantes du pays, l’anglais et l’espagnol.
Signs : un pont entre les mondes
NVIDIA, l’American Society for Deaf Children et l’agence créative Hello Monday aident à combler ce fossé avec Signs, une plateforme web interactive conçue pour soutenir l’apprentissage de l’ASL et le développement d’applications d’IA accessibles.
Apprendre et contribuer ensemble
Les apprenants en langue des signes peuvent accéder à la bibliothèque validée de signes ASL de la plateforme pour élargir leur vocabulaire à l’aide d’un avatar 3D qui démontre les signes – et utiliser un outil d’IA qui analyse les séquences de webcam pour recevoir un retour d’information en temps réel sur leur signature. Les signataires de tous niveaux peuvent contribuer en signant des mots spécifiques pour aider à construire un ensemble de données vidéo pour l’ASL.
Un dictionnaire visuel de qualité
L’ensemble de données – que NVIDIA vise à développer jusqu’à 400 000 clips vidéo représentant 1 000 mots signés – est validé par des utilisateurs et des interprètes ASL fluents pour assurer l’exactitude de chaque signe, ce qui se traduit par un dictionnaire visuel et un outil d’enseignement de haute qualité.
Briser les barrières
Les équipes de NVIDIA prévoient d’utiliser cet ensemble de données pour développer davantage d’applications d’IA qui brisent les barrières de communication entre les communautés sourdes et entendantes. Les données doivent être mises à la disposition du public en tant que ressource pour la construction de technologies accessibles, notamment des agents d’IA, des applications humaines numériques et des outils de vidéoconférence. Elles pourraient également être utilisées pour améliorer Signs et permettre aux plateformes ASL de l’écosystème de bénéficier d’un support et d’un retour d’information en temps réel basés sur l’IA.
L’avenir de l’inclusion
L’équipe derrière Signs explore comment les expressions faciales et les mouvements de tête peuvent être suivis et intégrés dans les futures versions de la plateforme. Ils étudient également comment d’autres nuances, comme les variations régionales et les termes d’argot, peuvent être représentés dans Signs pour enrichir sa base de données ASL.
Rejoignez le mouvement
Que vous soyez novice ou expert, les volontaires peuvent s’enregistrer en train de signer pour contribuer à l’ensemble de données ASL. L’ensemble de données derrière Signs devrait être publié plus tard cette année. Commencez à apprendre ou à contribuer avec Signs sur signs-ai.com.
