Projecto traduz texto para linguagem gestual

Os professores do Instituto Superior de Engenharia do Porto (ISEP) estão a desenvolver um projecto para melhorar a aprendizagem dos estudantes surdos nas salas de aulas. Chama-se Virtual Sign e é uma tecnologia que permite fazer uma tradução bilateral da linguagem gestual: transforma texto em linguagem gestual e a linguagem gestual em texto.

O processo de utilização do Virtual Sign é bastante simples: basta uma câmara e um par de luvas de dados. A câmara kinetic (normalmente utilizada nos videojogos) capta os movimentos das mãos e dos dedos da pessoa que coloca as luvas de dados, traduzindo-os num texto em língua portuguesa que aparece no ecrã do computador. 

A câmara é fundamental porque também capta a posição do corpo e as expressões faciais – que na linguagem gestual têm diferentes sentidos conforme o corpo esteja posicionado para a frente ou para trás, indicando o futuro e o passado, respectivamente.

O Virtual Sign também pode ser utilizado inversamente: com a introdução do texto no computador e a tradução das palavras em gestos por um avatar. Para melhorar a leitura dos gestos, estes podem ser projectados num avatar de corpo inteiro – além de falar com as mãos dá emoção pela postura do corpo e traços faciais.

O protótipo do projecto nasceu de uma pareceria entre a Faculdade de Engenharia da Universidade do Porto, da Universidade Aberta e da equipa de investigação da Graphics Interaction and Learning Techologies (GILT) – composta por docentes e alunos do ISEP – que esperam ter o Virtual Sign pronto no final deste ano.

barbara.silva@sol.pt