O processo de utilização do Virtual Sign é bastante simples: basta uma câmara e um par de luvas de dados. A câmara kinetic (normalmente utilizada nos videojogos) capta os movimentos das mãos e dos dedos da pessoa que coloca as luvas de dados, traduzindo-os num texto em língua portuguesa que aparece no ecrã do computador.
A câmara é fundamental porque também capta a posição do corpo e as expressões faciais – que na linguagem gestual têm diferentes sentidos conforme o corpo esteja posicionado para a frente ou para trás, indicando o futuro e o passado, respectivamente.
O Virtual Sign também pode ser utilizado inversamente: com a introdução do texto no computador e a tradução das palavras em gestos por um avatar. Para melhorar a leitura dos gestos, estes podem ser projectados num avatar de corpo inteiro – além de falar com as mãos dá emoção pela postura do corpo e traços faciais.
O protótipo do projecto nasceu de uma pareceria entre a Faculdade de Engenharia da Universidade do Porto, da Universidade Aberta e da equipa de investigação da Graphics Interaction and Learning Techologies (GILT) – composta por docentes e alunos do ISEP – que esperam ter o Virtual Sign pronto no final deste ano.
