Intérprete Automático da Linguagem Brasileira de Sinais (LIBRAS)

O Intérprete Automático da Linguagem Brasileira de Sinais (LIBRAS) pretende, a longo prazo, desenvolver uma solução embarcada, portátil, de reconhecimento automático de sinais de LIBRAS. Tal mecanismo, ainda não disponível à população, viabiliza aos deficientes transmitir facilmente informações a pessoas agnósticas de LIBRAS, o que representa a maioria absoluta da população.

O alfabeto manual ou dactilológico é um sistema de representação de letras de um alfabeto, usando só as mãos. A criação destas palavras mediante o alfabeto dactilológico se conhece como o soletrar manual. Os alfabetos manuais são parte das línguas de sinais e podem ser de uma mão (geralmente a mão direita) ou de duas mãos. É mais comum o uso do alfabeto de uma mão.

LIBRAS (Língua Brasileira de Sinais) é uma linguagem usada pela comunidade de surdos no Brasil e que é reconhecida como uma língua oficial, tal como a língua falada, de acordo com a LEI Nº 10.436, DE 24 DE ABRIL DE 2002. LIBRAS é uma língua derivada da língua de sinais autóctone (que é natural da região onde ocorre), ou seja, do Brasil, e também da língua gestual francesa. Daí sua semelhança com línguas de sinais da Europa e da América. Como citado anteriormente, a LIBRAS não é uma língua de gestos representando a língua portuguesa, e sim uma autêntica língua de nosso país. Semelhante à língua oral, é composta por fonemas, a LIBRAS também possui níveis linguísticos como fonologia, morfologia, sintaxe e semântica.

Dentre os principais desafios do projeto, estão a captura e tratamento dos gestos e sinais feitos com as mãos. A língua brasileira de sinais envolve, além de símbolos feitos com as mãos, movimentos e expressões, o que acaba tornando a captura e tratamento dos símbolos mais elaborada quando comparada ao tratamento de símbolos estáticos feito apenas com as mãos. Estão também entre os desafios do projeto, a própria língua, visto que a língua falada tem várias regras, características e exceções. Outro desafio deste projeto é implementar uma boa interação com os usuários, tentando tornar o sistema desenvolvido mais intuitivo para uso.

O fluxograma na Figura 1 demonstra como irá funcionar o sistema proposto. Ele está separado em duas partes: a parte em azul demonstra o que é obrigatório para o funcionamento do sistema, e a parte em verde demonstra o que é desejável ao funcionamento do sistema.

Figura1: Fluxograma de processo do sistema

A entrada de informação se dá pela captura da imagem, sendo seguida por uma fase de reconhecimento de padrões para identificar o simbolo. Dentro do reconhecimento, primeiramente, será feito um tratamento da imagem para aumentar o contraste da mão e isolar somente a região de interesse. Depois será feito o processamento da imagem onde técnicas de inteligência artificial buscarão identificar um símbolo conhecido. Uma otimização desejável e possível na plataforma-alvo da competição é realizar partes do tratamento de imagem na FPGA, tornando-o mais veloz. Contudo, tal tarefa é dependente da integração de mecanismos específicos e sua real execução está condicionada a experimentos a serem conduzidos posteriormente.

Com a junção de sequências de símbolos identificados o sistema teria como saída o texto correspondente. Seria desejável tornar este texto ainda mais acessível a todos, fazendo a vocalização e a tradução do texto. Estas funções seriam implementadas utilizando webservices disponíveis na nuvem.

Para esta competição, a equipe se propõe a desenvolver uma versão inicial do sistema proposto. Nesta primeira versão será reconhecido apenas o alfabeto de sinais. Embora mais simples, este protótipo servirá como prova de conceito da proposta e para colher, no evento, sugestões de melhorias futuras.