Intérprete Automático da Linguagem Brasileira de Sinais (LIBRAS)

Identificação da equipe

O projeto será realizado pelos alunos do Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina - Campus São José (IFSC-SJ), em São José. O IFSC-SJ foi fundado em 1988 tendo telecomunicações como uma de suas áreas atuação. Dentro deste tema, o IFSC-SJ oferece cursos técnicos e superiores que têm sido reconhecidos pela qualidade dos profissionais que forma. Entre as áreas de atuação dos pesquisadores vinculados à Área de Telecomunicações estão sinais e sistemas de telecomunicações, eficiência energética, sistemas embarcados e redes de computadores. A Área de Telecomunicações é composta de uma equipe de 35 professores com ampla experiência em projetos de pesquisa aplicada nas áreas de atuação do grupo.

A equipe deste projeto é formada pelos acadêmicos do curso de Engenharia de Telecomunicações Elton Ferreira Broering, Thiago Henrique Bonotto da Silva e Guilherme Evangelista de Albuquerque. A orientação do projeto fica a cargo do Prof. Arliones Hoeller, professor da Área de Telecomunicações do IFSC-SJ.

O Prof. Arliones Hoeller Jr. possui mestrado (2007) e bacharelado (2004) em Ciências da Computação, ambos pela UFSC, e está cursando doutorado em Engenharia de Automação e Sistemas, também na UFSC. Atualmente é professor da Área de Telecomunicações do IFSC, onde atua na linha de Sistemas Embarcados, lecionando disciplinas de Sistemas Operacionais, Redes de Computadores e Projetos Integradores. Tem experiência em sistemas operacionais, redes industriais, sistemas de tempo-real e gerenciamento do consumo de energia, com especial foco em sistemas embarcados.

Proposta

O Intérprete Automático da Linguagem Brasileira de Sinais (LIBRAS) pretende, a longo prazo, desenvolver uma solução embarcada, portátil, de reconhecimento automático de sinais de LIBRAS. Tal mecanismo, ainda não disponível à população, viabiliza aos deficientes transmitir facilmente informações a pessoas agnósticas de LIBRAS, o que representa a maioria absoluta da população.

O alfabeto manual ou dactilológico é um sistema de representação de letras de um alfabeto, usando só as mãos. A criação destas palavras mediante o alfabeto dactilológico se conhece como o soletrar manual. Os alfabetos manuais são parte das línguas de sinais e podem ser de uma mão (geralmente a mão direita) ou de duas mãos. É mais comum o uso do alfabeto de uma mão.

LIBRAS (Língua Brasileira de Sinais) é uma linguagem usada pela comunidade de surdos no Brasil e que é reconhecida como uma língua oficial, tal como a língua falada, de acordo com a LEI Nº 10.436, DE 24 DE ABRIL DE 2002. LIBRAS é uma língua derivada da língua de sinais autóctone (que é natural da região onde ocorre), ou seja, do Brasil, e também da língua gestual francesa. Daí sua semelhança com línguas de sinais da Europa e da América. Como citado anteriormente, a LIBRAS não é uma língua de gestos representando a língua portuguesa, e sim uma autêntica língua de nosso país. Semelhante à língua oral, é composta por fonemas, a LIBRAS também possui níveis linguísticos como fonologia, morfologia, sintaxe e semântica.

Dentre os principais desafios do projeto, estão a captura e tratamento dos gestos e sinais feitos com as mãos. A língua brasileira de sinais envolve, além de símbolos feitos com as mãos, movimentos e expressões, o que acaba tornando a captura e tratamento dos símbolos mais elaborada quando comparada ao tratamento de símbolos estáticos feito apenas com as mãos. Estão também entre os desafios do projeto, a própria língua, visto que a língua falada tem várias regras, características e exceções. Outro desafio deste projeto é implementar uma boa interação com os usuários, tentando tornar o sistema desenvolvido mais intuitivo para uso.

O fluxograma na Figura 1 demonstra como irá funcionar o sistema proposto. Ele está separado em duas partes: a parte em azul demonstra o que é obrigatório para o funcionamento do sistema, e a parte em verde demonstra o que é desejável ao funcionamento do sistema.

Figura1: Fluxograma de processo do sistema

A entrada de informação se dá pela captura da imagem, sendo seguida por uma fase de reconhecimento de padrões para identificar o simbolo. Dentro do reconhecimento, primeiramente, será feito um tratamento da imagem para aumentar o contraste da mão e isolar somente a região de interesse. Depois será feito o processamento da imagem onde técnicas de inteligência artificial buscarão identificar um símbolo conhecido. Uma otimização desejável e possível na plataforma-alvo da competição é realizar partes do tratamento de imagem na FPGA, tornando-o mais veloz. Contudo, tal tarefa é dependente da integração de mecanismos específicos e sua real execução está condicionada a experimentos a serem conduzidos posteriormente.

Com a junção de sequências de símbolos identificados o sistema teria como saída o texto correspondente. Seria desejável tornar este texto ainda mais acessível a todos, fazendo a vocalização e a tradução do texto. Estas funções seriam implementadas utilizando webservices disponíveis na nuvem.

Para esta competição, a equipe se propõe a desenvolver uma versão inicial do sistema proposto. Nesta primeira versão será reconhecido apenas o alfabeto de sinais. Embora mais simples, este protótipo servirá como prova de conceito da proposta e para colher, no evento, sugestões de melhorias futuras.

Justificativa

A Linguagem Brasileira de Sinais (LIBRAS) para muitos é a única forma de se expressar, mas ainda é desconhecida por grande parte da população, dificultando o dia-a-dia de quem depende da mesma. Considerando censo IBGE 2010, existem cerca de 2.147.366 pessoas com algum tipo de deficiência auditiva e que, por isso, deveriam utilizar LIBRAS no Brasil. Para estas pessoas, o simples ato de realizar uma pergunta a fim de obter uma informação contém obstáculos gigantescos. Com base nisso, o desenvolvimento de uma solução que facilite a qualquer pessoa entender o que está sendo expresso por um deficiente resolveria o transtorno diário destes cidadãos.

Figura 2: Dando voz à linguagem de sinais

A adoção de LIBRAS no Brasil tem sido incentivada pelo governo federal através de ações de divulgação da linguagem e outros instrumentos, inclusive, legais. Hoje, a lei Lei n.º 10.436, de 24 de abril de 2002 obriga instituições de ensino superior brasileiras a oferecer cursos de LIBRAS como componentes curriculares optativos. Alguns estados brasileiros ainda possuem leis específicas obrigando transmissões televisivas oficiais a utilizar legendas ou LIBRAS.

O desenvolvimento de uma solução embarcada, integrando uma câmera, reconhecendo símbolos e vocalizando ou escrevendo palavras ou frases facilitaria muito o dia-a-dia de quem tem a linguagem de sinais como meio exclusivo de comunicação.