Identificação automática de símbolos da linguagem de sinais por vídeo

Projeto financiado pela Chamada Interna 001/2014 - Campus São José (SUBMISSÃO DE PROJETOS DE ENSINO, PESQUISA E EXTENSÃO PARA O SEMESTRE 2014-2)

Aluno bolsista: Thiago Henrique Bonotto da Silva (Eng. Telecomunicações)

Professor orientador: Arliones Hoeller

Período de execução: setembro a novembro de 2014.

Link curto para esta página: http://goo.gl/An9RWB

Proposta

Introdução e Justificativa da Proposição

A Linguagem Brasileira de Sinais (LIBRAS) e o alfabeto datilológico são, para muitos, as únicas formas de se expressar. Porém, ainda são desconhecidas por grande parte da população, dificultando o dia a dia de quem depende delas. Considerando o censo IBGE 2010, existem no Brasil cerca de 2.147.366 pessoas com algum tipo de deficiência auditiva e que, por isso, deveriam utilizar linguagens de sinais. Para estas pessoas, o simples ato de pedir uma informação na rua inclui obstáculos gigantescos. Com base nisso, o desenvolvimento de uma solução que facilite a qualquer pessoa entender o que está sendo expresso por um deficiente resolveria um transtorno diário destes cidadãos.

A adoção de LIBRAS no Brasil tem sido incentivada pelo governo federal através de ações de divulgação da linguagem e outros instrumentos, inclusive, legais. A lei Lei n.º 10.436, de 24 de abril de 2002 obriga instituições de ensino superior brasileiras a oferecer cursos de LIBRAS como componentes curriculares optativos. Alguns estados brasileiros ainda possuem leis específicas obrigando transmissões televisivas oficiais a utilizar legendas ou LIBRAS.

O desenvolvimento de uma solução embarcada, integrando uma câmera, reconhecendo símbolos e vocalizando ou escrevendo palavras ou frases facilitaria muito o dia a dia de quem tem a linguagem de sinais como meio principal de comunicação. Tal solução, contudo, envolve uma série de desafios tecnológicos que precisam ser investigados. A tarefa de identificar sinais em imagens está longe de ser trivial. Por isso, um trabalho de investigação científica se faz necessário, principalmente para definir mecanismos apropriados de tratamento das imagens capturadas e reconhecimento de padrões para identificar símbolos.

Esta proposta de projeto foi inscrita por um grupo de alunos da Engenharia de Telecomunicações orientado pelo Prof. Arliones na Competição Intel de Sistemas Embarcados 2014, tendo sido a proposta aceita. Participam desta competição equipes de diversas universidades brasileiras, sendo que os melhores projetos viajarão aos EUA para visitar as instalações da Intel Labs USA e competir na Intel Cornel Cup 2015 – a edição americana da mesma competição. Neste cenário, o aporte de recursos a este projeto não apenas custeará a realização de atividades de pesquisa, como também possibilitará apresentação de um trabalho de qualidade em um evento nacional.

Objetivos do Projeto

O objetivo principal deste projeto de curto prazo é investigar técnicas utilizadas para o reconhecimento automático de sinais datilológicos a partir de imagens. Para isso, alguns objetivos específicos foram definidos:

• Levantamento bibliográfico: estudar artigos selecionados pelo professor e analisá-los, comparando-os.
• Avaliação de mecanismos de reconhecimento: implementar alguns dos mecanismos de reconhecimento estudados e avaliá-los.
• Integração em protótipo: integrar os mecanismos desenvolvidos com protótipo de reconhecimento de sinais datilológicos sendo desenvolvido pela equipe de alunos da Competição Intel de Sistemas Embarcados.

Detalhamento das atividades

O Intérprete Automático da Linguagem Brasileira de Sinais pretende, a longo prazo, desenvolver uma solução embarcada, portátil, de reconhecimento automático de sinais de LIBRAS. Tal mecanismo, ainda não disponível à população, viabiliza aos deficientes transmitir facilmente informações a pessoas agnósticas de LIBRAS, o que representa a maioria absoluta da população.

O alfabeto manual ou datilológico é um sistema de representação de letras de um alfabeto usando só as mãos. A criação de palavras mediante o alfabeto datilológico se conhece como o soletrar manual. Os alfabetos manuais são parte das línguas de sinais e podem ser de uma mão (geralmente a mão direita) ou de duas mãos. É mais comum o uso do alfabeto de uma mão.

LIBRAS (Língua Brasileira de Sinais) é uma linguagem usada pela comunidade de surdos no Brasil e que é reconhecida como uma língua oficial, tal como a língua falada, de acordo com a LEI Nº 10.436, DE 24 DE ABRIL DE 2002. LIBRAS é uma língua derivada da língua de sinais autóctone (que é natural da região onde ocorre), ou seja, do Brasil, e também da língua gestual francesa. Daí sua semelhança com línguas de sinais da Europa e da América. Como citado anteriormente, a LIBRAS não é uma língua de gestos representando a língua portuguesa, e sim uma autêntica língua de nosso país. Semelhante à língua oral, é composta por fonemas, a LIBRAS também possui níveis linguísticos como fonologia, morfologia, sintaxe e semântica.

Dentre os principais desafios do projeto, estão o tratamento das imagens capturadas e o reconhecimento de padrões para identificar os símbolos. LIBRAS envolve, além de símbolos feitos com as mãos, movimentos e expressões, o que acaba tornando a captura e tratamento dos símbolos mais complexa quando comparada ao tratamento de símbolos estáticos feito apenas com uma das mãos. Assim sendo, nesta etapa inicial propõe-se desenvolver uma versão inicial do sistema que reconhecerá apenas o alfabeto datilológico. Embora mais simples, este protótipo servirá como prova de conceito da proposta e para colher sugestões de melhorias durante a competição. Além disso, o desenvolvimento deste protótipo servirá para que a equipe do projeto tenha contato direto com os problemas técnicos enfrentados nesta aplicação.

Para a consecução do projeto serão executadas as seguintes atividades:

1. Estudar artigos selecionados pelo professor e analisá-los, comparando-os.
2. Implementar e avaliar alguns dos mecanismos de reconhecimento de sinais estudados.
3. Integrar mecanismos desenvolvidos com protótipo de reconhecimento de sinais datilológicos sendo desenvolvido pela equipe de alunos da Competição Intel de Sistemas Embarcados.
4. Escrever relatório final.
5. Participar da Competição Intel de Sistemas Embarcados.
6. Apoiar professor na redação de artigo científico com resultados do projeto.

Cronograma

Atividade	Semana
1	X	X	X	X	X
2			X	X	X	X	X
3					X	X	X	X
4								X	X
5										X
6											X	X	X