Projeto - Desenvolvimento de uma base de imagens de placas de sinalização

Esta é a página do projeto Desenvolvimento de uma base de imagens de placas de sinalização de trânsito para sistemas de reconhecimento automático. O projeto foi submetido e aprovado na Chamada interna nº 13/2018 do campus São José.

Equipe

• Coordenador: Diego da Silva de Medeiros <diegomedeiros@ifsc.edu.br>
• Membro: Deise Monquelate Arndt <deise.arndt@ifsc.edu.br>
• Membro: Mathias Silva da Rosa <mathiassilva4@gmail.com>
• Aluno bolsista: Guilherme Fleiger Felipe <guilhermefliegerfelipe@gmail.com>
• Aluno voluntário: Augusto Gil de Oliveira <augusto.o@aluno.ifsc.edu.br>

Referência para o projeto como um todo

Trabalho de Conclusão de Curso - Mathias Silva da Rosa

• Link
• Link para a página do TCC

Placas de Trânsito

• As placas
• Manual de sinalização de trânsito do CONTRAN

Brainstorm parâmetros da base de dados

• [A] Variedade de placas

• [B] Ângulo da câmera - Câmeras podem fazer a captura próximo da placa, com um ângulo íngreme que impediria o sistema de reconhecer as placas;

• [A] Resolução da imagem - Variação que ocorre na vida real, dependendo a câmera usada em sistemas;

• Pensar numa resolução alta, fornecida diretamente pela câmera (ver qual), e realizar subamostragens para demais resoluções

• [A] Hora do dia;

• Anotar a hora, mas pensar em 3 cenários: sol favorável, sol atrás da placa e noite:

• No período noturno, testar a ação do farol nas placas de transito - Algumas placas podem ter sua tinta refletiva nova ou antiga, mudando a captura; Testar a captura com o farol aceso e apagado.

• [A] Condições climáticas - Chuva influencia muito na qualidade da captura;

• Capturar imagens com dias de sol, nublado e chuva

• [B] Placas degradadas e sujas - É uma boa prática considerar as placas que são praticamente irreconhecíveis;

• Verificar a possibilidade (ver da possibilidade da captura em bairros periféricos)

• [C] Objetos de cor e formato semelhantes na mesma imagem - Evita "confusão" nos sistemas;

• Segunda opção

• [A] Distância - Possibilita que os sistemas sejam capazes de reconhecer placas distantes;

• Pensar em 3 ou 4 distâncias por placa

• [B] Velocidade de aproximação - Dependendo a velocidade do veículo, a placa pode ser borrada;

• Vai depender também da velocidade do obturador da câmera
• Fazer o trajeto com pausas para a foto, e depois fazer novamente a captura com o carro andando:

• Na velocidade mínima
• Na velocidade máxima

• Verificar para fazer a captura usando um vídeo

• [A] Quantidade de placas capturadas;

• Deixar este parâmetro para o final, pois a quantidade dependerá dos outros

• [A] Placas de advertência - Não capturar apenas as regulatórias, placas de advertência também podem ser úteis em sistemas automáticos.

• [A] Marcar rota e coordenadas para pubicação

Após a captura, na fase de demarcação:

• Publicar duas versões das imagens, placas demarcadas com um retângulo e não demarcadas;
• Múltiplas formatações, tanto das imagens (png, jpg) quanto dos arquivos de texto (txt, json, csv);
• Possivelmente publicar a rota utilizada e/ou algumas localizações em um mapa.
• Usar como nome do arquivo o código da placa do DETRAN, talvez acrescido de mais informações

Brainstorm de locais para as rotas

• Kobrasol
• Palhoça, pela Elza Lucchi e perpendiculares
• Centro de Florianópolis e redondezas
• Coqueiros
• Santo Amaro e afins
• Barreiros e suas áreas escolares

Material de referência para o banco de imagens

Exemplos de bancos de imagens

• Open Images Dataset V4

Banco de imagens com caixas delimitadoras e anotações para definição da posição e reconhecimento de diversos objetos. (Conferir a aba "extra" no site, lá é mostrado alguns projetos que utilizaram a base de dados)

• Datasets do site DeepLeaning

Lista extensa de datasets e seus links de redirecionamento, que são usados para o propósito de machine learning, bases de qualquer tipo: músicas, imagens, rostos, etc. Estas podem ser usadas para estudo, principalmente a caltech256, uma base de imagens que classifica 30607 imagens em 256 categorias diferentes. Um também interessante, mais próximo do projeto, é o Labelled Faces in the Wild, uma coletânea de rostos humanos e seus nomes.

• Traffic Sign Recognition

Dataset de placas de transito belgas. Pode ser utilizado como exemplo para o nosso. No site há referência de dois materiais que parecem interessantes: Combining Traffic Sign Detection with 3D Tracking Towards Better Driver Assistance; Integrating Object Detection with 3D Tracking Towards a Better Driver Assistance System

• Reconhecimento de tráfego com TensorFlow

Um trabalho sobre reconhecimento de placas de trânsito usando TensorFlow, uma biblioteca de software para machine learning. Na página, há um redirecionamento para um dataset de placas, também belgas, e explica trechos do código em Python que o autor usou.

• Competição do kaggle

Uma competição similar à que gerou o GTSDB, porém nela já são dados dois datasets de placas sob a aba 'data', um para o teste e um para o treinamento dos sistemas.

• Dataset de placas suecas

Trabalho da Universidade de Linköping, na Suécia, uma base com mais de 20000 imagens de 3488 placas, com um aquivo do matlab para o parsing das descrições das imagens, onde 20% das images têm uma.

Identificação e marcação de placas

• Dataturks - Dataturks Demo

Serviço online colaborativo de marcação de bounding boxes e anotações para imagens, vídeos, palavras etc. Pode ser útil para o treinamento da IA, já que após as marcações é possível baixar um Json com essas informações.

• Lista de ferramentas de anotação em imagens

Locais para publicação do artigo

• Página do SBrT
• Revista Telecomunicações - INATEL
• International Workshop on Telecommunications

Placas a serem capturadas

A base irá contemplas as seguintes placas:

• Regulatórias:

• Parada obrigatória (R-1):

• Dê a preferência (R-2):

• Sentido proibido (R-3):

• Proibido virar à esquerda (R-4a):

• Proibido virar à direita (R-4b):

• Proibido retornar à esquerda (R-5a):

• Proibido retornar à direita (R-5b):

• Proibido estacionar (R-6a):

• Estacionamento regulamentado (R-6b):

• Proibido parar e estacionar (R-6c):

• Ultrapassagem proibida (R-7):

• Proibido mudar da esquerda para a direita (R-8a):

• Proibido mudar da direita para a esquerda (R-8b):

• Proibido trânsito de caminhões (R-9):

• Proibido trânsito de veículos automotores (R-10):

• Velocidade máxima permitida (R-19):

• Conserve-se à direita (R-23):

• Vire à esquerda (R-25a):

• Vire à direita (R-25b):

• Siga em frente ou à esquerda (R-25c):

• Siga em frente ou à direita (R-25d):

• Circulação exclusiva de ônibus (R-32):

• Proibido trânsito de ônibus (R-38):

• Circulação exclusiva de caminhões (R-39):

• Sentido de circulação da rotatória (R-33):

• Advertência:

• Curva acentuada à esquerda (A-1a):

• Curva acentuada à direita (A-1b):

• Pista sinuosa à esquerda (A-3a):

• Pista sinuosa à direita (A-3b):

• Curva acentuada em S à esquerda (A-4a):

• Curva acentuada em S à direita (A-4b):

• Semáforo à frente (A-14):

• Pista irregular (A-17):

• Saliência ou lombada (A-18):

• Obras (A-24):

• Pista escorregadia (A-28):

• Trânsito de pedestres (A-32b):

• Área escolar (A-33a):

• Trânsito de escolares (A-33b):

• Animais selvagens (A-36):