Projeto - Desenvolvimento de uma base de imagens de placas de sinalização

Esta é a página do projeto Desenvolvimento de uma base de imagens de placas de sinalização de trânsito para sistemas de reconhecimento automático. O projeto foi submetido e aprovado na Chamada interna nº 13/2018 do campus São José.

Equipe

Coordenador: Diego da Silva de Medeiros <diegomedeiros@ifsc.edu.br>
Membro: Deise Monquelate Arndt <deise.arndt@ifsc.edu.br>
Membro: Mathias Silva da Rosa <mathiassilva4@gmail.com>
Aluno bolsista: Guilherme Fleiger Felipe <guilhermefliegerfelipe@gmail.com>
Aluno voluntário: Augusto Gil de Oliveira <augusto.o@aluno.ifsc.edu.br>

Referência para o projeto como um todo

Trabalho de Conclusão de Curso - Mathias Silva da Rosa

Placas de Trânsito

Estatísticas de acidentes e infrações

Estatísticas de acidentes DETRAN-SC (1995-2005) Estatísticas meio antigas, mas servem como base para artigo.
Ranking de infrações de transito DETRAN-SC (2007-2011)
Pagina de boletins estatísticos Seguradora Líder-DPVAT

Trabalho de férias, resumos

Resumo do artigo Image Dataset for Persian Road Surface Markings.

Brainstorm parâmetros da base de dados

[A] Variedade de placas

[B] Ângulo da câmera - Câmeras podem fazer a captura próximo da placa, com um ângulo íngreme que impediria o sistema de reconhecer as placas;

[A] Resolução da imagem - Variação que ocorre na vida real, dependendo a câmera usada em sistemas;

Pensar numa resolução alta, fornecida diretamente pela câmera (ver qual), e realizar subamostragens para demais resoluções

[A] Hora do dia;

Anotar a hora, mas pensar em 3 cenários: sol favorável, sol atrás da placa e noite:

No período noturno, testar a ação do farol nas placas de transito - Algumas placas podem ter sua tinta refletiva nova ou antiga, mudando a captura; Testar a captura com o farol aceso e apagado.

[A] Condições climáticas - Chuva influencia muito na qualidade da captura;

Capturar imagens com dias de sol, nublado e chuva

[B] Placas degradadas e sujas - É uma boa prática considerar as placas que são praticamente irreconhecíveis;

Verificar a possibilidade (ver da possibilidade da captura em bairros periféricos)

[C] Objetos de cor e formato semelhantes na mesma imagem - Evita "confusão" nos sistemas;

Segunda opção

[A] Distância - Possibilita que os sistemas sejam capazes de reconhecer placas distantes;

Pensar em 3 ou 4 distâncias por placa

[B] Velocidade de aproximação - Dependendo a velocidade do veículo, a placa pode ser borrada;

Vai depender também da velocidade do obturador da câmera
Fazer o trajeto com pausas para a foto, e depois fazer novamente a captura com o carro andando:

Na velocidade mínima
Na velocidade máxima

Verificar para fazer a captura usando um vídeo

[A] Quantidade de placas capturadas;

Deixar este parâmetro para o final, pois a quantidade dependerá dos outros

[A] Placas de advertência - Não capturar apenas as regulatórias, placas de advertência também podem ser úteis em sistemas automáticos.

[A] Marcar rota e coordenadas para pubicação

Após a captura, na fase de demarcação:

Publicar duas versões das imagens, placas demarcadas com um retângulo e não demarcadas;
Múltiplas formatações, tanto das imagens (png, jpg) quanto dos arquivos de texto (txt, json, csv);
Possivelmente publicar a rota utilizada e/ou algumas localizações em um mapa.
Usar como nome do arquivo o código da placa do DETRAN, talvez acrescido de mais informações

Brainstorm de locais e rotas

Kobrasol
Palhoça, pela Elza Lucchi e perpendiculares
Centro de Florianópolis e redondezas(Sugestão:Beira Mar)
Coqueiros
Santo Amaro e afins
Barreiros e suas áreas escolares

Prévia do caminho (precisa ser afinado com as principais ruas a se passar)

Rota Kobrasol 1, contém várias placas de movimentação;
Rota Barreiros 1, contém placas danificadas (ao menos no Google Maps, é preciso verificar);
Rota Forquilinhas 1, rota curta, podemos usar como primeiro exemplo;
Rota BR101, seguinto a BR101 até o retorno da praia do sonho, várias placas de velocidade e algumas não ainda incluídas.

Material de referência para o banco de imagens

Exemplos de bancos de imagens

Open Images Dataset V4

Banco de imagens com caixas delimitadoras e anotações para definição da posição e reconhecimento de diversos objetos. (Conferir a aba "extra" no site, lá é mostrado alguns projetos que utilizaram a base de dados)

Datasets do site DeepLeaning

Lista extensa de datasets e seus links de redirecionamento, que são usados para o propósito de machine learning, bases de qualquer tipo: músicas, imagens, rostos, etc. Estas podem ser usadas para estudo, principalmente a caltech256, uma base de imagens que classifica 30607 imagens em 256 categorias diferentes. Um também interessante, mais próximo do projeto, é o Labelled Faces in the Wild, uma coletânea de rostos humanos e seus nomes.

Traffic Sign Recognition

Dataset de placas de transito belgas. Pode ser utilizado como exemplo para o nosso. No site há referência de dois materiais que parecem interessantes: Combining Traffic Sign Detection with 3D Tracking Towards Better Driver Assistance; Integrating Object Detection with 3D Tracking Towards a Better Driver Assistance System

Reconhecimento de tráfego com TensorFlow

Um trabalho sobre reconhecimento de placas de trânsito usando TensorFlow, uma biblioteca de software para machine learning. Na página, há um redirecionamento para um dataset de placas, também belgas, e explica trechos do código em Python que o autor usou.

Competição do kaggle

Uma competição similar à que gerou o GTSDB, porém nela já são dados dois datasets de placas sob a aba 'data', um para o teste e um para o treinamento dos sistemas.

Dataset de placas suecas

Trabalho da Universidade de Linköping, na Suécia, uma base com mais de 20000 imagens de 3488 placas, com um aquivo do matlab para o parsing das descrições das imagens, onde 20% das images têm uma.

Identificação e marcação de placas

Dataturks - Dataturks Demo

Serviço online colaborativo de marcação de bounding boxes e anotações para imagens, vídeos, palavras etc. Pode ser útil para o treinamento da IA, já que após as marcações é possível baixar um Json com essas informações.