Projeto - Desenvolvimento de uma base de imagens de placas de sinalização

De MediaWiki do Campus São José
Ir para: navegação, pesquisa

Esta é a página do projeto Desenvolvimento de uma base de imagens de placas de sinalização de trânsito para sistemas de reconhecimento automático. O projeto foi submetido e aprovado na Chamada interna nº 13/2018 do campus São José.

Equipe
  • Coordenador: Diego da Silva de Medeiros <diegomedeiros@ifsc.edu.br>
  • Membro: Deise Monquelate Arndt <deise.arndt@ifsc.edu.br>
  • Membro: Mathias Silva da Rosa <mathiassilva4@gmail.com>
  • Aluno bolsista: Guilherme Fleiger Felipe <guilhermefliegerfelipe@gmail.com>
  • Aluno voluntário: Augusto Gil de Oliveira <augusto.o@aluno.ifsc.edu.br>
Pasta no Google Drive

https://drive.google.com/drive/folders/1fYgBp2_f6CbMJwEMcVP286G2sSOEPM87?usp=sharing


Referência para o projeto como um todo

Trabalho de Conclusão de Curso - Mathias Silva da Rosa
Placas de Trânsito
Estatísticas de acidentes e infrações
Trabalho de férias, resumos
Simulação do Mathias

Brainstorm parâmetros da base de dados

  • [A] Variedade de placas
Placas advertencia.jpg Placas regulatoria.jpg
  • [B] Ângulo da câmera - Câmeras podem fazer a captura próximo da placa, com um ângulo íngreme que impediria o sistema de reconhecer as placas;
Placa pare 1.jpg Placa 30 1.jpg
  • [A] Resolução da imagem - Variação que ocorre na vida real, dependendo a câmera usada em sistemas;
  • Pensar numa resolução alta, fornecida diretamente pela câmera (ver qual), e realizar subamostragens para demais resoluções
  • [A] Hora do dia;
  • Anotar a hora, mas pensar em 3 cenários: sol favorável, sol atrás da placa e noite:
Placa pare 2.jpg Placa 70 1.jpg
  • No período noturno, testar a ação do farol nas placas de transito - Algumas placas podem ter sua tinta refletiva nova ou antiga, mudando a captura; Testar a captura com o farol aceso e apagado.
  • [A] Condições climáticas - Chuva influencia muito na qualidade da captura;
  • Capturar imagens com dias de sol, nublado e chuva
  • [B] Placas degradadas e sujas - É uma boa prática considerar as placas que são praticamente irreconhecíveis;
  • Verificar a possibilidade (ver da possibilidade da captura em bairros periféricos)
  • [C] Objetos de cor e formato semelhantes na mesma imagem - Evita "confusão" nos sistemas;
  • Segunda opção
  • [A] Distância - Possibilita que os sistemas sejam capazes de reconhecer placas distantes;
  • Pensar em 3 ou 4 distâncias por placa
  • [B] Velocidade de aproximação - Dependendo a velocidade do veículo, a placa pode ser borrada;
  • Vai depender também da velocidade do obturador da câmera
  • Fazer o trajeto com pausas para a foto, e depois fazer novamente a captura com o carro andando:
  • Na velocidade mínima
  • Na velocidade máxima
  • Verificar para fazer a captura usando um vídeo
  • [A] Quantidade de placas capturadas;
  • Deixar este parâmetro para o final, pois a quantidade dependerá dos outros
  • [A] Placas de advertência - Não capturar apenas as regulatórias, placas de advertência também podem ser úteis em sistemas automáticos.
Placas advertencia.jpg
  • [A] Marcar rota e coordenadas para pubicação


Após a captura, na fase de demarcação:

  • Publicar duas versões das imagens, placas demarcadas com um retângulo e não demarcadas;
  • Múltiplas formatações, tanto das imagens (png, jpg) quanto dos arquivos de texto (txt, json, csv);
  • Possivelmente publicar a rota utilizada e/ou algumas localizações em um mapa.
  • Usar como nome do arquivo o código da placa do DETRAN, talvez acrescido de mais informações

Brainstorm de locais e rotas

  • Kobrasol
  • Palhoça, pela Elza Lucchi e perpendiculares
  • Centro de Florianópolis e redondezas(Sugestão:Beira Mar)
  • Coqueiros
  • Santo Amaro e afins
  • Barreiros e suas áreas escolares

Prévia do caminho (precisa ser afinado com as principais ruas a se passar)

  • Rota Kobrasol 1, contém várias placas de movimentação;
  • Rota Barreiros 1, contém placas danificadas (ao menos no Google Maps, é preciso verificar);
  • Rota Forquilinhas 1, rota curta, podemos usar como primeiro exemplo;
  • Rota BR101, seguinto a BR101 até o retorno da praia do sonho, várias placas de velocidade e algumas não ainda incluídas.

Material de referência para o banco de imagens

Exemplos de bancos de imagens

Banco de imagens com caixas delimitadoras e anotações para definição da posição e reconhecimento de diversos objetos. (Conferir a aba "extra" no site, lá é mostrado alguns projetos que utilizaram a base de dados)

Lista extensa de datasets e seus links de redirecionamento, que são usados para o propósito de machine learning, bases de qualquer tipo: músicas, imagens, rostos, etc. Estas podem ser usadas para estudo, principalmente a caltech256, uma base de imagens que classifica 30607 imagens em 256 categorias diferentes. Um também interessante, mais próximo do projeto, é o Labelled Faces in the Wild, uma coletânea de rostos humanos e seus nomes.

Dataset de placas de transito belgas. Pode ser utilizado como exemplo para o nosso. No site há referência de dois materiais que parecem interessantes: Combining Traffic Sign Detection with 3D Tracking Towards Better Driver Assistance; Integrating Object Detection with 3D Tracking Towards a Better Driver Assistance System

Um trabalho sobre reconhecimento de placas de trânsito usando TensorFlow, uma biblioteca de software para machine learning. Na página, há um redirecionamento para um dataset de placas, também belgas, e explica trechos do código em Python que o autor usou.

Uma competição similar à que gerou o GTSDB, porém nela já são dados dois datasets de placas sob a aba 'data', um para o teste e um para o treinamento dos sistemas.

Trabalho da Universidade de Linköping, na Suécia, uma base com mais de 20000 imagens de 3488 placas, com um aquivo do matlab para o parsing das descrições das imagens, onde 20% das images têm uma.

Identificação e marcação de placas

Serviço online colaborativo de marcação de bounding boxes e anotações para imagens, vídeos, palavras etc. Pode ser útil para o treinamento da IA, já que após as marcações é possível baixar um Json com essas informações.

Locais para publicação do artigo

Placas a serem capturadas

A base irá contemplas as seguintes placas:

  • Regulatórias:
  • Parada obrigatória (R-1):
Placa parada.jpg
  • Dê a preferência (R-2):
Placa preferencia.jpg
  • Sentido proibido (R-3):
Proibido-frente.jpg
  • Proibido virar à esquerda (R-4a):
Proibido-virar-esquerda.jpg
  • Proibido virar à direita (R-4b):
Proibido-virar-direita.jpg
  • Proibido retornar à esquerda (R-5a):
Proibido-retorno-esquerda.jpg
  • Proibido retornar à direita (R-5b):
Proibido-retorno-direita.jpg
  • Ultrapassagem proibida (R-7):
Placa ultrapassagem.jpg
  • Proibido mudar da esquerda para a direita (R-8a):
Placa proibido esquerda direita.jpg
  • Proibido mudar da direita para a esquerda (R-8b):
Placa proibido direita esquerda.jpg
  • Velocidade máxima permitida (R-19):
Placa velocidade maxima.jpg
  • Conserve-se à direita (R-23):
Placa conserve direita.jpg
  • Vire à esquerda (R-25a):
Placa vire a esquerda.jpg
  • Vire à direita (R-25b):
Placa vire a direita.jpg
  • Siga em frente ou à esquerda (R-25c):
Placa frente esquerda.jpg
  • Siga em frente ou à direita (R-25d):
Placa frente direita.jpg



  • Advertência:
  • Curva acentuada à esquerda (A-1a):
Placa acentuada esquerda.jpg
  • Curva acentuada à direita (A-1b):
Placa acentuada direita.jpg
  • Pista sinuosa à esquerda (A-3a):
Placa sinuosa esquerda.jpg
  • Pista sinuosa à direita (A-3b):
Placa sinuosa direita.jpg
  • Curva acentuada em S à esquerda (A-4a):
Placa S esquerda.jpg
  • Curva acentuada em S à direita (A-4b):
Placa S direita.jpg
  • Pista irregular (A-17):
Placa pista irregula.jpg
  • Saliência ou lombada (A-18):
Placa lombada.jpg
  • Pista escorregadia (A-28):
Placa pista escorregadia.jpg
  • Trânsito de pedestres (A-32b):
Placa pedestres.jpg
  • Área escolar (A-33a):
Placa area escolar.jpg
  • Trânsito de escolares (A-33b):
Placa transito escolares.jpg