Sistema para detecção de faixas em rodovias: aplicação de técnicas a partir da utilização do método Systematic Search Flow

Idéia do Projeto

As estradas brasileiras dificilmente tem refletores para indicar o trajeto (olho-de-gato). Por isso, acidentes de trânsito acontecem devido à perda do trajeto por parte do motorista (GO-330 - curva da morte). Este trabalho visa o desenvolvimento de um sistema que detecta a rodovia, e imprime uma linha indicando o seu trajeto.

O trabalho será desenvolvido inicialmente em Matlab, com o reconhecimento da faixa usando imagens estáticas. Havendo resultados satisfatórios, testes práticos poderão ser realizados.

No futuro, com informações como a velocidade do automóvel permitirá gerar alertas de cores (verde para velocidade OK; vermelho para alta velocidade, etc) e/ou sonoros. O sistema poderá ainda utilizar um projetor holográfico de laser para projetar o trajeto no parabrisas, como um HUD. Uma integração com sistemas de GPS poderá ser feita de forma a indicar também o trajeto desejado para determinado destino.

Monografia 2018/2

• Aluno: Lucas Gomes de Farias.
• Orientador: Diego da Silva de Medeiros
• Co Orientadora: Renata Coelho Borges

Cronograma

Baseado no tempo disponível, propusemos o seguinte cronograma. Ele pode ser ajustado.

É necessário verificar ainda sobre as exigências do TCC1. Elas podem mudar o cronograma.

Atividade	Agosto	Setembro	Outubro	Novembro	Dezembro
Levantamento bibliográfico, definição das técnicas, busca da base de dados	x
Implementação		x	x
Testes		x	x
Análise dos resultados			x
Escrita da monografia				x	x

Revisão bibliográfica

Trabalhos em Análise

Embedded Weather Adaptive Lane and Vehicle Detection System - Comentários Current and Adjacent Lanes Detection for an Autonomous Vehicle to Facilitate Obstacle Avoidance Using a Monocular Camera - Foco principal é encontrar a pista, para que o sistema não precise processar o frame inteiro, apenas a região de interesse, com o intuito de encontrar o caminho correto e evitar obstáculos nele. As etapas são: Frames de video, detecção de pista atual <-> Correspondência (matching) de pista, Deteção de pistas adjacentes, aviso de partida de faixa. Detecção de pista atual: A câmera captura em RGB, e é utilizada uma linha horizontal para eliminar áreas inúteis para o reconhecimento da pista. Como o ponto de fuga está no centro do frame, a linha horizontal é passada por ele, e a parte de cima é eliminada. O autor menciona um ponto importante: sobre a estrutura da rodovia sobre a quantidade e sentido das pistas, por este motivo, que é necessário encontrar as linhas (faixas) da pista primeiro. Para diminuir a complexidade computacional, a imagem é transformada do espaço de cor RGB para intensidade, em seguida são encontradas as bordas é utilizado um filtro bi dimensional com coeficientes [-1 0 1]. A imagem é saturada, trocando os valores dos pixels que são menores que zero ou maiores que um para 0 e 1, respectivamente. Em seguida é aplicado o método de OTSU (PESQUISAR), resultando em uma imagem binária. Após isso é aplicada a trasnformada Hough para encontrar as linhas da faixa na imagem binária. Detecção de pista adjacente: Considerando a linha da esquerda(x) e a linha da direita (y) da faixa atual, o autor sugere que, as linhas das pistas adjacentes podem estar em uma distância x/3 e y/3 paralelamente a linha da faixa atual. Matching de Pista: Por vezes, a linha está bloqueada por algum obstáculo, o autor então sugere um método para que a linha da pista seja detectada continuamente, para que então seja uma linha "válida". É calculada a distância da posição das linhas entre os consecuctivos frames. Aviso de partida de faixa: O método calcula a distância entre o ponto mais baixo de cada linha da faixa atual e o centro da imagem (largura). Se o este valor for menor que um certo limite, o veículo estaria saindo da pista. O autor utilizou o limite de 0.4 do frame. Conclusões: A porcentagem de identificação das faixas no cenário testado foi de 94.8 %. Todas as imagens foram obtidas somente durante o dia. Detection of Geometric Shape for Traffic Lane and Mark - Diferencial deste artigo é que trata da detecção e reconhecimento de formas geométricas (faixas de pedestre, de indicação de caminho, etc) As etapas são: Aplicado espaço de cor HSV para segmentar a região da pista do restante da imagem. É feita a detecção de borda para o reconhecimento da pista. É aplicado a equalização por histograma (PESQUISAR) e também o algoritmo de OTSU. É feito o reconhecimento dos sinais de transito (desenhados na pista) através da detecção das linhas na pista, e então é aplicada a "correspondência de correlação cruzada normalizada" para reconhecer sinais de trânsito. BASE DE DADOS: Imagens extraídas de Kenneth Dawson-Howe (pesquisar se é possível utilizar a mesma base de dados) Imagens são transformadas de RGB para HSV, depois as imagens são segmentas em blocos de 8x8 pixels. É pego um dos blocos e analisado o valor de cinza. Identificado então que, apenas isso é insuficiente, pois muitos blocos tem o mesmo valor que os blocos da pista. É feito então a equalização do histograma ***PROCURAR FONTES QUE EXPLIQUEM MELHOR*** e em seguida é utilizado o algoritmo de Otsu para transformar a imagem para uma imagem binária. Com a imagem binária, são aplicados alguns algoritmos para detecção da linha: Algoritimo Canny: A imagem é convolucionada com um filtro gaussiano. O algoritmo usa quatro diferentes mascaras para detectar as bordas verticais, horizontais e diagonais. A imagem é convolucionada com cada mascara, e o resultado é o gradiente e a direção da borda. A partir desses valores é possível completar o processo do algoritmo, oq resulta em uma imagem binária que cada pixel é classificado como um pixel de borda ou não. Em seguida, é aplicada a transformada hough progressiva probabilistica (PPHT). A transformada Hough (HT) serve para extração de "primitivos" (formas?) geométricos. O algortimo PPHT proposto segue uma serie de passos com o objetivo de aumentar a precisão. ***HT DEVE SER ESTUDADA POR OUTRA FONTE, PARA ENTAO ENTENDER O PPHT PROPOSTO*** Autores comentam que apenas encontrar a pista não é satisfatório para um sistema de transporte inteligente, uma vez que, na rodovia há outras marcações importantes a serem detectadas, como faixa de pedestres, flechas de indicação de direção, entre outras. A deteção destas marcações são feitas corelacionando a região de interesse com imagens em template (Imagens modelo). Para o processo de correspondencia (matching) ambas as imagens devem usar o mesmo sistema de coordenadas. Foram feitos testes apenas com imagens estáticas, ficou proposto fazer captura por video e testar o algoritmo completo A Method For Lane Detection Based on Color Clustering - Diferentemente dos outros artigos pesquisados que utilizam as imagens em escala de cinza (preto e branco para diminuir a complexidade), este utiliza o espaço de cor por prover uma informação mais "rica". Utilizado método de Agrupamento de Cores denominado Kmeans que é baseado no CieLab espaço de cores (o mais próximo da visão humana) para segmentar a marcação da pista da imagem. Espaço de Cor CIELab é especificado pela comissão internacional de iluminação e descreve todas as cores visíveis ao olho humano. Autor aborda que são necessárias imagens de alta qualidade para que o método seja utilizado da maneira que foi. Contudo, é possível utilizar este método após a extração da ROI (região de interesse), assim obtendo resultados mais consideráveis. Self-Calibrated Multiple-Lane Detection System - O sistema primeiramente reconhece o tipo de estrada de acordo com a posição do veículo no GPS, informação esta extraída do "OpenStreet Map". Com base nisso, designa diferentes esquemas para a detecção da faixa. As etapas são: Determinação do tipo de Rodovia, Detecção de pista reta, Localização do Veículo em uma pista reta, Calibração dos parâmetros da câmera em tempo real, Detecção de faixa múltipla usando um estilo “Estimativa-detecção”, e por fim, detecção de pista curva. Determinação do tipo de Rodovia: Através do mapa digital OpenStreetMap, é identificado se o veículo encontra-se em uma pista reta ou curva. No OpenStreetMap as rodovias são representadas por uma sequência de pontos. A determinação da posição destes pontos é feita através da análise do comprimento de segmentos da rodovia. Se o segmento adjacente ao analisado sofreu uma mudança abrupta de direção, signfica que a rodovia é curva, caso contrário, reta. Detecção de pista reta: A detecção da faixa central foi feita baseada na transformada de Hough. Divido em duas etapas, através da posição do ponto de fuga da imagem, esta é dividida em duas (direita e esquerda), e a parte da esquerda é então revertida. Assim, nas duas imagens foi possível extrair o parametro p (angulo com a linha reta) e o parametro Y (distância da origem). Após é aplicado o Mapeamento de Perspectiva Inversa (IPM), recuperando as características geométricas das marcações de pista. Localização do Veículo em uma pista Reta: É feita através da distância entre a posição do veículo (um ponto 3m a frente do veiculo, configuração do autor) até a intersecção com a linha esquerda da rodovia. Calibração da camera em tempo real: Desnecessário na pesquisa (Lucas) Detecção de faixa múltipla usando um estilo “Estimativa-detecção”: As linhas adjacentes foram detectadas com base em estimativas feitas apartir da detecção da faixa central. As linhas da faixa central foram projetadas para a esquerda e direita de acordo com a distância entre elas o que resultou em uma boa concordância com as faixas reais da pista. Detecção de pista curva: Semelhante ao de pista reta, porém usando uma curva polinomial de segunda ordem para detectar os candidatos. Conclusões: O sistema pode detectar bem pistas retas e curvas, porém a junção dos dois tipos foi um problema. O sistema deveria aplicar os dois esquemas de detecção e isto acabou não ocorrendo. Mostrado que a transformação de Hough (sozinha, ou seja, sem método hibrido) possuiu uma porcentagem de detecção de 54% devido a mudança de pista do veículo, distância curta até o veículo da frente e pontos insuficientes nas linhas de faixa quando estas eram discretas. Lane detection using hybrid colour segmentation and perpendicular traversal linear search algorithm - O foco principal da pesquisa é analisar e notificar o motorista sobre os movimentos atuais e desvios repentinos do veículo considerando a pista atual. As etapas são, caputra por vídeo, pré-processamento (limiarização, filtragem de ruídos, divisão de quadros), segmentação por cor (híbrida HSV+ YCrCb), detecção da faixa, rastreamento de partida de pista. Etapa de Pré-processamento: A região de interesse é coletada dividindo horizontalmente os frames. Considerando que a câmera está posicionada sempre no mesmo local, foi feita a divisão exatamente na metade, sendo nomeadas de vista próxima e vista adicional. A vista próxima é utilizada para detecção das linhas da estrada. A vista adicional é descartada pois não traz nenhuma informação relevante para o estudo. Etapa de Segmentação por cor: É utilizado um algoritmo híbrido (HSV e YCrCb). Assim aborda a detecção por cor em condições climáticas variadas (chuva, neblina e sombra). Como as linhas das rodovias são feitas em branco, a cor é branca é uma região candidata para a detecção. Primeiramente as imagens são convertidas de RGB para HSV, pois permite avaliar os valores de COR e INTENSIDADE separadamente. A cor das linhas são examinadas usando o fator de MATIZ, e são reconhecidos através de limiares aplicados a cada pixel da imagem. O YCrCb é aplicado no quadro já pré-processado para aumentar o nível de precisão do processo de segmentação por cor. Posteriormente, os dois vetores são misturados. Detecção de faixa baseada em modelo geométrico: Objetivo de identificar potenciais faixas de rodovia. A entrada é o vetor já segmentado (após segmentação por cor). A detecção de borda astuta (Canny edge detection) é aplicada para reconhecer as bordas da imagem então, ele destacará as regiões com bordas de alto contraste. Após isto, é aplicada a transformada probabilística Hough, para extrair as linhas retas da imagem. Perpendicular Traversal Linear Search (PTLS) para identificar as potenciais faixas de rodovia. A imagem é dividida verticalmente e é procurado 3 pixels brancos consecutivos em uma certa angulação, quando isso é encontrado, linhas são desenhadas na imagem para identificar a faixa. Como só a vista próxima foi utilizada, este mesmo algoritmo funciona para curvas. Acompanhamento da faixa: Utilizada para detectar se o veículo está saindo da faixa atual. Resultados: Testado com 200 conjuntos de imagens com diferentes condições climáticas e de iluminação. Com 400 imagens com vários obstáculos e veículos na estrada, o nível de precisão total foi de 90%. Para faixas retas, o nível de precisão foi de 92%, com curvas foi de 83%. O acompanhamento da faixa atingiu um nível de precisão de 96%. Todas as imagens utilizadas foram capturadas apenas durante o dia!!! Illumination Invariant Lane Color Recognition by using Road Color Reference & Neural Networks - Comentários