NBD-BRIEF : utilizando informações de proximidade de edifícios na localização global de VANT sobre imagens de satélite

Abstract

Veículos Aéreos Não Tripulados (VANTs) dependem fortemente de sistemas de localização, geralmente GPS, para realizar suas tarefas com seguranęa e eficiência. No entanto, o uso de GPS não está isento de problemas, e depender de uma única fonte de medição pode ser desastroso para a operação do VANT. Para mitigar esse risco, este trabalho propõe um sistema de localização visual de VANT que serve como uma fonte adicional de estimativa de pose no caso de mau funcionamento do GPS. A melhoria do nosso sistema está no modelo de observação usado na localização de Monte Carlo, que utiliza um novo descritor chamado NBD-BRIEF. Esse descritor é baseado em informações de construções presentes no ambiente, através de uma métrica chamada Distancia de Construção Mais Próxima (NBD - Nearest Building Distance) obtidas na posição do veículo. Tal informaęćo é mais estável e menos suscetível a mudanças de luz e cor do que os métodos tradicionais de correspondência baseados em cores. Extraímos o contorno dos prédios das imagens do VANT usando uma rede convolucional para fornecer informaęões semanticas ao nosso sistema. Nossos experimentos demonstram que o descritor NBD-BRIEF supera outras abordagens para o mesmo problema. Além disso, nosso sistema de localização visual de VANT baseado em NBD-BRIEF estima com precisão a pose do VANT em três voos diferentes, enquanto os outros métodos de localização que comparamos, por serem semelhantes ao nosso, falharam. Em resumo, nosso sistema de localização visual proposto fornece uma solução robusta para a estimativa de pose de VANTs que pode aumentar a segurança e eficiência das operaęões de VANTs.

Unmanned Aerial Vehicles (UAVs) rely heavily on localization systems, typically GPS, to perform their tasks safely and efficiently. However, this approach is not without issues, and relying on a single source of measurement could be disastrous for the UAV’s operation. To mitigate this risk, this work proposes a visual UAV localization system that serves as an additional source of pose estimation in the event of GPS malfunctioning. The novelty of our system lies in the measurement model used in Monte Carlo Localization, which utilizes a new descriptor called NBD-BRIEF. This descriptor is based on Nearest Building Distance (NBD) information obtained at the vehicle position and is more stable and less susceptible to changes in light and color than traditional color-based matching methods. We extract the building footprint from the UAV images using a convolutional network to provide semantic information to our system. Our experiments demonstrate that our NBD-BRIEF descriptor outperforms other ap proaches for the same problem. Furthermore, our visual UAV localization system based on NBD-BRIEF accurately estimates the UAV’s pose in three flights, whereas other local ization methods we compared, which are similiar to ours, failed. In summary, our proposed visual localization system provides a more robust solution to UAV pose estimation that could enhance the safety and efficiency of UAV operations.