3D tracking for an augmented reality system

Abstract

Um dos requisitos para se trabalhar com objetos aumentados em um sistema de Realidade Aumentada e a identificação (precisa e em tempo real) da posição e orientação do objeto alvo em relação a câmera que captura a cena. Este problema e de grande importância na área, consequentemente ele e amplamente estudado e diversos métodos já foram propostos. Este trabalho de conclusão de curso tem por objetivo descrever o estudo realizado de várias técnicas do estado da arte na procura de uma solução robusta para o problema de rastreamento em tempo real de um objeto planar texturizado. Os diferentes métodos encontrados na literatura são apresentados, separados em duas categorias: rastreamento por detecção (tracking by detection) e métodos recursivos. Também são mostrados resultados de experimentos para avaliação das técnicas em condições comumente encontradas em aplicações reais de Realidade Aumentada. Baseado nos experimentos realizados, um sistema hibrido e proposto para combinar as qualidades complementares de dois métodos, melhorando a robustez aos desafios presentes no rastreamento 3D. Adicionalmente, uma implementação do sistema em GPU e descrita, o que aumenta a performance do sistema em mais de três vezes o sistema final processa 30 imagens por segundo.

One of the requirements when working with augmented objects in an Augmented Reality system is to identify the pose of the target object with respect to the camera with high accuracy and in real-time. The problem is of great importance in the eld, thus it has been widely studied and there is a variety of methods proposed. The objective of the nal year project described in this report was to study these techniques in search for a robust solution to the problem of real-time tracking of a textured plane for Augmented Reality purposes. We present the studies of several state-of-the-art methods, separating them into two categories: tracking-by-detection methods and recursive methods. We also show the results of experiments evaluating these methods under conditions commonly encountered in practical applications. Based on the experiments results, a hybrid system is proposed to combine the complementary qualities of two methods, achieving real-time performance and robustness to the challenges present in the 3D tracking of a textured plane. Finally, a GPU implementation of the system is described which improves the performance in more than three times compared to the CPU version the final system runs at 30 frames per second.