Object detection and pose estimation from rectification of natural features using consumer RGB-D sensors

• Ano de defesa: 2014
• Autor(a) principal: Lima, João Paulo Silva do Monte
• Orientador(a): Teichrieb, Veronica
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Pernambuco
• Palavras-chave em Português: Augmented reality; Natural features tracking; Computer vision; RGB-D Sensor; Realidade aumentada; Rastreamento de características naturais; Visão computacional; Sensor RGB-D
• Link de acesso: https://repositorio.ufpe.br/handle/123456789/12143

Sistemas de Realidade Aumentada são capazes de realizar registro 3D em tempo real de objetos virtuais e reais, o que consiste em posicionar corretamente os objetos virtuais em relação aos reais de forma que os elementos virtuais pareçam ser reais. Uma maneira bastante popular de realizar esse registro é usando detecção e rastreamento de objetos baseado em vídeo a partir de marcadores fiduciais planares. Outra maneira de sensoriar o mundo real usando vídeo é utilizando características naturais do ambiente, o que é mais complexo que usar marcadores planares artificiais. Entretanto, detecção e rastreamento de características naturais é mandatório ou desejável em alguns cenários de aplicação de Realidade Aumentada. A detecção e o rastreamento de objetos a partir de características naturais pode fazer uso de um modelo 3D do objeto obtido a priori. Se tal modelo não está disponível, ele pode ser adquirido usando reconstrução 3D, por exemplo. Nesse caso, um sensor RGB-D pode ser usado, que se tornou nos últimos anos um produto de fácil acesso aos usuários em geral. Ele provê uma imagem em cores e uma imagem de profundidade da cena e, além de ser usado para modelagem de objetos, também pode oferecer informações importantes para a detecção e o rastreamento de objetos em tempo real. Nesse contexto, o trabalho proposto neste documento tem por finalidade investigar o uso de sensores RGB-D de consumo para detecção e estimação de pose de objetos a partir de características naturais, com o propósito de usar tais técnicas para desenvolver aplicações de Realidade Aumentada. Dois métodos baseados em retificação auxiliada por profundidade são propostos, que transformam características extraídas de uma imagem em cores para uma vista canônica usando dados de profundidade para obter uma representação invariante a rotação, escala e distorções de perspectiva. Enquanto um método é adequado a objetos texturizados, tanto planares como não-planares, o outro método foca em objetos planares não texturizados. Avaliações qualitativas e quantitativas dos métodos propostos são realizadas, mostrando que eles podem obter resultados melhores que alguns métodos existentes para detecção e estimação de pose de objetos, especialmente ao lidar com poses oblíquas.