Um sistema de realidade aumentada para a visualização de objetos virtuais e faciais utilizando câmeras RGB-D

• Ano de defesa: 2016
• Autor(a) principal: Azevedo, Pedro Henrique Vieira de Oliveira
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Espírito Santo; BR; Mestrado em Informática; Centro Tecnológico; UFES; Programa de Pós-Graduação em Informática
• Palavras-chave em Português: Augmented reality; Facial reconstruction; Computer graphics; Reconstrução facial; Realidade aumentada; Reconhecimento facial (Computação); Computação gráfica; Ciência da Computação; 004
• Link de acesso: http://repositorio.ufes.br/handle/10/9820

This work presents a virtual try-on system to correctly visualize 3D objects (e.g., glasses) in the face of a given user. By capturing the image and depth information of a user through a low-cost RGB-D camera, we apply a face tracking technique to detect specific landmarks in the facial image. These landmarks and the point cloud reconstructed from the depth information are combined to optimize a 3D facial morphable model that fits as good as possible to the user’s head and face. At the end, we deform the chosen 3D objects from its rest shape to a deformed shape matching the specific facial shape of the user. The last step projects and renders the 3D object into the original image, with enhanced precision and in proper scale, showing the selected object in the user’s face. We validate the performance of our system numerically and visually based on a facial database composed by images and point clouds of male and female subjects with different ages and face shapes.