Directional light vector estimation from a virtual AR object and its 2D shadow mask

• Ano de defesa: 2024
• Autor(a) principal: Yacovenco, Aleksander
• Orientador(a): Vieira, Marcelo Bernardes
• Banca de defesa: Maciel, Luiz Maurílio da Silva , Machado, Alex Fernandes da Veiga
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Juiz de Fora (UFJF)
• Programa de Pós-Graduação: Programa de Pós-graduação em Ciência da Computação
• Departamento: ICE – Instituto de Ciências Exatas
• País: Brasil
• Palavras-chave em Português: Realidade aumentada; Estimativa de iluminação; Reconstrução 3D; Augmented reality; Light estimation; 3D reconstruction
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: https://repositorio.ufjf.br/jspui/handle/ufjf/17031

Realidade Aumentada (RA) é uma tecnologia que permite mesclar ambientes virtuais e reais. Como RA trabalha com quadros de imagem 2D, é necessário encontrar um sistema de coordenadas ligado à perspectiva do observador, o que permite adicionar elementos 3D à cena 2D corretamente. Isso é comumente feito usando um marcador fiducial, um objeto plano conhecido que é marcado como a origem do sistema de coordenadas. Entretanto, encontrar esse sistema de coordandas não é o suficiente para criar um ambiente em que objetos virtuais são adicionados ao mundo real de forma totalmente imersiva. Existem problemas como lidar corretamente com oclusão, extensão do campo de visão, sombreamento, iluminação, dentre outros. Neste trabalho, o objetivo é lidar com o problema de iluminação. Este trabalho apresenta um novo método para inferir a principal fonte de luz em uma cena 3D, dadas apenas entradas 2D: uma imagem de câmera e uma estimativa grosseira de sombra. É proposto um algoritmo de duas etapas, em que a primeira etapa lida com as entradas e realiza uma estimativa inicial do vetor de luz, e a segunda etapa encontra o vetor que corresponde mais adequadamente à luz direcional real da cena, dadas as condições de contorno do sistema. Analisa-se a eficácia do método proposto para encontrar o vetor associado ao melhor máximo local dentro do espaço de busca definido. Os experimentos são realizados em ambientes virtuais e reais, e com diferentes níveis de controle sobre a cena e de informações conhecidas pelo sistema. Os resultados mostram que o método é capaz de encontrar o vetor 3D de luz direcional, bem como aprimorar a estimativa inicial grosseira da sombra.