Implementação de um sistema de captura de movimentos de sinais de Libras para a animação de avatares 3D

• Main Author: Val, Gabriel Junqueira do [UNESP]
• Publication Date: 2024
• Format: Bachelor thesis
• Language: por
• Source: Repositório Institucional da UNESP
• Download full: https://hdl.handle.net/11449/258220
• topic: LIBRAS; MediaPipe; Animação 3D; Avatares Virtuais; MediaPipe; 3D animation; Virtual Avatars; Unity3D

Este trabalho propõe um sistema que captura e redireciona os movimentos da Língua Brasileira de Sinais (LIBRAS) para animar avatares 3D, usando ferramentas de inteligência artificial e visão computacional. A captura dos gestos é realizada com o MediaPipe, que identifica e rastreia pontos-chave do corpo em vídeos de sinais de LIBRAS. Esses dados, uma vez extraídos, são processados pelo motor Unity3D, que anima avatares com base nas informações de movimento obtidas. O sistema implementa um pipeline que envolve: o pré-processamento dos vídeos com os sinais isolados de Libras obtidos do dataset V-LIBRASIL, a extração dos posicionamentos das juntas da parte superior do corpo e mãos (com o uso da biblioteca MediaPipe Pose), a transposição dos movimentos capturados para um esqueleto virtual, bem como a renderização final deste esqueleto, por meio da biblioteca Unity3D. O esqueleto virtual gerado, pode, em trabalhos futuros, ter sua topologia adaptada para ser utilizado na animação de avatares humanóides 3D.