Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória

• Ano de defesa: 2022
• Autor(a) principal: Silva, Carlos Eduardo Rossi Cubas da
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Estadual Paulista (Unesp)
• Palavras-chave em Português: Captura de movimentos faciais; Blendshapes; OPF; Aprendizado de máquina; Floresta aleatória; Floresta de caminhos ótimos; Mídia e tecnologias; Retarget; Facial motion capture; Machine learning; Random forest; Optimum path forest
• Link de acesso: http://hdl.handle.net/11449/238111

Nas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões, com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são naturalmente treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. O redirecionamento de movimento facial é uma das técnicas utilizadas para gerar animações realistas, principalmente em filmes. Muitos sistemas foram desenvolvidos e consistem, de maneira geral, de uma fase de modelagem, captura de movimentos e identificação de expressões faciais, seguido de um procedimento de redirecionamento de expressões. Para o redirecionamento são aplicadas várias técnicas, onde algoritmos de cálculo de distância ou redes neurais são utilizados, fazendo com que a face final gerada no processo seja próxima a da captura. Nesse sentido, a utilização de novas técnicas é extremamente útil permitindo que a acurácia do processo e a velocidade sejam melhoradas. Considerando o contexto exposto, o presente trabalho tem como principal objetivo implementar e validar um sistema de animação facial, o qual utiliza um modelo de classificador supervisionado capaz de identificar as expressões mais comuns da face humana e redirecioná-las, de forma automática, a um modelo de face gerado a partir da combinação de um pequeno número de blendshapes (mistura de formas). Com isso, foi gerado um sistema de animação facial que, através da captura de faces com câmeras RGB e usando como referências apenas informações 2D, conseguiu gerar expressões próximas a da captura utilizando classificadores mais leves, possibilitando o uso em dispositivos acessíveis com tablets, celulares e desktops de baixo custo.