Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal

• Ano de defesa: 2018
• Autor(a) principal: Machado, Marcelo Chamy
• Outros Autores: http://lattes.cnpq.br/9752088014983044
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Amazonas; Instituto de Computação; Brasil; UFAM; Programa de Pós-graduação em Informática
• Palavras-chave em Português: Caracterização espaço-temporal; Classificação automática de vídeos; Base de Dados da LIBRAS; Classificação da LIBRAS; CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
• Link de acesso: https://tede.ufam.edu.br/handle/tede/6645

A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um problema bastante complexo, devido às particularidades e características desta linguagem de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos. Porém, a maioria dos métodos propostos reconhece somente letras e números, ou uma quantidade reduzida de palavras. Além disso, devido a essas limitações, os resultados dessas pesquisas ainda não são suficientes para tornar possível a comunicação com os surdos sem a dependência de intérpretes, e os serviços básicos como educação e saúde necessitam desses profissionais para suprirem a demanda de atendimento a deficientes auditivos. Outro problema enfrentado ao tentar vislumbrar soluções é a inexistência de uma base de dados pública que contenha um número significativo de sinais rotulados por especialistas desta área. Por fim, técnicas de aprendizado profundo têm sido utilizadas para resolver muitos problemas de visão computacional, mas não foram encontrados trabalhos diretamente relacionados à classificação automática da LIBRAS utilizando tais técnicas. Diante dessas observações, este trabalho utiliza um método baseado em rede neural profunda convolutiva em 3 dimensões (3D), características espaços-temporais extraídas, estratégia de transferência de aprendizado e dados de profundidade associados aos do tipo Red, Green, Blue (RGB), para realizar a classificação dos sinais da LIBRAS mais comuns empregados na alfabetização de surdos. Além disso, outra contribuição importante é a base de dados gerada e rotulada, composta por 510 instâncias, todas representando sinais dinâmicos, dada a inexistência de bases de vídeos da LIBRAS com essa quantidade de amostras.