Gesture recognition using deep neural networks

Bibliographic Details
Main Author: Brás, André Filipe Pereira
Publication Date: 2017
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/83023
Summary: Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
id RCAP_72781d7c7b2ad2030642cdda19e1014f
oai_identifier_str oai:estudogeral.uc.pt:10316/83023
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Gesture recognition using deep neural networksReconhecimento de gestos usando redes neuronais profundasAprendizagem de máquinaAprendizagem profundaRedes Neuronais ArtificiaisRedes Neuronais ConvolucionaisReconhecimento de gestosMachine learningDeep learningArtificial Neural NetworksConvolutional Neural NetworksGesture recognitionDissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e TecnologiaEsta dissertação teve como principal objetivo o desenvolvimento de um método para realizar segmentação e reconhecimento de gestos. A pesquisa foi motivada pela importância do reconhecimento de ações e gestos humanos em aplicações do mundo real, como a Interação Homem-Máquina e a compreensão de linguagem gestual. Além disso, pensa-se que o estado da arte atual pode ser melhorado, já que esta é uma área de pesquisa em desenvolvimento contínuo, com novos métodos e ideias surgindo frequentemente.A segmentação dos gestos envolveu um conjunto de características artesanais extraídas dos dados 3D do esqueleto, as quais são adequadas para representar cada frame de qualquer sequência de vídeo, e uma Rede Neuronal Artificial para distinguir momentos de descanso de períodos de atividade. Para o reconhecimento de gestos, foram desenvolvidos 3 modelos diferentes. O reconhecimento usando as características artesanais e uma janela deslizante, que junta informação ao longo da dimensão temporal, foi a primeira abordagem. Além disso, a combinação de várias janelas deslizantes com o intuito de obter a influência de diferentes escalas temporais também foi experimentada. Por último, todas as características artesanais foram descartadas e uma Rede Neuronal Convolucional foi usada com o objetivo de extrair automaticamente as características e as representações mais importantes a partir de imagens.Todos os métodos foram testados no conjunto de dados do concurso 2014 Looking At People e o melhor alcançou um índice de Jaccard de 0.71. O desempenho é quase equivalente ao de algumas técnicas do estado da arte.This dissertation had as the main goal the development of a method to perform gesture segmentation and recognition. The research was motivated by the significance of human action and gesture recognition in real world applications, such as Human-Machine Interaction (HMI) and sign language understanding. Furthermore, it is thought that the current state of the art can be improved, since this is an area of research in continuous developing, with new methods and ideas emerging frequently.The gesture segmentation involved a set of handcrafted features extracted from 3D skeleton data, which are suited to characterize each frame of any video sequence, and an Artificial Neural Network (ANN) to distinguish resting moments from periods of activity. For the gesture recognition, 3 different models were developed. The recognition using the handcrafted features and a sliding window, which gathers information along the time dimension, was the first approach. Furthermore, the combination of several sliding windows in order to reach the influence of different temporal scales was also experienced. Lastly, all the handcrafted features were discarded and a Convolutional Neural Network (CNN) was used with the aim to automatically extract the most important features and representations from images.All the methods were tested in 2014 Looking At People Challenge’s data set and the best one achieved a Jaccard index of 0.71. The performance is almost on pair with that of some of the state of the art techniques.2017-07-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/83023https://hdl.handle.net/10316/83023TID:202120848engBrás, André Filipe Pereirainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2020-02-03T11:53:07Zoai:estudogeral.uc.pt:10316/83023Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T05:29:27.997663Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Gesture recognition using deep neural networks
Reconhecimento de gestos usando redes neuronais profundas
title Gesture recognition using deep neural networks
spellingShingle Gesture recognition using deep neural networks
Brás, André Filipe Pereira
Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
title_short Gesture recognition using deep neural networks
title_full Gesture recognition using deep neural networks
title_fullStr Gesture recognition using deep neural networks
title_full_unstemmed Gesture recognition using deep neural networks
title_sort Gesture recognition using deep neural networks
author Brás, André Filipe Pereira
author_facet Brás, André Filipe Pereira
author_role author
dc.contributor.author.fl_str_mv Brás, André Filipe Pereira
dc.subject.por.fl_str_mv Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
topic Aprendizagem de máquina
Aprendizagem profunda
Redes Neuronais Artificiais
Redes Neuronais Convolucionais
Reconhecimento de gestos
Machine learning
Deep learning
Artificial Neural Networks
Convolutional Neural Networks
Gesture recognition
description Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
publishDate 2017
dc.date.none.fl_str_mv 2017-07-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/83023
https://hdl.handle.net/10316/83023
TID:202120848
url https://hdl.handle.net/10316/83023
identifier_str_mv TID:202120848
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602371950739456

Similar Items