Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D

• Ano de defesa: 2021
• Autor(a) principal: Grassl, E. de B.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Centro Universitário FEI, São Bernardo do Campo
• Palavras-chave em Português: reconhecimento de ações humanas; kinect; graph convolutional networks
• Link de acesso: https://doi.org/10.31414/EE.2021.D.131338; https://repositorio.fei.edu.br/handle/FEI/3227

trabalho proposto busca realizar uma revisão bibliográfica para levantar as bases de dados e reconhecedores de ações estado da arte na literatura recente, além de selecionar dois reconhecedores para compará-los. De acordo com o estudo realizado, os reconhecedores baseados em esqueletos 3D se mostraram promissores e os dois com maior desempenho foram selecionados: MS-G3D e Shift-GCN. Por outro lado, as bases de dados escolhidas foram a NTU RGB+D 120, com 11480 amostras e 120 classes, e a NTU RGB+D HOME, obtida por um subconjunto da NTU RGB+D 120 de 23784 amostras e 25 classes com o foco em ações realizadas em ambientes domésticos ou relacionadas à saúde. Assim, 12 configurações dos reconhecedores selecionados foram criadas e comparadas nas bases de dados propostas pelos métodos cross-subject e cross-setup, onde todas mostraram desempenhos estado da arte de até 85,80% para a base de dados NTU RGB+D 120 e até 84,32% para a NT RGB+D HOME. Além disso, foi possível observar que os reconhecedores baseados em esqueletos 3D são mais robustos em relação a ambientes e perspectivas diferentes e que as informações das arestas entre as juntas ou as movimentação entre as juntas dos esqueletos 3D em frames adjacentes resultaram em um maior desempenho dos reconhecedores. Por último, é possível observar que a fusão dos resultados de reconhecedores treinados com informações diferentes pode trazer um aumento considerável de seus desempenhos. Espera-se que o estudo realizado neste trabalho pode ser utilizado para guiar outros pesquisadores para a seleção de bases de dados e reconhecedores de ações, além de auxiliar a equipe do programa RoboFEI@HOME a incrementar a plataforma robótica HERA com capacidades de reconhecimento de comportamento humano.