Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia

Detalhes bibliográficos
Autor(a) principal: Cruz, João Carlos Fernandes
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/1822/92477
Resumo: Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores Controlo, Automação e Robótica
id RCAP_bb621cf2e7433b4ff60cf6e79ef5cd3b
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/92477
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de BocciaAn augmented system based on machine learning for boccia assisted gameplayBocciaMonitorização da atividade físicaReconhecimento de gestosTreinador virtualWearableActivity monitoringMotion trackVirtual coachEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores Controlo, Automação e RobóticaA prática desportiva, sendo fundamental, tem vindo a ser menosprezada. Grande parte da população adulta nacional não é fisicamente ativa, o que se traduz num maior risco de doenças não comunicáveis e de mortalidade. Os benefícios da prática desportiva não são meramente físicos, são também um catalisador para o desenvolvimento pessoal que ainda é mais expressivo em pessoas com incapacidades. No âmbito desta dissertação foi desenvolvido um sistema de realidade aumentada para tornar a experiência de jogo de Boccia mais agradável, facilitando a aprendizagem de fatores-chave a nível tático e físico, auxiliando os novos jogadores deste desporto. O trabalho proposto baseia-se num sistema composto por um dispositivo wearable e por uma unidade de processamento. O wearable comunica com um computador através de uma comunicação Wi-Fi bidirecional via web socket. Os dados são posteriormente normalizados e transformados em píxeis numa representação baseada em imagem. A deteção do movimento é feita através de uma rede neuronal. Esta foi criada e testada para fazer a deteção de três classes: lançamento por cima, lançamento por baixo e parado. A imagem gerada pelos dados do wearable serve como entrada da rede neuronal que faz a previsão. Numa fase posterior, fez-se a integração do algoritmo de deteção de movimentos num sistema de monitorização do jogo do Boccia, previamente desenvolvido pelo grupo de trabalhos que o autor integrou. As etapas anteriormente descritas têm interfaces dedicadas, que foram desenvolvidas em ambiente C# através da utilização da framework MahApps e da biblioteca Material Design. Por fim, de modo a avaliar o funcionamento do sistema foram realizados vários tipos de testes. Primeiro foi testado o modelo de inteligência artificial. De seguida, testou-se o sistema de deteção de movimentos com recolha de dados através do wearable colocado no pulso de utilizadores. Finalmente, foram realizados testes de integração do sistema de deteção de movimentos no sistema de monitorização. Nos testes efetuados ao sistema completo obtiveram-se valores de precisão entre os 96.8% e 100%. Os resultados obtidos permitem validar o uso do sistema no jogo do Boccia.The practice of sports, being fundamental, has been neglected. Most of the national adult population is not physically active, which translates into a higher risk of non-communicable diseases and mortality. The benefits of practising sports are not merely physical, they are also a catalyst for personal development, which is even more expressive in people with disabilities. Within the scope of this dissertation, an augmented reality system was developed to make the Boccia game experience more pleasant, facilitating the learning of key factors at a tactical and physical level, and helping new players in this sport. The proposed work is a system composed of a wearable device and a processing unit. The wearable communicates with a computer via bidirectional Wi-Fi communication via web socket. The data is later normalized and transformed into pixels in an image-based representation. Motion detection is done through a neural network. That was created and tested to detect three classes: bottom launch, top launch and idle. An image generated by the wearable data serves as input to the neural network that makes the prediction. At a later stage, the movement detection algorithm was integrated into a Boccia game monitoring system, previously developed by the work group that the author was part of. The steps described above have dedicated interfaces, which were developed in a C# environment using the MahApps framework and the Material Design library. Finally, to evaluate the functioning of the system, several types of tests were carried out. First, the artificial intelligence model was tested. Then, the movement detection system was tested with data collection through the wearable placed on the wrist of the users. Finally, integration tests of the motion detection system in the monitoring system were carried out. In those tests the complete system, precision values between 96.8% and 100% were obtained. The results obtained allow the validation of the system in the Boccia game.Este trabalho foi parcialmente financiado pela FCT – Fundação para a Ciência e Tecnologia no âmbito do Projeto UIDB/00319/2020 (Financiamento Plurianual das Unidades de I&D).Esteves, João SenaUniversidade do MinhoCruz, João Carlos Fernandes2023-05-172023-05-17T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/92477por203592050info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-07-27T01:26:24Zoai:repositorium.sdum.uminho.pt:1822/92477Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T18:38:32.399648Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
An augmented system based on machine learning for boccia assisted gameplay
title Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
spellingShingle Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
Cruz, João Carlos Fernandes
Boccia
Monitorização da atividade física
Reconhecimento de gestos
Treinador virtual
Wearable
Activity monitoring
Motion track
Virtual coach
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
title_full Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
title_fullStr Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
title_full_unstemmed Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
title_sort Sistema de realidade aumentada baseado em aprendizagem automática para assistência no jogo de Boccia
author Cruz, João Carlos Fernandes
author_facet Cruz, João Carlos Fernandes
author_role author
dc.contributor.none.fl_str_mv Esteves, João Sena
Universidade do Minho
dc.contributor.author.fl_str_mv Cruz, João Carlos Fernandes
dc.subject.por.fl_str_mv Boccia
Monitorização da atividade física
Reconhecimento de gestos
Treinador virtual
Wearable
Activity monitoring
Motion track
Virtual coach
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Boccia
Monitorização da atividade física
Reconhecimento de gestos
Treinador virtual
Wearable
Activity monitoring
Motion track
Virtual coach
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores Controlo, Automação e Robótica
publishDate 2023
dc.date.none.fl_str_mv 2023-05-17
2023-05-17T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/92477
url https://hdl.handle.net/1822/92477
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 203592050
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833597563960295424

Registros relacionados