Sistema de apoio a pessoas idosas baseado em aprendizagem automática

Detalhes bibliográficos
Autor(a) principal: Fontes, Rui Miguel Carvalho da Silva
Data de Publicação: 2024
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/1822/93039
Resumo: Dissertação de mestrado em Engenharia Informática
id RCAP_ba3419733d22bd7d997898af334fbddc
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/93039
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Sistema de apoio a pessoas idosas baseado em aprendizagem automáticaAprendizagem automáticaAprendizagem profundaEstimativa da pose humanaReconhecimento de expressões faciaisTensorFlowOpenCVMediaPipeMachine learningDeep learningHuman pose estimationFacial expression recognitionEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado em Engenharia InformáticaNo presente trabalho foi desenvolvida uma solução de apoio a pessoas idosas, doentes ou com limitações físicas, baseada em técnicas de aprendizagem automática e visão por computador. Os modelos de aprendizagem profunda utilizados resolvem problemas de classificação de imagens. Para desenvolver a solução proposta foi utilizada a linguagem Python e as bibliotecas TensorFlow, MediaPipe e OpenCV. Antes de treinar os modelos de aprendizagem automática, foram aplicadas técnicas de pré processamento às imagens, para as preparar para os modelos classificadores. A solução final desenvolvida combina duas tarefas de classificação diferentes: a estimação da pose humana e o reconhecimento de expressões faciais. Para estimar a pose humana, primeiro utilizou-se um algoritmo que identifica a posição das articulações do corpo, sendo estas posições posteriormente classificadas com uma rede neuronal convolucional em três classes, queda, sentado e em pé/a andar. Para efetuar o reconhecimento de expressões faciais utilizaram-se dois tipos de dados, os atributos de cor dos pixeis das imagens e os pontos de referência das faces previamente identificadas. Estes dados foram depois classificados por uma rede neuronal híbrida, que inclui uma rede completamente ligada a uma rede convolucional. A solução final proposta combina estes dois modelos, o que permite a partir de uma imagem de uma pessoa, gerar um aviso se o modelo de estimação da pose detetar uma queda ou quando o modelo de reconhecimento de expressões faciais identificar uma expressão de dor. O modelo de estimação da pose identificou a classe queda com uma precisão de 97%, um recall de 98% e uma acurácia de 97%. A expressão de dor foi identificada pelo modelo de reconhecimento de expressões faciais com uma precisão de 82%, um recall de 86% e uma acurácia de 92%. O maior desafio no reconhecimento da expressão foi a deteção da face nas imagens.In the present work, a support solution for elderly, sick or physically limited people was developed, based on machine learning and computer vision techniques. The deep learning models used solve image classification problems. In order to develop the proposed solution, we used the Python programming language and the TensorFlow, MediaPipe, and OpenCV libraries. Before training the machine learning models, preprocessing techniques were applied to the images to prepare them for the classification models. The final solution developed combines two different classification tasks: human pose estimation and facial expression recognition. To estimate the human pose, we first applied an algorithm to identify the position of the body’s joints, and these positions were subsequently classified with a convolutional neural network into three classes, falling, sitting and standing/walking. To recognize facial expressions, two types of data were used: the color attributes of the image’s pixels and the reference points of previously identified faces. This data was then classified by a hybrid neural network, which includes a fully connected network and a convolutional network. The proposed solution combines these two models, which allows to generate a warning if the pose estimation model detects a fall or when the facial expression recognition model identifies an expression of pain, and does this from just one image of a person. The pose estimation model identified the falling class with a precision of 97%, a recall of 98%, and an accuracy of 97%. The pain expression was identified by the facial expression recognition model with a precision of 82%, a recall of 86%, and an accuracy of 92%. The biggest challenge in expression recognition was detecting the face in the images.Esteves, AntónioUniversidade do MinhoFontes, Rui Miguel Carvalho da Silva2024-02-192024-02-19T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/93039por203668111info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-09-14T01:30:56Zoai:repositorium.sdum.uminho.pt:1822/93039Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T18:49:38.203670Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Sistema de apoio a pessoas idosas baseado em aprendizagem automática
title Sistema de apoio a pessoas idosas baseado em aprendizagem automática
spellingShingle Sistema de apoio a pessoas idosas baseado em aprendizagem automática
Fontes, Rui Miguel Carvalho da Silva
Aprendizagem automática
Aprendizagem profunda
Estimativa da pose humana
Reconhecimento de expressões faciais
TensorFlow
OpenCV
MediaPipe
Machine learning
Deep learning
Human pose estimation
Facial expression recognition
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Sistema de apoio a pessoas idosas baseado em aprendizagem automática
title_full Sistema de apoio a pessoas idosas baseado em aprendizagem automática
title_fullStr Sistema de apoio a pessoas idosas baseado em aprendizagem automática
title_full_unstemmed Sistema de apoio a pessoas idosas baseado em aprendizagem automática
title_sort Sistema de apoio a pessoas idosas baseado em aprendizagem automática
author Fontes, Rui Miguel Carvalho da Silva
author_facet Fontes, Rui Miguel Carvalho da Silva
author_role author
dc.contributor.none.fl_str_mv Esteves, António
Universidade do Minho
dc.contributor.author.fl_str_mv Fontes, Rui Miguel Carvalho da Silva
dc.subject.por.fl_str_mv Aprendizagem automática
Aprendizagem profunda
Estimativa da pose humana
Reconhecimento de expressões faciais
TensorFlow
OpenCV
MediaPipe
Machine learning
Deep learning
Human pose estimation
Facial expression recognition
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Aprendizagem automática
Aprendizagem profunda
Estimativa da pose humana
Reconhecimento de expressões faciais
TensorFlow
OpenCV
MediaPipe
Machine learning
Deep learning
Human pose estimation
Facial expression recognition
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado em Engenharia Informática
publishDate 2024
dc.date.none.fl_str_mv 2024-02-19
2024-02-19T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/93039
url https://hdl.handle.net/1822/93039
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 203668111
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833597690534952960

Registros relacionados