Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento

• Ano de defesa: 2022
• Autor(a) principal: Gonçalves, Paulo Henrique Nellessen
• Outros Autores: http://lattes.cnpq.br/7877382081420209
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Amazonas; Instituto de Computação; Brasil; UFAM; Programa de Pós-graduação em Informática
• Palavras-chave em Português: Redes neurais (Computação); Smartphones; CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO; Reconhecimento de atividades humanas; Smartphone; Redes neurais profundas; Destilação de conhecimento; Compressão
• Link de acesso: https://tede.ufam.edu.br/handle/tede/9182

O uso de dispositivos móveis e vestíveis tem possibilitado o monitoramento contínuo das atividades realizadas pelo usuário. Entretanto, esse processo é desafiador devido à natureza complexa dos dados capturados pelos sensores disponíveis nestes dispositivos. Recentemente, o uso de redes neurais profundas tem ampliado os limites para reconhecer atividades humanas com alta precisão. No entanto, no contexto móvel e vestível, as restrições de hardware podem inviabilizar o uso de redes neurais profundas, pois os recursos computacionais são limitados. Para mitigar as limitações relacionadas ao custo computacional de redes neurais profundas, este trabalho propõe um método chamado KD-HAR (Knowledge Distillation for Human Activity Recognition) para compressão de redes neurais profundas baseado na técnica de destilação de conhecimento aplicada a modelos de reconhecimento de atividade humana usando dados de sensores inerciais. Os conhecimentos adquiridos por modelos professores, obtidos por meio de técnicas de otimização de hiperparâmetros, são transferidos para modelos estudantes com menor complexidade. Uma das vantagens do método proposto é a capacidade de extração automática de características, baixo custo computacional e a aproximação da precisão na classificação das atividades quando comparado a redes mais complexas. Para avaliar a capacidade de compressão do método proposto, este trabalho utiliza duas bases de dados (UCI-HAR e WISDM) de sensores inerciais de smartphones. Os resultados obtidos mostram que o método é capaz de manter acurácia competitiva com taxas de compressão que variam de 18 a 42 vezes o número de parâmetros da rede neural profunda destilada em relação ao modelo de professor treinado.