Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas

Detalhes bibliográficos
Autor(a) principal: Vieira, João Paulo
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/260789
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
id UFSC_8c41bacfc283a81e8b33cda44f8785f4
oai_identifier_str oai:repositorio.ufsc.br:123456789/260789
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicasAquisição de áudioSistemas embarcadosAprendizado ProfundoCenas AcústicasTCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.Este trabalho de conclusão de curso descreve o desenvolvimento de um sistema embarcado para aquisição e transmissão de áudio, com o objetivo de classificar cenas acústicas utilizando um modelo de aprendizado profundo. O sistema utiliza a ESP32 como microcontrolador, microfones digitais MEMS para capturar áudio e um cartão SD para armazenamento. Os arquivos de áudio gravados são transmitidos para um servidor web via WiFi e, posteriormente, classificados por uma aplicação em Python que interage com o modelo de aprendizado profundo SED-LINSE, treinado com a arquitetura PaSST (Patchout Fast Spectrogram Transformer). O trabalho detalha o desenvolvimento do sistema, incluindo a configuração dos componentes, a omplementação dos protocolos de comunicação e a criação das aplicações web para gerenciamento de dados e classificação. Os resultados demonstraram o bom funcionamento do sistema em testes práticos, com a ESP32 registrando cada etapa por meio de logs na porta serial. A qualidade do áudio gravado foi considerada boa, com taxa de amostragem de 16 kHz e espectrogramas mostrando continuidade nos dados. O trabalho destaca os desafios de integrar aprendizado de máquina em sistemas embarcados com recursos limitados de memória e processamento. A transmissão de dados via WiFi, combinada com o processamento na nuvem, surge como uma solução eficiente para superar essas limitações, permitindo maior flexibilidade e capacidade de processamento sem sobrecarregar o hardware local.This final project describes the development of an embedded system for audio acquisition and transmission, with the goal of classifying acoustic scenes using a deep learning model. The system utilizes the ESP32 as the microcontroller, digital MEMS microphones to capture audio, and an SD card for storage. The recorded audio files are transmitted to a web server via Wi-Fi and subsequently classified by a Python application that interacts with the SED-LINSE deep learning model, trained with the PaSST (Patchout Fast Spectrogram Transformer) architecture. The project details the system’s development, including the configuration of components, implementation of communication protocols, and the creation of web applications for data management and classification. The results demonstrated the system’s proper functioning during practical tests, with the ESP32 logging each step via the serial port. The audio quality was considered good, with a sampling rate of 16 kHz, and spectrograms showed continuity in the data. The project highlights the challenges of integrating machine learning in embedded systems with limited memory and processing resources. The use of Wi-Fi data transmission, combined with cloud processing, emerges as an efficient solution to overcome these limitations, allowing greater flexibility and processing capacity without overloading the local hardware.Florianópolis, SC.Souza, Richard DemoGontijo, Walter AntônioUniversidade Federal de Santa Catarina.Vieira, João Paulo2024-10-22T13:01:30Z2024-10-22T13:01:30Z2024-10-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis51application/pdfhttps://repositorio.ufsc.br/handle/123456789/260789porOpen Access.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2024-10-22T13:01:30Zoai:repositorio.ufsc.br:123456789/260789Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732024-10-22T13:01:30Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
title Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
spellingShingle Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
Vieira, João Paulo
Aquisição de áudio
Sistemas embarcados
Aprendizado Profundo
Cenas Acústicas
title_short Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
title_full Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
title_fullStr Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
title_full_unstemmed Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
title_sort Desenvolvimento de um sistema de aquisição de áudio via ESP32 para classificação de cenas acústicas
author Vieira, João Paulo
author_facet Vieira, João Paulo
author_role author
dc.contributor.none.fl_str_mv Souza, Richard Demo
Gontijo, Walter Antônio
Universidade Federal de Santa Catarina.
dc.contributor.author.fl_str_mv Vieira, João Paulo
dc.subject.por.fl_str_mv Aquisição de áudio
Sistemas embarcados
Aprendizado Profundo
Cenas Acústicas
topic Aquisição de áudio
Sistemas embarcados
Aprendizado Profundo
Cenas Acústicas
description TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
publishDate 2024
dc.date.none.fl_str_mv 2024-10-22T13:01:30Z
2024-10-22T13:01:30Z
2024-10-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/260789
url https://repositorio.ufsc.br/handle/123456789/260789
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Open Access.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Open Access.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 51
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC.
publisher.none.fl_str_mv Florianópolis, SC.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1848498736834019328

Registros relacionados