On deep learning features for noisy time series classification - Canário, João Paulo Pereira de Sá (2022)
A adoção de métodos da Deep Neural Network (DNN) para resolver problemas em cenários reais tem vindo a aumentar à medida que o volume de dados cresce. Embora tais métodos apresentem resultados impressionantes na aprendizagem supervisionada, sabe-se que a ocorrência de ruídos que modificam o comportamento original dos dados pode afetar as precisões do modelo e, consequentemente, o processo de generalização, que é altamente relevante nas tarefas de aprendizagem. Foram propostas várias abordagens para reduzir o impacto do ruído no modelo final, variando desde a aplicação de etapas de pré-processamento para o desenho de camadas robustas de DNN. No entanto, temos notado que tais abordagens não foram sistematicamente avaliadas para compreender como as influências sonoras têm sido propagadas ao longo das arquiteturas do DNN. Esta lacuna motivou-nos a conceber este trabalho, que se focava na modelação de dados ruidosos com dependências temporais, tipicamente referidos como séries temporais ou sinais. Em resumo, a nossa principal pretensão foi criar uma rede capaz de funcionar como um filtro de ruído e estar facilmente ligada às redes existentes. Para atingir este objetivo, definimos uma metodologia, que foi organizada em quatro fases: (i) execução de um estudo sobre a aplicação de DNNs a sinais de modelo recolhidos de um problema no mundo real; (ii) investigação de diferentes instrumentos de pré-processamento para transformar esses sinais e reduzir as influências sonoras; (iii) análises sobre o impacto do aumento/redução do ruído no modelo final; e (iv) criação de um novo DNN que pode ser incorporado nas arquiteturas DNN e funcionar como camada de filtragem de ruído para manter as performances globais. A primeira e segunda fases foram conseguidas em colaboração com investigadores da Universidad de La Frontera, que forneceram um conjunto de sinais diretamente recolhidos do vulcão Llaima no Chile. A modelação realizada em tais sinais permitiu a criação de uma nova arquitetura chamada SismyNet. Conhecendo o comportamento ou tais sinais, poderíamos criar um cenário controlado com diferentes níveis de ruído aditivo e saídas produzidas pelos nossos modelos originais, cumprindo assim a terceira fase da metodologia descrita. Em seguida, fizemos dois novos estudos para entender o impacto dos ruídos no nosso cenário. Em primeiro lugar, utilizamos testes estatísticos para confirmar a variação de erro quando o ruído é adicionado aos sinais esperados. Depois, usamos XAI (eXplainable Artificial Intelligence) para compreender visualmente a propagação do ruído nas camadas de DNN. Finalmente, conseguimos terminar a última fase e atingir o nosso objetivo primordial: o desenho de uma nova arquitetura da rede neural com a incorporação da filtragem de ruído para suprimir a fase de pré-processamento. Interpretando os resultados obtidos, entendemos que esta abordagem inovadora aprendeu melhor as características ruidosas e foi capaz de apresentar resultados estáveis para além do nível de ruído no sinal.