Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Outros Autores: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal do Amazonas
Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://tede.ufam.edu.br/handle/tede/9599 |
Resumo: | A Computação NeuroEvoutiva surgiu como uma abordagem promissora para propor arquiteturas de redes neurais sem interferência humana. No entanto, o custo computacional muitas vezes alto dessas abordagens é um sério desafio para sua aplicação e pesquisa. Neste trabalho, analisamos empiricamente práticas padrão com o algoritmo Coevolution of Deep NeuroEvolution of Augmenting Topologies (CoDeepNEAT) e o efeito que diferentes funções de inicialização e ativação têm quando os experimentos são ajustados para redes de rápida evolução em números variados de gerações e populações. Comparamos redes inicializadas com as funções He, Glorot e Random em diferentes configurações de tamanho da população, número de gerações, épocas de treinamento etc. Nossos resultados sugerem que a configuração adequada de hiperparâmetros para treinamentos de poucas épocas em cada geração pode ser suficiente para produzir redes neurais competitivas. Observamos também que a inicialização He, quando associada à NeuroEvolução, tende a criar arquiteturas com múltiplas conexões residuais, enquanto o inicializador Glorot tem o efeito oposto. |