Export Ready — 

Neuro-Evolution: Representations, Efficiency and Development

Bibliographic Details
Main Author: Assunção, Filipe Guerreiro
Publication Date: 2021
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/95271
Summary: Doctoral thesis submitted in partial fulfllment of the Doctoral Program in Information Science and Technology and presented to the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra.
id RCAP_ab881fded64cdb7b9980e3f8bb2098f0
oai_identifier_str oai:estudogeral.uc.pt:10316/95271
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Neuro-Evolution: Representations, Efficiency and DevelopmentNeuro-EvolutionNeuro-EvoluçãoEvolutionary ComputationComputação EvolucionáriaMachine LearningAprendizagem ComputacionalDomínio/Área Científica::Ciências Naturais::Ciências da Computação e da InformaçãoDoctoral thesis submitted in partial fulfllment of the Doctoral Program in Information Science and Technology and presented to the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra.Artificial Neural Networks (ANNs) are hard to design and optimise. First, we pre-process the dataset and design and extract the features. Second, we define the topology of the network, i.e., select and parameterise the type, sequence, and connectivity of the layers. Third, we train the network, which implies selecting the learning algorithm and setting its parameters. This iterative process is time-consuming, and each choice affects the others. Moreover, to address a new task, the model must be at least reviewed. In the worst case scenario, we may have to re-start from scratch. The literature on approaches that aim at automating the generation of ANNs is vast. The focus of this Thesis is on NeuroEvolution (NE) -- the set of methods that apply Evolutionary Computation to optimise ANNs. Based on the review of the state-of-the-art, it is our perception that the vast majority of NE approaches focus on the optimisation of a particular ANN structure or the generation of solutions to a specific problem. We hypothesise that using Grammar-based Genetic Programming approaches, we can propose and develop a flexible representation to design a general-purpose framework to optimise the deployment of Deep Artificial Neural Networks (DANNs). Additionally, this representation will support time-efficient search and the use of limited computational resources. After examining the performance of Grammatical Evolution and Structured Grammatical Evolution, we conclude that these methods are not appropriate to optimise multi-layered networks. Therefore, we propose Dynamic Structured Grammatical Evolution (DSGE). DSGE is the first contribution of this Thesis and is the core of Deep Evolutionary Network Structured Representation (DENSER). DENSER is a novel grammar-based NE representation, which optimises DANNs using a two-level structure. This representation can encode all aspects of ANNs: from the layer types and sequencing to the learning strategy. It can also encode any other hyper-parameter, e.g., the data augmentation strategy. One of the main limitations of the evolutionary engine used with DENSER is the time needed to generate effective ANNs. Fast Deep Evolutionary Network Structured Representation (Fast-DENSER) uses the representation of DENSER, but to speed up search it replaces the evolutionary engine by an Evolutionary Strategy. Besides, Fast-DENSER introduces a methodology to increase the training time of each individual as generations proceed. As the individuals are enabled to train for longer, by the end of evolution, the networks are fully-trained and ready to be deployed, i.e., after the end of evolution, no further training is required. Finally, we propose incremental development to avoid restarting search from scratch each time we have to solve a new problem. Incremental development facilitates the search in target tasks by warm-starting evolution. Moreover, it allows knowledge from previously addressed source tasks to be incorporated throughout evolution. In other words, incremental development aids evolution by transferring topological information from source to target tasks.A otimização de Redes Neuronais Artificiais (RNAs) é uma tarefa difícil e complexa. Em primeiro, é necessário pré-processar os dados e extrair features. Em segundo, definir a topologia, ou seja, escolher e parametrizar o tipo, ordem e conectividade das camadas da rede. Em terceiro, treinar a rede, o que implica definir qual o algoritmo de aprendizagem e os seus parâmetros. Este processo é iterativo e demorado e as escolhas realizadas em cada etapa afetam as restantes. Não obstante, o modelo tem que ser pelo menos revisto para a resolução de uma nova tarefa. No pior cenário, poderá ser necessário refazer toda a otimização da rede. A literatura é rica em abordagens que focam a otimização de RNAs. Esta Tese foca particularmente a NeuroEvolução (NE) – conjunto de métodos que utilizam Computação Evolucionária para otimizar RNAs. Na bibliografia, a maioria das abordagens de NE evidenciam a otimização de uma RNA específica, ou a geração de soluções para um único problema. A nossa hipótese é que, utilizando técnicas de Programação Genética baseada em Gramáticas, seja possível propor uma representação flexível. Esta representação é facilitadora de uma framework genérica para otimizar e passar a produção Rede Neuronais Profundas (RNPs). No entanto, o método tem que ser eficiente, quer a nível temporal, quer dos recursos computacionais necessários. Após analisarmos o desempenho dos métodos Grammatical Evolution e Structured Grammatical Evolution concluímos que estes não são adequados à otimização de redes multi-camada. Desta forma, propomos uma nova abordagem, à qual chamamos Dynamic Structured Grammatical Evolution. Esta abordagem, além de ser a primeira contribuição da Tese, é também central para o Deep Evolutionary Network Structured Representation (DENSER). O DENSER é proposto como uma representação de NE baseada em gramáticas, que codifica RNPs utilizando uma estrutura com dois níveis. Esta representação permite a codificação de todos os aspetos de uma RNA: tipo e sequenciamento de camadas, algoritmo de aprendizagem, estratégia de geração de dados, etc. Uma das maiores limitações do DENSER é o tempo necessário para gerar uma solução eficaz. O Fast Deep Evolutionary Network Structured Representation (Fast-DENSER) tem como objetivo acelerar a procura de RNAs. No Fast-DENSER o motor evolucionário é substituído por uma Estratégia Evolucionária, mantendo a representação utilizada no DENSER. Por outro lado, no Fast-DENSER o tempo de treino é uma propriedade do indivíduo, que pode aumentar ao longo da evolução. Após o término da evolução, as redes não necessitam de ser treinadas durante mais tempo. Por fim, propomos o desenvolvimento incremental de forma a evitar que a procura comece do início aquando da resolução de um novo problema. Para facilitar a procura, a população inicial é formada tendo em conta as topologias encontradas para problemas anteriores. É também possível incorporar conhecimento proveniente de outros modelos em qualquer fase da evolução. Por outras palavras, o desenvolvimento incremental transfere informação topológica de forma a acelerar a evolução.2021-04-01doctoral thesisinfo:eu-repo/semantics/publishedVersionhttps://hdl.handle.net/10316/95271https://hdl.handle.net/10316/95271TID:101651627engAssunção, Filipe Guerreiroinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2022-05-25T02:57:16Zoai:estudogeral.uc.pt:10316/95271Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T05:43:21.112236Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Neuro-Evolution: Representations, Efficiency and Development
title Neuro-Evolution: Representations, Efficiency and Development
spellingShingle Neuro-Evolution: Representations, Efficiency and Development
Assunção, Filipe Guerreiro
Neuro-Evolution
Neuro-Evolução
Evolutionary Computation
Computação Evolucionária
Machine Learning
Aprendizagem Computacional
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
title_short Neuro-Evolution: Representations, Efficiency and Development
title_full Neuro-Evolution: Representations, Efficiency and Development
title_fullStr Neuro-Evolution: Representations, Efficiency and Development
title_full_unstemmed Neuro-Evolution: Representations, Efficiency and Development
title_sort Neuro-Evolution: Representations, Efficiency and Development
author Assunção, Filipe Guerreiro
author_facet Assunção, Filipe Guerreiro
author_role author
dc.contributor.author.fl_str_mv Assunção, Filipe Guerreiro
dc.subject.por.fl_str_mv Neuro-Evolution
Neuro-Evolução
Evolutionary Computation
Computação Evolucionária
Machine Learning
Aprendizagem Computacional
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
topic Neuro-Evolution
Neuro-Evolução
Evolutionary Computation
Computação Evolucionária
Machine Learning
Aprendizagem Computacional
Domínio/Área Científica::Ciências Naturais::Ciências da Computação e da Informação
description Doctoral thesis submitted in partial fulfllment of the Doctoral Program in Information Science and Technology and presented to the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra.
publishDate 2021
dc.date.none.fl_str_mv 2021-04-01
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/95271
https://hdl.handle.net/10316/95271
TID:101651627
url https://hdl.handle.net/10316/95271
identifier_str_mv TID:101651627
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602451182190592

Similar Items