Designing deep neural networks using a flexible grammar-based evolutionary approach

Detalhes bibliográficos
Autor(a) principal: Lima, Ricardo Henrique Remes de
Data de Publicação: 2018
Tipo de documento: Tese
Idioma: eng
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/78345
Resumo: Orientador: Aurora Pozo
id UFPR_4bebbba7dc20367f7deffded4b896a4d
oai_identifier_str oai:acervodigital.ufpr.br:1884/78345
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Lima, Ricardo Henrique Remes deSantana Hermida, RobertoUniversidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaRamirez Pozo, Aurora Trinidad, 1959-2022-10-25T12:58:45Z2022-10-25T12:58:45Z2018https://hdl.handle.net/1884/78345Orientador: Aurora PozoCoorientador: Roberto SantanaTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 14/06/2022Inclui referências: p. 67-75Área de concentração: Ciencia da computaçãoResumo: Na área da Computacão Bio-Inspirada, Redes Neurais Artificiais (ANNs) e Algoritmos Evolutivos (EAs) são dois tópicos muito populares, frequentemente aplicados a uma variedade de problemas. Aprendizagem Profunda (DL) tem tido sucesso no processo de automação da engenharia de características, sendo amplamente aplicada para diversas tarefas, como, por exemplo, reconhecimento de fala, classificação, segmentação de imagens, predição de séries temporais, dentre outras. Redes Neurais Profundas (DNNs) incorporam o poder de aprender padrões através dos dados, seguindo um esquema ponta-a-ponta, e expandindo a aplicabilidade em problemas do mundo real, sendo que menos pré-processamento é necessário. EAs podem ser utilizados no projeto de soluções para problemas complexos como, por exemplo, robôs, placas de circuitos, e outros algoritmos, através do uso da Programação Genética (GP). GP utiliza dos mesmos princípios que outros algoritmos evolutivos, evoluindo uma população de soluções, e modificando elas através de operadores de recombinação, buscando pelas melhores soluções, definidas por uma métrica de qualidade. Com o rápido crescimento em ambos escala e complexidade, novos desafios surgiram com relação ao projeto manual e configuração de DNNs. Abordagens evolucionárias têm crescido em popularidade para esse assunto, com mais estudos na área de Neuro-evolução, várias técnicas baseadas em GP tem sido aplicadas de diversas maneiras. Neste trabalho, uma abordagem evolucionária baseada em gramática, chamada GE/DNN, está sendo proposta para o projeto de DNNs. Ela consiste de uma versão modificada da Evolução Gramatical (GE), também buscando inspiração em outros trabalhos relacionados ao projeto de algoritmos, sendo composta por três componentes principais: a gramática, o mapeamento, e o motor de busca. A abordagem é validada em três diferentes aplicações: no projeto de Redes Neurais Convolucionais (CNNs) para a classificação de imagens, U-Nets para segmentação de imagens, e Redes Neurais de Grafos (GNNs) para classificação de textos. Os resultados mostram que a GE/DNN pode gerar diferentes arquiteturas de DNNs de forma eficiente, sendo adaptada para cada problema, e aplicando escolhas que diferem do que é visto usualmente em redes projetadas manualmente. A abordagem tem mostrado grande potencial em relação ao projeto de arquiteturas, atingindo resultados competitivos comparado as demais abordagens comparadas.Abstract: In the field of Bio-Inspired Computation, Artificial Neural Networks (ANNs) and Evolutionary Algorithms (EAs) are two popular topics, often applied to a variety of problems. Deep Learning (DL) has been very successful in automating the feature engineering process, widely applied for various tasks, such as speech recognition, classification, segmentation of images, time-series forecasting, among others. Deep neural networks (DNNs) incorporate the power to learn patterns through data, following an end-to-end fashion, and expand the applicability in real world problems, since less pre-processing is necessary. EAs can be used to design solutions for complex problems, like robots, circuit boards, and designing other algorithms, through the use of Genetic Programming (GP). GP uses the same principles as other evolutionary algorithms, evolving a population of solutions, and modifying them through the use of recombination operators, searching for the fittest solutions, defined by a quality measure. With the fast growth in both scale and complexity, new challenges have emerged regarding the manual design and configuration of DNNs. Evolutionary approaches have been growing in popularity for this subject, as Neuroevolution is studied more, with many GP-based techniques being applied in different ways. In this work, an evolutionary grammar-based GP approach, called GE/DNN, is being proposed for the design of DNNs. It consists of a modified version of Grammatical Evolution (GE), also drawing inspiration from other works related to the design of algorithms, and it is composed of three main components: the grammar, mapping, and search engine. The approach is validated in three different applications: the design of Convolutional Neural Networks (CNNs) for image classification, U-Nets for image segmentation, and Graph Neural Networks (GNNs) for text classification. The results show that GE/DNN can efficiently generate different DNN architectures, being adapted to each problem, and employing choices that differ from what is usually seen in networks designed by hand. This approach has shown a lot of promise regarding the design of architectures, reaching competitive results with the compared approaches.1 recurso online : PDF.application/pdfRedes neurais (Computação)Sistema de reconhecimento de padrõesAlgorítmosProgramação genética (Computação)GramaticaCiencia da computaçãoDesigning deep neural networks using a flexible grammar-based evolutionary approachinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisengreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - RICARDO HENRIQUE REMES DE LIMA.pdfapplication/pdf1357176https://acervodigital.ufpr.br/bitstream/1884/78345/1/R%20-%20T%20-%20RICARDO%20HENRIQUE%20REMES%20DE%20LIMA.pdf60612e2ff19a00257cb55b1990c1c956MD51open access1884/783452022-10-25 09:58:45.929open accessoai:acervodigital.ufpr.br:1884/78345Repositório InstitucionalPUBhttp://acervodigital.ufpr.br/oai/requestinformacaodigital@ufpr.bropendoar:3082022-10-25T12:58:45Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Designing deep neural networks using a flexible grammar-based evolutionary approach
title Designing deep neural networks using a flexible grammar-based evolutionary approach
spellingShingle Designing deep neural networks using a flexible grammar-based evolutionary approach
Lima, Ricardo Henrique Remes de
Redes neurais (Computação)
Sistema de reconhecimento de padrões
Algorítmos
Programação genética (Computação)
Gramatica
Ciencia da computação
title_short Designing deep neural networks using a flexible grammar-based evolutionary approach
title_full Designing deep neural networks using a flexible grammar-based evolutionary approach
title_fullStr Designing deep neural networks using a flexible grammar-based evolutionary approach
title_full_unstemmed Designing deep neural networks using a flexible grammar-based evolutionary approach
title_sort Designing deep neural networks using a flexible grammar-based evolutionary approach
author Lima, Ricardo Henrique Remes de
author_facet Lima, Ricardo Henrique Remes de
author_role author
dc.contributor.other.pt_BR.fl_str_mv Santana Hermida, Roberto
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Lima, Ricardo Henrique Remes de
dc.contributor.advisor1.fl_str_mv Ramirez Pozo, Aurora Trinidad, 1959-
contributor_str_mv Ramirez Pozo, Aurora Trinidad, 1959-
dc.subject.por.fl_str_mv Redes neurais (Computação)
Sistema de reconhecimento de padrões
Algorítmos
Programação genética (Computação)
Gramatica
Ciencia da computação
topic Redes neurais (Computação)
Sistema de reconhecimento de padrões
Algorítmos
Programação genética (Computação)
Gramatica
Ciencia da computação
description Orientador: Aurora Pozo
publishDate 2018
dc.date.issued.fl_str_mv 2018
dc.date.accessioned.fl_str_mv 2022-10-25T12:58:45Z
dc.date.available.fl_str_mv 2022-10-25T12:58:45Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/78345
url https://hdl.handle.net/1884/78345
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 1 recurso online : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/78345/1/R%20-%20T%20-%20RICARDO%20HENRIQUE%20REMES%20DE%20LIMA.pdf
bitstream.checksum.fl_str_mv 60612e2ff19a00257cb55b1990c1c956
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv informacaodigital@ufpr.br
_version_ 1847525653581135872

Registros relacionados