Multiobjective bayesian optimization to enhance computational efficiency in neural network models
Saved in:
| Main Author: | |
|---|---|
| Publication Date: | 2024 |
| Format: | Master thesis |
| Language: | eng |
| Source: | Repositório Institucional da UnB |
| Download full: | http://repositorio.unb.br/handle/10482/51119 |
Summary: | Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024. |
| _version_ | 1871442549762162688 |
|---|---|
| author | Reis, João Gabriel Rodrigues |
| author_browse | Reis, João Gabriel Rodrigues |
| author_facet | Reis, João Gabriel Rodrigues |
| author_role | author |
| bitstream.checksum.fl_str_mv | c012a9e4eb995902710fd0f06340a81d aed4704d04bb260d4decd80db311aaa5 |
| bitstream.checksumAlgorithm.fl_str_mv | MD5 MD5 |
| bitstream.url.fl_str_mv | http://repositorio.unb.br/bitstream/10482/51119/1/2024_JoaoGabrielRodriguesReis_DISSERT.pdf http://repositorio.unb.br/bitstream/10482/51119/2/license.txt |
| collection | Repositório Institucional da UnB |
| contributor_str_mv | Rodrigues, Guilherme Souza |
| dc.contributor.advisor1.fl_str_mv | Rodrigues, Guilherme Souza |
| dc.contributor.author.fl_str_mv | Reis, João Gabriel Rodrigues |
| dc.date.accessioned.fl_str_mv | 2024-12-09T19:28:40Z |
| dc.date.available.fl_str_mv | 2024-12-09T19:28:40Z |
| dc.date.issued.fl_str_mv | 2024-12-09 |
| dc.date.submitted.none.fl_str_mv | 2024-06-13 |
| dc.identifier.citation.fl_str_mv | REIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024. |
| dc.identifier.uri.fl_str_mv | http://repositorio.unb.br/handle/10482/51119 |
| dc.language.iso.fl_str_mv | eng |
| dc.rights.driver.fl_str_mv | info:eu-repo/semantics/openAccess |
| dc.source.none.fl_str_mv | reponame:Repositório Institucional da UnB instname:Universidade de Brasília (UnB) instacron:UNB |
| dc.subject.keyword.pt_BR.fl_str_mv | Redes neurais artificiais Aprendizado de máquina Critério de informação Bayesiano |
| dc.title.alternative.pt_BR.fl_str_mv | Otimização bayesiana multiobjetivo para aperfeiçoar a eficiência computacional em modelos de redes neurais |
| dc.title.pt_BR.fl_str_mv | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| dc.type.driver.fl_str_mv | info:eu-repo/semantics/masterThesis |
| dc.type.status.fl_str_mv | info:eu-repo/semantics/publishedVersion |
| description | Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024. |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| id | UNB_d9ca4e880e9fa69393a7bb2dbaa78a5a |
| identifier_str_mv | REIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024. |
| instacron_str | UNB |
| institution | UNB |
| instname_str | Universidade de Brasília (UnB) |
| language | eng |
| network_acronym_str | UNB |
| network_name_str | Repositório Institucional da UnB |
| oai_identifier_str | oai:repositorio.unb.br:10482/51119 |
| publishDate | 2024 |
| publishDateSort | 2024 |
| reponame_str | Repositório Institucional da UnB |
| repository.mail.fl_str_mv | repositorio@unb.br |
| repository.name.fl_str_mv | Repositório Institucional da UnB - Universidade de Brasília (UnB) |
| repository_id_str | |
| spelling | Reis, João Gabriel RodriguesRodrigues, Guilherme Souza2024-12-09T19:28:40Z2024-12-09T19:28:40Z2024-12-092024-06-13REIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024.http://repositorio.unb.br/handle/10482/51119Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024.Modelos de aprendizado de máquina, especialmente Redes Neurais Artificiais (RNAs), tornaram-se ferramentas indispensáveis em diversas áreas devido à sua capacidade de aprender com dados e fazer previsões ou tomar decisões. A grande flexibilidade dos modelos de RNA torna a escolha dos hiperpâmetros crucial para a obtenção do desempenho ideal. Entretanto, encontrar essa configuração pode ser uma tarefa desafiadora e computacionalmente intensiva. O ajuste de hiperparâmetros (hyperparameter tuning) é crucial para otimizar o desempenho de modelos de aprendizado de máquina. Diversas técnicas são empregadas para essa finalidade, sendo a Otimização Bayesiana (BO) uma das mais prevalentes. Contudo, essa abordagem tradicionalmente foca na maximização da precisão dos modelos, o que frequentemente resulta em modelos desnecessariamente complexos. Esse processo muitas vezes ignora o princípio da parcimônia, também conhecido como a navalha de Occam, que sugere a preferência por soluções mais simples quando desempenhos similares são possíveis. Na aplicação do princípio de parcimônia em modelos estatísticos clássicos, foram desenvolvidas várias métricas, como o AIC (Critério de Informação de Akaike) e o BIC (Critério de Informação Bayesiano). Essas métricas avaliam não apenas a precisão do modelo, mas também o número de parâmetros, buscando um equilíbrio entre complexidade e desempenho. No entanto, sua aplicabilidade é limitada em redes neurais artificiais (RNAs) devido à complexidade destes modelos. As RNAs frequentemente não possuem um conjunto único de pesos ótimos devido à sua alta capacidade de parametrização e às múltiplas soluções locais encontradas durante o treinamento. Essa característica torna desafiador determinar o número efetivo de parâmetros ou os graus de liberdade de uma RNA, o que é crucial para a aplicação do AIC e do BIC, comprometendo a validade dessas métricas para avaliar sua parcimônia. Uma abordagem adotada para contornar essa limitação foi utilizar o custo total de treinamento e avaliação da RNA como um indicativo de sua parcimônia, visando identificar o modelo mais eficiente, ou seja, que tenham alto poder preditivo sem comprometer excessivamente os recursos computacionais. Normalmente os algoritmos de BO focam em um único objetivo (predições mais acuradas), o que pode resultar em soluções com alto consumo de recursos. Alternativamente, a Otimização Bayesiana Multi Objetivo (MOBO) é uma generalização do BO que lida com múltiplos objetivos conflitantes, permitindo uma tunagem de hiperparâmetros que equilibra a precisão do modelo e o custo computacional. Este estudo investiga a eficácia da MOBO na redução dos custos computacionais totais, mantendo ao mesmo tempo a alta acurácia dos modelos, através de simulações que comparam o desempenho da MOBO com métodos tradicionais de BO e busca aleatória. A BO é uma técnica bastante popular para a tunagem de hiperparâmetros, pois é capaz de encontrar boas configurações com poucas avaliações da função objetivo. Isso é especialmente útil quando a avaliação da função é computacionalmente cara. A BO utiliza processos gaussianos para modelar a função objetivo, permitindo uma estimativa precisa das regiões promissoras no espaço de hiperparâmetros. Através do uso de funções de aquisição, a BO equilibra automaticamente a exploração de novas áreas do espaço de hiperparâmetros e a exploração de áreas já conhecidas que parecem promissoras. Isso ajuda a guiar a busca de maneira inteligente. Utilizando processos gaussianos e funções de aquisição adaptadas, a MOBO pode identificar soluções que oferecem um compromisso eficiente entre diferentes métricas de desempenho. Isso é particularmente vantajoso em cenários onde é necessário minimizar o consumo de recursos. Utilizando o HPOBench, uma plataforma que proporciona uma ampla gama de benchmarks específicos para otimização de hiperparâmetros, este estudo avalia a eficácia da tunagem de hiperparâmetros ao considerar simultaneamente duas funções-objetivo: acurácia e custo. Por meio de simulações, o desempenho de diversas implementações MOBO, BO e métodos de busca aleatória foram comparados. Os resultados obtidos demonstraram que o MOBO foi capaz de gerar modelos significativamente mais eficientes, reduzindo bastante o custo computacional sem sacrificar a precisão.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).The optimization of hyperparameters is a crucial step in enhancing the performance of machine learning models, particularly Artificial Neural Networks (ANNs). This dissertation explores the application of Multi-Objective Bayesian Optimization (MOBO) to improve computational efficiency in neural network predictions. Traditional Bayesian Optimization (BO) focuses on a single objective, often resulting in resource-intensive solutions. MOBO, however, addresses multiple conflicting objectives, allowing for a balanced trade-off between model accuracy and computational cost. In this study, we conducted simulations using a benchmark framework HPOBench (Schneider et al., 2021) to compare the performance of MOBO with traditional BO and random search algorithms. The results demonstrate that MOBO significantly reduces total computational cost while maintaining high model accuracy.Instituto de Ciências Exatas (IE)Departamento de Estatística (IE EST)Programa de Pós-Graduação em EstatísticaengA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessMultiobjective bayesian optimization to enhance computational efficiency in neural network modelsOtimização bayesiana multiobjetivo para aperfeiçoar a eficiência computacional em modelos de redes neuraisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisRedes neurais artificiaisAprendizado de máquinaCritério de informação Bayesianoreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNBORIGINAL2024_JoaoGabrielRodriguesReis_DISSERT.pdf2024_JoaoGabrielRodriguesReis_DISSERT.pdfapplication/pdf1200935http://repositorio.unb.br/bitstream/10482/51119/1/2024_JoaoGabrielRodriguesReis_DISSERT.pdfc012a9e4eb995902710fd0f06340a81dMD51open accessLICENSElicense.txtlicense.txttext/plain102http://repositorio.unb.br/bitstream/10482/51119/2/license.txtaed4704d04bb260d4decd80db311aaa5MD52open access10482/511192024-12-09 16:28:40.855open accessoai:repositorio.unb.br:10482/51119U3VibWlzc8OjbyBlZmV0aXZhZGEgZGUgYWNvcmRvIGNvbSBsaWNlbsOnYSBjb25jZWRpZGEgcGVsbyBhdXRvciBlL291IGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcy4KRepositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-12-09T19:28:40Repositório Institucional da UnB - Universidade de Brasília (UnB) |
| spellingShingle | Multiobjective bayesian optimization to enhance computational efficiency in neural network models Reis, João Gabriel Rodrigues Redes neurais artificiais Aprendizado de máquina Critério de informação Bayesiano |
| status_str | publishedVersion |
| title | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| title_full | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| title_fullStr | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| title_full_unstemmed | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| title_short | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| title_sort | Multiobjective bayesian optimization to enhance computational efficiency in neural network models |
| topic | Redes neurais artificiais Aprendizado de máquina Critério de informação Bayesiano |
| url | http://repositorio.unb.br/handle/10482/51119 |