Integrando o Machine Learning a um sistema de simulação baseada em agentes

• Ano de defesa: 2022
• Autor(a) principal: MARTINS, Anderson Lino de Paula
• Orientador(a): PINHO, Alexandre Ferreira de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Itajubá
• Programa de Pós-Graduação: Programa de Pós-Graduação: Mestrado - Engenharia de Produção
• Departamento: IEPG - Instituto de Engenharia de Produção e Gestão
• País: Brasil
• Palavras-chave em Português: Simulação computacional; Simulação baseada em agentes; Aprendizado de máquina; Aprendizado por reforço; Algoritmo Q-learning
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS::ENGENHARIA DE PRODUÇÃO
• Link de acesso: https://repositorio.unifei.edu.br/jspui/handle/123456789/3317

A competitividade industrial vem aumentando cada vez mais nos últimos anos e uma das alternativas para enfrentar essa competitividade é a utilização das tecnologias da Indústria 4.0, e entre elas, se encontram a Simulação e o Big Data. O Big Data envolve uma grande geração de dados que necessitam interpretação, no qual pode ser interpretado utilizando algoritmos de aprendizado de máquina a partir do aprendizado por reforço, que pode ser em conjunto com a simulação. A simulação computacional é a incorporação do mundo real em um sistema virtual, absorvendo as características fundamentais, e um dos métodos de simulação é a Simulação Baseada em Agentes, no qual o agente é o foco do sistema. Nesse contexto, esse trabalho propõe explicar como é possível integrar o aprendizado de máquina a um sistema de simulação baseada em agentes. Sendo assim, será utilizada uma ferramenta de auxílio ao modelador, mostrando duas formas para realizar essa implementação no software AnyLogic®. A primeira forma será utilizando uma ferramenta externa, o Pathmind, e para isso será criado um sistema que gera caixas de três cores diferentes (vermelho, verde e azul), representado por vetores de forma aleatória. O sistema deverá ser capaz de identificar qual a cor da caixa, sendo o foco na descrição das etapas a serem seguidas para realizar a implementação utilizando essa ferramenta. O teste de eficiência da ferramenta foi dado a partir do número de acertos que a máquina é capaz de realizar, e o resultado encontrado mostrou uma alta eficiência por parte dessa ferramenta. Uma vez que antes da implementação do aprendizado de máquina, o sistema agia de forma aleatória, acertando as cores seguindo a probabilidade estatística de aleatoriedade prevista para esse problema, que era de 12,5%, e após a implementação, o sistema alcançou uma taxa de acerto de 100%, fica evidente a eficiência da ferramenta. A segunda forma será de forma direta no software AnyLogic®, utilizando linguagem de programação Java por meio do algoritmo de aprendizagem por reforço Q-learning, que foi desenvolvido nessa pesquisa. Para isso será utilizado a mesma base do modelo computacional anterior, porém, para essa aplicação serão criadas caixas de cinco cores diferentes (vermelho, verde, azul, branco e preto), e serão representadas por meios de strings, no qual o sistema busca acertar a cor da caixa a partir do aprendizado de máquina utilizando o algoritmo Q-learning e utilizando a matriz de resultado Q. E assim como na forma utilizando a ferramenta externa, a ênfase será na demonstração de todas as etapas a serem seguidas para concluir essa implementação. O sistema novamente se mostrou eficiente sendo capaz de identificar de forma correta em todas as tentativas. Então esse trabalho conseguiu mostrar duas formas eficientes de implementar o aprendizado por reforço no software AnyLogic®, utilizando uma ferramenta externa e de forma direta, no qual a primeira necessita um nível inferior de conhecimento de aprendizado de máquina e programação, se mostrando mais simples, porém, é black box, enquanto da segunda forma é o contrário, exigindo um nível alto de conhecimento de aprendizado de máquina e programação, porém com código aberto.