Integrando o Machine Learning a um sistema de simulação baseada em agentes - MARTINS, Anderson Lino de Paula (2022)
A competitividade industrial vem aumentando cada vez mais nos últimos anos e uma das alternativas para enfrentar essa competitividade é a utilização das tecnologias da Indústria 4.0, e entre elas, se encontram a Simulação e o Big Data. O Big Data envolve uma grande geração de dados que necessitam interpretação, no qual pode ser interpretado utilizando algoritmos de aprendizado de máquina a partir do aprendizado por reforço, que pode ser em conjunto com a simulação. A simulação computacional é a incorporação do mundo real em um sistema virtual, absorvendo as características fundamentais, e um dos métodos de simulação é a Simulação Baseada em Agentes, no qual o agente é o foco do sistema. Nesse contexto, esse trabalho propõe explicar como é possível integrar o aprendizado de máquina a um sistema de simulação baseada em agentes. Sendo assim, será utilizada uma ferramenta de auxílio ao modelador, mostrando duas formas para realizar essa implementação no software AnyLogic®. A primeira forma será utilizando uma ferramenta externa, o Pathmind, e para isso será criado um sistema que gera caixas de três cores diferentes (vermelho, verde e azul), representado por vetores de forma aleatória. O sistema deverá ser capaz de identificar qual a cor da caixa, sendo o foco na descrição das etapas a serem seguidas para realizar a implementação utilizando essa ferramenta. O teste de eficiência da ferramenta foi dado a partir do número de acertos que a máquina é capaz de realizar, e o resultado encontrado mostrou uma alta eficiência por parte dessa ferramenta. Uma vez que antes da implementação do aprendizado de máquina, o sistema agia de forma aleatória, acertando as cores seguindo a probabilidade estatística de aleatoriedade prevista para esse problema, que era de 12,5%, e após a implementação, o sistema alcançou uma taxa de acerto de 100%, fica evidente a eficiência da ferramenta. A segunda forma será de forma direta no software AnyLogic®, utilizando linguagem de programação Java por meio do algoritmo de aprendizagem por reforço Q-learning, que foi desenvolvido nessa pesquisa. Para isso será utilizado a mesma base do modelo computacional anterior, porém, para essa aplicação serão criadas caixas de cinco cores diferentes (vermelho, verde, azul, branco e preto), e serão representadas por meios de strings, no qual o sistema busca acertar a cor da caixa a partir do aprendizado de máquina utilizando o algoritmo Q-learning e utilizando a matriz de resultado Q. E assim como na forma utilizando a ferramenta externa, a ênfase será na demonstração de todas as etapas a serem seguidas para concluir essa implementação. O sistema novamente se mostrou eficiente sendo capaz de identificar de forma correta em todas as tentativas. Então esse trabalho conseguiu mostrar duas formas eficientes de implementar o aprendizado por reforço no software AnyLogic®, utilizando uma ferramenta externa e de forma direta, no qual a primeira necessita um nível inferior de conhecimento de aprendizado de máquina e programação, se mostrando mais simples, porém, é black box, enquanto da segunda forma é o contrário, exigindo um nível alto de conhecimento de aprendizado de máquina e programação, porém com código aberto.