Aprendizado por reforço assistido por imitação para jogos digitais

• Ano de defesa: 2023
• Autor(a) principal: Souza, Felipe Rafael de
• Orientador(a): Bernardino, Heder Soares
• Banca de defesa: Fonseca, Leonardo Goliatt da , Silva, Eduardo Krempser da
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Juiz de Fora (UFJF)
• Programa de Pós-Graduação: Programa de Pós-graduação em Modelagem Computacional
• Departamento: ICE – Instituto de Ciências Exatas
• País: Brasil
• Palavras-chave em Português: Aprendizado por reforço profundo; Redes neurais convolucionais; Redes neurais adversariais; Aprendizado por imitação; Aprendizado por reforço inverso; Otimização de política proximal; Deep reinforcement learning; Convolutional neural networks; Adversarial neural networks; Imitation learning; Inverse reinforcement learning; Proximal policy optimization
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA
• Link de acesso: https://repositorio.ufjf.br/jspui/handle/ufjf/15482

O Aprendizado por Reforço (RL) e o Aprendizado por Imitação (IL) são ramos da Inteligência Artificial que possibilitam o aprendizado através da interação com o ambiente e através da observação de exemplos, respectivamente. Eles possuem aplicações em diversas áreas, tais como: veículos autônomos, controle de robôs e jogos. Os jogos são amplamente utilizados para testar o desempenho de modelos de Aprendizado por Reforço, geralmente utilizando redes neurais profundas, pois proporcionam um ambiente controlado capaz de expor o modelo à uma ampla variedade de problemas e contextos. Dessa forma, o presente trabalho tem como objetivo propor modelos de controle para o jogo Sonic The Hedgehog utilizando Aprendizado por Imitação e Aprendizado por Reforço Profundo. Além disso, busca-se analisar o desempenho de modelos de imitação baseados em estratégias adversariais, investigar o impacto da imitação no comportamento e desempenho do modelo, e verificar se o Aprendizado por Imitação pode ser uma alternativa viável à criação de funções de recompensa. Foram realizados experimentos comparando diversos métodos de IL, a fim de verificar se o mesmo seria capaz de gerar bons controladores para o jogo. Em seguida, os métodos de IL de clonagem comportamental, Aprendizado por Imitação Generativo Adversarial e Aprendizado por Reforço Inverso Adversarial foram utilizados para iniciar o RL, com a hipótese de que o conhecimento prévio de domínio disponibilizado pela imitação auxilie o modelo a atingir melhores resultados. Os resultados obtidos mostraram que o IL pode ser utilizado para gerar controladores de jogos digitais e que a inicialização da etapa de RL com o Aprendizado por Imitação pode ajudar o modelo a obter melhor desempenho.