Aprendizado por reforço profundo para navegação visual semântica com memória

• Ano de defesa: 2020
• Autor(a) principal: Santos, Iury Batista de Andrade
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado por reforço profundo; Aprendizagem profunda; Deep learning; Deep reinforcement learning; Navegação semântica; Navegação visual; Robótica; Robotics; Semantic navigation; Visual navigation
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-16122020-164714/

A navegação de robôs móveis é um tema amplamente estudado ao longo de décadas, sendo esta uma atividade crucial para a inserção de robôs em diversos cenários. Contudo, ambientes complexos e mutáveis, como interiores de residências, ainda apresentam desafios a serem superados, sendo objetos de estudo em diversos trabalhos que adotam abordagens com visão computacional sem usar mapas topológicos ou métricos. Este trabalho propõe uma arquitetura para navegação de robôs móveis visando a busca objeto-direcionada em ambientes internos de residências, utilizando métodos de visão computacional e informações semânticas com memória. A arquitetura proposta tem capacidade de generalizar por meio de conhecimento a priori dos objetos detectados em cenas e também reforçar relacionamentos por meio de experiências passadas, em uma abordagem de navegação baseada em aprendizado. Para tanto, são adotados os seguintes modelos de aprendizado de máquina: redes neurais convolucionais, redes neurais de grafos, redes neurais recorrentes e aprendizado por reforço profundo, em uma abordagem objeto-direcionada. Esta arquitetura foi treinada em diversos ambientes domésticos, adotando-se um ambiente simulado fotorrealista. Esta arquitetura foi avaliada por meio de análise qualitativa, com execuções de episódios do agente no ambiente simulado de maneira visual, e análise quantitativa, usando medidas como taxas de sucesso e taxas de sucesso ponderadas pela trajetória. Políticas aprendidas por meio da arquitetura proposta foram comparadas com agentes de política randômica, com agentes utilizando apenas aprendizado por reforço e, por fim, com agentes com políticas de navegação semântica sem memória. Os experimentos realizados mostraram um comportamento mais exploratório da arquitetura proposta em relação a outros sem memória, obtendo maiores taxas de êxito nas tarefas em ambas as métricas. Quando exposto a cenários mais restritos, e por conseguinte de maior dificuldade, as políticas aprendidas por estes modelos apresentaram os melhores resultados, com menor queda no desempenho quando comparados as execuções menos restritivas e com os demais modelos. Desta forma, o modelo proposto apresentou resultados consistentes de melhoria nas políticas aprendidas pelos agentes, resultando em comportamentos bem sucedidos para tarefas de busca objeto-direcionada em ambientes internos de residências.