Evaluation of mapless navigation for unknown indoor environment exploration by single and multiple autonomous mobile robots using Deep Reinforcement Learning

• Ano de defesa: 2022
• Autor(a) principal: Garaffa, Luiza Caetano
• Orientador(a): Freitas, Edison Pignaton de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Robótica; Robo móvel; Aprendizado por reforço
• Palavras-chave em Inglês: Mobile robotics; Unknown environment exploration; Deep Reinforcement Learning; Single robot exploration; Cooperative exploration; Multi-Robot Systems
• Link de acesso: http://hdl.handle.net/10183/275468

A exploração eficiente de ambientes desconhecidos é uma condição fundamental para aplicações modernas de robôs móveis autônomos. A abordagem de exploração tradicional consiste em usar medidas de sensores para construir um mapa, e se basear no mapa gerado para decidir para onde ir. No caso específico da exploração colaborativa por sistemas multi-robôs, o compartilhamento e a fusão de mapas são frequentemente empregados. Tais métodos tendem a resultar em altos custos computacionais, o que pode restringir sua aplicação em cenários com recursos limitados de memória e processamento. Uma alternativa para isso é empregar a navegação sem mapa ao realizar a exploração. No entanto, definir o funcionamento de uma estratégia de exploração resiliente e apropriada não é uma tarefa simples, especialmente de forma sem geração de mapa. Ao mesmo tempo, o emprego do Aprendizado por Reforço Profundo (ARP) tem permitido soluções ótimas ou quase ótimas para vários problemas complexos com entradas de alta dimensionalidade. No entanto, até onde sabemos, não existem trabalhos que investiguem a aplicação de soluções DRL para exploração sem mapa visando a cobertura eficiente da área, sem posições alvo pré-determinadas. Nesse contexto, esta dissertação revisa pesquisas recentes que usam Aprendizado por Reforço para projetar estratégias de exploração de ambientes desconhecidos. Com base nas informações coletadas, propomos uma estrutura de exploração sem mapeamento de ponta a ponta baseada em ARP e adequada para n robôs. A política de exploração é treinada e testada em diferentes ambientes de simulação. Nossa solução permitiu a exploração com eficiência comparável aos métodos DRL que usam representações muito mais complexas do ambiente. O método também promoveu a cooperação entre os agentes sem a necessidade de algoritmos de fusão de mapas, podendo generalizar para diferentes ambientes.