Module-based learning in autonomous mobile robots. - Esther Luna Colombini (2005)
A informação disponível para robôs em tarefas reais encontra-se amplamente distribuída tanto no espaço quanto no tempo, fazendo com que o agente busque informações relevantes. Neste trabalho, uma solução que usa conhecimento qualitativo e quantitativo da tarefa é implementada a fim de permitir que tarefas robóticas reais sejam tratáveis por algoritmos de Aprendizagem por Reforço (AR). Os passos deste procedimento incluem: 1) decompor a tarefa completa em tarefas menores, usando abstração e macro-operadores, para que um espaço de ações discreto seja atingido; 2) aplicar um modelo de representação do espaço de estados a fim de atingir discretização tanto no espaço de estados quanto no de tempo; 3) usar conhecimento quantitativo para projetar controladores capazes de resolver as subtarefas; 4) aprender a coordenação destes comportamentos usando AR, mais especificamente o algoritmo Q-learning. O método proposto foi verificado em um conjunto de tarefas de complexidade crescente por meio de um simulador para o robô Khepera. Dois modelos de discretização para o espaço de estados foram usados, um baseado em estados e outro baseado em atributos --- funções de observação do ambiente. As políticas aprendidas sobre estes dois modelos foram comparadas a uma política pré-definida. Os resultados mostraram que a política aprendida sobre o modelo de discretização baseado em estados leva mais rapidamente a resultados melhores, apesar desta não poder ser aplicada a tarefas mais complexas, onde o espaço de estados sob esta representação se torna computacionalmente inviável e onde um método de generalização deve ser aplicado. O método de generalização escolhido implementa a estrutura CMAC ( extitCerebellar Model Articulation Controller) sobre o modelo de discretização baseado em estados. Os resultados mostraram que a representação compacta permite que o algoritmo de aprendizagem seja aplicado sobre este modelo, apesar de que, para este caso, a política aprendida sob o modelo de discretização baseado em atributos apresenta melhor performance.