Detalhes bibliográficos
| Ano de defesa: |
2005 |
| Autor(a) principal: |
Esther Luna Colombini |
| Orientador(a): |
Não Informado pela instituição |
| Banca de defesa: |
Não Informado pela instituição |
| Tipo de documento: |
Dissertação
|
| Tipo de acesso: |
Acesso aberto |
| Idioma: |
eng |
| Instituição de defesa: |
Instituto Tecnológico de Aeronáutica
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: |
|
| Link de acesso: |
http://www.bd.bibl.ita.br/tde_busca/arquivo.php?codArquivo=213
|
Resumo: |
A informação disponível para robôs em tarefas reais encontra-se amplamente distribuída tanto no espaço quanto no tempo, fazendo com que o agente busque informações relevantes. Neste trabalho, uma solução que usa conhecimento qualitativo e quantitativo da tarefa é implementada a fim de permitir que tarefas robóticas reais sejam tratáveis por algoritmos de Aprendizagem por Reforço (AR). Os passos deste procedimento incluem: 1) decompor a tarefa completa em tarefas menores, usando abstração e macro-operadores, para que um espaço de ações discreto seja atingido; 2) aplicar um modelo de representação do espaço de estados a fim de atingir discretização tanto no espaço de estados quanto no de tempo; 3) usar conhecimento quantitativo para projetar controladores capazes de resolver as subtarefas; 4) aprender a coordenação destes comportamentos usando AR, mais especificamente o algoritmo Q-learning. O método proposto foi verificado em um conjunto de tarefas de complexidade crescente por meio de um simulador para o robô Khepera. Dois modelos de discretização para o espaço de estados foram usados, um baseado em estados e outro baseado em atributos --- funções de observação do ambiente. As políticas aprendidas sobre estes dois modelos foram comparadas a uma política pré-definida. Os resultados mostraram que a política aprendida sobre o modelo de discretização baseado em estados leva mais rapidamente a resultados melhores, apesar desta não poder ser aplicada a tarefas mais complexas, onde o espaço de estados sob esta representação se torna computacionalmente inviável e onde um método de generalização deve ser aplicado. O método de generalização escolhido implementa a estrutura CMAC ( extit{Cerebellar Model Articulation Controller}) sobre o modelo de discretização baseado em estados. Os resultados mostraram que a representação compacta permite que o algoritmo de aprendizagem seja aplicado sobre este modelo, apesar de que, para este caso, a política aprendida sob o modelo de discretização baseado em atributos apresenta melhor performance. |
