Inferência de contexto para dispositivos móveis utilizando aprendizagem por reforço - Guimarães, Leonardo Lira (2015)
Os avanços das tecnologias de comunicação sem fio e de hardware impulsionaram a popularização do uso de dispositivos móveis. Cada vez mais, estes dispositivos ganham novos recursos de hardware (i.e., sensores e outros gadgets) e software (e.g., reconhecimento facial, de voz, gestos) a fim de que a interação humano-computador ocorra de forma mais natural. Esses recursos deram aos dispositivos móveis uma capacidade maior de percepção do ambiente e das condições nas quais os usuários se encontram, possibilitando o desenvolvimento de aplicações cada vez mais proativas e sensíveis ao contexto. Um sistema sensível ao contexto é capaz de modificar seu comportamento de acordo com os contextos inferidos do ambiente. Entretanto, interpretações errôneas dos dados coletados podem induzir ações inapropriadas e indesejadas nas aplicações. Embora exista uma variedade de técnicas de inferência na literatura (e.g., regras, ontologias, que utilizam aprendizagem supervisionada e não supervisionada), em geral, elas não consideram se as inferências foram de fato adequadas para os contextos do usuário. Além disso, a maioria dessas técnicas utiliza modelos estáticos de inferência (i.e., que não são capazes de se ajustar à mudanças nas condições do ambiente), o que representa uma limitação dessas técnicas quando aplicadas ao domínio das aplicações móveis. Neste trabalho, é proposta uma nova técnica de inferência de contexto para aplicações móveis – chamada de CoRe-RL – que utiliza aprendizagem por reforço a fim de que sejam produzidas inferências cada vez mais adequadas aos contextos do usuário. Nesta técnica, a aprendizagem ocorre de maneira incremental e conforme o usuário interage com o sistema, permitindo que a inferência seja ajustada por meio de recompensas (reforços positivos) e punições (reforços negativos) associadas aos contextos inferidos. Como os contextos estão continuamente sendo aprendidos, a técnica proposta também permite às aplicações um gerenciamento flexível de contextos, ou seja, é possível que novos contextos (rótulos) sejam cadastrados e aprendidos ao longo do tempo. O funcionamento da técnica é divido em duas etapas – classificação e adapxiii tação. O CoRe-RL utiliza o método dos K vizinhos mais próximos (modificado) na classificação. A aprendizagem (adaptação) é baseada em exemplos, mas também faz ajustes sobre os modelos (ranking de características) que ponderam as características mais relevantes de cada contexto, na etapa de classificação. Com o intuito de testar e avaliar o desempenho da técnica proposta, foi desenvolvido, como estudo de caso deste trabalho, um aplicativo que implementa todas as funcionalidades e recursos do CoRe-RL. Através deste aplicativo, foram realizados experimentos práticos de avaliação da classificação e adaptação, em dois cenários específicos: no primeiro cenário havia um único contexto; e no segundo haviam três. Por meio dos experimentos práticos, observou-se que, de acordo com o limiar de corte usado, é possível obter bons desempenhos na classificação mesmo com uma base pequena e com um ranking pouco ajustado. Além disso, demonstrou-se que o CoRe-RL melhora seu desempenho, convergindo para o desempenho ótimo, de acordo com a ocorrência das interações.