Sistema de recomendação de estados para dispositivos atuadores em casas inteligentes: uma abordagem com integração de aprendizado por reforço e feedback implícito.

• Ano de defesa: 2024
• Autor(a) principal: Boaventura, Denis Robson Dantas
• Orientador(a): Durão, Frederico Araujo
• Banca de defesa: Durão, Frederico Araujo , Oliveira Neto, Rosalvo Ferreira de , Santos, Bruno Pereira dos
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal da Bahia
• Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação (PGCOMP)
• Departamento: Instituto de Computação - IC
• País: Brasil
• Palavras-chave em Português: Casas inteligentes; Sistemas de recomendação; Aprendizado por reforço; Feedback implícito; Otimizar; Eficiência; Adaptabilidade; Dispositivos inteligentes
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: https://repositorio.ufba.br/handle/ri/41549

O desenvolvimento das pesquisas em casas inteligentes e Internet das Coisas expandiu o uso de dispositivos inteligentes, criando novas possibilidades de personalização e adaptação das residências às necessidades dos moradores. Com o tempo, esses dispositivos passaram a oferecer serviços que melhoram a eficiência energética, segurança e conforto doméstico. Contudo, essa evolução também trouxe desafios, aumentando a complexidade de gerenciamento dos múltiplos estados dos dispositivos, como ajustes de cor, temperatura e intensidade em lâmpadas inteligentes. Uma alternativa para solucionar alguns desses desafios é a aplicação de sistemas de recomendação de estados ou ações a este tipo de ambiente. Neste trabalho, propomos um sistema de recomendação que busca otimizar a orquestração de dispositivos inteligentes dentro de uma casa, antecipando as necessidades dos usuários e adaptando-se a rotinas que podem mudar. Por meio da aplicação de algoritmos de aprendizado por reforço integrado ao uso de feedback implícito, da codificação de estados compostos e da cooperação entre múltiplos agentes para controle dos dispositivos atuadores, este estudo explora novas abordagens para aprimorar a eficiência e a adaptatividade dos sistemas de recomendação em ambientes residenciais inteligentes. Através do uso de um simulador de ambientes inteligentes, geramos dois conjuntos de dados diferentes, baseados em três rotinas distintas e realizamos experimentos utilizando dois algoritmos de aprendizado por reforço diferentes: Deep Q-Learning e Differential Semi-gradient n-step SARSA . Além disso, ambos os algoritmos foram testados em duas abordagens diferentes: estados simples e estados compostos. Enquanto a abordagem de estado simples considera apenas o estado primário de cada dispositivo, a abordagem de estado composto leva todos os estados em consideração. Os resultados deste estudo demonstram uma capacidade promissora do sistema de antecipar as necessidades dos moradores e se adaptar às mudanças em suas rotinas em ambas as abordagens. Em todos os testes conduzidos, ao utilizar agentes de Deep Q-Learning , o sistema atingiu métricas de Hamming Score superiores a 94%, enquanto com agentes de Differential Semi-gradient n-step SARSA, esta métrica ficou acima de 95% em todos os casos.