Sistema de recomendação de estados para dispositivos atuadores em casas inteligentes: uma abordagem com integração de aprendizado por reforço e feedback implícito. - Boaventura, Denis Robson Dantas (2024)
O desenvolvimento das pesquisas em casas inteligentes e Internet das Coisas expandiu o uso de dispositivos inteligentes, criando novas possibilidades de personalização e adaptação das residências às necessidades dos moradores. Com o tempo, esses dispositivos passaram a oferecer serviços que melhoram a eficiência energética, segurança e conforto doméstico. Contudo, essa evolução também trouxe desafios, aumentando a complexidade de gerenciamento dos múltiplos estados dos dispositivos, como ajustes de cor, temperatura e intensidade em lâmpadas inteligentes. Uma alternativa para solucionar alguns desses desafios é a aplicação de sistemas de recomendação de estados ou ações a este tipo de ambiente. Neste trabalho, propomos um sistema de recomendação que busca otimizar a orquestração de dispositivos inteligentes dentro de uma casa, antecipando as necessidades dos usuários e adaptando-se a rotinas que podem mudar. Por meio da aplicação de algoritmos de aprendizado por reforço integrado ao uso de feedback implícito, da codificação de estados compostos e da cooperação entre múltiplos agentes para controle dos dispositivos atuadores, este estudo explora novas abordagens para aprimorar a eficiência e a adaptatividade dos sistemas de recomendação em ambientes residenciais inteligentes. Através do uso de um simulador de ambientes inteligentes, geramos dois conjuntos de dados diferentes, baseados em três rotinas distintas e realizamos experimentos utilizando dois algoritmos de aprendizado por reforço diferentes: Deep Q-Learning e Differential Semi-gradient n-step SARSA . Além disso, ambos os algoritmos foram testados em duas abordagens diferentes: estados simples e estados compostos. Enquanto a abordagem de estado simples considera apenas o estado primário de cada dispositivo, a abordagem de estado composto leva todos os estados em consideração. Os resultados deste estudo demonstram uma capacidade promissora do sistema de antecipar as necessidades dos moradores e se adaptar às mudanças em suas rotinas em ambas as abordagens. Em todos os testes conduzidos, ao utilizar agentes de Deep Q-Learning , o sistema atingiu métricas de Hamming Score superiores a 94%, enquanto com agentes de Differential Semi-gradient n-step SARSA, esta métrica ficou acima de 95% em todos os casos.