[en] DEEP REINFORCEMENT LEARNING FOR VOLTAGE CONTROL IN POWER SYSTEMS - MAURICIO RAPHAEL WAISBLUM BARG (2021)
[pt] Os sistemas de potência são sistemas cyber-físicos responsáveis pela geração e transporte da energia elétrica desde sua fonte geradora até os consumidores finais. Durante este percurso, existem diversos processos que devem ser seguidos para se manter a qualidade do serviço e a segurança e estabilidade do sistema. Um destes processos envolve o controle de diversos equipamentos de maneira que a tensão dos barramentos do sistema se mantenha dentro de faixas pré-estabelecidas. Este controle, normalmente realizado pelos operadores do sistema em tempo real e por equipamentos automáticos de controle, envolve um número muito grande de considerações que dificilmente serão avaliadas no momento da decisão. Para contornar este problema, propõe-se a utilização de uma ferramenta inteligente que seja capaz de escolher as melhores ações a serem tomadas para que a tensão do sistema se mantenha nos níveis adequados levando em consideração as variadas condições do sistema. A metodologia utilizada pela ferramenta consiste na técnica de Deep Reinforcement Learning juntamente com três novas variações: windowed, ensemble e windowed ensemble Q-Learning, que consistem na divisão do processo otimizado em janelas de treinamento, utilização de múltiplos agentes inteligentes para um mesmo processo e a combinação destas duas metodologias. As variações são testadas em circuitos consagrados na literatura e são capazes de obter resultados expressivos quando comparados com a abordagem de Deep Reinforcement Learning tradicional utilizada em outros estudos e com o controle intrínseco do próprio sistema, mantendo a tensão sob controle ao longo do dia.