Sistema de controle data driven para colunas de destilação utilizando deep reinforcement learning.

• Ano de defesa: 2023
• Autor(a) principal: LIMA JÚNIOR, Gladson Euler.
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande; Brasil; Centro de Ciências e Tecnologia - CCT; PÓS-GRADUAÇÃO EM ENGENHARIA QUÍMICA; UFCG
• Palavras-chave em Português: Controle baseado em dados; Aspen Plus Dynamics; Deep Q-Network; Q-learning; Algoritmo de treinamento genérico; Data-driven control; Qlearning; generic training algorithm; Engenharia Química
• Link de acesso: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/32661

O controle preciso da composição em colunas de destilação é essencial para garantir a qualidade do produto e o desempenho do processo. Contudo, os controladores feedback do tipo PID, que são comumente utilizados nestes processos, podem apresentar restrições, dependendo da malha de controle utilizada. Neste sentido, controles baseados em dados utilizando técnicas de reinforcement learning (RL) tem sido uma solução atrativa dada a capacidade de adaptação do algoritmo à diferentes condições de controle. Trabalhos recentes indicam um foco no desenvolvimento de estudos voltados para a performance dos algoritmos de RL negligenciando a robustez na modelagem do ambiente. Neste trabalho foi proposto o desenvolvimento de um algoritmo de treinamento dinâmico integrado utilizando Python e Aspen Plus Dynamics para avaliação de diferentes modelos de RL. A adoção do Aspen Plus Dynamics para treinamento e validação assegurou a complexidade, não-linearidade e aspecto transiente do processo de destilação. Para avaliação do algoritmo foram aplicadas as metodologias do Q-Learning e Deep Q-Network (DQN), acopladas a um controlador PID. A primeira etapa do trabalho consistiu na avaliação do Q-Learning, explorando duas estratégias: uma taxa de atuação de controle fixa de 0,5% e outra com taxa de atuação flexível entre 0,1% e 5%. Na segunda etapa, propôs-se substituir o Q-Learning pelo DQN, mantendo a melhor estratégia da taxa de manipulação. A partir da comunicação do tipo COM foi possível rastrear as variáveis observáveis no software Aspen Plus Dynamics e realizar alterações no modelo dinâmico a partir do Python ao longo de toda a simulação. Os resultados confirmam a limitação da malha de controle inferencial na manutenção da composição de isobutano na base da coluna para distúrbios na composição de propano na alimentação. A estratégia com Q-Learning e taxa de atuação variável apresentou aproximadamente o dobro de assertividade em relação à taxa fixa, ampliando as regiões de acerto. Por outro lado, a utilização do controle DQN permitiu manter a composição dentro da especificação em 96% dos cenários de teste avaliados, com um IAE 52,9 % menor em comparação com o Q-Learning com taxa de atuação variável. Neste sentido, a abordagem DQN mostrou-se capaz de lidar com um processo de alta dimensão e não linear de forma mais robusta.