Deep reinforcement learning framework for fault detection in continuous chemical processes

• Ano de defesa: 2024
• Autor(a) principal: Rodrigo Fontes Mantovani
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Minas Gerais; Brasil; ENG - DEPARTAMENTO DE ENGENHARIA QUÍMICA; Programa de Pós-Graduação em Engenharia Química; UFMG
• Palavras-chave em Português: Fault detection; Continuous chemical processes; Reinforcement learning; Deep Q-Learning; Machine Learning; Engenharia química; Processos de fabricação; Aprendizado por reforço; Aprendizado do computador; Framework (Programa de computador); Detecção de anomalias (Computação)
• Link de acesso: http://hdl.handle.net/1843/78017

Processos industriais modernos estão sujeitos a padrões cada vez mais altos de qualidade, segurança, sustentabilidade e economia. A implementação de controle em malha fechada visa assegurar o cumprimento desses padrões, compensando perturbações e mudanças no processo. Contudo, falhas, ou seja, desvios não permitidos em propriedades ou variáveis do sistema, ainda são comuns e podem afetar significativamente o processo, dificultando a aderência a esses requisitos. Assim, práticas de monitoramento de processos para detectar, diagnosticar e corrigir falhas tornam-se cada vez mais cruciais. Em um contexto de Aprendizado de Máquina, boa parte das abordagens tradicionais se baseiam em aprendizado supervisionado, com o objetivo de determinar o mapeamento entre os dados do processo e algum conjunto discreto de classes, neste caso os tipos de falhas. Recentemente, abordagens de detecção de falhas industriais baseadas em Aprendizado por Reforço (Reinforcement Learning, RL) se fazem cada vez mais presentes na literatura. Os métodos de RL consistem no desenvolvimento de agentes inteligentes que aprendem a interagir com determinado ambiente para maximizar recompensas. No entanto, a maioria das abordagens atuais foca em sistemas simples com poucas variáveis. Este projeto visou criar um framework de RL para detecção de falhas em processos químicos contínuos, que envolvem múltiplas variáveis e dinâmicas complexas. Por meio do algoritmo Deep Q-Learning, o framework proposto foi capaz de detectar vinte falhas diferentes no Tennessee Eastman Process (TEP), benchmark amplamente utilizado na comunidade científica que consiste em uma simulação realista de um processo químico contínuo. Os modelos superaram um modelo baseline baseado em Análise de Componentes Principais (PCA) em métricas como taxas de falso alarme e detecções perdidas, bem como tempo até detecção, para a maioria das falhas. Notavelmente, para falhas caracterizadas por alta dificuldade de detecção, obteve-se taxa média de detecções perdidas de 12,49%, comparadas a uma taxa mínima de 79,59% para o PCA.