Big Data Streaming Analytics

• Main Author: Ferreira, Ernesto Carlos Casanova
• Publication Date: 2020
• Format: Master thesis
• Language: por
• Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
• Download full: http://hdl.handle.net/11110/1927
• topic: Big Data; IoT; Streaming Analytics; Streaming Processing; Inteligência Artificial; Inteligência Aumentada

Big Data é o tema da ciência e tecnologia dos dias de hoje. Representa o acumular de dados em grande quantidade, heterogéneos, e a grande velocidade, verificados ao longo dos anos. Atualmente um dos desafios reside no desenvolvimento de sistemas e plataformas com capacidade para aproveitar estes dados nas diversas áreas, tais como no meio ambiente (redução da poluição, energia de renovação inteligente, redução do consumo de energia, etc.), na saúde (melhoria do bem-estar humano, qualidade de vida, etc.), na economia (previsão de negócios), na indústria (indústria 4.0, indústria inteligente, etc.), entre muitos outros. Estes objetivos são possíveis de atingir através de: i) recolha; ii) tratamento; iii) análise com consequente ação. O desenvolvimento de uma plataforma que permita analisar dados em streaming provenientes de dispositivos, rede de sensores com fio sem fio, web, feeds de redes sociais, aplicações e muito mais, representa um grande desafio e uma ótima oportunidade, adicionando a capacidade de extrair conhecimento de fluxos de dados em tempo real, identificando padrões e relações, apoiar decisões e prever comportamentos, são objetivos considerados. A gestão de energia representa o cenário onde essas realidades coexistem, ou seja, há muitos dados já armazenados e muitos mais gerados continuamente, onde o estado atual e a previsão (monitorização e controlo) representam ganhos e bases para melhores decisões, ao nível do consumo, da rentabilidade, da eficiência energética, da segurança, etc. Estes dados, pelo seu aumento substancial todos os anos, leva a desenvolver uma tecnologia que permita acompanhar este crescimento. Neste âmbito, com este trabalho pretendeu-se desenvolver uma arquitetura de Streaming que permita a recolha e análise em Big Data para otimização de processos de negócio com um caso de estudo baseado em gestão de energia que permita a análise de dados de sensores em tempo real ou próximo de tempo real. No desenvolvimento desta plataforma, foi objetivo combinar várias tecnologias, que permita entre outros: i) analisar dados de utilidade elevada em tempo real; ii) otimizar custos com os recursos de hardware em instalação On Premises; iii) flexibilidade, permitindo ser aplicável a vários casos de uso; iiii) contribuir para o desenvolvimento de um produto.