Uma avaliação de desempenho de sistemas de processamento de fluxo de dados

• Ano de defesa: 2017
• Autor(a) principal: NOGUEIRA, Thomas Cristanis Cabral
• Orientador(a): GAMA, Kiev Santos da
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Pernambuco
• Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
• País: Brasil
• Palavras-chave em Português: Engenharia de software; Internet das coisas
• Link de acesso: https://repositorio.ufpe.br/handle/123456789/33929

O crescimento dos dados em uma proporção grandiosa é uma realidade em uma parcela dos softwares atuais, principalmente os que são executados no âmbito da computação distribuída. Esse crescimento verifica-se em diversificados aspectos dos dados, como: no volume, na velocidade e na variedade. Nesse quadro, desponta o conceito de Big Data, que propõe um conjunto de técnicas e soluções para apoiar esse cenário, onde as atuais ferramentas de software não conseguem ter um papel efetivo na coleta, armazenamento, processamento e análise de grande volume de dados. Um desses importantes aspectos e requisito crucial na nossa visão, é a velocidade, que exige respostas rápidas para consultas complexas em fluxos de dados em tempo real. Na literatura, dentre as várias propostas de arquitetura para Big Data, a arquitetura de referência Lambda é uma das que se destacam. Entretanto uma perspectiva simplificada da mesma também teve o nosso interesse, a arquitetura Kappa. Nesse contexto, dado o problema do processamento eficiente de fluxo de dados em tempo real e fundamentado nas arquiteturas Lambda e Kappa, esta dissertação realizou dois experimentos. O primeiro, se deteve em explorar o sistema de processamento de fluxo de dados distribuído, Apache Storm. A partir disso, em comparação, um segundo experimento direcionado ao processamento no cenário na Computação em Névoa foi realizado em dispositivo de borda, com o Apache Edgent. Ambos foram avaliados, tendo sido observadas métricas de desempenho relacionadas a velocidade, precisão e disponibilidade de serviços. Os resultados obtidos através de experimentos apontam a possibilidade de transpor parte do processamento de fluxos de dados para dispositivos na borda da rede.