Um estudo de caso: uma avaliação de desempenho do Apache Spark no orquestrador Kubernetes e no Apache Mesos

• Main Author: LIma, Renan Vasconcelos
• Publication Date: 2019
• Format: Bachelor thesis
• Language: por
• Source: Repositório Institucional da UECE
• Download full: https://siduece.uece.br/siduece/trabalhoAcademicoPublico.jsf?id=94635
• topic: Big data; Ciência da computação; Script

<div style="">A geração de dados está crescendo cada vez mais com o aumento da acessibilidade à tecnologia. O processamento desses dados pode gerar informações valiosas, entretanto essa tarefa é custosa e necessita de ferramentas especializadas em Big Data. Uma dessasferramentas é o Apache Spark, um framework de computação em cluster, que permite processamento na memória, garantindo uma rápida execução da tarefa. Para gerenciar um cluster e seus processos pode-se usar do Kubernetes e do Apache Mesos, ambos são gerenciadores que auxiliam a manutenção dos recursos e dos processos de um cluster. As aplicações do Spark podem utilizar containers ou JVMs para sua execução. Neste trabalho, o Kubernetesfaz o uso de containers Docker e o Mesos utiliza JVM para realizar essa funcionalidade. Assim, a proposta consiste em implementar o Kubernetes e o Apache Mesos como gerenciadores de cluster, no qual o Apache Spark realizará o processamento de uma grande quantidade de dados num sistema distribuído, com o intuito de avaliar o desempenho dessas ferramentas trabalhando em conjunto com a finalidade de desenvolver um protótipo dos scripts: um de preparação do ambiente e outro para medição de desempenho de uma aplicação Spark no Kubernetes e no Mesos. Entretanto, devido a inexperiência, a dificuldade de configurar as tecnologias utilizadas e a limitação das máquinas utilizadas, não foi possível realizar experimentos com parâmetros diversificados para conseguir resultados precisos do desempenho do Apache Spark nos gerenciadores de cluster.&nbsp;<span style="font-size: 10pt;">Palavras-chave: Big Data. Apache Spark. Kubernetes. Apache Mesos. Script.</span></div>