Big data processing using hybrid infrastructures such as cloud computing and desktop grids

• Ano de defesa: 2017
• Autor(a) principal: Anjos, Julio Cesar Santos dos
• Orientador(a): Geyer, Claudio Fernando Resin
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Computação em nuvem; Big data; Processamento paralelo distribuido
• Link de acesso: http://hdl.handle.net/10183/231686

Um grande volume de dados é produzido todos os dias, desde informações fornecidas por redes sociais (tais como Facebook, Instagram, Whatsapp, etc) ou geradas por sensores em dispositivos móveis, até aplicações Big Data como a busca do Google. Esta inundação de dados requer cada vez mais recursos computacionais para processar informações mais rapidamente. Embora Cloud tenha crescido rapidamente nos últimos anos, ela ainda sofre com falta de padronização e gerenciamento de recursos adequados. Os usuários que necessitam executar aplicações podem não saber como mapear seus requisitos de sistemas para os recursos disponíveis. Esta falta de conhecimento sobre a infraestrutura dos provedores de nuvem leva a superestimar ou subestimar a capacidade de processamento necessária para as tarefas. Este cenário complexo apresenta enormes desafios para os pesquisadores em termos de sistemas e tipos de infraestruturas. Por outro lado, ele oferece várias oportunidades para o pesquisador encontrar soluções para a análise de Big Data. Este trabalho estabelece: i) uma nova plataforma chamada SMART que oferece a análise de Big Data em uma arquitetura Lambda sobre uma infraestrutura híbrida; ii) apresenta um simulador chamado BIGhybrid para ser um conjunto de ferramentas para o estudo da análise de Big Data em infraestruturas híbridas. Este permite que o usuário encontre as configurações mais próxima para as aplicações Big Data na implantação em ambientes reais. Ainda, define estratégias para a distribuição de dados neste cenário complexo para reduzir os riscos de problemas causados por erros comuns de configurações; iii) avalia o uso do módulo Despachante na plataforma SMART e iv) define estratégias para o uso de Desktop Grid e computação em nuvem em um ambiente geo-distribuído em uma infraestrutura híbrida. O objetivo é encontrar algumas das restrições a uma qualidade de serviços (QoS) aceitável. Tais restrições estão relacionadas com a relação entre máquinas voluntárias e nós estáveis, distribuição de dados, estratégias de balanceamento da carga e assim por diante. Embora isto possa ser construído em um ambiente real, uma avaliação experimental em larga escala é somente possível através de simulação devido às características de reprodutibilidade e previsibilidade de características ambientais. Os experimentos indicam um bom desempenho da plataforma SMART em baixa escala em um ambiente real.