Stormsom: clusterização em tempo-real de fluxos de dados distribuídos no contexto de BigData

• Ano de defesa: 2015
• Autor(a) principal: LIMA, João Gabriel Rodrigues de Oliveira
• Orientador(a): SANTANA, Ádamo Lima de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Pará
• Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica
• Departamento: Instituto de Tecnologia
• País: Brasil
• Palavras-chave em Português: Mineração de dados (Computação); Redes neurais (Computação); Processamento eletrônico de dados em tempo real; Algoritmos de computador; BigData; Banco de dados relacionais; Cluster (Sistema de computador); Stream (Sistema de computador)
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS; CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
• Link de acesso: http://repositorio.ufpa.br/jspui/handle/2011/7487

Cresce cada vez mais a quantidade de cenários e aplicações que algoritmo necessitam de processamento e respostas em tempo real e que se utilizam de modelos estatísticos e de mineração de dados a fim de garantir um melhor suporte à tomada de decisão. As ferramentas disponíveis no mercado carecem de processos computacionais mais refinados que sejam capazes de extrair padrões de forma mais eficiente a partir de grandes volumes de dados. Além disso, há a grande necessidade, em diversos cenários, que o os resultados sejam providos em tempo real, tão logo inicie o processo, uma resposta imediata já deve estar sendo produzida. A partir dessas necessidades identificadas, neste trabalho propomos um processo autoral, chamado StormSOM, que consiste em um modelo de processamento, baseado em topologia distribuída, para a clusterização de grandes volumes de fluxos, contínuos e ilimitados, de dados, através do uso de redes neurais artificiais conhecidas como mapas auto-organizáveis, produzindo resultados em tempo real. Os experimentos foram realizados em um ambiente de computação em nuvem e os resultados comprovam a eficiência da proposta ao garantir que o modelo neural utilizado possa gerar respostas em tempo real para o processamento de Big Data.