Computação distribuída aplicada ao processamento de imagens de minérios utilizando o Hadoop

• Ano de defesa: 2017
• Autor(a) principal: Batista, Felipe Schimith
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade do Estado do Rio de Janeiro; Centro de Tecnologia e Ciências::Instituto de Matemática e Estatística; BR; UERJ; Programa de Pós-Graduação em Ciências Computacionais
• Palavras-chave em Português: Hadoop; MR4C; Segmentação de fissuras; Crescimento de regiões; Crack segmentation; Region growth; Processamento de imagens; Programação paralela(Computação); CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: http://www.bdtd.uerj.br/handle/1/7729

O desenvolvimento de soluções de processamento paralelo baseado no framework Hadoop tem sido amplamente utilizado como uma alternativa eficiente para o processamento de grandes volume de dados. O uso de ferramentas de busca tornou-se ainda mais atraente e difundido na área de tecnologia com a metodologia de MapReduce. Entretanto, podemos adequar essa arquitetura para processamento de imagens, com a finalidade de obter ganhos no tempo e volume de processamento com o modelo de distribuição dos conteúdos do Hadoop Distributed File System (HDFS). Nesse contexto, o objetivo desse estudo foi desenvolver uma arquitetura capaz de distribuir o processamento de imagens de partículas de minério em uma plataforma que pode ser configurada em uma infraestrutura física ou virtualizada. Foi realizada a adaptação do algoritmo de processamento de imagens com a criação de funções de parser do tipo DataFile do Hadoop para o tipo Mat do OpenCV, para assim possibilitar o processamento das imagens utilizando a linguagem de programação C++ . Os algoritmos foram transformados em bibliotecas compartilhadas para serem distribuídos nos nós de processamento, seguindo os padrões de desenvolvimento do MapReduce for C (MR4C). Os experimentos foram feitos em um cluster composto de por dez nós de processamento, cada um com oito processadores Intel(R) Xeon(TM) CPU 2.80GHz e 8 GB de memória. Os experimentos foram feitos empregando diversas configurações, alterando a memória máxima alocada, número de cores, número de nós de processamento, número de tarefas, tamanho das imagens e também o número de imagens. Os resultados foram discutidos e analisados com o objetivo de destacar os ganhos e limitações da arquitetura apresentada