Computação distribuída aplicada ao processamento de imagens de minérios utilizando o Hadoop - Batista, Felipe Schimith (2017)
O desenvolvimento de soluções de processamento paralelo baseado no framework Hadoop tem sido amplamente utilizado como uma alternativa eficiente para o processamento de grandes volume de dados. O uso de ferramentas de busca tornou-se ainda mais atraente e difundido na área de tecnologia com a metodologia de MapReduce. Entretanto, podemos adequar essa arquitetura para processamento de imagens, com a finalidade de obter ganhos no tempo e volume de processamento com o modelo de distribuição dos conteúdos do Hadoop Distributed File System (HDFS). Nesse contexto, o objetivo desse estudo foi desenvolver uma arquitetura capaz de distribuir o processamento de imagens de partículas de minério em uma plataforma que pode ser configurada em uma infraestrutura física ou virtualizada. Foi realizada a adaptação do algoritmo de processamento de imagens com a criação de funções de parser do tipo DataFile do Hadoop para o tipo Mat do OpenCV, para assim possibilitar o processamento das imagens utilizando a linguagem de programação C++ . Os algoritmos foram transformados em bibliotecas compartilhadas para serem distribuídos nos nós de processamento, seguindo os padrões de desenvolvimento do MapReduce for C (MR4C). Os experimentos foram feitos em um cluster composto de por dez nós de processamento, cada um com oito processadores Intel(R) Xeon(TM) CPU 2.80GHz e 8 GB de memória. Os experimentos foram feitos empregando diversas configurações, alterando a memória máxima alocada, número de cores, número de nós de processamento, número de tarefas, tamanho das imagens e também o número de imagens. Os resultados foram discutidos e analisados com o objetivo de destacar os ganhos e limitações da arquitetura apresentada