Evaluating the performance and improving the usability of parallel and distributed word embedding tools

• Main Author: Silva, Mateus Lyra da
• Publication Date: 2020
• Format: Master thesis
• Language: eng
• Source: Biblioteca Digital de Teses e Dissertações da PUC_RS
• Download full: http://tede2.pucrs.br/tede2/handle/tede/9245
• topic: Word2vec; HPC; Memória distribuída; Multicomputadores; MPI; OpenMP; Word2vec; HPC; Shared memory; Multicomputers; MPI; OpenMP; CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO

A representação de palavras por meio de vetores chamada de Word Embeddings (WE) vem recebendo grande atenção do campo de Processamento de Linguagem natural (NLP). Modelos WE são capazes de expressar similaridades sintáticas e semânticas, bem como relacionamentos e contextos de palavras em um determinado corpus. Apesar de as implementações mais populares de algoritmos de WE apresentarem baixa escalabilidade, existem novas abordagens que aplicam técnicas de High-Performance Computing (HPC). Nesta dissertação é apresentado um estudo interdisciplinar direcionado a utilização de recursos e aspectos de desempenho dos algoritmos de WE encontrados na literatura. Para melhorar a escalabilidade e usabilidade, o presente trabalho propõe uma integração para ambientes de execução locais e remotos, que contém um conjunto das versões mais otimizadas. Usando estas otimizações é possível alcançar um ganho de desempenho médio de 15x para multicores e 105x para multinodes comparado à versão original. Há também uma grande redução no consumo de memória comparado às versões mais populares em Python. Uma vez que o uso apropriado de ambientes de alta performance pode requerer conhecimento especializado de seus usuários, neste trabalho também é proposto um modelo de otimização de parâmetros que utiliza uma rede neural Multilayer Perceptron (MLP) e o algoritmo Simulated Annealing (SA) para sugerir conjuntos de parâmetros que considerem os recursos computacionais, o que pode ser um auxílio para usuários não especialistas no uso de ambientes computacionais de alto desempenho.