Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica;

• Ano de defesa: 2024
• Autor(a) principal: Silva, Érico Correia da
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Análise de dados científicos; Big Data; Data locality; Distributed file systems; Distributed lock management, Scientific data analysis; Gerenciamento de lock distribuído; Hadoop; Localidade dos dados; Sistemas de arquivo distribuído
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-11042024-081949/

O Big Data tem revolucionado a exploração de dados em larga escala. Ao mesmo tempo, clusters HPC são usados em simulações científicas com resoluções cada vez mais altas, utilizando um volume de dados que vem crescendo de forma acentuada. Embora façam uso de sistemas de arquivo distribuídos mais robustos, clusters HPC movimentam o dado pela rede durante o processamento, enquanto frameworks de Big Data exploram a localidade dos dados para processá-los sem movimentação pela rede, utilizando hardware de baixo custo. Para promover o uso simultâneo de um mesmo cluster por aplicações científicas e processamento de Big Data, este trabalho propõe um novo sistema de arquivos distribuído, o AwareFS. Baseado no padrão POSIX, o AwareFS possui uma arquitetura escalável e resiliente, usando um protocolo de escrita local para explorar a localidade dos dados mesmo durante atualizações. Essa nova tecnologia de armazenamento permite reescrita e acesso randômico, utilizando um sistema distribuído de controle de locks para garantir consistência e flexibilidade no acesso concorrente de múltiplos clientes, tanto na leitura quanto na escrita. Resultados obtidos com benchmarks de mercado comprovaram a eficiência do AwareFS em diferentes perfis de leitura e escrita, sequencial e randômica, demonstrando o benefício do protocolo de escrita local e a escalabilidade acrescentando servidores. O AwareFS contribui para a convergência de tecnologias, possibilitando o uso de um mesmo cluster, mesmo de baixo custo, em cargas de trabalho de Big Data, computação científica e aplicações tradicionais.