Data processing with cross-application interference control via system-level instrumentation

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Xavier, Miguel Gomes lattes
Orientador(a): De Rose, Cesar Augusto F. lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Pontifícia Universidade Católica do Rio Grande do Sul
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
Departamento: Escola Politécnica
País: Brasil
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: https://tede2.pucrs.br/tede2/handle/tede/10941
Resumo: O volume de dados na rede global está atingindo uma escala sem precedentes exigindo mudanças tecnológicas em diferentes espectros da computação para lidar com a crescente necessidade de desempenho. Embora as complexidades dos dados tenham aumentado, o impacto real depende da capacidade de extração e transformação desses conjuntos maciços de dados brutos e variados para extrair informações valiosas. Obter informações sobre esses dados derivou um amplo espectro para análise de Big Data. A análise de dados representou um grande desafio ao projetar sistemas de gerenciamento de recursos altamente escaláveis para integrar, extrair e transformar dados brutos em informações, mantendo a experiência dos usuários e as expectativas dos negócios. Os sistemas de gerenciamento de recursos para Big Data geralmente consolidam aplicativos e usam virtualização em nível de sistema operacional (contêineres) para permitir o compartilhamento de recursos e melhorar a eficiência. No entanto, o desempenho ainda varia imprevisivelmente devido à competição no acesso a recursos compartilhados como CPU, memória, disco e rede. A intuição inicial que motiva o desenvolvimento desse trabalho é capacidade dos processadores modernos de disponibilizar informações que possam ser usadas para classificar a interferência emanada de aplicativos em contêiner. Portanto, conjeturamos que os clusters que interpresetam esses dados podem acelerar as aplicações no processo de análise de Big Data e melhorar a eficiência de recursos. Para confirmar nossa tese, primeiro estudamos as necessidades de desempenho de Big Data e os pontos fracos existentes no isolamento de desempenho de contêineres. Obtendo informações desses estudos para propor uma colocação de contêiner com reconhecimento de interferência, reunimos tudo isso em um protótipo de planejador com reconhecimento de interferência, que resultou em ganhos de até 35% no desempenho da programação e 42% na eficiência dos recursos, portanto, confirmando a tese.