Dynamic tuning and reconfiguration of the I/O forwarding layer in HPC platforms

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Bez, Jean Luca
Orientador(a): Navaux, Philippe Olivier Alexandre
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Palavras-chave em Inglês:
Link de acesso: http://hdl.handle.net/10183/223297
Resumo: As operações de entrada e saída (E/S) são um gargalo para um número crescente de aplicativos em plataformas de Processamento de Alto Desempenho (PAD). Além disso, tem o potencial de impactar criticamente o desempenho da próxima geração de supercomputadores. As técnicas de otimização de E/S podem melhorar o desempenho para configurações específicas do sistema e para alguns padrões de acesso das aplicações, mas não para todos eles. Chamamos o padrão de acesso a maneira como uma aplicação executa suas operações de E/S. Essas técnicas freqüentemente dependem do ajuste preciso dos parâmetros, que normalmente recai sobre os usuários. Em tais sistemas de grande escala, temos um conjunto de aplicações em execução com características e demandas distintas. Portanto, para melhorar o desempenho global, é essencial adaptar o sistema a uma carga de trabalho que está sempre em constante mudança de forma dinâmica. Neste trabalho, buscamos guiar estratégias de otimização e reconfiguração identificando o padrão de acesso de E/S da aplicação. Avaliamos três técnicas de aprendizado de máquina para automaticamente detectar esses padrões em tempo de execução: árvores de decisão, florestas aleatórias e redes neurais. Utilizando o padrão detectado, propomos uma estratégia de reconfiguração que utiliza uma técnica de aprendizado por reforço (bandidos contextuais) para tornar o sistema capaz de aprender o melhor valor de parâmetro para cada padrão de acesso observado durante sua execução. Isso elimina a necessidade de uma fase anterior de treinamento complicada e demorada. Finalmente, argumentamos a favor de uma alocação dinâmica e sob demanda de nós de E/S considerando as características de E/S da aplicação. Mostramos que a aplicação global da camada de encaminhamento combinada com a política de alocação estática existente baseada exclusivamente no tamanho do aplicativo deve ser dinâmica e considerar os padrões de acesso dos aplicativos para melhorar o desempenho global. Apresentamos uma solução de encaminhamento de E/S em nível de usuário chamada GekkoFWD que não requer modificações nas aplicações e permite um remapeamento dinâmico de recursos de encaminhamento para nós de computação. Propusemos uma nova política de alocação de encaminhamento baseada no problema da mochila de múltipla escolha. Demonstramos a aplicabilidade de nossa política dinâmica MCKP para arbitrar nós de E/S por meio de extensa avaliação e experimentação. Mostramos que tal solução pode melhorar, de forma transparente, a largura de banda de E/S global em até 23 em comparação com a política estática existente.