Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS

Bibliographic Details
Main Author: Carlos Renato de Souza
Publication Date: 2018
Format: Master thesis
Language: por
Source: Biblioteca Digital de Teses e Dissertações do INPE
Download full: http://urlib.net/sid.inpe.br/mtc-m21c/2018/05.25.12.46
Summary: O Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) do Instituto Nacional de Pesquisas Espaciais (INPE) executa operacionalmente modelos numéricos de previsão de tempo e clima. Em particular, utiliza o modelo regional BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). Esse modelo foi paralelizado com a biblioteca de comunicação por troca de mensagens Message Passing Interface (MPI) e é executado no supercomputador Tupã do CPTEC, o qual é composto de mais de um milhar de nós de processamento. Cada nó possui dois processadores multinúcleos numa arquitetura de memória compartilhada. Na execução paralela do modelo BRAMS, seu domínio de cálculo é dividido em subdomínios entre processos executados nos núcleos dos muitos nós. Eventuais dependências de dados entre subdomínios diferentes implicam na troca de mensagens MPI entre processos sejam eles do mesmo nó ou não. O BRAMS utiliza troca de mensagens MPI bilateral no modo assíncrono e sem bloqueio, disponível desde a primeira versão do padrão MPI. O padrão MPI tem evoluído, oferecendo novas técnicas para otimizar a comunicação entre processos. Assim, visando otimizar o desempenho da comunicação, o padrão MPI-2 introduziu a chamada comunicação unilateral por acesso remoto à memória, que permite a um processo pode fazer leituras ou escritas por meio de funções MPI na memória de outro, seja do mesmo nó ou não, permitindo a troca de dados entre processos, sem que o processo alvo participe da comunicação explicitamente. A comunicação unilateral foi aperfeiçoada no MPI-3, mas uma nova funcionalidade foi introduzida, a comunicação unilateral por memória compartilhada, que permite a processos MPI executados num mesmo nó definirem uma janela comum de memória local e efetuar leituras e escritas diretas na área da janela de outros processos locais. Este trabalho visa avaliar o desempenho da execução paralela do modelo regional BRAMS ao utilizar a comunicação unilateral de memória compartilhada na comunicação intra-nó e mantendo a comunicação bilateral assíncrona e sem bloqueio na comunicação inter-nó e preservando a mesma divisão de domínio de sua versão paralela original.
id INPE_cfa306972b66512a09a03d0c8f8d641a
oai_identifier_str oai:urlib.net:sid.inpe.br/mtc-m21c/2018/05.25.12.46.14-0
network_acronym_str INPE
network_name_str Biblioteca Digital de Teses e Dissertações do INPE
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisAvaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMSEvaluation of advanced techniques for MPI communication in the execution of the BRAMS model2018-05-28Stephan StephanyJairo PanettaHaroldo Fraga de Campos VelhoÁlvaro Luiz FazendaCarlos Renato de SouzaInstituto Nacional de Pesquisas Espaciais (INPE)Programa de Pós-Graduação do INPE em Computação AplicadaINPEBRBRMASshared memorymodelo numérico de previsãoMPInumerical model forecastO Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) do Instituto Nacional de Pesquisas Espaciais (INPE) executa operacionalmente modelos numéricos de previsão de tempo e clima. Em particular, utiliza o modelo regional BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). Esse modelo foi paralelizado com a biblioteca de comunicação por troca de mensagens Message Passing Interface (MPI) e é executado no supercomputador Tupã do CPTEC, o qual é composto de mais de um milhar de nós de processamento. Cada nó possui dois processadores multinúcleos numa arquitetura de memória compartilhada. Na execução paralela do modelo BRAMS, seu domínio de cálculo é dividido em subdomínios entre processos executados nos núcleos dos muitos nós. Eventuais dependências de dados entre subdomínios diferentes implicam na troca de mensagens MPI entre processos sejam eles do mesmo nó ou não. O BRAMS utiliza troca de mensagens MPI bilateral no modo assíncrono e sem bloqueio, disponível desde a primeira versão do padrão MPI. O padrão MPI tem evoluído, oferecendo novas técnicas para otimizar a comunicação entre processos. Assim, visando otimizar o desempenho da comunicação, o padrão MPI-2 introduziu a chamada comunicação unilateral por acesso remoto à memória, que permite a um processo pode fazer leituras ou escritas por meio de funções MPI na memória de outro, seja do mesmo nó ou não, permitindo a troca de dados entre processos, sem que o processo alvo participe da comunicação explicitamente. A comunicação unilateral foi aperfeiçoada no MPI-3, mas uma nova funcionalidade foi introduzida, a comunicação unilateral por memória compartilhada, que permite a processos MPI executados num mesmo nó definirem uma janela comum de memória local e efetuar leituras e escritas diretas na área da janela de outros processos locais. Este trabalho visa avaliar o desempenho da execução paralela do modelo regional BRAMS ao utilizar a comunicação unilateral de memória compartilhada na comunicação intra-nó e mantendo a comunicação bilateral assíncrona e sem bloqueio na comunicação inter-nó e preservando a mesma divisão de domínio de sua versão paralela original.The Center for Weather Forecasts and Climate Studies (CPTEC) of the Brazilian National Institute for Space Research (INPE) executes several climate and weather numerical forecast models on an operational basis, specifically using the regional model nominated BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). This model was parallelized using the Message Passing Interface (MPI) communication library, being executed by the CPTECs "Tupã", a supercomputer composed of hundreds of processing nodes. Each node has two multi-core processors in a shared memory architecture. In the paralell execution of BRAMS, its calculation domain is divided among processes executed in the cores of the many nodes. Data dependencies between different subdomains require the exchange of MPI messages between the processes, either intra-node or inter-node. BRAMS employs asynchronous non-blocking point-to-point communication, available since the first version of the MPI standard. The MPI standard has evolved through the years bringing new techniques to optimize the communication between processes. Thus MPI-2 introduced the one-sided communication by remote memory access. It allows a process to execute reads or writes using MPI functions to the memory of other process, either in the same node or not, exchanging data betweem processes without the explicit cooperation of the target process. One-sided communication was improved in the MPI-3 standard, but a new technique was added, the shared memory one-sided communication. MPI processes executed in the same computational node may define a common shared memory window and execute direct reads and writes in the window part of another process. The purpose of this work is to evaluate the parallel performance of the BRAMS model using the shared memory one-sided communication for the intra-node communication while keeping the asynchronous non-blocking point-topoint inter-node communication, and preserving the domain decomposition of its original parallel version.http://urlib.net/sid.inpe.br/mtc-m21c/2018/05.25.12.46info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações do INPEinstname:Instituto Nacional de Pesquisas Espaciais (INPE)instacron:INPE2021-07-31T06:55:48Zoai:urlib.net:sid.inpe.br/mtc-m21c/2018/05.25.12.46.14-0Biblioteca Digital de Teses e Dissertaçõeshttp://bibdigital.sid.inpe.br/PUBhttp://bibdigital.sid.inpe.br/col/iconet.com.br/banon/2003/11.21.21.08/doc/oai.cgiopendoar:32772021-07-31 06:55:48.729Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)false
dc.title.pt.fl_str_mv Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
dc.title.alternative.en.fl_str_mv Evaluation of advanced techniques for MPI communication in the execution of the BRAMS model
title Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
spellingShingle Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
Carlos Renato de Souza
title_short Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
title_full Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
title_fullStr Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
title_full_unstemmed Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
title_sort Avaliação de técnicas avançadas de comunicação MPI na execução do modelo BRAMS
author Carlos Renato de Souza
author_facet Carlos Renato de Souza
author_role author
dc.contributor.advisor1.fl_str_mv Stephan Stephany
dc.contributor.advisor2.fl_str_mv Jairo Panetta
dc.contributor.referee1.fl_str_mv Haroldo Fraga de Campos Velho
dc.contributor.referee2.fl_str_mv Álvaro Luiz Fazenda
dc.contributor.author.fl_str_mv Carlos Renato de Souza
contributor_str_mv Stephan Stephany
Jairo Panetta
Haroldo Fraga de Campos Velho
Álvaro Luiz Fazenda
dc.description.abstract.por.fl_txt_mv O Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) do Instituto Nacional de Pesquisas Espaciais (INPE) executa operacionalmente modelos numéricos de previsão de tempo e clima. Em particular, utiliza o modelo regional BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). Esse modelo foi paralelizado com a biblioteca de comunicação por troca de mensagens Message Passing Interface (MPI) e é executado no supercomputador Tupã do CPTEC, o qual é composto de mais de um milhar de nós de processamento. Cada nó possui dois processadores multinúcleos numa arquitetura de memória compartilhada. Na execução paralela do modelo BRAMS, seu domínio de cálculo é dividido em subdomínios entre processos executados nos núcleos dos muitos nós. Eventuais dependências de dados entre subdomínios diferentes implicam na troca de mensagens MPI entre processos sejam eles do mesmo nó ou não. O BRAMS utiliza troca de mensagens MPI bilateral no modo assíncrono e sem bloqueio, disponível desde a primeira versão do padrão MPI. O padrão MPI tem evoluído, oferecendo novas técnicas para otimizar a comunicação entre processos. Assim, visando otimizar o desempenho da comunicação, o padrão MPI-2 introduziu a chamada comunicação unilateral por acesso remoto à memória, que permite a um processo pode fazer leituras ou escritas por meio de funções MPI na memória de outro, seja do mesmo nó ou não, permitindo a troca de dados entre processos, sem que o processo alvo participe da comunicação explicitamente. A comunicação unilateral foi aperfeiçoada no MPI-3, mas uma nova funcionalidade foi introduzida, a comunicação unilateral por memória compartilhada, que permite a processos MPI executados num mesmo nó definirem uma janela comum de memória local e efetuar leituras e escritas diretas na área da janela de outros processos locais. Este trabalho visa avaliar o desempenho da execução paralela do modelo regional BRAMS ao utilizar a comunicação unilateral de memória compartilhada na comunicação intra-nó e mantendo a comunicação bilateral assíncrona e sem bloqueio na comunicação inter-nó e preservando a mesma divisão de domínio de sua versão paralela original.
dc.description.abstract.eng.fl_txt_mv The Center for Weather Forecasts and Climate Studies (CPTEC) of the Brazilian National Institute for Space Research (INPE) executes several climate and weather numerical forecast models on an operational basis, specifically using the regional model nominated BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). This model was parallelized using the Message Passing Interface (MPI) communication library, being executed by the CPTECs "Tupã", a supercomputer composed of hundreds of processing nodes. Each node has two multi-core processors in a shared memory architecture. In the paralell execution of BRAMS, its calculation domain is divided among processes executed in the cores of the many nodes. Data dependencies between different subdomains require the exchange of MPI messages between the processes, either intra-node or inter-node. BRAMS employs asynchronous non-blocking point-to-point communication, available since the first version of the MPI standard. The MPI standard has evolved through the years bringing new techniques to optimize the communication between processes. Thus MPI-2 introduced the one-sided communication by remote memory access. It allows a process to execute reads or writes using MPI functions to the memory of other process, either in the same node or not, exchanging data betweem processes without the explicit cooperation of the target process. One-sided communication was improved in the MPI-3 standard, but a new technique was added, the shared memory one-sided communication. MPI processes executed in the same computational node may define a common shared memory window and execute direct reads and writes in the window part of another process. The purpose of this work is to evaluate the parallel performance of the BRAMS model using the shared memory one-sided communication for the intra-node communication while keeping the asynchronous non-blocking point-topoint inter-node communication, and preserving the domain decomposition of its original parallel version.
description O Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) do Instituto Nacional de Pesquisas Espaciais (INPE) executa operacionalmente modelos numéricos de previsão de tempo e clima. Em particular, utiliza o modelo regional BRAMS (Brazilian developments on the Regional Atmospheric Modeling System). Esse modelo foi paralelizado com a biblioteca de comunicação por troca de mensagens Message Passing Interface (MPI) e é executado no supercomputador Tupã do CPTEC, o qual é composto de mais de um milhar de nós de processamento. Cada nó possui dois processadores multinúcleos numa arquitetura de memória compartilhada. Na execução paralela do modelo BRAMS, seu domínio de cálculo é dividido em subdomínios entre processos executados nos núcleos dos muitos nós. Eventuais dependências de dados entre subdomínios diferentes implicam na troca de mensagens MPI entre processos sejam eles do mesmo nó ou não. O BRAMS utiliza troca de mensagens MPI bilateral no modo assíncrono e sem bloqueio, disponível desde a primeira versão do padrão MPI. O padrão MPI tem evoluído, oferecendo novas técnicas para otimizar a comunicação entre processos. Assim, visando otimizar o desempenho da comunicação, o padrão MPI-2 introduziu a chamada comunicação unilateral por acesso remoto à memória, que permite a um processo pode fazer leituras ou escritas por meio de funções MPI na memória de outro, seja do mesmo nó ou não, permitindo a troca de dados entre processos, sem que o processo alvo participe da comunicação explicitamente. A comunicação unilateral foi aperfeiçoada no MPI-3, mas uma nova funcionalidade foi introduzida, a comunicação unilateral por memória compartilhada, que permite a processos MPI executados num mesmo nó definirem uma janela comum de memória local e efetuar leituras e escritas diretas na área da janela de outros processos locais. Este trabalho visa avaliar o desempenho da execução paralela do modelo regional BRAMS ao utilizar a comunicação unilateral de memória compartilhada na comunicação intra-nó e mantendo a comunicação bilateral assíncrona e sem bloqueio na comunicação inter-nó e preservando a mesma divisão de domínio de sua versão paralela original.
publishDate 2018
dc.date.issued.fl_str_mv 2018-05-28
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
status_str publishedVersion
format masterThesis
dc.identifier.uri.fl_str_mv http://urlib.net/sid.inpe.br/mtc-m21c/2018/05.25.12.46
url http://urlib.net/sid.inpe.br/mtc-m21c/2018/05.25.12.46
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.publisher.program.fl_str_mv Programa de Pós-Graduação do INPE em Computação Aplicada
dc.publisher.initials.fl_str_mv INPE
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Instituto Nacional de Pesquisas Espaciais (INPE)
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do INPE
instname:Instituto Nacional de Pesquisas Espaciais (INPE)
instacron:INPE
reponame_str Biblioteca Digital de Teses e Dissertações do INPE
collection Biblioteca Digital de Teses e Dissertações do INPE
instname_str Instituto Nacional de Pesquisas Espaciais (INPE)
instacron_str INPE
institution INPE
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do INPE - Instituto Nacional de Pesquisas Espaciais (INPE)
repository.mail.fl_str_mv
publisher_program_txtF_mv Programa de Pós-Graduação do INPE em Computação Aplicada
contributor_advisor1_txtF_mv Stephan Stephany
_version_ 1706809361268998144