Numerical simulations on heterogeneous systems: dynamic workload and power management

Bibliographic Details
Main Author: Ribeiro, Roberto Carlos Sá
Publication Date: 2019
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/1822/63879
Summary: Tese de Doutoramento em Informática
id RCAP_e18f570dffb6f104c2f56846de9ab340
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/63879
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Numerical simulations on heterogeneous systems: dynamic workload and power managementSimulações numéricas em sistemas heterogéneos: carga dinâmica e gestão de potênciaEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaTese de Doutoramento em InformáticaNumerical simulations are among the most relevant and computationally demanding applications used by scientists and engineers. As accuracy requirements keep increasing so does the corresponding workload and, consequently, the demand for additional computing power. HPC systems are thus a fundamental tool to allow for a time effective execution of such simulations; performance maximization is therefore a pertinent and crucial subject of research. Over the last decade HPC has undergone a major shift, resulting on heterogeneous parallel computing systems, which integrate devices with different architectures, exposing different instruction sets, programming and execution models, and ultimately, delivering significantly different performances. This heterogeneity raises a variety of challenges to application developers, such as performance and code non-portability, performance imbalances and disjoint memory address spaces. These challenges not only widen the gap between peak and sustained performance, but also significantly reduce development productivity. Additionally, numerical applications often exhibit dynamic workloads, with unpredictable computational requirements, which, together with associated code divergence and branching workflow, further aggravates the heterogeneity challenge — this is defined as the Two-fold Challenge. The increasing scale in HPC systems also leads to a fast growing power consumption, with power management solutions being of crucial importance. The design of such solutions becomes harder within the two-fold challenge context. This thesis addresses the Two-fold Challenge in the context of numerical simulations and HPC systems, focusing on optimising sustained performance and power consumption. A variety of mechanisms is proposed and validated across different parallel computing paradigms. These mechanisms include a unified execution and programming model, a transparent data management component and heterogeneity-aware dynamic load balancing and power management systems. The contributions of this thesis are divided into three areas: efficient and effective application development and execution on heterogeneous single-nodes with multiple computing devices, load and performance imbalances in heterogeneous distributed systems and power-performance trade-offs in heterogeneous distributed systems. In order to foster the adoption of proposed mechanisms, some were designed and integrated into a widely used numerical simulation library — OpenFOAM. Experimental results assert the effectiveness of the proposed approaches, resulting on significant gains in performance and reduced power consumption in multiple scenarios.Simulações numéricas são uma das mais importantes e computacionalmente exigentes aplicações usadas por cientistas e engenheiros. A carga computacional destas aplicações é proporcional aos requisitos de precisão da simulação, que por sua vez, têm aumentado significativamente, resultando numa maior exigência a nível de poder computacional. Os sistemas de computação de alto desempenho (High Performance Computing (HPC)) são uma ferramenta fundamental, que permitem executar estas aplicações em tempo útil. Obter o desempenho máximo destes sistemas é portanto uma área de investigação de elevada importância e pertinência. Na ultima década, a computação de alto desempenho tem sido alvo de consideráveis mudanças, resultando em sistemas computacionais paralelos e heterogéneos. Estes sistemas são compostos por dispositivos com diferentes arquiteturas, instruction sets e modelos de programação e execução, resultando em desempenhos significativamente diferentes. Esta heterogeneidade levanta vários desafios, nomeadamente, código da aplicação e desempenho não portáveis entre dispositivos, diferenças de desempenho e espaços de endereçamento de memória disjuntos. Estes desafios, não só aumentam a diferença entre o pico de desempenho e o desempenho obtido, mas também reduzem significativamente a produtividade. Mais ainda, as aplicações numéricas exibem, frequentemente, cargas dinâmicas, cujos requisitos computacionais são imprevisíveis. Este dinamismo, combinado com a divergência do código e com o controlo de fluxo condicional, agrava as complexidades associadas à heterogeneidade do sistema, sendo referido como Two-fold Challenge. O progressivo aumento da dimensão dos sistemas HPC tem também, como consequência, um rápido aumento do consumo de potência. Sistemas de gestão de potência são portanto de extrema importância, no entanto, o desenvolvimento destes sistemas torna-se complexo perante o Two-fold Challenge Esta tese aborda o Two-fold Challenge no contexto de simulações numéricas e sistemas HPC, focando-se na otimização do desempenho e potência consumida. Vários mecanismos são propostos e validados em diferentes paradigmas de computação paralela. Nomeadamente, modelos unificados de execução e programação, sistemas transparentes de gestão de dados e sistemas de balanceamento de carga e gestão de energia baseados na heterogeneidade do sistema. As contribuições desta tese são divididas em três áreas: desenvolvimento e execução eficiente de aplicações em sistemas heterogéneos com um único nó e múltiplos dispositivos, desbalanceamento de carga computacional e desempenho em sistemas heterogéneos distribuídos e compromissos entre desempenho e potência consumida em sistemas heterogéneos distribuídos. De forma a promover o uso dos mecanismos propostos, parte destes foram desenvolvidos e integrados numa conceituada biblioteca de simulações numéricas — OpenFOAM. Resultados experimentais validam a eficácia dos mecanismos propostos, resultando em ganhos significativos de desempenho e redução de potência consumida em múltiplos cenários.The work that composes this thesis was funded by National Funds through the FCT - Fundação para a Ciência e a Tecnologia (Portuguese Foundation for Science and Technology) and by ERDF – European Regional Development Fund through the COMPETE Programme (operational programme for competi-tiveness) within projects PTDC/EIA-ElA/100035/2008, PEst-OE/EEI/U10752/2014. FCOMP-01-0124-FEDER-010067 and UlD/CTM/50025/2013. Also by the School of Engineering, University of Minho, within project P2SHOCS - Performance Portability on Scalable Heterogeneous Computing Systems and by the PT-FLAD Chair on Smart Cities & Smart Governance. To these entities, 1 would like to express my sincerest gratitude.Santos, Luís PauloNóbrega, J. M.Jasak, HrvojeUniversidade do MinhoRibeiro, Roberto Carlos Sá2019-03-082019-03-08T00:00:00Zdoctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://hdl.handle.net/1822/63879eng101593120info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-05-11T04:15:48Zoai:repositorium.sdum.uminho.pt:1822/63879Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T14:43:42.396348Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Numerical simulations on heterogeneous systems: dynamic workload and power management
Simulações numéricas em sistemas heterogéneos: carga dinâmica e gestão de potência
title Numerical simulations on heterogeneous systems: dynamic workload and power management
spellingShingle Numerical simulations on heterogeneous systems: dynamic workload and power management
Ribeiro, Roberto Carlos Sá
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Numerical simulations on heterogeneous systems: dynamic workload and power management
title_full Numerical simulations on heterogeneous systems: dynamic workload and power management
title_fullStr Numerical simulations on heterogeneous systems: dynamic workload and power management
title_full_unstemmed Numerical simulations on heterogeneous systems: dynamic workload and power management
title_sort Numerical simulations on heterogeneous systems: dynamic workload and power management
author Ribeiro, Roberto Carlos Sá
author_facet Ribeiro, Roberto Carlos Sá
author_role author
dc.contributor.none.fl_str_mv Santos, Luís Paulo
Nóbrega, J. M.
Jasak, Hrvoje
Universidade do Minho
dc.contributor.author.fl_str_mv Ribeiro, Roberto Carlos Sá
dc.subject.por.fl_str_mv Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Tese de Doutoramento em Informática
publishDate 2019
dc.date.none.fl_str_mv 2019-03-08
2019-03-08T00:00:00Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/63879
url http://hdl.handle.net/1822/63879
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 101593120
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833594846799986688

Similar Items