Holistic performance and scalability analysis for large-scale distributed systems

Bibliographic Details
Main Author: Neves, Francisco Nuno Teixeira
Publication Date: 2021
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/1822/75536
Summary: Programa doutoral em Informática - MAP-i
id RCAP_afe97c5f6ec110fec363cbdf66dae8d3
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/75536
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Holistic performance and scalability analysis for large-scale distributed systemsAnálise holística de desempenho e escalabilidade para sistemas distribuídos de larga escalaPerformance analysisBlack-box tracingDistributed systemsAnálise de desempenhoSistemas distribuídosEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaPrograma doutoral em Informática - MAP-iInternet services play a critical role day-by-day in personal and professional lives. Monitoring these services is of paramount importance for quick detection and solving anomalies in order to reduce downtime and persistence of erroneous behavior, otherwise they end up causing serious negative impact. The availability of detailed data about the behavior of the system as a whole is crucial for analysis and troubleshooting anomalies. Although most software components individually provide outputs that developers foresee useful to diagnose performance and behavioral issues, they are not correlated in a causally-consistent fashion. Collecting cross-component outputs, in turn, requires substantial effort in instrumenting the source code of each software component for enabling the generation of causally-correlated outputs, which is not always viable given the heterogeneity architecture’s components and unaccessible portions of code. This renders a trade-off between black-box outputs and the detail they provide. In this dissertation, we explore this trade-off in order to enable effective analysis and troubleshooting of complex distributed systems without requiring application-specific knowledge. This was achieved by operating at the common layer of all software components, through which all interactions are performed. Specifically, we focused on exploring the operating system’s kernel as the layer of observation to extract information about the behavior of the system. Our approach relies on events triggered by distributed processes within applicational components and their well-known causal relations to aid diagnosing performance and behavior anomalies. Using three case studies, we validated that our approach represents a step forward towards observable complex distributed architectures without application-specific knowledge.Os serviços na Internet desempenham um papel fundamental no dia-a-dia de milhões de pessoas e empresas. A monitorização destes serviços é por isso essencial para a deteção e resolução de anomalias de modo a reduzir indisponibilidade e a persistência de erros. Para resolver anomalias de forma eficaz, é necessário obter dados detalhados sobre o comportamento do sistema como um todo. Embora a maioria das componentes de software forneça isoladamente dados que os programadores consideram úteis para diagnosticar problemas de desempenho e comportamento, estes não incluem informação suficiente para obter uma visão causalmente coerente do comportamento do sistema como um todo. Para que estes dados forneçam uma visão coerente do comportamento do sistema, é exigido um esforço substancial na instrumentação do código-fonte de cada componente. No entanto, isto nem sempre é viável, dada a natureza heterogénea da arquitetura das componentes e até mesmo o facto de terem porções de código-fonte inacessíveis. Assim, existe um compromisso entre os dados gerados isoladamente pelas componentes, cujo comportamento em detalhe é desconhecido, e o detalhe que estes fornecem sobre o comportamento do sistema como um todo. Nesta dissertação, explora-se esse compromisso de modo a permitir a análise e resolução de problemas eficazes de sistemas distribuídos complexos, sem necessitar de conhecimento específico do funcionamento interno das suas componentes de software. Para atingir este objetivo, é apresentada uma abordagem que estebelece o núcleo do sistema operativo como o nível de observação para extrair informação sobre o comportamento do sistema. Esta abordagem assenta sobre eventos despoletados por processos distribuídos pertencentes às componentes de software aplicacionais, bem como nas suas relações causais previamente conhecidas. Utilizando três casos de estudo, conclui-se que a abordagem proposta nesta dissertação representa um passo em frente na observação de sistemas distribuídos complexos sem conhecimento específico das suas componentes aplicacionais.Ao INESC TEC, pelo apoio e financiamento parcial deste doutoramento. À Fundação para a Ciência e a Tecnologia, pelo apoio financeiro durante os últimos três anos através da bolsa de doutoramento SFRH/BD/129771/2017Pereira, JoséVilaça, Ricardo Manuel PereiraUniversidade do MinhoNeves, Francisco Nuno Teixeira2021-11-262021-11-26T00:00:00Zdoctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://hdl.handle.net/1822/75536eng101655738info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-05-11T05:13:57Zoai:repositorium.sdum.uminho.pt:1822/75536Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T15:11:53.430627Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Holistic performance and scalability analysis for large-scale distributed systems
Análise holística de desempenho e escalabilidade para sistemas distribuídos de larga escala
title Holistic performance and scalability analysis for large-scale distributed systems
spellingShingle Holistic performance and scalability analysis for large-scale distributed systems
Neves, Francisco Nuno Teixeira
Performance analysis
Black-box tracing
Distributed systems
Análise de desempenho
Sistemas distribuídos
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Holistic performance and scalability analysis for large-scale distributed systems
title_full Holistic performance and scalability analysis for large-scale distributed systems
title_fullStr Holistic performance and scalability analysis for large-scale distributed systems
title_full_unstemmed Holistic performance and scalability analysis for large-scale distributed systems
title_sort Holistic performance and scalability analysis for large-scale distributed systems
author Neves, Francisco Nuno Teixeira
author_facet Neves, Francisco Nuno Teixeira
author_role author
dc.contributor.none.fl_str_mv Pereira, José
Vilaça, Ricardo Manuel Pereira
Universidade do Minho
dc.contributor.author.fl_str_mv Neves, Francisco Nuno Teixeira
dc.subject.por.fl_str_mv Performance analysis
Black-box tracing
Distributed systems
Análise de desempenho
Sistemas distribuídos
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Performance analysis
Black-box tracing
Distributed systems
Análise de desempenho
Sistemas distribuídos
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Programa doutoral em Informática - MAP-i
publishDate 2021
dc.date.none.fl_str_mv 2021-11-26
2021-11-26T00:00:00Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/75536
url http://hdl.handle.net/1822/75536
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 101655738
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833595161270026240

Similar Items