Towards autonomic workload aware NoSQL databases

Bibliographic Details
Main Author: Cruz, Francisco Miguel Carvalho Barros
Publication Date: 2016
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/1822/44984
Summary: The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and Porto
id RCAP_54bb2313c5511a0bcfc9d68dd9a77c2e
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/44984
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Towards autonomic workload aware NoSQL databasesRumo a bases de dados NoSQL autonomamente adaptáveis a distribuição dos pedidosEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaThe MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and PortoIn order to attain the promises of the Cloud Computing paradigm, systems need to be able to transparently adapt to environment changes. NoSQL databases, which are becoming pivotal systems in nowadays cloud infrastructures, exhibit the highly desirable scalability and availability properties. Scalability achieved by these databases is anchored on data independence; there is no clear relationship between data, and atomic inter-node operations are not a concern. Such assumption over data allows a paradigm shift on how to achieve the best performance. Unfortunately, current solutions put the burden on the application's developer to handle and master the speci cities of each system that is hindering a broader adoption. In this dissertation, we tackle the several shortcomings in current implementations of cloud-based NoSQL databases at three di erent levels. First, we present a cloud-enabled framework for the automatic and heterogeneous recon guration of NoSQL databases. This framework enables NoSQL databases to become autonomously elastic while providing a new load balancing component that takes into account data access patterns. Secondly, we propose a novel mechanism to partition data that takes into account the system workload. It estimates, in an autonomous way, a splitting point that leads to optimal load balancing in terms of requests. Finally, we develop a mechanism to accurately predict the resource usage of NoSQL databases resorting to an o ine trained model. Then, it can accurately estimate in real time the database resource usage for any request distribution only by knowing two parameters: i) cache hit ratio; and ii) incoming throughput. Both input values can be observed in real time or synthesized for request allocation decisions, furthermore it is su ciently simple and generic so it can be used with several databases.De modo a alcançar as promessas do paradigma da computação na nuvem, os sistemas têm de ser capazes de adaptar-se às mudanças de uma forma transparente. Os bancos de dados NoSQL que estão-se a tornar sistemas cruciais nas infraestruturas da nuvem, possuem as propriedades de escalabilidade e elevada disponibilidade. A escalabilidade está assente na independência de dados; pois não existe uma relação clara entre os mesmos, e operações atómicas que envolvam mais que um nó não são uma preocupação. Tal pressuposto permite uma mudança de paradigma na forma de alcançar o melhor desempenho. Infelizmente, as soluções atuais requerem responsabilidades adicionais a quem desenvolve as aplicações, nomeadamente a necessidade de manipular e dominar as especificidades de cada sistema. Esta situação esta a dificultar a adoção do paradigma. Nesta dissertação, abordamos v arias lacunas das atuais implementações de bases de dados NoSQL a três diferentes níveis. Primeiramente, apresentamos um sistema que permite a reconfiguração automática e heterogénea de bases de dados NoSQL, que permite ainda que essas mesmas bases de dados se tornem autonomamente elásticas e simultaneamente balancear a carga tendo em conta os padrões de acesso. Em segundo lugar, propomos um novo mecanismo de particionamento de dados que tem em conta o estado atual do sistema, ao estimar de forma autónoma qual o ponto ideal de divisão baseado nos pedidos. Finalmente, desenvolvemos um mecanismo para prever com precisão o uso de recursos pelas bases de dados NoSQL com base num modelo construído em modo online. Esse modelo permite estimar com elevada precisão e em tempo real o uso de recursos da base de dados para qualquer distribuição somente conhecendo dois parâmetros: i) a taxa de acessos com sucesso da cache e ii) o desempenho. Ambos os valores podem ser observados em tempo real, ou sintetizados para decisões de alocação, para al em disso, o mecanismo é suficientemente simples e genérico podendo ser utilizado em v arias bases de dados.Fundação para a Ciência e Tecnologia (FCT), que apoiou este trabalho através da bolsa de doutoramento (SFRH/BD/80111/2011), e ao Departamento de Informática da Universidade do Minho e ao HASLab - High Assurance Software Lab, que ofereceram-me as condições necessárias para realizar a presente tese.Oliveira, Rui Carlos Mendes deUniversidade do MinhoCruz, Francisco Miguel Carvalho Barros2016-11-282016-11-28T00:00:00Zdoctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://hdl.handle.net/1822/44984eng101396325info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-05-11T06:31:05Zoai:repositorium.sdum.uminho.pt:1822/44984Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T15:55:34.849174Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Towards autonomic workload aware NoSQL databases
Rumo a bases de dados NoSQL autonomamente adaptáveis a distribuição dos pedidos
title Towards autonomic workload aware NoSQL databases
spellingShingle Towards autonomic workload aware NoSQL databases
Cruz, Francisco Miguel Carvalho Barros
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Towards autonomic workload aware NoSQL databases
title_full Towards autonomic workload aware NoSQL databases
title_fullStr Towards autonomic workload aware NoSQL databases
title_full_unstemmed Towards autonomic workload aware NoSQL databases
title_sort Towards autonomic workload aware NoSQL databases
author Cruz, Francisco Miguel Carvalho Barros
author_facet Cruz, Francisco Miguel Carvalho Barros
author_role author
dc.contributor.none.fl_str_mv Oliveira, Rui Carlos Mendes de
Universidade do Minho
dc.contributor.author.fl_str_mv Cruz, Francisco Miguel Carvalho Barros
dc.subject.por.fl_str_mv Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and Porto
publishDate 2016
dc.date.none.fl_str_mv 2016-11-28
2016-11-28T00:00:00Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/44984
url http://hdl.handle.net/1822/44984
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 101396325
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833595628480888832

Similar Items