Dynamic end-to-end reliable causal delivery middleware for geo-replicated services

Bibliographic Details
Main Author: Younes, Georges
Publication Date: 2023
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/1822/86186
Summary: Programa de doutoramento em Informática
id RCAP_8f61100c720249564c9938569c62b062
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/86186
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Dynamic end-to-end reliable causal delivery middleware for geo-replicated servicesCausalidade dinâmica extremo a extremo em replicação geográficaCoerência causalEntrega causalReplicação geográficaCausal consistencyCausal deliveryGeo-replicationEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaPrograma de doutoramento em InformáticaO crescimento da dependência de serviços baseados na Internet, durante as últimas duas décadas, causou um aumento na adoção de sistemas geo-replicados. O desenho deste sistemas é enquadrado à luz do teorema CAP. Neste contexto os modelos de coerência relaxada – Eventual Consistency – permitem reduzir o tempo de resposta para com os utilizadores finais e, assim, aumentar a disponibilidade dos sistemas e obter interações mais rápidas. O advento de novas técnicas de convergência como Conflictfree Replicated Data Types, amplamente adotados na indústria de geo-replicação como seja no Facebook, PayPal, Microsoft, SoundCloud, entre outros, permitiu também um maior enquadramento formal destas técnicas. Em particular, o modelo de coerência causal, provou ser o modelo mais forte para sistemas sempre disponíveis. Assim torna-se relevante revisitar as técnicas de comunicação causal em grupo, e associado middleware de transmissão, pois sendo que muitos destes sistemas foram originalmente construídas à perto de três décadas, precisam de ser adequados ao contexto actual de utilização. Esta tese principia pela análise de novas abstrações para a garantia de propriedades end-to-end no registo e entrega causal. Prossegue com a observação de anomalias e ineficiências resultantes de implementações multi-threaded de entrega causal, e com a identificação de uma primeira abordagem para garantir causalidade entres os dois extremos do sistema. Após a identificação de problemas na escalabilidade nas implementações que se baseiam em vectores versão ou relógios lógicos, é proposta uma nova solução baseada na manipulação de grafos de dependências e numa eficiente manutenção e simplificação dos mesmos, recorrendo à observação de propriedades de estabilidade. É também proposta uma nova API aos utilizadores do middleware de comunicação. A avaliação das soluções propostas foi feita com base num sistema programado em Erlang e foi feita a sua avaliação de desempenho e aplicação a quatro casos de estudo.The reliance on Internet-based services during the past two decades caused a leap in geo-replicated systems, as a means to target clients across the globe, in the light of the CAP theorem. Therefore, relaxed consistency models got a lot of attention to reduce the response time to end users, and thus boost the availability of the systems at the cost of delayed – Eventual Consistency–. Together with the advent of new convergence techniques like Conflict-free Replicated Data Types—widely adopted in the georeplication industry like Facebook, PayPal, Microsoft, SoundCloud, etc., this lead to the reliance on more useful tradeoff consistency models like the causal consistency model, proven to be strongest model for available systems. Intuitively, this suggested another visit to revise the causality techniques, broadcast middleware, and abstractions, originally built three decades earlier for a different set of digital services, i.e., applications, capabilities, and usage. The research in this thesis analyzes the end to end workflow of causality-based services, leading to the identification of new problems and shortcoming in state of the art causality techniques and abstractions, and proposing novel corresponding ones. First, this work discovers that, given that many applications are today multi-threaded, handling causality while overlooking this fact will lead into semantic pitfalls in some classes of applications. A corresponding technique is proposed in this thesis to apply end-to-end time-stamping at the application level instead of the causal middleware. Second, this thesis points out a scalability problem in state of the art causal broadcast middlewares that rely on vector clocks for timestamping. This thesis proposes the first graph-based abstraction for timestamping which is proven to be one order of magnitude more scalable and efficient than its state of the art counterpart. Third, this work identifies existing redundancy in the time-stamping methods used in both causal middleware and application logic, and thus proposes a slightly modified, but effective, API that reduces the bandwidth metadata overhead by half. The API includes the notion of causal stability that makes garbage collection fast and easy. Fourth, this thesis introduces the first technique for dynamic causality middleware, crucial in elastic services, leading to guaranteed causal delivery under dynamic membership. These contributions are then implemented in a comprehensive well-engineered codebase in Erlang. To demonstrate its usefulness and feasibility, this work has been applied to four practical use-cases and projects during the course of this thesis.Baquero, CarlosShoker, AliUniversidade do MinhoYounes, Georges2023-01-182023-01-18T00:00:00Zdoctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://hdl.handle.net/1822/86186eng101563310info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-05-11T04:30:26Zoai:repositorium.sdum.uminho.pt:1822/86186Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T14:50:10.928027Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
Causalidade dinâmica extremo a extremo em replicação geográfica
title Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
spellingShingle Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
Younes, Georges
Coerência causal
Entrega causal
Replicação geográfica
Causal consistency
Causal delivery
Geo-replication
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
title_full Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
title_fullStr Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
title_full_unstemmed Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
title_sort Dynamic end-to-end reliable causal delivery middleware for geo-replicated services
author Younes, Georges
author_facet Younes, Georges
author_role author
dc.contributor.none.fl_str_mv Baquero, Carlos
Shoker, Ali
Universidade do Minho
dc.contributor.author.fl_str_mv Younes, Georges
dc.subject.por.fl_str_mv Coerência causal
Entrega causal
Replicação geográfica
Causal consistency
Causal delivery
Geo-replication
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Coerência causal
Entrega causal
Replicação geográfica
Causal consistency
Causal delivery
Geo-replication
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Programa de doutoramento em Informática
publishDate 2023
dc.date.none.fl_str_mv 2023-01-18
2023-01-18T00:00:00Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/86186
url https://hdl.handle.net/1822/86186
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 101563310
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833594921511026688

Similar Items