A relational algebra approach to ETL modeling

Bibliographic Details
Main Author: Santos, Vasco Nuno Caio dos
Publication Date: 2015
Language: por
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/1822/38442
Summary: The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and Porto
id RCAP_8cd9098d6c53b412065231d3344f53f1
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/38442
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling A relational algebra approach to ETL modelingData Warehousing SystemsExtract-Transform-Load ProcessesRelational AlgebraETL Conceptual and Logical ModelingETL PatternsBPMNSistemas de Data WarehousingProcessos de Extração-Transformação- AlimentaçãoÁlgebra RelacionalModelação Concetual e Lógica de ETLPadrões ETLBPMNEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaThe MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and PortoInformation Technology has been one of drivers of the revolution that currently is happening in today’s management decisions in most organizations. The amount of data gathered and processed through the use of computing devices has been growing every day, providing a valuable source of information for decision makers that are managing every type of organization, public or private. Gathering the right amount of data in a centralized and unified repository like a data warehouse is similar to build the foundations for a system that will act has a base to support decision making processes requiring factual information. Nevertheless, the complexity of building such a repository is very challenging, as well as developing all the components of a data warehousing system. One of the most critical components of a data warehousing system is the Extract-Transform-Load component, ETL for short, which is responsible for gathering data from information sources, clean, transform and conform it in order to store it in a data warehouse. Several designing methodologies for the ETL components have been presented in the last few years with very little impact in ETL commercial tools. Basically, this was due to an existing gap between the conceptual design of an ETL system and its correspondent physical implementation. The methodologies proposed ranged from new approaches, with novel notation and diagrams, to the adoption and expansion of current standard modeling notations, like UML or BPMN. However, all these proposals do not contain enough detail to be translated automatically into a specific execution platform. The use of a standard well-known notation like Relational Algebra might bridge the gap between the conceptual design and the physical design of an ETL component, mainly due to its formal approach that is based on a limited set of operators and also due to its functional characteristics like being a procedural language operating over data stored in relational format. The abstraction that Relational Algebra provides over the technological infrastructure might also be an advantage for uncommon execution platforms, like computing grids that provide an exceptional amount of processing power that is very critical for ETL systems. Additionally, partitioning data and task distribution over computing nodes works quite well with a Relational Algebra approach. An extensive research over the use of Relational Algebra in the ETL context was conducted to validate its usage. To complement this, a set of Relational Algebra patterns were also developed to support the most common ETL tasks, like changing data capture, data quality enforcement, data conciliation and integration, slowly changing dimensions and surrogate key pipelining. All these patterns provide a formal approach to the referred ETL tasks by specifying all the operations needed to accomplish them in a series of Relational Algebra operations. To evaluate the feasibility of the work done in this thesis, we used a real ETL application scenario for the extraction of data in two different social networks operational systems, storing hashtag usage information in a specific data mart. The ability to analyze trends in social network usage is a hot topic in today’s media and information coverage. A complete design of the ETL component using the patterns developed previously is also provided, as well as a critical evaluation of its usage.As Tecnologias da Informação têm sido um dos principais catalisadores na revolução que se assiste nas tomadas de decisão na maioria das organizações. A quantidade de dados que são angariados e processados através do uso de dispositivos computacionais tem crescido diariamente, tornando-se uma fonte de informação valiosa para os decisores que gerem todo o tipo de organizações, públicas ou privadas. Concentrar o conjunto ideal de dados num repositório centralizado e unificado, como um data warehouse, é essencial para a construção de um sistema que servirá de suporte aos processos de tomada de decisão que necessitam de factos. No entanto, a complexidade associada à construção deste repositório e de todos os componentes que caracterizam um sistema de data warehousing é extremamente desafiante. Um dos componentes mais críticos de um sistema de data warehousing é a componente de Extração-Transformação- Alimentação (ETL) que lida com a extração de dados das fontes, que limpa, transforma e concilia os dados com vista à sua integração no data warehouse. Nos últimos anos têm sido apresentadas várias metodologias de desenho da componente de ETL, no entanto estas não têm sido adotadas pelas ferramentas comerciais de ETL principalmente devido ao diferencial existente entre o desenho concetual e as plataformas físicas de execução. As metodologias de desenho propostas variam desde propostas que assentam em novas notações e diagramas até às propostas que usam notações standard como a notação UML e BPMN que depois são complementadas com conceitos de ETL. Contudo, estas propostas de modelação concetual não contêm informações detalhadas que permitam uma tradução automática para plataformas de execução. A utilização de uma linguagem standard e reconhecida como a linguagem de Álgebra Relacional pode servir como complemento e colmatar o diferencial existente entre o desenho concetual e o desenho físico da componente de ETL, principalmente devido ao facto de esta linguagem assentar numa abordagem procedimental com um conjunto limitado de operadores que atuam sobre dados armazenados num formato relacional. A abstração providenciada pela Álgebra Relacional relativamente às plataformas de execução pode eventualmente ser uma vantagem tendo em vista a utilização de plataformas menos comuns, como por exemplo grids computacionais. Este tipo de arquiteturas disponibiliza por norma um grande poder computacional o que é essencial para um sistema de ETL. O particionamento e distribuição dos dados e tarefas pelos nodos computacionais conjugam relativamente bem com a abordagem da Álgebra Relacional. No decorrer deste trabalho foi efetuado um estudo extensivo às propriedades da AR num contexto de ETL com vista à avaliação da sua usabilidade. Como complemento, foram desenhados um conjunto de padrões de AR que suportam as atividades mais comuns de ETL como por exemplo changing data capture, data quality enforcement, data conciliation and integration, slowly changing dimensions e surrogate key pipelining. Estes padrões formalizam este conjunto de atividades ETL, especificando numa série de operações de Álgebra Relacional quais os passos necessários à sua execução. Com vista à avaliação da sustentabilidade da proposta presente neste trabalho, foi utilizado um cenário real de ETL em que os dados fontes pertencem a duas redes sociais e os dados armazenados no data mart identificam a utilização de hashtags por parte dos seus utilizadores. De salientar que a deteção de tendências e de assuntos que estão na ordem do dia nas redes sociais é de vital importância para as empresas noticiosas e para as próprias redes sociais. Por fim, é apresentado o desenho completo do sistema de ETL para o cenário escolhido, utilizando os padrões desenvolvidos neste trabalho, avaliando e criticando a sua utilização.Belo, O.Universidade do MinhoSantos, Vasco Nuno Caio dos2015-09-302015-09-30T00:00:00Zdoctoral thesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://hdl.handle.net/1822/38442por101253818info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-05-11T04:13:48Zoai:repositorium.sdum.uminho.pt:1822/38442Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T14:43:06.115721Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv A relational algebra approach to ETL modeling
title A relational algebra approach to ETL modeling
spellingShingle A relational algebra approach to ETL modeling
Santos, Vasco Nuno Caio dos
Data Warehousing Systems
Extract-Transform-Load Processes
Relational Algebra
ETL Conceptual and Logical Modeling
ETL Patterns
BPMN
Sistemas de Data Warehousing
Processos de Extração-Transformação- Alimentação
Álgebra Relacional
Modelação Concetual e Lógica de ETL
Padrões ETL
BPMN
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short A relational algebra approach to ETL modeling
title_full A relational algebra approach to ETL modeling
title_fullStr A relational algebra approach to ETL modeling
title_full_unstemmed A relational algebra approach to ETL modeling
title_sort A relational algebra approach to ETL modeling
author Santos, Vasco Nuno Caio dos
author_facet Santos, Vasco Nuno Caio dos
author_role author
dc.contributor.none.fl_str_mv Belo, O.
Universidade do Minho
dc.contributor.author.fl_str_mv Santos, Vasco Nuno Caio dos
dc.subject.por.fl_str_mv Data Warehousing Systems
Extract-Transform-Load Processes
Relational Algebra
ETL Conceptual and Logical Modeling
ETL Patterns
BPMN
Sistemas de Data Warehousing
Processos de Extração-Transformação- Alimentação
Álgebra Relacional
Modelação Concetual e Lógica de ETL
Padrões ETL
BPMN
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Data Warehousing Systems
Extract-Transform-Load Processes
Relational Algebra
ETL Conceptual and Logical Modeling
ETL Patterns
BPMN
Sistemas de Data Warehousing
Processos de Extração-Transformação- Alimentação
Álgebra Relacional
Modelação Concetual e Lógica de ETL
Padrões ETL
BPMN
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and Porto
publishDate 2015
dc.date.none.fl_str_mv 2015-09-30
2015-09-30T00:00:00Z
dc.type.driver.fl_str_mv doctoral thesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/38442
url http://hdl.handle.net/1822/38442
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 101253818
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833594837901770752

Similar Items