Exportação concluída — 

POWER Data Framework Architecture

Detalhes bibliográficos
Autor(a) principal: Simões, José Miguel Dias
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/10316/110764
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_2f54e8bc7ceb28bb1e3e1ce3be599403
oai_identifier_str oai:estudogeral.uc.pt:10316/110764
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling POWER Data Framework ArchitecturePOWER Data Framework ArchitectureArquitetura de DadosBig DataMulti-TenancyACDMData ArchitectureBig DataMulti-TenancyACDMDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaEste documento descreve o trabalho realizado por José Dias, no âmbito do estágio "POWER Data Framework Architecture", promovido pelo Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologias da Universidade de Coimbra, em parceria com a empresa Altice Labs S.A., como projeto de dissertação do Mestrado em Engenharia Informática. Este relatório serve para documentar o estado do projeto no seu ponto intermédio.O objetivo do estágio é desenhar uma arquitetura de software que cumpra os objetivos e necessidades atuais dos processos de gestão de dados da Altice Labs, construindo uma base estável para o crescimento futuro do negócio num contexto de IaaS ou PaaS, bem como a implementação de novas técnicas e práticas de gestão e \textit{governance} de dados.Para contextualizar o processo de desenho da arquitetura, abordagens inovadoras foram analisadas. Após esta contextualização, o processo de análise e engenharia requisitos foi iniciado, resultando numa especificação de requisitos que permitiu a análise dos \textit{drivers} arquiteturais. A conclusão desta etapa preliminar foi a elaboração de um rascunho da arquitetura que cumprisse os requisitos funcionais e não funcionais, ainda que sem validação experimental.Para evoluir a partir do rascunho e progredir do rascunho para uma arquitetura validada e completa, foi utilizada uma metodologia iterativa - uma versão adaptada do "Architecture-Centric Design Methodology" (ACDM). Em cada iteração, a arquitetura e os requisitos foram refinados, validados e posteriormente avaliados experimental e teoricamente.Foram realizadas duas iterações do processo de desenvolvimento da arquitetura, resultando numa \textit{pipeline} de ingestão, armazenamento e disponibilização de dados validada experimentalmente no paradigma \textit{Lakehouse}, e numa plataforma de governança e administração parcialmente validada. O projeto resultou numa especificação de requisitos e numa especificação de arquitetura que foram entregues à Altice Labs S.A..This document describes the work carried out by José Dias, in the scope of the "POWER Data Framework Architecture" internship promoted and hosted by the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra , in partnership with Altice Labs S.A., as part of the Informatics Engineering Master's course.The objective of the internship is to specify a software architecture which meets the current business goals and needs of Altice Labs' data management processes, while also providing a stable foundation for future business growth into an IaaS or PaaS context and the adoption of novel data management and governance techniques and practices.To provide the background for the architecture design process, novel approaches were analysed and reviewed. Following this brief contextualization, the preliminary requirement analysis process was initiated, resulting in a requirement specification to enable the analysis of architectural drivers. The conclusion of this preliminary step was the drafting of an architecture which met the functional and non-functional requirements albeit without experimental validation.To evolve from the draft and mature the architecture into a fully validated and complete specification, an iterative methodology was followed - an adapted version of the Architecture-Centric Design Methodology (ACDM). In each iteration the architecture and requirements were refined and subsequently evaluated experimentally and theoretically.The architecture was developed through two iterations of the design process, resulting in an experimentally validated data ingestion, storage and serving pipeline under the Lakehouse paradigm, and in a partially validated governance and administration platform. The project resulted in a requirement specification and architecture specification, which will be submitted as deliverables for Altice Labs S.A..Outro - This work is funded by the project POWER (grant number POCI-01-0247-FEDER-070365), co-financed by the European Regional Development Fund (FEDER), Portugal 2020 (PT2020), and by the Competitiveness and Internationalization Operational Programme (COMPETE 2020).2023-09-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/110764https://hdl.handle.net/10316/110764TID:203397959engSimões, José Miguel Diasinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2023-11-23T23:10:19Zoai:estudogeral.uc.pt:10316/110764Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:02:43.937479Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv POWER Data Framework Architecture
POWER Data Framework Architecture
title POWER Data Framework Architecture
spellingShingle POWER Data Framework Architecture
Simões, José Miguel Dias
Arquitetura de Dados
Big Data
Multi-Tenancy
ACDM
Data Architecture
Big Data
Multi-Tenancy
ACDM
title_short POWER Data Framework Architecture
title_full POWER Data Framework Architecture
title_fullStr POWER Data Framework Architecture
title_full_unstemmed POWER Data Framework Architecture
title_sort POWER Data Framework Architecture
author Simões, José Miguel Dias
author_facet Simões, José Miguel Dias
author_role author
dc.contributor.author.fl_str_mv Simões, José Miguel Dias
dc.subject.por.fl_str_mv Arquitetura de Dados
Big Data
Multi-Tenancy
ACDM
Data Architecture
Big Data
Multi-Tenancy
ACDM
topic Arquitetura de Dados
Big Data
Multi-Tenancy
ACDM
Data Architecture
Big Data
Multi-Tenancy
ACDM
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2023
dc.date.none.fl_str_mv 2023-09-07
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/110764
https://hdl.handle.net/10316/110764
TID:203397959
url https://hdl.handle.net/10316/110764
identifier_str_mv TID:203397959
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602558192517120

Registros relacionados