Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes

Bibliographic Details
Main Author: Ordenã, Antónia Melicia de Sousa
Publication Date: 2018
Format: Master thesis
Language: por
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/10400.5/17628
Summary: Mestrado em Gestão de Sistemas de Informação
id RCAP_ae924f05f32cb3c2e322c35c08de6601
oai_identifier_str oai:repositorio.ulisboa.pt:10400.5/17628
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientesQualidade de dadosproblema de qualidade de dadosmelhoria de qualidade de dadosGTQDdata profilingdata enrichmentData qualitydata quality problemdata quality improvementTDQMMestrado em Gestão de Sistemas de InformaçãoO aumento da quantidade de dados relevou a importância da qualidade nos dados. Considerando este fator a empresa FinanceQ, no âmbito do projeto de migração, reconheceu a importância de melhorar a qualidade dos dados a migrar. Nesse sentido requisitou os serviços da empresa SIGQ e definiu como objetivos de projeto analisar a qualidade de dados atual; aplicar medidas de normalização nos dados; e aplicar medidas de enriquecimento nos atributos de morada. Considerando os objetivos definidos utilizou-se o software SAS Dataflux e aplicou-se a metodologia da aplicação composta por três fases: planeamento; ação; e monitorização. Durante o processo de qualidade foram aplicadas técnicas de data profiling para analisar os dados e a taxonomia de Oliveira et al.(2005) para identificar o tipo de anomalia nos dados. Quanto a melhoria de qualidade de dados seguiu-se a estratégia reativa onde foram aplicadas técnicas de normalização e enriquecimento para solucionar os problemas identificados: valores sem significado; valores a null; padrões inadequados para o atributo; erros ortográficos; existência de sinónimos; e valores fora do domínio dos atributos. Na fase final do projeto foi possível identificar que as técnicas aplicadas permitiram designar corretamente os géneros, reorganizar os números de telefone e validar os padrões de valores; as ações de limpeza e correção dos dados eliminaram os valores sem significado e corrigiram os erros ortográficos; O processo de enriquecimento normalizou os dados e enriqueceu os atributos de código postal em 80% dos registos. Na generalidade as técnicas aplicadas impactaram as características dos dados exatidão, objetividade, completude e consistência.The increasing availability of data highlighted the importance of data quality. Considering this factor the company FinanceQ acknowledged the importance of improving data quality in their migration project. With this goal in mind, they requested the services of the company SIGQ to analyse and implement data quality procedures. The goal of this project centred on three key issues: analysis of the current data quality; normalization of data; and address data enrichment. To fulfil the defined goals FinanceQ acquired the software SAS Dataflux and applied the SAS Dataflux methodology composed of three steps: planning; action; and monitoring. During the data quality process, data profiling techniques were applied to analyse data and the taxonomy of Oliveira et al. (2005) was considered to identify anomaly types. A data driven strategy was used for quality improvement and the techniques applied were data normalization and data enrichment to solve the identified problems: meaningless values; missing values; inadequate patterns; misspellings; synonymous; and values behind the context. In the last stage of the project it was possible to verify that the applied techniques allowed for correct designation of the gender fields, reorganization of telephone numbers and identification of measures to validate value patterns; the data cleaning and treatment helped to eliminate meaningless values and correct misspellings; the data enrichment process of addresses permitted normalisation and enrichment of the postal code fields in 80% of the records. In general, the goals of the applied techniques were to improve the data quality dimensions accuracy, objectivity, completeness and consistency.Instituto Superior de Economia e GestãoLucas, AnaRepositório da Universidade de LisboaOrdenã, Antónia Melicia de Sousa2019-09-15T00:30:27Z2018-102018-10-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.5/17628porOrdenã, Antónia Melicia de Sousa (2018). "Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes". Dissertação de Mestrado, Universidade de Lisboa. Instituto Superior de Economia e Gestão.info:eu-repo/semantics/embargoedAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2025-03-17T15:37:39Zoai:repositorio.ulisboa.pt:10400.5/17628Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T03:49:06.272511Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
spellingShingle Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
Ordenã, Antónia Melicia de Sousa
Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
title_short Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_full Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_fullStr Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_full_unstemmed Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
title_sort Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes
author Ordenã, Antónia Melicia de Sousa
author_facet Ordenã, Antónia Melicia de Sousa
author_role author
dc.contributor.none.fl_str_mv Lucas, Ana
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Ordenã, Antónia Melicia de Sousa
dc.subject.por.fl_str_mv Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
topic Qualidade de dados
problema de qualidade de dados
melhoria de qualidade de dados
GTQD
data profiling
data enrichment
Data quality
data quality problem
data quality improvement
TDQM
description Mestrado em Gestão de Sistemas de Informação
publishDate 2018
dc.date.none.fl_str_mv 2018-10
2018-10-01T00:00:00Z
2019-09-15T00:30:27Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.5/17628
url http://hdl.handle.net/10400.5/17628
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv Ordenã, Antónia Melicia de Sousa (2018). "Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes". Dissertação de Mestrado, Universidade de Lisboa. Instituto Superior de Economia e Gestão.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
publisher.none.fl_str_mv Instituto Superior de Economia e Gestão
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833601843773571072

Similar Items