Reescrita de operações de limpeza de dados

• Main Author: Santos, Fábio Roberto Barros dos
• Publication Date: 2016
• Format: Master thesis
• Language: por
• Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
• Download full: http://hdl.handle.net/10400.22/10941
• topic: Qualidade dos dados; DQM; Operações de limpeza de dados; Ferramentas de limpeza de dados; Reescrita de operações; Ontologias; Data Quality; Data Cleaning Operations; Query rewriting; Ontologies

Este trabalho surge num contexto em que as tecnologias estão presentes em grande escala no quotidiano das organizações/pessoas, produzindo uma elevada quantidade de dados. Nesses dados, por sua vez residem problemas de qualidade que precisam de ser tratados de uma forma simples e eficaz. O problema abordado neste trabalho é a reescrita de operações de limpeza de dados e a sua aplicabilidade entre diferentes repositórios/ferramentas de limpeza de dados. Essa necessidade surge pelo facto de no momento em que se define uma operação, a mesma se encontra dependente do repositório de dados/linguagem que utiliza. O objetivo proposto neste trabalho consiste em especificar as operações a um elevado nível conceptual (permitindo o seu acesso a outros utilizadores sem ser unicamente os especialistas) e permitir a automatização da sua reescrita. A abordagem adotada consiste na elaboração de uma solução que implementa um processo de reescrita genérico, tendo por base conteúdo de configuração definido de acordo com o contexto em que vai ser utilizada. O conteúdo de configuração utilizado consiste na captura sobre um formato de ontologias do domínio (descrição da estrutura) do repositório de dados utilizado para definir as operações como também do domínio do repositório escolhido para a reescrita, do vocabulário utilizado para definir as operações como também do vocabulário que descreve a linguagem utilizada na ferramenta de limpeza de dados (para a qual a operação vai ser reescrita), alinhamentos entre as ontologias definidas anteriormente com o objetivo de obter as correspondências entre elementos das ontologias e por fim uma gramática que permite a definir a estrutura das operações. A partir da gramática e do conteúdo criado pelo processo de reescrita a um nível conceptual, é possível construir a operação final devidamente formatada para ser utilizada na ferramenta de dados. Os resultados alcançados permitem a reescrita de operações simples utilizadas na maioria dos casos para reutilização em outros contextos de uma forma automática/semiautomática entre diferentes repositórios de dados/ferramentas de limpeza de dados. As operações que se encontram a um nível semiautomático de reescrita deve-se ao facto de necessitarem de parâmetros definidos explicitamente pelo utilizador. Apesar ser possível reescrever operações simples, existem limitações de reescrita quer ao nível da complexidade das operações, como também do suporte prestado pelo vocabulário base utilizado relativamente às funcionalidades das ferramentas de limpeza de dados.