Seleção de atributos de dados inconsistentes

• Main Author: Apolónia, João
• Publication Date: 2019
• Format: Master thesis
• Language: por
• Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
• Download full: http://hdl.handle.net/10400.2/8066
• topic: Data mining; Seleção de atributos; Inconsistência de dados; Análise Lógica de Dados (LAD); Análise Lógica de Dados Inconsistentes (LAID); Feature selection; LAID; Data inconsistency; HDF5; Python; INCD

O tratamento de conjuntos de dados de grande dimensão é uma questão que é recorrente nos dias de hoje e cuja tarefa não é simples, dadas as limitações computacionais, ainda, existentes. Uma das abordagens possíveis passa por realizar uma seleção de atributos que permita diminuir, consideravelmente, a dimensão dos dados sem aumentar a inconsistência dos mesmos. “Rough Sets” é uma abordagem que difere doutras técnicas de seleção de atributos pela sua capacidade de lidar com dados inconsistentes. Outra abordagem para redução de dados é conhecida como Análise Lógica de Dados (LAD). A Análise Lógica de Dados Inconsistentes (LAID) junta as vantagens destas duas abordagens. Com o grande aumento do volume de dados, o paradigma, relativamente ao seu manuseamento, tem-se alterado. Antes, o tratamento dos dados era efetuado num único computador e o acesso era realizado depois do seu carregamento em memória. A tendência atual é aceder aos dados em disco, num ambiente cloud. O trabalho realizado pretende validar este novo paradigma, com recurso ao sistema de dados HDF5 (Hierarchical Data Format) e ao ambiente remoto disponibilizado pela INCD (Infraestrutura Nacional de Computação Distribuída). Pelo facto de o HDF5 ser o sistema adotado pela comunidade Python para lidar com dados de grande dimensão, esta linguagem foi escolhida para implementação do LAID. A presente dissertação é mais um contributo para o aprofundamento das técnicas de Data Mining (extração de conhecimento de dados). Nomeadamente, aborda a seleção de atributos (feature selection) aplicada a conjunto de dados de grande dimensão, guardados no formato HDF5, com avaliação da inconsistência dos dados, através da aplicação do algoritmo LAID, codificado em Python, num ambiente cloud.