The joint-effect of imbalanced and missing data: a challenging task in data analysis

Bibliographic Details
Main Author: Coelho, Maria Leonor Inês
Publication Date: 2022
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/103003
Summary: Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
id RCAP_347e4a730d7ed04211b8dac9e1db690e
oai_identifier_str oai:estudogeral.uc.pt:10316/103003
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling The joint-effect of imbalanced and missing data: a challenging task in data analysisEstudo da combinação de contextos pouco balanceados e de dados em faltadados em faltadados não balanceadossmall disjunctsanálise de dadosmissing dataimbalanced datasmall disjunctsdata analysisDissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e TecnologiaA evolução da tecnologia aumentou exponencialmente a quantidade e complexidade dos dados, o que levou ao aparecimento de problemas ao nível dos dados que afetam negativamente o desempenho do processo de extração de conhecimento dos dados. Estes problemas podem ser divididos em duas categorias: problemas de distribuição, onde estão incluídos o não balanceamento dos dados e os small disjuncts, e de variáveis, onde se encontra o problema dos dados em falta.A relação entre dificuldades da primeira categoria foi já estudada por alguns autores. No entanto, a relação entre problemas de cada uma das categorias ainda não foi abordada na literatura. Por isso, o foco desta tese é a inter-relação entre problemas de diferentes categorias e como é que esses problemas afetam o desempenho da classificação.Neste trabalho, é apresentado um estudo sobre como algumas características de datasets afetam a imputação de dados em falta e a classificação dos dados. As características consideradas foram o tamanho e número de features num dataset, o Imbalance Ratio (IR), algumas métricas de complexidade e a distribuição da classe minoritária. Chegou-se à conclusão que estas características não têm um grande impacto na imputação mas, por outro lado, o IR e a distribuição da classe minoritária afetam bastante os algoritmos de classificação. Quanto menos balanceado um dataset é e mais dados unsafe tem, pior será o desempenho da classificação. Em conclusão, a classificação irá ter pior resultados em datasets com uma complexidade mais alta.The evolution of the technology increased exponentially the amount of available data and the complexity of it, which brought some data quality problems that affect negatively the performance of the data mining process. These data quality issues can be divided into two main categories: distribution-based, which includes class imbalance and small disjuncts, and feature-based, that includes missing data. These problems often occur together in real-world datasets, therefore, it is important to study how problems from one category affect issues from the other.The interrelation among problems from the same category have already been studied while the relation between distribution and feature-based have yet to be researched. This thesis focus on this interrelation and how both problems affect the classification performance. In this work, it is presented a study on some datasets characteristics and the effect they have on the imputation and classification performance. The considered characteristics were the size and number of features in a dataset, the Imbalance Ratio (IR), some complexity metrics and the distribution of the minority class. These characteristics do not have a high impact on the imputation performance while the IR and the distribution of the minority class highly affect the classification task. The higher the IR and the percentage of unsafe samples, the lower the performance will be. In conclusion, the classification will have worse results when a dataset has a higher complexity.2022-09-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/103003https://hdl.handle.net/10316/103003TID:203077954engCoelho, Maria Leonor Inêsinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2022-10-19T20:36:24Zoai:estudogeral.uc.pt:10316/103003Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T05:52:35.246775Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv The joint-effect of imbalanced and missing data: a challenging task in data analysis
Estudo da combinação de contextos pouco balanceados e de dados em falta
title The joint-effect of imbalanced and missing data: a challenging task in data analysis
spellingShingle The joint-effect of imbalanced and missing data: a challenging task in data analysis
Coelho, Maria Leonor Inês
dados em falta
dados não balanceados
small disjuncts
análise de dados
missing data
imbalanced data
small disjuncts
data analysis
title_short The joint-effect of imbalanced and missing data: a challenging task in data analysis
title_full The joint-effect of imbalanced and missing data: a challenging task in data analysis
title_fullStr The joint-effect of imbalanced and missing data: a challenging task in data analysis
title_full_unstemmed The joint-effect of imbalanced and missing data: a challenging task in data analysis
title_sort The joint-effect of imbalanced and missing data: a challenging task in data analysis
author Coelho, Maria Leonor Inês
author_facet Coelho, Maria Leonor Inês
author_role author
dc.contributor.author.fl_str_mv Coelho, Maria Leonor Inês
dc.subject.por.fl_str_mv dados em falta
dados não balanceados
small disjuncts
análise de dados
missing data
imbalanced data
small disjuncts
data analysis
topic dados em falta
dados não balanceados
small disjuncts
análise de dados
missing data
imbalanced data
small disjuncts
data analysis
description Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/103003
https://hdl.handle.net/10316/103003
TID:203077954
url https://hdl.handle.net/10316/103003
identifier_str_mv TID:203077954
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602503650836480

Similar Items