Biblioteca em Python para explicabilidade de anomalias

Bibliographic Details
Main Author: Faria, Rodrigo
Publication Date: 2021
Other Authors: Colli, Tiago
Format: Bachelor thesis
Language: por
Source: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Download full: http://repositorio.utfpr.edu.br/jspui/handle/1/34910
Summary: Outlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user.
id UTFPR-12_a38da4e9b31415029796d568eb232fe9
oai_identifier_str oai:repositorio.utfpr.edu.br:1/34910
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Biblioteca em Python para explicabilidade de anomaliasPython library for explanability of anomaliesPython (Linguagem de programação de computador)AlgorítmosProcessamento eletrônico de dados - AnáliseMineração de dados (Computação)Python (Computer program language)AlgorithmsElectronic data processing - AnalysisData miningCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAOOutlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user.A detecção de outliers tem sido usada para detectar e, quando apropriado, remover observa- ções anômalas dos dados. Sua utilização pode identificar falhas e fraudes no sistema antes que as mesmas resultem em consequências potencialmente graves, entre diversas outras aplicações. Uma ramificação da contribuição dada pela detecção de outliers está relacionada a entender quais os aspectos da observação anômala a separam significativamente das demais. Essa área de pesquisa t em sido denominada Outlier Aspect Mining (OAM). Apesar de ser um tópico novo e com poucas pesquisas desenvolvidas, resultados e aplicações promissoras têm sido apresentados pela comunidade. Tendo isso em vista, o objetivo deste trabalho será contribuir com as pesquisas de OAM de forma prática. Foi produzida uma biblioteca em Python que possibilita o usuário aplicar algoritmos de Outlier Aspect Mining e analisar os resultados em suas próprias massas de dados. O código fonte está disponível para a comunidade não apenas utilizá-lo, mas também estendê-lo como desejar. A biblioteca foi testada em dados do mercado econômico e também avaliada por um usuário final.Universidade Tecnológica Federal do ParanáCuritibaBrasilSistemas de InformaçãoUTFPRGomes Junior, Luiz CelsoGomes Junior, Luiz CelsoBuiar, José AntonioBenghi, Felipe MarxFaria, RodrigoColli, Tiago2024-09-27T19:57:22Z2024-09-27T19:57:22Z2021-12-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfFARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/34910porhttp://creativecommons.org/licenses/by-sa/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-09-28T06:07:26Zoai:repositorio.utfpr.edu.br:1/34910Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-09-28T06:07:26Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Biblioteca em Python para explicabilidade de anomalias
Python library for explanability of anomalies
title Biblioteca em Python para explicabilidade de anomalias
spellingShingle Biblioteca em Python para explicabilidade de anomalias
Faria, Rodrigo
Python (Linguagem de programação de computador)
Algorítmos
Processamento eletrônico de dados - Análise
Mineração de dados (Computação)
Python (Computer program language)
Algorithms
Electronic data processing - Analysis
Data mining
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO
title_short Biblioteca em Python para explicabilidade de anomalias
title_full Biblioteca em Python para explicabilidade de anomalias
title_fullStr Biblioteca em Python para explicabilidade de anomalias
title_full_unstemmed Biblioteca em Python para explicabilidade de anomalias
title_sort Biblioteca em Python para explicabilidade de anomalias
author Faria, Rodrigo
author_facet Faria, Rodrigo
Colli, Tiago
author_role author
author2 Colli, Tiago
author2_role author
dc.contributor.none.fl_str_mv Gomes Junior, Luiz Celso
Gomes Junior, Luiz Celso
Buiar, José Antonio
Benghi, Felipe Marx
dc.contributor.author.fl_str_mv Faria, Rodrigo
Colli, Tiago
dc.subject.por.fl_str_mv Python (Linguagem de programação de computador)
Algorítmos
Processamento eletrônico de dados - Análise
Mineração de dados (Computação)
Python (Computer program language)
Algorithms
Electronic data processing - Analysis
Data mining
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO
topic Python (Linguagem de programação de computador)
Algorítmos
Processamento eletrônico de dados - Análise
Mineração de dados (Computação)
Python (Computer program language)
Algorithms
Electronic data processing - Analysis
Data mining
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO
description Outlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user.
publishDate 2021
dc.date.none.fl_str_mv 2021-12-08
2024-09-27T19:57:22Z
2024-09-27T19:57:22Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv FARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.
http://repositorio.utfpr.edu.br/jspui/handle/1/34910
identifier_str_mv FARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/34910
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-sa/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-sa/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Sistemas de Informação
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Sistemas de Informação
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850497989754224640