Biblioteca em Python para explicabilidade de anomalias
| Main Author: | |
|---|---|
| Publication Date: | 2021 |
| Other Authors: | |
| Format: | Bachelor thesis |
| Language: | por |
| Source: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| Download full: | http://repositorio.utfpr.edu.br/jspui/handle/1/34910 |
Summary: | Outlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user. |
| id |
UTFPR-12_a38da4e9b31415029796d568eb232fe9 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/34910 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Biblioteca em Python para explicabilidade de anomaliasPython library for explanability of anomaliesPython (Linguagem de programação de computador)AlgorítmosProcessamento eletrônico de dados - AnáliseMineração de dados (Computação)Python (Computer program language)AlgorithmsElectronic data processing - AnalysisData miningCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAOOutlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user.A detecção de outliers tem sido usada para detectar e, quando apropriado, remover observa- ções anômalas dos dados. Sua utilização pode identificar falhas e fraudes no sistema antes que as mesmas resultem em consequências potencialmente graves, entre diversas outras aplicações. Uma ramificação da contribuição dada pela detecção de outliers está relacionada a entender quais os aspectos da observação anômala a separam significativamente das demais. Essa área de pesquisa t em sido denominada Outlier Aspect Mining (OAM). Apesar de ser um tópico novo e com poucas pesquisas desenvolvidas, resultados e aplicações promissoras têm sido apresentados pela comunidade. Tendo isso em vista, o objetivo deste trabalho será contribuir com as pesquisas de OAM de forma prática. Foi produzida uma biblioteca em Python que possibilita o usuário aplicar algoritmos de Outlier Aspect Mining e analisar os resultados em suas próprias massas de dados. O código fonte está disponível para a comunidade não apenas utilizá-lo, mas também estendê-lo como desejar. A biblioteca foi testada em dados do mercado econômico e também avaliada por um usuário final.Universidade Tecnológica Federal do ParanáCuritibaBrasilSistemas de InformaçãoUTFPRGomes Junior, Luiz CelsoGomes Junior, Luiz CelsoBuiar, José AntonioBenghi, Felipe MarxFaria, RodrigoColli, Tiago2024-09-27T19:57:22Z2024-09-27T19:57:22Z2021-12-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfFARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/34910porhttp://creativecommons.org/licenses/by-sa/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-09-28T06:07:26Zoai:repositorio.utfpr.edu.br:1/34910Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-09-28T06:07:26Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Biblioteca em Python para explicabilidade de anomalias Python library for explanability of anomalies |
| title |
Biblioteca em Python para explicabilidade de anomalias |
| spellingShingle |
Biblioteca em Python para explicabilidade de anomalias Faria, Rodrigo Python (Linguagem de programação de computador) Algorítmos Processamento eletrônico de dados - Análise Mineração de dados (Computação) Python (Computer program language) Algorithms Electronic data processing - Analysis Data mining CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO |
| title_short |
Biblioteca em Python para explicabilidade de anomalias |
| title_full |
Biblioteca em Python para explicabilidade de anomalias |
| title_fullStr |
Biblioteca em Python para explicabilidade de anomalias |
| title_full_unstemmed |
Biblioteca em Python para explicabilidade de anomalias |
| title_sort |
Biblioteca em Python para explicabilidade de anomalias |
| author |
Faria, Rodrigo |
| author_facet |
Faria, Rodrigo Colli, Tiago |
| author_role |
author |
| author2 |
Colli, Tiago |
| author2_role |
author |
| dc.contributor.none.fl_str_mv |
Gomes Junior, Luiz Celso Gomes Junior, Luiz Celso Buiar, José Antonio Benghi, Felipe Marx |
| dc.contributor.author.fl_str_mv |
Faria, Rodrigo Colli, Tiago |
| dc.subject.por.fl_str_mv |
Python (Linguagem de programação de computador) Algorítmos Processamento eletrônico de dados - Análise Mineração de dados (Computação) Python (Computer program language) Algorithms Electronic data processing - Analysis Data mining CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO |
| topic |
Python (Linguagem de programação de computador) Algorítmos Processamento eletrônico de dados - Análise Mineração de dados (Computação) Python (Computer program language) Algorithms Electronic data processing - Analysis Data mining CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO |
| description |
Outlier detection has been used to detect and, if appropriate, remove anomalous observations from the data. Its usability can identify system failures and frauds before they escalate with potentially huge consequences. One ramification of the contribution made by the outlier detection field is related to understanding which aspects of the anomalous observation significantly separate it from the others in a given dataset. This area of research has been called Outlier Aspect Mining (OAM). Promising results and applications and cases have been presented by the community. With this in mind, the objective of this paper is to contribute to OAM research in a practical way. We developed a Python library that allows the user to apply Outlier Aspect Mining algorithms and analyze the results in their own datasets. The source code is made available to the community not only to use but also to extend as wished. The library was tested on economic market data and also evaluated by an end user. |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021-12-08 2024-09-27T19:57:22Z 2024-09-27T19:57:22Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
bachelorThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
FARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021. http://repositorio.utfpr.edu.br/jspui/handle/1/34910 |
| identifier_str_mv |
FARIA, Rodrigo; COLLI, Tiago. Biblioteca em Python para explicabilidade de anomalias. 2021. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/34910 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-sa/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-sa/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Sistemas de Informação UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Sistemas de Informação UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850497989754224640 |