Framework de mineração de dados agropecuários

Bibliographic Details
Main Author: Santos, Euristenede Vanuel Francisco das Neves
Publication Date: 2021
Format: Bachelor thesis
Language: por
Source: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Download full: http://repositorio.utfpr.edu.br/jspui/handle/1/26519
Summary: This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.
id UTFPR-12_fcebadb62fc3b5cdb5242b8e3c39fa10
oai_identifier_str oai:repositorio.utfpr.edu.br:1/26519
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Framework de mineração de dados agropecuáriosAgricultural data mining frameworkMineração de dados (Computação)Framework (Arquivo de computador)Agricultura - EstatísticasData miningFramework (Computer program)Agriculture - StatisticsCNPQ::CIENCIAS EXATAS E DA TERRAThis work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.Agência Nacional de Energia Elétrica (ANEEL)Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.Universidade Tecnológica Federal do ParanáSanta HelenaBrasilCiência da ComputaçãoUTFPRBrilhador, AndersonMatte, AlessandraBrilhador, AndersonMatte, AlessandraBeuren, Arlete TeresinhaYamamoto, Lilian YukariSantos, Euristenede Vanuel Francisco das Neves2021-11-26T18:25:29Z2021-11-26T18:25:29Z2021-08-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfSANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/26519porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2021-11-27T06:05:49Zoai:repositorio.utfpr.edu.br:1/26519Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2021-11-27T06:05:49Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Framework de mineração de dados agropecuários
Agricultural data mining framework
title Framework de mineração de dados agropecuários
spellingShingle Framework de mineração de dados agropecuários
Santos, Euristenede Vanuel Francisco das Neves
Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
CNPQ::CIENCIAS EXATAS E DA TERRA
title_short Framework de mineração de dados agropecuários
title_full Framework de mineração de dados agropecuários
title_fullStr Framework de mineração de dados agropecuários
title_full_unstemmed Framework de mineração de dados agropecuários
title_sort Framework de mineração de dados agropecuários
author Santos, Euristenede Vanuel Francisco das Neves
author_facet Santos, Euristenede Vanuel Francisco das Neves
author_role author
dc.contributor.none.fl_str_mv Brilhador, Anderson
Matte, Alessandra
Brilhador, Anderson
Matte, Alessandra
Beuren, Arlete Teresinha
Yamamoto, Lilian Yukari
dc.contributor.author.fl_str_mv Santos, Euristenede Vanuel Francisco das Neves
dc.subject.por.fl_str_mv Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
CNPQ::CIENCIAS EXATAS E DA TERRA
topic Mineração de dados (Computação)
Framework (Arquivo de computador)
Agricultura - Estatísticas
Data mining
Framework (Computer program)
Agriculture - Statistics
CNPQ::CIENCIAS EXATAS E DA TERRA
description This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.
publishDate 2021
dc.date.none.fl_str_mv 2021-11-26T18:25:29Z
2021-11-26T18:25:29Z
2021-08-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.
http://repositorio.utfpr.edu.br/jspui/handle/1/26519
identifier_str_mv SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/26519
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Santa Helena
Brasil
Ciência da Computação
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Santa Helena
Brasil
Ciência da Computação
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498029451214848