Framework de mineração de dados agropecuários
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2021 |
| Tipo de documento: | Trabalho de conclusão de curso |
| Idioma: | por |
| Título da fonte: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| Texto Completo: | http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
Resumo: | This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively. |
| id |
UTFPR-12_fcebadb62fc3b5cdb5242b8e3c39fa10 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/26519 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Framework de mineração de dados agropecuáriosAgricultural data mining frameworkMineração de dados (Computação)Framework (Arquivo de computador)Agricultura - EstatísticasData miningFramework (Computer program)Agriculture - StatisticsCNPQ::CIENCIAS EXATAS E DA TERRAThis work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively.Agência Nacional de Energia Elétrica (ANEEL)Este trabalho apresenta o desenvolvimento de um framework de mineração de dados agropecuários. Utilizando o processo de extração de conhecimento em base de dados ,denominado Knowledge Discovery in Data bases KDD e seguindo as suas cinco etapas: seleção dos dados, pré-processamento, transformação, mineração, validação e visualização de resultados. A codificação do framework foi por meio da linguagem de programação Python, fazendo o uso de bibliotecas de aprendizagem de máquina dos cikit learn e pandas, de bibliotecas para plotagem de gráficos do matplotlibe o desenho das interfaces por meio do IDE Qt Designer. Foi utilizado os algoritmos K-médias e DBScan para realizar agrupamentos de dados, e os algoritmos de árvores de decisão e Naive bayes para classificação. Tabelas do último censo agropecuário realizado em 2017, disponível no Sistema IBGE de Recuperação Automática– SIDRA, foram utilizadas para realizar um estudo de caso apresentado na seção 4 deste trabalho, com objetivo de testar a viabilidade do framework. Por meio do estudo de caso ou só do framework apresentou ser viável para utilização por profissionais ou pesquisadores da área. O algoritmo de agrupamento K-médias apresentou resultados igual a 0.78, 0.74 e 0.64 para um K igual a 2,3 e 4 respectivamente, já o DBScan não apresentou resultados satisfatórios. O desempenho do classificador baseado em árvore de decisão conseguiu alcançar a marca de 100% sobre as métricas de precisão, recall e f1-score, enquanto, o classificador Naives bayes alcançou a marca de 80, 96 e 85% para precisão, recall e f1-score, respectivamente.Universidade Tecnológica Federal do ParanáSanta HelenaBrasilCiência da ComputaçãoUTFPRBrilhador, AndersonMatte, AlessandraBrilhador, AndersonMatte, AlessandraBeuren, Arlete TeresinhaYamamoto, Lilian YukariSantos, Euristenede Vanuel Francisco das Neves2021-11-26T18:25:29Z2021-11-26T18:25:29Z2021-08-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfSANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/26519porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2021-11-27T06:05:49Zoai:repositorio.utfpr.edu.br:1/26519Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2021-11-27T06:05:49Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Framework de mineração de dados agropecuários Agricultural data mining framework |
| title |
Framework de mineração de dados agropecuários |
| spellingShingle |
Framework de mineração de dados agropecuários Santos, Euristenede Vanuel Francisco das Neves Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics CNPQ::CIENCIAS EXATAS E DA TERRA |
| title_short |
Framework de mineração de dados agropecuários |
| title_full |
Framework de mineração de dados agropecuários |
| title_fullStr |
Framework de mineração de dados agropecuários |
| title_full_unstemmed |
Framework de mineração de dados agropecuários |
| title_sort |
Framework de mineração de dados agropecuários |
| author |
Santos, Euristenede Vanuel Francisco das Neves |
| author_facet |
Santos, Euristenede Vanuel Francisco das Neves |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Brilhador, Anderson Matte, Alessandra Brilhador, Anderson Matte, Alessandra Beuren, Arlete Teresinha Yamamoto, Lilian Yukari |
| dc.contributor.author.fl_str_mv |
Santos, Euristenede Vanuel Francisco das Neves |
| dc.subject.por.fl_str_mv |
Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics CNPQ::CIENCIAS EXATAS E DA TERRA |
| topic |
Mineração de dados (Computação) Framework (Arquivo de computador) Agricultura - Estatísticas Data mining Framework (Computer program) Agriculture - Statistics CNPQ::CIENCIAS EXATAS E DA TERRA |
| description |
This work presents the development of a framework for data mining of agricultural data. Using the process of knowledge extraction in databases, called Knowledge Discovery in KDD Databases and following its five steps: data selection, pre processing, transformation, mining, validation, and visualization of results. The framework was developed using the Python programming language, using machine learning libraries from scikit-learn and pandas, graph plotting libraries from matplotlib and interface design through the Qt Designer IDE.The K-means and DBScan algorithms were used to perform data grouping, and the decision tree and Naive Bayes algorithms for classification. Tables from the last agricultural censos conducted in 2017, available in the IBGE System for Automatic Recovery-SIDRA, were used to perform a case study presented in section 4 of this work to test the feasibility of the framework. Through the case study, the use of the framework proved to be viable for use by professionals or researchers in the area. The K-means clustering algorithm is equal to 0.78, 0.74, and 0.64 for a K equal to 2, 3, and 4, respectively. The performance of the decision tree-based classifier achieved 100% on the metrics of precision, recall, and f1-score, while the Naive Bayes classifier achieved 80, 96, and 85% for precision, recall, and f1-score, respectively. |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021-11-26T18:25:29Z 2021-11-26T18:25:29Z 2021-08-23 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
bachelorThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021. http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
| identifier_str_mv |
SANTOS, Euristenede Vanuel Francisco das Neves. Framework de mineração de dados agropecuários. 2021. Trabalho de Conclusão de Curso (Bacharelado em Ciências da Computação) - Universidade Tecnológica Federal do Paraná, Santa Helena, 2021. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/26519 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Santa Helena Brasil Ciência da Computação UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Santa Helena Brasil Ciência da Computação UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498029451214848 |