Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python

Detalhes bibliográficos
Autor(a) principal: Silva, Raphael Prazeres da
Data de Publicação: 2025
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFS
Texto Completo: https://ri.ufs.br/jspui/handle/riufs/22201
Resumo: A script written in Python was developed to process and clean agricultural yield data from grain harvesters on a farm located in Brasnorte (MT), aiming to improve data reliability in Precision Agriculture. The code, using the Pandas library, followed three main steps: (1) filtering by machine operation status (retaining only “Effective” records), (2) removal of outliers (values twice the average), and (3) iterative adjustment of machine-specific yield values to match the field average. The cleaned data were interpolated in QGIS using the IDW method. The results showed that 58.8% of the raw data were discarded in Field 1 and 66.9% in Field 2, mainly due to failures or zeroed sensors. Yield averages increased from 2.67 t/ha to 3.67 t/ha (Field 1) and from 2.52 t/ha to 3.82 t/ha (Field 2), with the elimination of extreme values. The generated maps highlighted critical zones near field edges and data gaps. The results suggest that the tool efficiently automates data cleaning, though future studies should consider including cross-validation to reinforce the reliability of the results.
id UFS-2_aa38123b6fa95e3e545885a90edfe795
oai_identifier_str oai:oai:ri.ufs.br:repo_01:riufs/22201
network_acronym_str UFS-2
network_name_str Repositório Institucional da UFS
repository_id_str
spelling Silva, Raphael Prazeres daVale, Weligton Gonzaga do2025-05-27T12:23:01Z2025-05-27T12:23:01Z2025-05-06Silva, Raphael Prazeres da. Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python. São Cristóvão, 2025. Monografia (graduação em Engenharia Agrícola) – Departamento de Engenharia Agrícola, Centro de Ciências Agrárias Aplicadas, Universidade Federal de Sergipe, São Cristóvão, SE, 2025https://ri.ufs.br/jspui/handle/riufs/22201A script written in Python was developed to process and clean agricultural yield data from grain harvesters on a farm located in Brasnorte (MT), aiming to improve data reliability in Precision Agriculture. The code, using the Pandas library, followed three main steps: (1) filtering by machine operation status (retaining only “Effective” records), (2) removal of outliers (values twice the average), and (3) iterative adjustment of machine-specific yield values to match the field average. The cleaned data were interpolated in QGIS using the IDW method. The results showed that 58.8% of the raw data were discarded in Field 1 and 66.9% in Field 2, mainly due to failures or zeroed sensors. Yield averages increased from 2.67 t/ha to 3.67 t/ha (Field 1) and from 2.52 t/ha to 3.82 t/ha (Field 2), with the elimination of extreme values. The generated maps highlighted critical zones near field edges and data gaps. The results suggest that the tool efficiently automates data cleaning, though future studies should consider including cross-validation to reinforce the reliability of the results.Desenvolveu-se um script em Python para processar e limpar dados de produtividade agrícola de colhedoras em uma fazenda localizada em Brasnorte (MT), visando melhorar a confiabilidade em Agricultura de Precisão. O código, utilizando a biblioteca Pandas, aplicou três etapas: 1) filtragem por estado operacional (apenas registros "Efetivo"); 2) remoção de outliers (valores dobro da média) e 3) ajuste iterativo das médias por equipamento. Os dados tratados foram interpolados no QGIS utilizando o método IDW. Os resultados mostraram que 58,8% dos dados brutos foram descartados no Talhão 1 e 66,9% no Talhão 2, principalmente devido a falhas ou sensores zerados. As médias de produtividade aumentaram de 2,67 t/ha para 3,67 t/ha (Talhão 1) e 2,52 t/ha para 3,82 t/ha (Talhão 2), com a eliminação de valores extremos. Os mapas gerados revelaram áreas críticas nas bordas e regiões com falhas. Conclui-se que a ferramenta é eficaz na automação da limpeza dos dados de produtividade, no entanto estudos futuros devem considerar a inclusão de validação cruzada para reforçar a confiabilidade dos resultados.São Cristóvão, SEporEngenharia agrícolaEnsino superior (UFS)Agricultura de precisãoAnálise de dadosMapa de produtividadePythonInterpolação espacialProdutividade agrícolaPrecision agricultureData analysisYield mapCIENCIAS AGRARIAS::ENGENHARIA AGRICOLAProcessamento e limpeza de dados de produtividade agrícola : aplicação de um script em Pythoninfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de Sergipe (UFS)DEAGRI - Departamento de Engenharia Agrícola – São Cristóvão –Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessLICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/22201/1/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD51ORIGINALRaphael_Prazeres_Silva.pdfRaphael_Prazeres_Silva.pdfapplication/pdf10124851https://ri.ufs.br/jspui/bitstream/riufs/22201/2/Raphael_Prazeres_Silva.pdf236cffb12b9090625eb8d7bd1bb6cc1bMD52riufs/222012025-05-27 09:23:50.995oai:oai:ri.ufs.br:repo_01:riufs/22201TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2025-05-27T12:23:50Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false
dc.title.pt_BR.fl_str_mv Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
title Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
spellingShingle Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
Silva, Raphael Prazeres da
Engenharia agrícola
Ensino superior (UFS)
Agricultura de precisão
Análise de dados
Mapa de produtividade
Python
Interpolação espacial
Produtividade agrícola
Precision agriculture
Data analysis
Yield map
CIENCIAS AGRARIAS::ENGENHARIA AGRICOLA
title_short Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
title_full Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
title_fullStr Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
title_full_unstemmed Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
title_sort Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python
author Silva, Raphael Prazeres da
author_facet Silva, Raphael Prazeres da
author_role author
dc.contributor.author.fl_str_mv Silva, Raphael Prazeres da
dc.contributor.advisor1.fl_str_mv Vale, Weligton Gonzaga do
contributor_str_mv Vale, Weligton Gonzaga do
dc.subject.por.fl_str_mv Engenharia agrícola
Ensino superior (UFS)
Agricultura de precisão
Análise de dados
Mapa de produtividade
Python
Interpolação espacial
Produtividade agrícola
topic Engenharia agrícola
Ensino superior (UFS)
Agricultura de precisão
Análise de dados
Mapa de produtividade
Python
Interpolação espacial
Produtividade agrícola
Precision agriculture
Data analysis
Yield map
CIENCIAS AGRARIAS::ENGENHARIA AGRICOLA
dc.subject.eng.fl_str_mv Precision agriculture
Data analysis
Yield map
dc.subject.cnpq.fl_str_mv CIENCIAS AGRARIAS::ENGENHARIA AGRICOLA
description A script written in Python was developed to process and clean agricultural yield data from grain harvesters on a farm located in Brasnorte (MT), aiming to improve data reliability in Precision Agriculture. The code, using the Pandas library, followed three main steps: (1) filtering by machine operation status (retaining only “Effective” records), (2) removal of outliers (values twice the average), and (3) iterative adjustment of machine-specific yield values to match the field average. The cleaned data were interpolated in QGIS using the IDW method. The results showed that 58.8% of the raw data were discarded in Field 1 and 66.9% in Field 2, mainly due to failures or zeroed sensors. Yield averages increased from 2.67 t/ha to 3.67 t/ha (Field 1) and from 2.52 t/ha to 3.82 t/ha (Field 2), with the elimination of extreme values. The generated maps highlighted critical zones near field edges and data gaps. The results suggest that the tool efficiently automates data cleaning, though future studies should consider including cross-validation to reinforce the reliability of the results.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-05-27T12:23:01Z
dc.date.available.fl_str_mv 2025-05-27T12:23:01Z
dc.date.issued.fl_str_mv 2025-05-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv Silva, Raphael Prazeres da. Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python. São Cristóvão, 2025. Monografia (graduação em Engenharia Agrícola) – Departamento de Engenharia Agrícola, Centro de Ciências Agrárias Aplicadas, Universidade Federal de Sergipe, São Cristóvão, SE, 2025
dc.identifier.uri.fl_str_mv https://ri.ufs.br/jspui/handle/riufs/22201
identifier_str_mv Silva, Raphael Prazeres da. Processamento e limpeza de dados de produtividade agrícola : aplicação de um script em Python. São Cristóvão, 2025. Monografia (graduação em Engenharia Agrícola) – Departamento de Engenharia Agrícola, Centro de Ciências Agrárias Aplicadas, Universidade Federal de Sergipe, São Cristóvão, SE, 2025
url https://ri.ufs.br/jspui/handle/riufs/22201
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.initials.fl_str_mv Universidade Federal de Sergipe (UFS)
dc.publisher.department.fl_str_mv DEAGRI - Departamento de Engenharia Agrícola – São Cristóvão –Presencial
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFS
instname:Universidade Federal de Sergipe (UFS)
instacron:UFS
instname_str Universidade Federal de Sergipe (UFS)
instacron_str UFS
institution UFS
reponame_str Repositório Institucional da UFS
collection Repositório Institucional da UFS
bitstream.url.fl_str_mv https://ri.ufs.br/jspui/bitstream/riufs/22201/1/license.txt
https://ri.ufs.br/jspui/bitstream/riufs/22201/2/Raphael_Prazeres_Silva.pdf
bitstream.checksum.fl_str_mv 098cbbf65c2c15e1fb2e49c5d306a44c
236cffb12b9090625eb8d7bd1bb6cc1b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)
repository.mail.fl_str_mv repositorio@academico.ufs.br
_version_ 1846687542117662720

Registros relacionados