Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos

Bibliographic Details
Main Author: Sementille, Luiz Fernando Merli de Oliveira [UNESP]
Publication Date: 2025
Format: Master thesis
Language: por
Source: Repositório Institucional da UNESP
Download full: https://hdl.handle.net/11449/318321
Summary: Esta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente.
id UNSP_eb13fde3968f0b6435e652da46fea58e
oai_identifier_str oai:repositorio.unesp.br:11449/318321
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de ObjetosRetail shelf monitoring using Deep Hough Transform and Object DetectionVisão computacionalAprendizado profundoArquitetura YOLODeep Hough TransformDetecção de rupturasYOLO ArchitectureYOLO ArchitectureOut-of-Stock DetectionComputer visionEsta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente.This dissertation presents a complete deep learning-based pipeline for the automatic detection of internal out-of-stock events on supermarket shelves. The proposed system integrates two main components: product detection, performed by the YOLOv11s and YOLOv12s architectures, and shelf-line detection, carried out using the Deep Hough Transform (DHT) model. After merging these outputs, candidate gap regions are processed through geometric filtering and an adaptive statistical validation stage designed to distinguish real stockouts from natural spacing variations between adjacent products. Experimental results demonstrated the strong performance of both YOLO architectures after fine-tuning on the local dataset, achieving F1-Scores above 0.90 in product detection. Among them, the YOLOv12s showed superior overall stability and precision when integrated into the complete pipeline. The DHT model achieved an F1-Score of 0.9541 in detecting shelf-level structures, ensuring accurate segmentation across different configurations. The combined pipeline successfully detected genuine stockouts with an average F1-Score of 0.6977 and precision of 0.6844, maintaining consistent performance even under challenging real-world conditions such as high product density, partial occlusions, and variable lighting. The proposed approach represents a significant contribution to automated shelf monitoring, providing a scalable, modular, and computationally efficient solution for real retail environments. The results confirm the research hypothesis that combining object detection and structural line detection with adaptive statistical validation constitutes an effective and reliable strategy for identifying internal stockouts and enhancing inventory management within smart retail systems.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)88887.805805/2023-00Universidade Estadual Paulista (Unesp)Papa, João Paulo [UNESP]Universidade Estadual Paulista (Unesp)Santana, Marcos Cleison SilvaPapa, João Paulo [UNESP]Costa, Kelton Augusto Pontara da [UNESP]Cardia Neto, João BaptistaSementille, Luiz Fernando Merli de Oliveira [UNESP]2026-01-12T19:23:07Z2025-11-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.https://hdl.handle.net/11449/31832133004153073P256314643752362010009-0004-0834-5967porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2026-01-13T05:01:57Zoai:repositorio.unesp.br:11449/318321Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462026-01-13T05:01:57Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
Retail shelf monitoring using Deep Hough Transform and Object Detection
title Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
spellingShingle Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
Sementille, Luiz Fernando Merli de Oliveira [UNESP]
Visão computacional
Aprendizado profundo
Arquitetura YOLO
Deep Hough Transform
Detecção de rupturas
YOLO Architecture
YOLO Architecture
Out-of-Stock Detection
Computer vision
title_short Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
title_full Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
title_fullStr Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
title_full_unstemmed Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
title_sort Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
author Sementille, Luiz Fernando Merli de Oliveira [UNESP]
author_facet Sementille, Luiz Fernando Merli de Oliveira [UNESP]
author_role author
dc.contributor.none.fl_str_mv Papa, João Paulo [UNESP]
Universidade Estadual Paulista (Unesp)
Santana, Marcos Cleison Silva
Papa, João Paulo [UNESP]
Costa, Kelton Augusto Pontara da [UNESP]
Cardia Neto, João Baptista
dc.contributor.author.fl_str_mv Sementille, Luiz Fernando Merli de Oliveira [UNESP]
dc.subject.por.fl_str_mv Visão computacional
Aprendizado profundo
Arquitetura YOLO
Deep Hough Transform
Detecção de rupturas
YOLO Architecture
YOLO Architecture
Out-of-Stock Detection
Computer vision
topic Visão computacional
Aprendizado profundo
Arquitetura YOLO
Deep Hough Transform
Detecção de rupturas
YOLO Architecture
YOLO Architecture
Out-of-Stock Detection
Computer vision
description Esta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente.
publishDate 2025
dc.date.none.fl_str_mv 2025-11-20
2026-01-12T19:23:07Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.
https://hdl.handle.net/11449/318321
33004153073P2
5631464375236201
0009-0004-0834-5967
identifier_str_mv SEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.
33004153073P2
5631464375236201
0009-0004-0834-5967
url https://hdl.handle.net/11449/318321
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1854948631347462144