Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos
| Main Author: | |
|---|---|
| Publication Date: | 2025 |
| Format: | Master thesis |
| Language: | por |
| Source: | Repositório Institucional da UNESP |
| Download full: | https://hdl.handle.net/11449/318321 |
Summary: | Esta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente. |
| id |
UNSP_eb13fde3968f0b6435e652da46fea58e |
|---|---|
| oai_identifier_str |
oai:repositorio.unesp.br:11449/318321 |
| network_acronym_str |
UNSP |
| network_name_str |
Repositório Institucional da UNESP |
| repository_id_str |
2946 |
| spelling |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de ObjetosRetail shelf monitoring using Deep Hough Transform and Object DetectionVisão computacionalAprendizado profundoArquitetura YOLODeep Hough TransformDetecção de rupturasYOLO ArchitectureYOLO ArchitectureOut-of-Stock DetectionComputer visionEsta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente.This dissertation presents a complete deep learning-based pipeline for the automatic detection of internal out-of-stock events on supermarket shelves. The proposed system integrates two main components: product detection, performed by the YOLOv11s and YOLOv12s architectures, and shelf-line detection, carried out using the Deep Hough Transform (DHT) model. After merging these outputs, candidate gap regions are processed through geometric filtering and an adaptive statistical validation stage designed to distinguish real stockouts from natural spacing variations between adjacent products. Experimental results demonstrated the strong performance of both YOLO architectures after fine-tuning on the local dataset, achieving F1-Scores above 0.90 in product detection. Among them, the YOLOv12s showed superior overall stability and precision when integrated into the complete pipeline. The DHT model achieved an F1-Score of 0.9541 in detecting shelf-level structures, ensuring accurate segmentation across different configurations. The combined pipeline successfully detected genuine stockouts with an average F1-Score of 0.6977 and precision of 0.6844, maintaining consistent performance even under challenging real-world conditions such as high product density, partial occlusions, and variable lighting. The proposed approach represents a significant contribution to automated shelf monitoring, providing a scalable, modular, and computationally efficient solution for real retail environments. The results confirm the research hypothesis that combining object detection and structural line detection with adaptive statistical validation constitutes an effective and reliable strategy for identifying internal stockouts and enhancing inventory management within smart retail systems.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)88887.805805/2023-00Universidade Estadual Paulista (Unesp)Papa, João Paulo [UNESP]Universidade Estadual Paulista (Unesp)Santana, Marcos Cleison SilvaPapa, João Paulo [UNESP]Costa, Kelton Augusto Pontara da [UNESP]Cardia Neto, João BaptistaSementille, Luiz Fernando Merli de Oliveira [UNESP]2026-01-12T19:23:07Z2025-11-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.https://hdl.handle.net/11449/31832133004153073P256314643752362010009-0004-0834-5967porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2026-01-13T05:01:57Zoai:repositorio.unesp.br:11449/318321Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462026-01-13T05:01:57Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false |
| dc.title.none.fl_str_mv |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos Retail shelf monitoring using Deep Hough Transform and Object Detection |
| title |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| spellingShingle |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos Sementille, Luiz Fernando Merli de Oliveira [UNESP] Visão computacional Aprendizado profundo Arquitetura YOLO Deep Hough Transform Detecção de rupturas YOLO Architecture YOLO Architecture Out-of-Stock Detection Computer vision |
| title_short |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| title_full |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| title_fullStr |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| title_full_unstemmed |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| title_sort |
Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos |
| author |
Sementille, Luiz Fernando Merli de Oliveira [UNESP] |
| author_facet |
Sementille, Luiz Fernando Merli de Oliveira [UNESP] |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Papa, João Paulo [UNESP] Universidade Estadual Paulista (Unesp) Santana, Marcos Cleison Silva Papa, João Paulo [UNESP] Costa, Kelton Augusto Pontara da [UNESP] Cardia Neto, João Baptista |
| dc.contributor.author.fl_str_mv |
Sementille, Luiz Fernando Merli de Oliveira [UNESP] |
| dc.subject.por.fl_str_mv |
Visão computacional Aprendizado profundo Arquitetura YOLO Deep Hough Transform Detecção de rupturas YOLO Architecture YOLO Architecture Out-of-Stock Detection Computer vision |
| topic |
Visão computacional Aprendizado profundo Arquitetura YOLO Deep Hough Transform Detecção de rupturas YOLO Architecture YOLO Architecture Out-of-Stock Detection Computer vision |
| description |
Esta dissertação apresentou um pipeline completo baseado em aprendizado profundo para a detecção automática de rupturas internas em prateleiras de supermercados. O sistema integra duas etapas principais: a detecção de produtos, realizada pelas arquiteturas YOLOv11s e YOLOv12s, e a detecção das linhas estruturais das prateleiras, conduzida pelo modelo Deep Hough Transform (DHT). Após a fusão das informações extraídas, as regiões candidatas a rupturas passam por um processo de filtragem geométrica e validação estatística adaptativa, responsável por distinguir as rupturas reais das variações naturais de espaçamento entre produtos adjacentes. Os resultados experimentais demonstraram o bom desempenho das duas arquiteturas YOLO após o ajuste supervisionado ao domínio local, com F1-Scores superiores a 0,90 na detecção de produtos e desempenho mais equilibrado para a YOLOv12s, que se mostrou mais estável e precisa quando integrada ao pipeline completo. O modelo DHT, por sua vez, alcançou F1-Score de 0,9541 na detecção das linhas das prateleiras, contribuindo para uma segmentação estrutural consistente. A integração dos módulos resultou em um pipeline final capaz de detectar rupturas genuínas com F1-Score médio de 0,6977 e precisão de 0,6844, mantendo desempenho estável mesmo em cenários com alta densidade de produtos, oclusões parciais e variações de iluminação. A abordagem proposta representa uma contribuição significativa para o monitoramento automatizado de prateleiras, ao oferecer uma solução escalável, modular e de baixo custo computacional aplicável em ambientes reais de varejo. Os resultados obtidos confirmam a hipótese de que a combinação de detectores de objetos e de estruturas lineares, aliada a um mecanismo adaptativo de validação, constitui uma estratégia eficaz para a detecção precisa de rupturas internas e para o aprimoramento da gestão de estoques no contexto do varejo inteligente. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-11-20 2026-01-12T19:23:07Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
SEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025. https://hdl.handle.net/11449/318321 33004153073P2 5631464375236201 0009-0004-0834-5967 |
| identifier_str_mv |
SEMENTILLE, Luiz Fernando Merli De Oliveira. Monitoramento de prateleiras de supermercado usando Deep Hough Transform e Detecção de Objetos. 2025. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025. 33004153073P2 5631464375236201 0009-0004-0834-5967 |
| url |
https://hdl.handle.net/11449/318321 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNESP instname:Universidade Estadual Paulista (UNESP) instacron:UNESP |
| instname_str |
Universidade Estadual Paulista (UNESP) |
| instacron_str |
UNESP |
| institution |
UNESP |
| reponame_str |
Repositório Institucional da UNESP |
| collection |
Repositório Institucional da UNESP |
| repository.name.fl_str_mv |
Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP) |
| repository.mail.fl_str_mv |
repositoriounesp@unesp.br |
| _version_ |
1854948631347462144 |