Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0

Detalhes bibliográficos
Autor(a) principal: Camelo, Leonardo Yuto Suzuki
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da Universidade do Estado do Amazonas (UEA)
Texto Completo: https://ri.uea.edu.br/handle/riuea/6340
Resumo: Product inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator.
id UEA_beb0ffb4f1be94c4acbf1657461a2fea
oai_identifier_str oai:ri.uea.edu.br:riuea/6340
network_acronym_str UEA
network_name_str Repositório Institucional da Universidade do Estado do Amazonas (UEA)
repository_id_str
spelling Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0Label inspection system by computer vision and deep learning in Industry 4.0EtiquetaDeep LearningReconhecimento óptico de caracteresDetecção de objetosYOLOPaddleOCRIndústria 4.0StickerOptical character recognitionObject detectionIndustry 4.0Sistemas Eletrônicos de Medida e de ControleProduct inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator.A inspeção de produto é um passo essencial nos processos de fabricação para garantir a qualidade do produto final. Tradicionalmente, essa inspeção era feita manualmente por operadores humanos, o que é demorado, caro e pode levar a erros devido à subjetividade e fadiga humana. Nos últimos anos, a maior parte dos processos visuais em uma fábrica estão sendo substituídos por técnicas de visão computacional. Com os avanços das abordagens de aprendizado profundo, o reconhecimento óptico de caracteres e reconhecimento de objetos são tecnologias que podem ser utilizadas em diferentes cenários. Neste estudo, desenvolveu-se uma metodologia capaz de extrair informações textuais e não textuais aplicados a etiquetas de modems. O método proposto é composto dos seguintes componentes: dois detectores de objetos que fazem a detecção da etiqueta e detecção simultânea de QR code e barcode, ambos utilizando YOLOv5; um decodificador de conteúdo para QR code e barcode, utilizando Zbar; um sistema de OCR utilizando PaddleOCR; e um conjunto de regras aplicadas ao pós processamento da informação. Para isso, foram criados três datasets, o primeiro contendo imagens de etiquetas em modems para treinar o modelo de detecção de etiquetas, o segundo contendo uma mistura de imagens de etiqueta e ambientes diversos que contêm QR code e barcode para gerar o modelo de detecção de QR code e barcode, e uma base de ground-truth contendo as imagens de etiquetas de modem com as respectivas saídas esperadas do sistema. O sistema proposto foi avaliado com diferentes modelos de etiqueta, e a execução dela foi feito numa CPU. A leitura das etiquetas alcançou valores médios de 0,21% de Character Error Rate, 2,16% de Field Error Rate, Acurácia por etiqueta de 76,19% e tempo de execução de 2,79 segundos para o primeiro modelo, e 0,04% de Character Error Rate, 0,62% de Field Error Rate, Acurácia por etiqueta de 92,50% e tempo de execução de 1,73 segundos. Resultados experimentais mostram que a solução desenvolvida pode ser utilizado em produção com altas taxas de acerto, e com tempo de execução significativamente melhores que um operador humano.Universidade do Estado do AmazonasBrasilUEAFigueiredo, Carlos Maurício SerodioFigueiredo, Carlos Maurício SerodioOliveira, Jozias Parente deFernandes, Rubens de AndradeCamelo, Leonardo Yuto Suzuki2023-07-18T14:07:04Z2024-09-30T17:14:29Z2023-06-232023-07-18T14:07:04Z2023-04-03info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttps://ri.uea.edu.br/handle/riuea/6340porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade do Estado do Amazonas (UEA)instname:Universidade do Estado do Amazonas (UEA)instacron:UEA2024-10-01T01:41:23Zoai:ri.uea.edu.br:riuea/6340Repositório InstitucionalPUBhttps://ri.uea.edu.br/server/oai/requestbibliotecacentral@uea.edu.bropendoar:2024-10-01T01:41:23Repositório Institucional da Universidade do Estado do Amazonas (UEA) - Universidade do Estado do Amazonas (UEA)false
dc.title.none.fl_str_mv Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
Label inspection system by computer vision and deep learning in Industry 4.0
title Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
spellingShingle Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
Camelo, Leonardo Yuto Suzuki
Etiqueta
Deep Learning
Reconhecimento óptico de caracteres
Detecção de objetos
YOLO
PaddleOCR
Indústria 4.0
Sticker
Optical character recognition
Object detection
Industry 4.0
Sistemas Eletrônicos de Medida e de Controle
title_short Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
title_full Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
title_fullStr Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
title_full_unstemmed Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
title_sort Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
author Camelo, Leonardo Yuto Suzuki
author_facet Camelo, Leonardo Yuto Suzuki
author_role author
dc.contributor.none.fl_str_mv Figueiredo, Carlos Maurício Serodio
Figueiredo, Carlos Maurício Serodio
Oliveira, Jozias Parente de
Fernandes, Rubens de Andrade
dc.contributor.author.fl_str_mv Camelo, Leonardo Yuto Suzuki
dc.subject.por.fl_str_mv Etiqueta
Deep Learning
Reconhecimento óptico de caracteres
Detecção de objetos
YOLO
PaddleOCR
Indústria 4.0
Sticker
Optical character recognition
Object detection
Industry 4.0
Sistemas Eletrônicos de Medida e de Controle
topic Etiqueta
Deep Learning
Reconhecimento óptico de caracteres
Detecção de objetos
YOLO
PaddleOCR
Indústria 4.0
Sticker
Optical character recognition
Object detection
Industry 4.0
Sistemas Eletrônicos de Medida e de Controle
description Product inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator.
publishDate 2023
dc.date.none.fl_str_mv 2023-07-18T14:07:04Z
2023-06-23
2023-07-18T14:07:04Z
2023-04-03
2024-09-30T17:14:29Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://ri.uea.edu.br/handle/riuea/6340
url https://ri.uea.edu.br/handle/riuea/6340
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade do Estado do Amazonas
Brasil
UEA
publisher.none.fl_str_mv Universidade do Estado do Amazonas
Brasil
UEA
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade do Estado do Amazonas (UEA)
instname:Universidade do Estado do Amazonas (UEA)
instacron:UEA
instname_str Universidade do Estado do Amazonas (UEA)
instacron_str UEA
institution UEA
reponame_str Repositório Institucional da Universidade do Estado do Amazonas (UEA)
collection Repositório Institucional da Universidade do Estado do Amazonas (UEA)
repository.name.fl_str_mv Repositório Institucional da Universidade do Estado do Amazonas (UEA) - Universidade do Estado do Amazonas (UEA)
repository.mail.fl_str_mv bibliotecacentral@uea.edu.br
_version_ 1844156425790554112