Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2023 |
| Tipo de documento: | Trabalho de conclusão de curso |
| Idioma: | por |
| Título da fonte: | Repositório Institucional da Universidade do Estado do Amazonas (UEA) |
| Texto Completo: | https://ri.uea.edu.br/handle/riuea/6340 |
Resumo: | Product inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator. |
| id |
UEA_beb0ffb4f1be94c4acbf1657461a2fea |
|---|---|
| oai_identifier_str |
oai:ri.uea.edu.br:riuea/6340 |
| network_acronym_str |
UEA |
| network_name_str |
Repositório Institucional da Universidade do Estado do Amazonas (UEA) |
| repository_id_str |
|
| spelling |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0Label inspection system by computer vision and deep learning in Industry 4.0EtiquetaDeep LearningReconhecimento óptico de caracteresDetecção de objetosYOLOPaddleOCRIndústria 4.0StickerOptical character recognitionObject detectionIndustry 4.0Sistemas Eletrônicos de Medida e de ControleProduct inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator.A inspeção de produto é um passo essencial nos processos de fabricação para garantir a qualidade do produto final. Tradicionalmente, essa inspeção era feita manualmente por operadores humanos, o que é demorado, caro e pode levar a erros devido à subjetividade e fadiga humana. Nos últimos anos, a maior parte dos processos visuais em uma fábrica estão sendo substituídos por técnicas de visão computacional. Com os avanços das abordagens de aprendizado profundo, o reconhecimento óptico de caracteres e reconhecimento de objetos são tecnologias que podem ser utilizadas em diferentes cenários. Neste estudo, desenvolveu-se uma metodologia capaz de extrair informações textuais e não textuais aplicados a etiquetas de modems. O método proposto é composto dos seguintes componentes: dois detectores de objetos que fazem a detecção da etiqueta e detecção simultânea de QR code e barcode, ambos utilizando YOLOv5; um decodificador de conteúdo para QR code e barcode, utilizando Zbar; um sistema de OCR utilizando PaddleOCR; e um conjunto de regras aplicadas ao pós processamento da informação. Para isso, foram criados três datasets, o primeiro contendo imagens de etiquetas em modems para treinar o modelo de detecção de etiquetas, o segundo contendo uma mistura de imagens de etiqueta e ambientes diversos que contêm QR code e barcode para gerar o modelo de detecção de QR code e barcode, e uma base de ground-truth contendo as imagens de etiquetas de modem com as respectivas saídas esperadas do sistema. O sistema proposto foi avaliado com diferentes modelos de etiqueta, e a execução dela foi feito numa CPU. A leitura das etiquetas alcançou valores médios de 0,21% de Character Error Rate, 2,16% de Field Error Rate, Acurácia por etiqueta de 76,19% e tempo de execução de 2,79 segundos para o primeiro modelo, e 0,04% de Character Error Rate, 0,62% de Field Error Rate, Acurácia por etiqueta de 92,50% e tempo de execução de 1,73 segundos. Resultados experimentais mostram que a solução desenvolvida pode ser utilizado em produção com altas taxas de acerto, e com tempo de execução significativamente melhores que um operador humano.Universidade do Estado do AmazonasBrasilUEAFigueiredo, Carlos Maurício SerodioFigueiredo, Carlos Maurício SerodioOliveira, Jozias Parente deFernandes, Rubens de AndradeCamelo, Leonardo Yuto Suzuki2023-07-18T14:07:04Z2024-09-30T17:14:29Z2023-06-232023-07-18T14:07:04Z2023-04-03info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttps://ri.uea.edu.br/handle/riuea/6340porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade do Estado do Amazonas (UEA)instname:Universidade do Estado do Amazonas (UEA)instacron:UEA2024-10-01T01:41:23Zoai:ri.uea.edu.br:riuea/6340Repositório InstitucionalPUBhttps://ri.uea.edu.br/server/oai/requestbibliotecacentral@uea.edu.bropendoar:2024-10-01T01:41:23Repositório Institucional da Universidade do Estado do Amazonas (UEA) - Universidade do Estado do Amazonas (UEA)false |
| dc.title.none.fl_str_mv |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 Label inspection system by computer vision and deep learning in Industry 4.0 |
| title |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| spellingShingle |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 Camelo, Leonardo Yuto Suzuki Etiqueta Deep Learning Reconhecimento óptico de caracteres Detecção de objetos YOLO PaddleOCR Indústria 4.0 Sticker Optical character recognition Object detection Industry 4.0 Sistemas Eletrônicos de Medida e de Controle |
| title_short |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| title_full |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| title_fullStr |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| title_full_unstemmed |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| title_sort |
Sistema de inspeção de etiquetas por visão computacional e aprendizado profundo na indústria 4.0 |
| author |
Camelo, Leonardo Yuto Suzuki |
| author_facet |
Camelo, Leonardo Yuto Suzuki |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Figueiredo, Carlos Maurício Serodio Figueiredo, Carlos Maurício Serodio Oliveira, Jozias Parente de Fernandes, Rubens de Andrade |
| dc.contributor.author.fl_str_mv |
Camelo, Leonardo Yuto Suzuki |
| dc.subject.por.fl_str_mv |
Etiqueta Deep Learning Reconhecimento óptico de caracteres Detecção de objetos YOLO PaddleOCR Indústria 4.0 Sticker Optical character recognition Object detection Industry 4.0 Sistemas Eletrônicos de Medida e de Controle |
| topic |
Etiqueta Deep Learning Reconhecimento óptico de caracteres Detecção de objetos YOLO PaddleOCR Indústria 4.0 Sticker Optical character recognition Object detection Industry 4.0 Sistemas Eletrônicos de Medida e de Controle |
| description |
Product inspection is an essential step in manufacturing processes to ensure the quality of the final product. Traditionally, this inspection has been done manually by human operators, which is time-consuming, expensive, and can lead to errors due to human subjectivity and fatigue. In recent years, most visual processes in a factory are being replaced by computer vision techniques. With the advances in deep learning approaches, optical character recognition and object recognition are technologies that can be used in different scenarios. In this study, a methodology capable of extracting textual and non-textual information applied to modem labels is developed. The proposed method consists of the following components: two object detectors that perform label detection and simultaneous QR code and barcode detection, both using YOLOv5; a content decoder for QR code and barcode using Zbar; an OCR system using PaddleOCR; and a set of rules applied to post-processing of the information. To do this, three datasets were created: the first containing images of modem labels to train the label detection model, the second containing a mixture of label images and various environments containing QR code and barcode to generate the QR code and barcode detection model, and a ground-truth base containing modem label images with their expected system outputs. The proposed system was evaluated with different label models, and its execution was done on a CPU. The label readings achieved average values of 0.21% Character Error Rate, 2.16% Field Error Rate, Label Accuracy of 76.19%, and execution time of 2.79 seconds for the first model, and 0.04% Character Error Rate, 0.62% Field Error Rate, Label Accuracy of 92.50%, and execution time of 1.73 seconds. Experimental results show that the developed solution can be used in production with high accuracy rates and significantly better execution time than a human operator. |
| publishDate |
2023 |
| dc.date.none.fl_str_mv |
2023-07-18T14:07:04Z 2023-06-23 2023-07-18T14:07:04Z 2023-04-03 2024-09-30T17:14:29Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
bachelorThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://ri.uea.edu.br/handle/riuea/6340 |
| url |
https://ri.uea.edu.br/handle/riuea/6340 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade do Estado do Amazonas Brasil UEA |
| publisher.none.fl_str_mv |
Universidade do Estado do Amazonas Brasil UEA |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade do Estado do Amazonas (UEA) instname:Universidade do Estado do Amazonas (UEA) instacron:UEA |
| instname_str |
Universidade do Estado do Amazonas (UEA) |
| instacron_str |
UEA |
| institution |
UEA |
| reponame_str |
Repositório Institucional da Universidade do Estado do Amazonas (UEA) |
| collection |
Repositório Institucional da Universidade do Estado do Amazonas (UEA) |
| repository.name.fl_str_mv |
Repositório Institucional da Universidade do Estado do Amazonas (UEA) - Universidade do Estado do Amazonas (UEA) |
| repository.mail.fl_str_mv |
bibliotecacentral@uea.edu.br |
| _version_ |
1844156425790554112 |