Double-check of information using computational intelligence methodologies

Bibliographic Details
Main Author: Leiria, Joana da Silva Rosa
Publication Date: 2024
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/116294
Summary: Dissertação de Mestrado em Engenharia Física apresentada à Faculdade de Ciências e Tecnologia
id RCAP_a5dec2e79941d5f1444569a357a96e48
oai_identifier_str oai:estudogeral.uc.pt:10316/116294
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Double-check of information using computational intelligence methodologiesVerificação dupla de informação usando metodologias de inteligência computacionalData entry errorsError detectionIndustrial applicationPrincipal Components AnalysisSoft SensorsErros de inserção de dadosDeteção de errosAplicação industrialAnálise de Componentes PrincipaisSensores virtuaisDissertação de Mestrado em Engenharia Física apresentada à Faculdade de Ciências e TecnologiaIn today's industrial environments, quality control is essential for ensuring product reliability and operational effectiveness. Despite the widespread of automatic data collection and the use of data-driven models in quality processes, certain key variables still require manual entry due to laboratory analysis requirements, introducing errors stemming from human involvement. While research has addressed data entry errors in other domains, industrial contexts present distinct challenges that require data-driven solutions, in contrast with the manual methods presented in the literature.This dissertation focuses on the development and application of two methodologies, one leveraging Soft Sensors and another based on Principal Component Analysis, to detect data entry errors in quality control variables. The developed work resulted in a framework for designing Soft Sensors, that stands out for the implementation of feature expansion to introduce non-linearity in the field variables and for the implementation and comparison of several variable selection methods and regression models.Furthermore, the two methodologies to detect data entry errors were developed and tested in three different datasets with laboratory data from industrial facilities. Through a comprehensive characterization of entry data errors across various categories, such as blank spaces, doubles, measurement errors, order errors and extra number errors, this study provides valuable insights into the capabilities and limitations of the developed methodologies. The performance of the SS-based and the PCA-based methodologies was compared using classification metrics, such as precision, sensitivity, f1-score and specificity.The performed tests revealed that the PCA-based methodology may not be adequate for all datasets as it performs poorly for cases with low variability within the target variable. On the other hand, the methodology leveraging Soft Sensors presented good overall results with exceptional performance for blank spaces and order errors. A common difficulty in detecting doubles was detected in both methodologies. This dissertation culminated in the recommendation of the SS-based approach for the implementation in real industrial scenarios, given its best overall performance and easy interpretability by the operator (relevant factor to guarantee the operator cooperation in real setups).Nos contextos industriais atuais, o controlo de qualidade é essencial para garantir a confiabilidade do produto e a eficácia operacional. Apesar da disseminação da recolha automática de dados e do uso de modelos de inteligência computacional nos processos de qualidade, certas variáveis-chave ainda requerem entrada manual devido a requisitos de análise laboratorial, o que introduz erros decorrentes do envolvimento humano. Enquanto os erros de inserção de dados já foram estudados noutras áreas, os contextos industriais apresentam desafios distintos que requerem soluções baseadas em dados, em contraste com os métodos manuais apresentados na literatura.Esta dissertação foca-se no desenvolvimento e aplicação de duas metodologias, uma aproveitando Sensores Virtuais e outra baseada na Análise de Componentes Principais, para detetar erros de inserção de dados em variáveis de controlo de qualidade. O trabalho desenvolvido resultou num \textit{framework} para o design de Sensores Virtuais, que se destaca pela implementação de expansão de variáveis para introduzir não-linearidade nas variáveis de campo e pela implementação e comparação de vários métodos de seleção de variáveis e modelos de regressão.Além disso, as duas metodologias usadas para detetar erros de inserção de dados foram desenvolvidas e testadas em três \textit{datasets} diferentes com dados de laboratório de instalações industriais. Através de uma caracterização abrangente de erros de inserção de dados em várias categorias, como espaços em branco, duplos, erros de medição, erros de ordem e números extra, este estudo fornece perceções valiosas sobre as capacidades e limitações das metodologias desenvolvidas. O desempenho das metodologias foi comparado usando métricas de classificação, como precisão, sensibilidade, \textit{f1-score} e especificidade.Os testes realizados revelaram que a metodologia baseada na Análise de Componentes Principais pode não ser adequada para todos os \textit{datasets}, pois apresenta baixo desempenho para casos com baixa variabilidade na variável alvo. Por outro lado, a metodologia que recorre a Sensores Virtuais apresentou bons resultados gerais com desempenho excepcional para espaços em branco e erros de ordem. Uma dificuldade comum na deteção de duplos foi detetada em ambas as metodologias. Esta dissertação culminou na recomendação da abordagem baseada em Sensores Virtuais para a implementação em cenários industriais reais, dada sua melhor performance geral e fácil interpretabilidade pelo operador (fator relevante para garantir a cooperação do operador em cenários reais).Outro - Projeto financiado pela ANI - Agência Nacional de Inovação S. A Referência do projeto: CENTRO-01-0247-FEDER-0469832024-02-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/116294https://hdl.handle.net/10316/116294TID:203694996engLeiria, Joana da Silva Rosainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-09-11T22:02:13Zoai:estudogeral.uc.pt:10316/116294Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:09:42.065297Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Double-check of information using computational intelligence methodologies
Verificação dupla de informação usando metodologias de inteligência computacional
title Double-check of information using computational intelligence methodologies
spellingShingle Double-check of information using computational intelligence methodologies
Leiria, Joana da Silva Rosa
Data entry errors
Error detection
Industrial application
Principal Components Analysis
Soft Sensors
Erros de inserção de dados
Deteção de erros
Aplicação industrial
Análise de Componentes Principais
Sensores virtuais
title_short Double-check of information using computational intelligence methodologies
title_full Double-check of information using computational intelligence methodologies
title_fullStr Double-check of information using computational intelligence methodologies
title_full_unstemmed Double-check of information using computational intelligence methodologies
title_sort Double-check of information using computational intelligence methodologies
author Leiria, Joana da Silva Rosa
author_facet Leiria, Joana da Silva Rosa
author_role author
dc.contributor.author.fl_str_mv Leiria, Joana da Silva Rosa
dc.subject.por.fl_str_mv Data entry errors
Error detection
Industrial application
Principal Components Analysis
Soft Sensors
Erros de inserção de dados
Deteção de erros
Aplicação industrial
Análise de Componentes Principais
Sensores virtuais
topic Data entry errors
Error detection
Industrial application
Principal Components Analysis
Soft Sensors
Erros de inserção de dados
Deteção de erros
Aplicação industrial
Análise de Componentes Principais
Sensores virtuais
description Dissertação de Mestrado em Engenharia Física apresentada à Faculdade de Ciências e Tecnologia
publishDate 2024
dc.date.none.fl_str_mv 2024-02-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/116294
https://hdl.handle.net/10316/116294
TID:203694996
url https://hdl.handle.net/10316/116294
identifier_str_mv TID:203694996
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602598197788672

Similar Items