Safety monitoring for machine learning in critical applications

Bibliographic Details
Main Author: Carvalho, Bernardo Silva
Publication Date: 2023
Format: Master thesis
Language: eng
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: https://hdl.handle.net/10316/110550
Summary: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_93c3d9a436e88686913a41f23e0fd0ea
oai_identifier_str oai:estudogeral.uc.pt:10316/110550
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Safety monitoring for machine learning in critical applicationsSafety monitoring for machine learning in critical applicationsMonitorizaçãoDeteção de errosFiabilidadeMachine learningPrevisão seletivaMonitoringError detectionDependabilityMachine LearningSelective PredictionDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaInteligência Artificial (IA) está cada vez mais sofisticado e mais presente nas nossas vidas, desde assistentes virtuais como a Alexa e a Siri até carros que conduzem sozinhos. Este aumento do uso e capacidades da inteligência artificial leva a que seja utilizado cada vez mais em situações críticas e para tal é preciso ter algum tipo de mecanismo que permite saber se houve algum error por parte da IA. Apesar de toda a investigação feita para melhorar a performance de IA, o problema de deteção de erros ainda se encontra por resolver, por isso apresentamos um método para resolver este problema. O nosso método baseia-se no uso de um monitor para supervisionar o modelo crítico e informar quando este faz um erro. Vamos ter três abordagens diferentes de monitores das quais vão resultar cinco monitores no total, uma das abordagens vai utilizar inteligência artificial para detetar erros, outra vai calcular a distância a fronteira de decisão e a última vai utilizar clustering para saber se os pontos estão cobertos pelo conjunto de treino. Vamos avaliar a performance dos nosso monitores através de métricas como accuracy, taxa de positivos verdadeiros ou sensibilidade, e Positive Predictive value ou PPV, vamos ainda comparar as curvas ROC e AUC dos nossos cinco monitores. Para finalizar vamos analisar o impacto que os monitor têm nos modelos, ou seja, vamos ver se eles conseguem melhorar a accuracy dos modelos. Se este método tiver sucesso em detetar erros espera-se que comece a ser utilizada em sistemas críticos pois pode melhorar a segurança de modelos de machine learning.Artificial Intelligence (AI) is becoming more sophisticated and more widely used in our day-to-day lives, from virtual assistants like Alexa or Siri to self-driving cars. The increase in use and capabilities of AI leads to it being more frequently used in critical systems, creating the need to have some type of system that can detect malfunctions. Despite all the research done to improve the performance of AI, the problem of error detection is still yet to be resolved, so we will propose an approach to overcome this problem. Our approach is based on the use of monitors to supervise the critical model and omit when it makes an error. We will have three different approaches for the monitor, from which will result five different monitors, one approach will be a Machine learning model to detect errors, another will calculate the distance to the classification boundary, and the last one will use clustering to know which points are covered by the training set. To evaluate the performance of out monitor we will make use of metrics such as accuracy, true positive rate or sensitivity, and positive predictive value or PPV for short, we will also compare the AUC and ROC curves of our five monitor. Lastly we will analyse what was the impact of the monitors on the model, that is, we will see if we can improve the accuracy of the models with the introduction of the monitors. If this approach proves to be successful in detecting errors, it is expected that it starts to be used in critical systems so that it can improve ML safety.H20202023-07-24info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/110550https://hdl.handle.net/10316/110550TID:203397444engCarvalho, Bernardo Silvainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2023-11-23T23:03:51Zoai:estudogeral.uc.pt:10316/110550Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:02:32.155748Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Safety monitoring for machine learning in critical applications
Safety monitoring for machine learning in critical applications
title Safety monitoring for machine learning in critical applications
spellingShingle Safety monitoring for machine learning in critical applications
Carvalho, Bernardo Silva
Monitorização
Deteção de erros
Fiabilidade
Machine learning
Previsão seletiva
Monitoring
Error detection
Dependability
Machine Learning
Selective Prediction
title_short Safety monitoring for machine learning in critical applications
title_full Safety monitoring for machine learning in critical applications
title_fullStr Safety monitoring for machine learning in critical applications
title_full_unstemmed Safety monitoring for machine learning in critical applications
title_sort Safety monitoring for machine learning in critical applications
author Carvalho, Bernardo Silva
author_facet Carvalho, Bernardo Silva
author_role author
dc.contributor.author.fl_str_mv Carvalho, Bernardo Silva
dc.subject.por.fl_str_mv Monitorização
Deteção de erros
Fiabilidade
Machine learning
Previsão seletiva
Monitoring
Error detection
Dependability
Machine Learning
Selective Prediction
topic Monitorização
Deteção de erros
Fiabilidade
Machine learning
Previsão seletiva
Monitoring
Error detection
Dependability
Machine Learning
Selective Prediction
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2023
dc.date.none.fl_str_mv 2023-07-24
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/110550
https://hdl.handle.net/10316/110550
TID:203397444
url https://hdl.handle.net/10316/110550
identifier_str_mv TID:203397444
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602556617555968

Similar Items