On the accuracy of active learning from multiple, imperfect annotators

Detalhes bibliográficos
Autor(a) principal: Neves, Eduardo Filipe Batista
Data de Publicação: 2024
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/10316/116308
Resumo: Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
id RCAP_3baf1fbd4ba11c230effe983e1312960
oai_identifier_str oai:estudogeral.uc.pt:10316/116308
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling On the accuracy of active learning from multiple, imperfect annotatorsPrecisão em aprendizagem ativa de múltiplos anotadores imperfeitosTrustworthinessMulti-Agent SystemsMachine LearningActive LearningHuman-centered AIConfiabilidadeSistemas MultiagenteMachine LearningAprendizagem AtivaIA Centrada no HumanoDissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e TecnologiaThe rise of Artificial Intelligence in society may come with broader applications in various fields. However, humans may still take a part, especially on the development of these models. With this shift, the reliance on human annotators becomes important in the process of acquiring labeled data. Active learning, typically a Human-in-the-Loop methodology, introduces an interplay between machine and human intelligence. Although this exchange might be productive it comes with many challenges and downsides if not programmed correctly. This thesis delves into the considerations of this interaction in a human-centered perspective. The main focus of this thesis is investigating the challenges and considerations associated with delegating labeling tasks to human annotators and its consequent implications on the accuracy of active learners for classification.With a focus on a realistic setup, this thesis investigates multiple annotators in imperfect oracle situations. The first step is then definition and implementation of reputation, as well as all the aspects attached to it. This goes along with deployment of Python's modAL algorithms to implement Active Learning strategies. The research investigates various factors contributing to annotator reputation, including accuracy performance, domain-specific expertise and others.The findings of this research were able to extend a normal Active Learning methodology, by incorporating notions from different fields. The proposed framework proved to deploy the ideas discussed in a robust way. With that, this thesis aims to guide responsible deployment of human knowledge in AI development.A ascensão da Inteligência Artificial na sociedade pode surgir com aplicações mais vastas em vários campos. No entanto, os seres humanos podem ainda participar, especialmente no desenvolvimento destes modelos. Com esta mudança, a relevância de anotadores humanos torna-se importante no processo de aquisição de dados etiquetados. A aprendizagem ativa, normalmente uma metodologia Human-in-the-Loop, introduz uma interação entre a inteligência humana e a máquina. Embora esta troca possa ser produtiva, apresenta muitos desafios e desvantagens se não for programada corretamente. Esta tese centra-se em considerações sobre esta interação numa perspetiva centrada no ser humano. O foco principal desta tese é investigar os desafios e considerações associados à delegação de tarefas de etiquetagem em anotadores humanos e as suas consequentes implicações na precisão dos alunos ativos para a classificação.Focando-se numa configuração realista, esta tese investiga múltiplos anotadores em situações de oráculo imperfeito. O primeiro passo é então a definição e implementação da reputação, bem como de todos os aspectos que lhe estão associados. Isto é acompanahdo com a implantação de algoritmos modAL do Python para implementar estratégias de aprendizagem ativa. A investigação investiga vários fatores que contribuem para a reputação do anotador, incluindo o desempenho de precisão, o conhecimento específico do domínio e outros.Os resultados desta investigação foram capazes de estender uma metodologia normal de Aprendizagem Ativa, ao incorporar noções de diferentes campos. A estrutura proposta proporcionou a implementação das ideias discutidas de forma robusta. Com isto, esta tese visa orientar a implementação responsável do conhecimento humano no desenvolvimento da IA.2024-07-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/116308https://hdl.handle.net/10316/116308TID:203693493engNeves, Eduardo Filipe Batistainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-09-11T22:02:30Zoai:estudogeral.uc.pt:10316/116308Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:09:42.921391Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv On the accuracy of active learning from multiple, imperfect annotators
Precisão em aprendizagem ativa de múltiplos anotadores imperfeitos
title On the accuracy of active learning from multiple, imperfect annotators
spellingShingle On the accuracy of active learning from multiple, imperfect annotators
Neves, Eduardo Filipe Batista
Trustworthiness
Multi-Agent Systems
Machine Learning
Active Learning
Human-centered AI
Confiabilidade
Sistemas Multiagente
Machine Learning
Aprendizagem Ativa
IA Centrada no Humano
title_short On the accuracy of active learning from multiple, imperfect annotators
title_full On the accuracy of active learning from multiple, imperfect annotators
title_fullStr On the accuracy of active learning from multiple, imperfect annotators
title_full_unstemmed On the accuracy of active learning from multiple, imperfect annotators
title_sort On the accuracy of active learning from multiple, imperfect annotators
author Neves, Eduardo Filipe Batista
author_facet Neves, Eduardo Filipe Batista
author_role author
dc.contributor.author.fl_str_mv Neves, Eduardo Filipe Batista
dc.subject.por.fl_str_mv Trustworthiness
Multi-Agent Systems
Machine Learning
Active Learning
Human-centered AI
Confiabilidade
Sistemas Multiagente
Machine Learning
Aprendizagem Ativa
IA Centrada no Humano
topic Trustworthiness
Multi-Agent Systems
Machine Learning
Active Learning
Human-centered AI
Confiabilidade
Sistemas Multiagente
Machine Learning
Aprendizagem Ativa
IA Centrada no Humano
description Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e Tecnologia
publishDate 2024
dc.date.none.fl_str_mv 2024-07-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/116308
https://hdl.handle.net/10316/116308
TID:203693493
url https://hdl.handle.net/10316/116308
identifier_str_mv TID:203693493
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602598236585984

Registros relacionados