Mitigating bias in facial analysis systems by incorporating label diversity

• Ano de defesa: 2022
• Autor(a) principal: Reis, Camila Kolling dos
• Orientador(a): Musse, Soraia Raupp
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Pontifícia Universidade Católica do Rio Grande do Sul
• Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
• Departamento: Escola Politécnica
• País: Brasil
• Palavras-chave em Português: Aprendizado Profundo; Análise Facial; Redes Neurais; Justiça
• Palavras-chave em Inglês: Deep Learning; Facial Analysis; Neural Networks; Fairness
• Área do conhecimento CNPq: CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
• Link de acesso: https://tede2.pucrs.br/tede2/handle/tede/10433

Modelos de análise facial são cada vez mais utilizados em aplicações do mundo real que têm impacto significativo na vida das pessoas. No entanto, como demonstrado pela literatura, os modelos que classificam automaticamente os atributos faciais podem apresentar comportamento de discriminação em relação a grupos protegidos, potencialmente causando impactos negativos nos indivíduos e na sociedade. Portanto, é fundamental desenvolver técnicas que possam mitigar vieses não intencionais em classificadores faciais. Assim, neste trabalho, apresentamos um novo método de aprendizado de máquina que combina rótulos subjetivos, baseados em humanos, e anotações objetivas, baseadas em definições matemáticas, de traços faciais. Especificamente, geramos novas anotações objetivas a partir de dois conjuntos de dados anotados por humanos em grande escala, cada um capturando uma perspectiva diferente do traço facial analisado. Em seguida, propomos um método de aprendizado em conjunto, que combina modelos individuais treinados em diferentes tipos de anotações. Fornecemos uma análise aprofundada do procedimento de anotação, bem como a distribuição dos conjuntos de dados. Além disso, demonstramos empiricamente que, ao incorporar a diversidade de rótulos, nosso método mitiga com sucesso vieses não intencionais, mantendo uma precisão significativa nas tarefas.