Perceptsent: exploring subjectivity in a novel dataset for visual sentiment analysis

• Ano de defesa: 2022
• Autor(a) principal: Lopes, Cesar Rafael
• Orientador(a): Minetto, Rodrigo
• Banca de defesa: Silva, Ricardo Dutra da , Pereira, Roberto , Minetto, Rodrigo
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Tecnológica Federal do Paraná; Curitiba
• Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
• País: Brasil
• Palavras-chave em Português: Percepção visual; Emoções - Análise; Redes neurais (Computação); Imagens - Análise; Inteligência artificial; Visual perception; Emotions - Analysis; Neural networks (Computer science); Pictures - Analysis; Artificial intelligence
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/30278

A análise visual de sentimentos é um problema desafiador. Uma série de abordagens e conjuntos de dados foram desenvolvidos para promover avanços neste relevante tópico de pesquisa. No entanto, a maioria dos trabalhos investiga os atributos visuais das imagens avaliadas, dando menos atenção às percepções dos usuários ou espectadores. Com o objetivo de preencher essa lacuna, apresentamos o PerceptSent, um novo conjunto de dados para análise visual de sentimentos que abrange 5.000 imagens compartilhadas por usuários em redes sociais. Além da avaliação do sentimento (positiva, levemente positiva, neutra, levemente negativa, negativa) expresso por cada avaliador sobre cada imagem analisada, o conjunto de dados contém os metadados do avaliador (idade, gênero, nível socioeconômico, escolaridade e dicas psicológicas) bem como percepções subjetivas observadas pelo avaliador sobre a imagem como a presença da natureza, violência, falta de manutenção, etc. Arquiteturas profundas e diferentes formulações do problema são exploradas usando o conjunto de dados proposto, visando combinar atributos visuais e extras para análise automática de sentimentos. Mostramos evidências de que as percepções do avaliador, quando corretamente empregadas, são cruciais na análise de sentimentos visuais, capazes de melhorar a precisão e o desempenho F-score em 30%, em média, para uma taxa impressionante 97,00% e 96,80%, respectivamente. Embora neste momento não tenhamos abordagens automáticas para capturar essas percepções, nossos resultados abrem novos caminhos de investigação. A base de dados PerceptSent e os modelos treinados estão disponíveis no GitHub.