Análise de aprendizado adversarial baseado em similaridade na geração de texto

• Ano de defesa: 2022
• Autor(a) principal: Rosa, Gustavo Henrique de
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Estadual Paulista (Unesp)
• Palavras-chave em Português: Aprendizado de máquina; Aprendizado adversarial; Processamento de linguagem natural; Geração de texto; Redes siamesas; Otimização meta-heurística; Machine learning; Adversarial learning; Natural language processing; Text generation; Siamese networks; Meta-heuristic optimization
• Link de acesso: http://hdl.handle.net/11449/238053

Algoritmos de Aprendizado de Máquina têm sido amplamente fomentados nos últimos anos, principalmente devido às suas capacidades discriminativas em problemas de Visão Computacional e Processamento de Linguagem Natural. Ademais, suas capacidades generativas permitiram aplicações em tarefas de natureza discreta (sequências de caracteres e palavras), isto é, geração de texto. Uma arquitetura em específico, denotada por Redes Adversariais Generativas, utiliza uma estrutura composta por discriminador e gerador, os quais procuram obter um equilíbrio entre gerar dados artificiais e classificá-los como dados verdadeiros. Recentemente, vários trabalhos propuseram soluções baseadas em Redes Adversariais Generativas para a geração de texto, porém apenas alguns deles conseguiram gerar textos sem palavras repetidas e com algum significado semântico. Um problema decorrente das Redes Adversariais Generativas consiste na dificuldade em estabelecer um equilíbrio no treinamento e, consequentemente, gerar textos artificiais que assemelham-se aos textos reais. Desta forma, a presente tese aprimora o desenvolvimento de modelos adversariais textuais através de funções de similaridade aprendidas por Redes Siamesas, as quais fornecem recompensas capazes de melhor distinguir entre textos artificiais e reais. Adicionalmente, tais modelos são aperfeiçoados com o uso da otimização meta-heurística, a qual fornece conjuntos de hiperparâmetros específicos para as tarefas em questão. Os resultados experimentais obtidos demonstram a capacidade da arquitetura proposta, denotada por Rede Adversarial Generativa por Similaridade Textual, do inglês Text-Similarity Generative Adversarial Network (TS-GAN), em quatro base de dados da literatura. As TS-GANs atingiram resultados superiores às arquiteturas adversariais estado-da-arte e, em suas versões pós-otimização, foram capazes de aprimorar as métricas de suas versões iniciais (sem otimização) em duas de quatro bases de dados.