Fully-disentangled text-to-image synthesis

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Lopes, Maurício Armani lattes
Orientador(a): Barros, Rodrigo Coelho lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Pontifícia Universidade Católica do Rio Grande do Sul
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
Departamento: Escola Politécnica
País: Brasil
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: http://tede2.pucrs.br/tede2/handle/tede/9031
Resumo: Algoritmos de generalização sofrem vários problemas. Comumente, os algoritmos de aprendizado profundo tendem a se ajustar a uma quantidade limitada de dados, gerando resultados insatisfatórios para dados não vistos. No caso de modelos geradores profundos, esse problema se manifesta de forma diferente. O modelo tende a ignorar nuances da distribuição real e colapsar em atributos mais comuns. Embora em algum grau, esse seja um comportamento desejado, isso pode levar o algoritmo a gerar imagens com diversidade muito reduzida, não explorando todos os atributos fornecidos pela distribuição real. Redes generativas profundas (por exemplo, GANs) não têm custo explícito para incentivar a diversidade durante o treinamento. Além disso, as GANs foram inicialmente projetadas para gerar amostras aleatórias sem controle do usuário. Propomos um método baseado em desentrelaçamento para resolver ambos os problemas de uma só vez para algoritmos de síntese de imagem a partir de texto. Primeiro, forçamos o desentrelaçamento de conceitos não descritos por descrições textuais (por exemplo, o segundo plano). Então, usamos as representações desentrelaçadas para fornecer combinações aleatórias para o gerador. Isso orienta o gerador para um mapeamento mais completo, gerando um aumento na diversidadea partir da mesma quantidade de dados. Com representações desentrelaçadas, o framework também ganha controle sobre a geração para cada conceito. Realizamos vários experimentos e estudos de ablação para validar nossas contribuições em um conjunto de dados de um único objeto. Os resultados mostram melhorias para ambos os objetivos e nenhum efeito colateral para os frameworks tradicionais. Nossa abordagem pode ser facilmente usada em outros frameworks para aumentar o controle, a diversidade e o realismo.