Improving digital photography : revisiting core aspects through a deep-learning lens

• Ano de defesa: 2020
• Autor(a) principal: Henz, Bernardo
• Orientador(a): Oliveira Neto, Manuel Menezes de
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Fotografia digital; Aprendizado profundo; Processamento digital de imagens; Redes neurais convolucionais
• Palavras-chave em Inglês: Color filter array; Demosaicing; Denoising; Composição de imagens
• Link de acesso: http://hdl.handle.net/10183/217574

Esta tese revisita aspectos fundamentais da fotografia computacional, enquanto os aperfeiçoa utilizando estratégias de deep-learning do estado da arte. Esta tese propõe duas técnicas que aprimoram o pipeline de fotografia digital. Especificamento, nós mostramos como melhorar o processo de aquisição de imagens e o tratamento de ruído natural. Para aquisição de imagens, nós apresentamos uma técnica inovadora baseada em Convolutional Neural Networks que otimiza conjuntamente o design de color filter arrays e o método de demosaicing. Os modelos treinados proporcionam reconstruções de alta qualidade, alcançando valores de PSNR (Peak Signal-to-Noise Ratio) maiores em diversos datasets, superando técnicas anteriores tanto para o caso de imagens sem ruído quanto para imagens ruidosas (demosaicing+denoising). Para o tratamento de ruído, nós propomos uma arquitetura baseada em GANs (Generative Adversarial Networks) que é capaz de ajustar o nível de ruído presente em uma imagem. Através de testes de validação, nós mostramos que o ruído sintetizado por nossos modelos é muito mais próximos que o encontrado em fotografias reais quando comparado com os métodos existentes (Gaussiano/Poisson). Nósavaliamos o uso de nossos modelos generativos no treinamento de denoisers, mostrando que os denoisers treinados utilizando imagens sintetizadas pela nossa ténica conseguem uma performance superior em benchmarks de remoção de ruído de images naturais. Visto que nossas técnicas melhoram aspectos importante do pipeline de imagens digitais, elas têm o potencial de melhorar a qualidade geral de fotografias digitais.