A patchmatch-based approach for matte propagation in videos

• Ano de defesa: 2020
• Autor(a) principal: Backes, Marcos Henrique
• Orientador(a): Oliveira Neto, Manuel Menezes de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Edição de imagens; Vídeo; Imagens naturais
• Palavras-chave em Inglês: Image/Video Editing; Alpha Matting; Video Matting; Video Compositing
• Link de acesso: http://hdl.handle.net/10183/211252

Apesar de avanços consideráveis em alpha matting de imagens naturais nas últimas décadas, video matting ainda continua sendo um problema difícil. Os desafios principais encarados pelos métodos existentes são a grande quantidade de interação do usuário requerida e inconsistências temporais em mattes entre pares de quadros adjacentes. Nesse trabalho, é apresentado um método temporalmente coerente de propagação do canal alfa em vídeos baseado em PatchMatch e filtros de suavização com preservação de arestas. Dado um vídeo de entrada e trimaps para alguns frames, incluindo o primeiro e o último, nossa abordagem gera alpha mattes para todos os quadros da sequência de vídeo. É apresentado, também, uma interface baseada em rabiscos para video matting que se aproveita da eficiência do nosso método para interativamente refinar os resultados. É demonstrada a eficácia da nossa abordagem usando-a para gerar mattes temporalmente coerentes para várias sequências de vídeo. Foi realizada uma comparação quantitativa com o estado da arte em técnicas de video matting que mostra que nosso método produz resultados significativamente melhores de acordo com três métricas diferentes. Além disso, foi realizada uma análise qualitativa contra técnicas de video matting que requerem um trimap por quadro que mostra que nossa técnica produz resultados similares usando apenas 7% da quantidade de interação do usuário requerida pelas outras técnicas. Esses resultados mostram que a técnica proposta é efetiva e fácil de usar superando o estado da arte.