Semantic Hyperlapse: a sparse coding based and multi-importance approach for first-person videos

• Ano de defesa: 2019
• Autor(a) principal: Michel Melo da Silva
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Minas Gerais; Brasil; ICEX - INSTITUTO DE CIÊNCIAS EXATAS; Programa de Pós-Graduação em Ciência da Computação; UFMG
• Palavras-chave em Português: First-person videos; Semantic fast-forward; Sparse coding; Minimum sparse reconstruction problem; Vídeo em primeira pessoa; Aceleração semântica; Codificação esparsa; Problema de reconstrução mínima esparsa; Computação; Visão por computador; Sistema multimídia; Semântica - processamento de dados
• Link de acesso: http://hdl.handle.net/1843/30433; https://orcid.org/0000-0002-2499-9619

O surgimento de câmeras pessoais portáteis de baixo custo, combinado com a alta qualidade dos sensores e a quase ilimitada capacidade de armazenamento em sites de compartilhamento de vídeos despertou um crescente interesse pelos vídeos em primeira pessoa. Tais vídeos são geralmente compostos de gravações de longa duração sem qualquer edição, capturadas por um dispositivo acoplado ao corpo do gravador, o que os tornam tediosos e visualmente desagradáveis de assistir. Com isso, surgiu a necessidade de prover acesso rápido à informação neles contida. Para suprir essa necessidade, esforços vem sendo aplicados para o desenvolvimento de técnicas como Hyperlapse, na qual o objetivo é acelerar o vídeo em primeira pessoa criando um vídeo reduzido visualmente agradável de se assistir, e Hyperlapse Semântico, que além de acelerar o vídeo, cria ênfase em trechos importantes, dado algum critério de semântica previamente definido. Contudo, o método estado da arte em Hyperlapse Semântico, FFSE, negligencia o grau de importância da informação relevante, considerando apenas se a mesma é importante ou não. Outras limitações do método FFSE são o número de parâmetros, a escalabilidade no número de características visuais, e a mudança brusca nos fatores de aceleração entre segmentos de vídeo consecutivos. Nesta tese, propomos uma metodologia livre de parâmetros baseada em Codificação Esparsa para acelerar vídeos em primeira pessoa de forma adaptativa e enfatizar as partes relevantes através de uma abordagem multi-importância. O uso da abordagem proposta resultou na criação de vídeos reduzidos mantendo uma maior quantidade de informação semântica, com menos transições bruscas nas taxas de aceleração, e mais suaves em relação ao resultado do método FFSE.