From modeling perceptions to evaluating video summarizers

• Ano de defesa: 2020
• Autor(a) principal: Lima, Kalyf Abdalla Buzar
• Orientador(a): Oliveira, Luciano Rebouças de
• Banca de defesa: Gomes, Gecynalda Soares da Silva, Rodrigues, Paulo Canas, Papa, João Paulo, Torres, Ricardo da Silva
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal da Bahia; Instituto de Matemática e Estatística; Departamento de Ciência da Computação
• Programa de Pós-Graduação: em Ciência da Computação
• País: brasil
• Palavras-chave em Português: Sumarização de vídeo; Sumarizadores de vídeo; Avaliação; Métrica; Compression Level of USer Annotation (CLUSA)
• Área do conhecimento CNPq: Ciências Exatas e da Terra; Ciência da Computação
• Link de acesso: http://repositorio.ufba.br/ri/handle/ri/33508

Horas de vídeos são enviados para plataformas de streaming a cada minuto, com sistemas de recomendação sugerindo vídeos populares e relevantes para ajudar economizar o tempo dos usuários no processo de busca. Sumarizadores de vídeo foram então desenvolvidos para detectar as partes mais relevantes e automaticamente condensá-las em um vídeo curto. Atualmente, avaliar esse tipo de método é desafiador uma vez que as métricas não avaliam a subjetividade dos usuários, como a concisão das anotações. Para lidar com o critério de concisão, nós propomos uma nova métrica que avalia sumarizadores de vídeo em múltiplas taxas de compressão. Nossa métrica, chamada Compression Level of USer Annotation (CLUSA), mensura o desempenho dos sumarizadores de vídeo diretamente a partir dos escores de relevância preditos. Para isso, a CLUSA gera sumários de vídeo descartando gradualmente segmentos de vídeo de acordo com os escores de relevância anotados pelos usuários. Depois de agrupar os sumários de vídeo pelas taxas de compressão, a CLUSA os compara com os escores de relevância preditos. Para preservar informações relevantes em resumos de vídeo concisos, CLUSA então pondera o desempenho dos sumarizadores de vídeo em cada faixa de compressão e, por fim, calcula uma pontuação geral de desempenho. Considerando que a CLUSA pondera todas as faixas de compressão, mesmo aquelas que não foram abrangidas pelas anotações dos usuários, o desempenho de base muda com cada conjunto de dados. Consequentemente, a interpretação do escore de desempenho para os sumarizadores de vídeo não é tão direta quanto em outras métricas. Em nossos experimentos, comparamos a CLUSA com outras métricas de avaliação para sumarização de vídeo. Nossas descobertas sugerem que todas as métricas analisadas avaliam adequadamente sumarizadores de vídeo usando anotações binárias. Para as anotações multivaloradas, a CLUSA mostrou-se mais adequada, preservando as informações de vídeo mais relevantes no processo de avaliação.