From modeling perceptions to evaluating video summarizers

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Lima, Kalyf Abdalla Buzar
Orientador(a): Oliveira, Luciano Rebouças de
Banca de defesa: Gomes, Gecynalda Soares da Silva, Rodrigues, Paulo Canas, Papa, João Paulo, Torres, Ricardo da Silva
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal da Bahia
Instituto de Matemática e Estatística
Departamento de Ciência da Computação
Programa de Pós-Graduação: em Ciência da Computação
Departamento: Não Informado pela instituição
País: brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: http://repositorio.ufba.br/ri/handle/ri/33508
Resumo: Horas de vídeos são enviados para plataformas de streaming a cada minuto, com sistemas de recomendação sugerindo vídeos populares e relevantes para ajudar economizar o tempo dos usuários no processo de busca. Sumarizadores de vídeo foram então desenvolvidos para detectar as partes mais relevantes e automaticamente condensá-las em um vídeo curto. Atualmente, avaliar esse tipo de método é desafiador uma vez que as métricas não avaliam a subjetividade dos usuários, como a concisão das anotações. Para lidar com o critério de concisão, nós propomos uma nova métrica que avalia sumarizadores de vídeo em múltiplas taxas de compressão. Nossa métrica, chamada Compression Level of USer Annotation (CLUSA), mensura o desempenho dos sumarizadores de vídeo diretamente a partir dos escores de relevância preditos. Para isso, a CLUSA gera sumários de vídeo descartando gradualmente segmentos de vídeo de acordo com os escores de relevância anotados pelos usuários. Depois de agrupar os sumários de vídeo pelas taxas de compressão, a CLUSA os compara com os escores de relevância preditos. Para preservar informações relevantes em resumos de vídeo concisos, CLUSA então pondera o desempenho dos sumarizadores de vídeo em cada faixa de compressão e, por fim, calcula uma pontuação geral de desempenho. Considerando que a CLUSA pondera todas as faixas de compressão, mesmo aquelas que não foram abrangidas pelas anotações dos usuários, o desempenho de base muda com cada conjunto de dados. Consequentemente, a interpretação do escore de desempenho para os sumarizadores de vídeo não é tão direta quanto em outras métricas. Em nossos experimentos, comparamos a CLUSA com outras métricas de avaliação para sumarização de vídeo. Nossas descobertas sugerem que todas as métricas analisadas avaliam adequadamente sumarizadores de vídeo usando anotações binárias. Para as anotações multivaloradas, a CLUSA mostrou-se mais adequada, preservando as informações de vídeo mais relevantes no processo de avaliação.