Um esquema rápido baseado em aprendizado de máquina para a predição interquadros do codificador de vídeo VVC

• Ano de defesa: 2021
• Autor(a) principal: Gonçalves, Paulo Henrik Ribeiro
• Orientador(a): Porto, Marcelo Schiavon
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Pelotas
• Programa de Pós-Graduação: Programa de Pós-Graduação em Computação
• Departamento: Centro de Desenvolvimento Tecnológico
• País: Brasil
• Palavras-chave em Português: Computação; Codificação de vídeo; Aprendizado de máquina; Redução de esforço computacional; Predição affine; Video coding; Machine learning; Complexity reduction; Affine prediction
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: http://guaiaca.ufpel.edu.br/handle/prefix/7787

Novas tendências no cenário de vídeos digitais têm ganhado muita popularidade recentemente, como vídeos de resoluções 4K-8K, vídeos omnidirecionais e conteúdo de tela. Para suportar tais tecnologias, novos codificadores de vídeo têm sido propostos nos últimos anos. Dentre eles, o Versatile Video Coding (VVC) é a nova aposta do Joint Video Experts Team. Lançado em Julho de 2020, o novo padrão obtém uma eficiência de codificação de 33%, quando comparado ao seu antecessor, isto devido às novas ferramentas implementadas, como estruturas de particionamento flexíveis, novas ferramentas de predição intra blocos, conjunto de novas transformadas, entre outras. Entretanto, tal avanço vem ao custo de um aumento expressivo no tempo do codificação. Outra nova ferramenta implementada é a predição affine, que permite a detecção de movimentos não-translacionais durante o processo de predição inter quadros, e portanto, oferece uma eficiência de codificação superior aos padrões anteriores. Entretanto, a predição affine acrescenta um aumento no tempo de processamento da predição interquadros de até 47%, dependendo da configuração utilizada, tornando-se um grande desafio para aplicações que necessitam de uma codificação rápida. Sendo assim, este trabalho propõe um esquema para redução do esforço computacional do codificador de vídeo VVC, através do controle de execução da etapa de predição affine. Chamado de LEAP (do inglês, Learning-based Affine Prediction), o esquema proposto é baseado em aprendizado de máquina, e é capaz de reduzir o tempo total de codificação em 8,49%, e o tempo de codificação do módulo de predição affine em 46,94%, em média, com baixas penalidades na eficiência de codificação. Além disso, por se tratar de um controle de uma das etapas de codificação, o esquema proposto pode ser aliado a outras técnicas de redução de esforço computacional para obter uma redução final ainda mais eficiente.