Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo

• Ano de defesa: 2020
• Autor(a) principal: Kishi, Rodrigo Mitsuo
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Análise de co-ocorrência; Co-occurrence analysis; Digital video; Early fusion; Fusão prévia; Multimedia; Multimídia; Multimodalidade; Multimodality; Vídeo digital
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/

O emprego de fusão prévia multimodal tem se mostrado eficaz em grande parte das tarefas de análise de vídeo existentes. Os métodos de fusão prévia encontrados na literatura foram desenvolvidos para melhorar a eficácia em tarefas específicas e, por esse motivo, são essencialmente vinculados a particularidades de suas respectivas tarefas fim. Com isso, alguns aspectos importantes para a produção de uma representação expressiva por meio de fusão de informação, bem como o potencial de generalização quanto ao domínio de aplicação foram negligenciados em pesquisas até o presente momento. Esta tese de doutorado propõe um método, M4InFus, destinado a realizar fusão de informação multimodal sem utilizar especificidades de domínio de aplicação. O método M4InFus é baseado em identificação de co-ocorrência de padrões unimodais em segmentos de vídeo e cobre lacunas existentes na área de fusão de informação multimodal. O método proposto foi aplicado em dois experimentos na tarefa de Segmentação Temporal de Vídeo em Cenas e em um experimento na tarefa de Classificação de Vídeo, promovendo ganhos em eficácia em ambas as tarefas. Considerando que a eficácia em tais tarefas é limitada pela Lacuna Semântica, há um indício de que representações geradas pelo método M4InFus são menos distantes da semântica contida nos segmentos de vídeo de origem. Este projeto de doutorado também gerou, como contribuição, a implementação do M4InFus e a formação de recursos humanos em níveis de doutorado e de iniciação científica.