Leitura da fala do português brasileiro: elaboração de vídeos para treinamento

• Ano de defesa: 2024
• Autor(a) principal: Vidal, Fernanda de Barros
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Frequência de uso e competição lexical de palavras; Frequency and lexical competition of words; Leitura labial do português brasileiro; Lipreading of Brazilian Portuguese; Percepção visual da fala; Visual speech perception
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/59/59134/tde-24062024-163858/

O tema de percepção da fala é interdisciplinar e estudado por meio de abordagens variadas, podendo ser investigado por associação bimodal (audiovisual) ou unimodal (somente auditiva ou visual). A percepção visual da fala, por meio da leitura labial, é bem explorada em diversos idiomas, como o inglês. No entanto, poucos estudos foram realizados sobre os paradigmas que influenciam essa percepção em Português Brasileiro e nenhum material de estímulo com faces naturais foi desenvolvido e disponibilizado considerando essas características já bem investigadas no inglês. Esta pesquisa exploratória propôs desenvolver uma base de arquivos de vídeo para treinamento de leitura labial em Português Brasileiro, por meio de estímulos naturais, com palavras que contemplem diferentes fonemas. Foram produzidos 110 vídeos com dois locutores fonoaudiólogos pronunciando palavras de estímulo, seguindo diretrizes para produção de vídeos de leitura labial. As palavras de estímulo foram selecionadas a partir do corpora C-Oral Brasil, do português falado em ambientes informais, classificadas gramaticalmente como substantivos, dissílabas e que possuíam a mesma estrutura Consoante-Vogal (CV) com os 19 fonemas consonantais do idioma balanceados na primeira e segunda sílaba. Para testar os vídeos produzidos, 281 participantes ouvintes e com idade entre 18 e 55 anos responderam uma sessão experimental computadorizada, hospedada na plataforma Pavlovia, composta por 30 vídeos com as palavras de estímulo. Ao final de cada vídeo os participantes indicavam uma alternativa de resposta, entre a palavra de estímulo e duas alternativas distratoras, que configuravam possíveis competidores lexicais e variavam conforme o posicionamento do fonema consonantal na palavra, e recebiam feedback. Foi realizada a estatística descritiva dos dados e análises exploratórias, a partir da sessão experimental. Dentre as 30 palavras de estímulo, 24 delas tiveram uma proporção de acerto maior que 70%. A correlação entre o tempo médio de resposta e a frequência de resposta por tipo de resposta foi calculada por meio do tau de Kendall (p<.05). 23 dos 30 itens apresentaram correlação negativa significativa em relação as respostas corretas. Em alternativas incorretas, a correlação foi positiva e significativa. A proporção de respostas corretas foi maior em palavras em que pelo menos uma das alternativas distratoras divergia quanto ao modo de articulação. A análise exploratória de agrupamento (cluster) dos fonemas foi realizada para verificar possíveis agrupamentos quanto as classificações das consoantes. Não foi observado nenhum padrão de agrupamento pela sonoridade, nasalidade ou ponto de articulação, no entanto, o modo de articulação de plosivas, no geral, teve melhor identificação. Novos trabalhos vão poder usar a base de arquivos (110 vídeos) produzidos nessa pesquisa. A investigação do tema em português brasileiro está em caráter inicial. Para desenvolver um teste computadorizado robusto, entender a relação da leitura labial com habilidades cognitivas e de aprendizagem e estabelecer tarefas de treinamento e investigação em outros âmbitos, é necessário considerar particularidades da língua relacionadas ao léxico e realizar mais pesquisas interdisciplinares.