O conteúdo de insumo em tarefas que integram leitura e escrita no Celpe-Bras : uma abordagem informada por corpus

• Ano de defesa: 2023
• Autor(a) principal: Nagasawa, Ellen Yurika
• Orientador(a): Schlatter, Margarete
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Complexidade textual; Celpe-Bras; Linguística
• Palavras-chave em Inglês: Celpe-Bras; Reading assessment; Corpus-informed language testing; Text complexity; Validity arguments
• Link de acesso: http://hdl.handle.net/10183/271615

Os testes de línguas de larga escala e alto impacto social têm sido amplamente investigados devido a dimensão das consequências sociais do uso de seus resultados como ferramentas para classificação e exclusão de indivíduos na sociedade. Essa preocupação está ligada à busca científica por argumentos que validem as inferências derivadas desses resultados. Um argumento plausível de validade é baseado em evidências que demonstram a representatividade do conteúdo do teste em relação ao domínio de uso da linguagem avaliado, conforme definido a partir dos usos pretendidos dos resultados e delineados nas especificações. A finalidade das especificações é possibilitar a reprodução de edições equivalentes, fornecendo detalhes suficientes para a recriação de versões com conteúdo e demandas similares, incluindo informações relativas à complexidade textual, que podem impactar no desempenho de leitura. Avaliar a representatividade do conteúdo e da complexidade textual dos textos de insumo oferece evidências para a validade do exame. O objetivo desta tese é fornecer evidências para verificar o argumento de validade de que o domínio de uso da linguagem que o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) visa avaliar é representado pelo conteúdo das tarefas que integram leitura e produção textual desse exame brasileiro de proficiência em Português como Língua Adicional. Adicionalmente, a pesquisa visa treinar e testar um classificador binário, utilizando 200 métricas automáticas da ferramenta NILC Metrix, para verificar suas capacidades preditivas de complexidade textual dos textos de insumo dessas tarefas e o grau de adequação ao público-alvo. Para tanto, a pesquisa se apoiou na abordagem da Avaliação de línguas informada por corpus, com bases teórico-metodológicas das áreas de Avaliação de línguas e Linguística de Corpus. Por meio da linguagem de programação R, foram conduzidas análises de caráter descritivo e exploratório do conteúdo e características das tarefas e testes estatísticos de redução de multivariáveis com o algoritmo Boruta. O corpus de estudo, constituído por 90 tarefas aplicadas entre 1998 e 2020 no Celpe Bras, dois corpora de referência, documentos oficiais e estudos prévios foram utilizados nas análises. Com as 33 métricas preditivas selecionadas pelo algoritmo, um modelo estatístico de complexidade foi criado com 80% dos dados dos corpora de complexidade. Os 20% restantes foram utilizados na testagem, que distinguiu textos de alta e baixa complexidade com 100% de acurácia. Os resultados indicaram que o conteúdo das tarefas não reflete as especificações, que carecem de detalhes sobre a seleção de texto de insumo e o processo de elaboração. Ademais, a maioria dos textos de insumo foram classificados como altamente complexos, correspondente ao grau mais alto de letramento brasileiro, de acordo com o Indicador de Alfabetismo Funcional. As evidências teóricas e empíricas levantadas neste estudo não permitiram confirmar o argumento de validade pretendido. Candidatos em nível intermediário podem ser potencialmente prejudicados pela inacessibilidade dos textos de insumo e pela falta de diversidade de repertórios comunicativos e culturais desses materiais. Os resultados desta pesquisa devem ser complementados por estudos dos outros instrumentos que compõem o exame para uma compreensão integral da representatividade do domínio de uso da linguagem no Celpe-Bras.