Detalhes bibliográficos
| Ano de defesa: |
2023 |
| Autor(a) principal: |
Segat, Giovana Lazzaretti |
| Orientador(a): |
Schoffen, Juliana Roquele |
| Banca de defesa: |
Não Informado pela instituição |
| Tipo de documento: |
Dissertação
|
| Tipo de acesso: |
Acesso aberto |
| Idioma: |
por |
| Instituição de defesa: |
Não Informado pela instituição
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: |
|
| Palavras-chave em Inglês: |
|
| Link de acesso: |
http://hdl.handle.net/10183/264245
|
Resumo: |
O Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) é um exame de proficiência aplicado em larga escala que gera considerável impacto social para os atores envolvidos. Embora existam diversos estudos sobre o exame, a maioria das pesquisas emprega metodologias qualitativas. Considerando trabalhos anteriores (NEVES, 2018), entendemos, consoantes a Bachman (1990; 2004), que é necessário investigar a confiabilidade do exame também a partir de pesquisas quantitativas. Para tanto, esta pesquisa objetivou descrever o processo de avaliação da Parte Escrita do exame e apresentar e analisar os dados de 3 edições que compõem o corpus do estudo (2016.1, 2016.2 e 2017.1), discutindo a confiabilidade entre avaliadores – consenso e consistência (STEMLER, 2004) – e o impacto da reavaliação, importante instrumento para a confiabilidade, na certificação dos examinandos. Entendendo que este é um tema de interesse devido ao alto impacto gerado pelo Celpe-Bras (SCARAMUCCI, 2006) e que o processo de atribuição de notas é fundamental para a confiabilidade dos resultados de um exame de larga escala (NEVES, 2018; MCKAY; PLONSKY, 2021; YAN; FAN, 2022), propomos as seguintes análises: para a mensuração de consenso, usamos a porcentagem de concordância entre as notas atribuídas pelos avaliadores; para a mensuração de consistência entre avaliadores, utilizamos o coeficiente de correlação de Pearson; para o impacto da reavaliação na definição das notas finais da Parte Escrita e de proficiência, realizamos uma análise exploratória de nossos dados e fizemos testes-t pareados para comparar os conjuntos de dados. Além disso, comparamos os conjuntos de dados a fim de verificar se a reavaliação ocasiona mudança no nível de certificação do examinando. Os resultados da pesquisa mostraram que a confiabilidade entre avaliadores no exame é boa, apontando para um consenso entre 83%-88% das notas atribuídas pelos avaliadores em todas as edições estudadas, e uma variação de 0,71-0,85 para a consistência entre avaliadores nas tarefas do exame. Nossos resultados também apontaram para uma influência da reavaliação de textos discrepantes na definição do nível de certificação, com, pelo menos, 25% dos examinandos reavaliados tendo alteração de nível de certificação causada pela reavaliação de textos na Parte Escrita. Percebemos, ainda, que embora o número total de examinandos com alterações no nível de certificação ocasionadas pela reavaliação não seja constante entre as edições, a reavaliação possibilita, em todas as edições analisadas, uma melhora significativa na consistência entre avaliadores, o que contribui para aumentar a confiabilidade do exame. Com este estudo, esperamos contribuir para as discussões teóricas na área de avaliação de línguas e para o aprimoramento das práticas realizadas no Celpe-Bras, especialmente aquelas relacionadas à confiabilidade e à tomada de decisões com base nos resultados do exame. |
