Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico

• Ano de defesa: 2019
• Autor(a) principal: Conceição, Jailson Almeida
• Orientador(a): Pinheiro, Clemilton Lopes
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Programa de Pós-Graduação: PROGRAMA DE PÓS-GRADUAÇÃO EM ESTUDOS DA LINGUAGEM
• País: Brasil
• Palavras-chave em Português: Complexidade textual; Domínio cognitivo; Item de avaliação em larga escala; Tipo de discurso; Tópico discursivo
• Área do conhecimento CNPq: CNPQ::LINGUISTICA, LETRAS E ARTES::LINGUISTICA
• Link de acesso: https://repositorio.ufrn.br/jspui/handle/123456789/28075

A crescente preocupação com a melhoria da qualidade educacional incidiu sobre o processo de avaliações em larga escala no Brasil, permitindo uma reformulação por meio da Matriz de Referência que contempla as competências e as habilidades aferidas. Frente a esse contexto, esta tese tem por objetivo precípuo propor um mecanismo analítico para identificar, com base em critérios relacionados à estrutura do texto, o grau de Complexidade Textual (CT) de um item de avaliação em larga escala. De forma específica, objetivamos: (a) discutir a noção de complexidade textual; (b) mensurar o grau de complexidade de itens de avaliação em larga escala a partir da dimensão composicional do texto; (c) aplicar a noção de domínio cognitivo à análise da complexidade de itens de avaliação em larga escala. Adotamos uma concepção objetiva estrutural de CT que diz respeito à relação de propriedades composicionais de um texto que o tornam mais ou menos complexo. Trata-se de uma perspectiva diferente das que fundamentam os estudos realizados até então sobre CT, os quais, normalmente, tomam como base o léxico e a estrutura sintática. No empreendimento aqui realizado, levamos em conta o procedimento básico de itens representativa dositens de avaliação em larga escala, cuja amostra serve, portanto, para demonstrar e discutir a possibilidade de aplicação do modelo analítico proposto. Nesse esteio, partimos da hipótese de que a CT pode ser medida por critérios relacionados à dimensão composicional e estrutural do texto. Para cumprirmos tal intento, partimos de duas abordagens dos estudos do texto para estabelecer categorias de análise da CT. O Interacionismo Sociodiscursivo (ISD) apontou os tipos de discurso como categoria. A Perspectiva Textual-Interativa (PTI) apresentou o tópico discursivo. Além dessas abordagens, consideramos a Taxonomia de Bloom (TB), que indicou atributos relativos ao domínio cognitivo mobilizado pelo texto. Como a pesquisa está centrada na compreensão e explicação dessa CT, trata-se de um trabalho qualitativo quanto à abordagem e aplicado quanto à natureza. Considerando, ainda, que intentamos discutir a CT com vistas a torná-la mais explícita e construir hipóteses, situamo-nos no campo da pesquisa exploratória. O mecanismo analítico proposto compreende, então, dois critérios: a dimensão composicional (tipos de discurso e tópico discursivo) e a dimensão cognitiva (domínio cognitivo). Com base nos tipos de discurso, são previstas asseguintes propriedades: discurso interativo, discurso teórico, relato interativo, narração. Em relação ao tópico discursivo, as propriedades são: um ou mais de um tópico, tópico com ou sem desdobramento, relação de concernência implícita ou explícita. Por fim, as propriedades do domínio cognitivo são: conhecimento, compreensão, aplicação, análise, síntese e avaliação. Baseando-nos nessas propriedades, são identificadas escalas de complexidade nas quais um item pode ser considerado, do ponto de vista textual, mais ou menos complexo. A viabilidade desse mecanismo foi aplicada a um corpus composto por 24 itens da prova do ENEM de 2016, a partir das respostas de mais de 300.000 alunos no aplicativo Quero Minha Nota!, que estima a nota no exame, a TUNEDUC, startup, especialista em dados educacionais do Ensino Médio, a saber: Linguagens, Códigos e suas Tecnologias; Matemática e suas Tecnologias; Ciências Humanas e suas Tecnologias; Ciências da Natureza e suas Tecnologias, que elencou os 12 itens mais fáceis e os 12 mais difíceis. Assim, partimos do pressuposto de que a complexidade textual é uma questão que deve ser considerada na ampla discussão sobre como elaborar e aplicar um item de avaliação em larga escala. Os resultados da pesquisa apontaram que, com base nas dimensões e critérios utilizados, os itens não confirmam essa classificação de fáceis e difíceis como apregoa o INEP pela TRI, mas, sim, um item é de baixa ou de alta complexidade.