Visualizando a relação entre testes em modelos de TRI multi-unidimensionais

• Ano de defesa: 2022
• Autor(a) principal: Araújo, Pedro Menezes de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Distância latente; Hamiltonian Monte Carlo; Item response theory; Latent distance; Modelos multi-unidimensionais de TRI; Monte Carlo Hamiltoniano; Multi-unidimensionais IRT models; Teoria de Resposta ao Item
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45133/tde-28062022-154054/

Modelos de TRI multi-unidimensionais são utilizados em situações em que um mesmo indivíduo responde a diferentes testes com itens e traços latentes específicos para cada teste. Nessa abordagem todos os parâmetros são estimados de maneira conjunta. No presente trabalho propomos uma nova estrutura de correlação para os traços latentes, aonde a associação entre as habilidades dos respondentes passa a ser uma função de uma distância latente entre os testes. Mais especificamente, a distância entre os testes refere-se à distância entre os traços latentes que cada teste está medindo, supondo que cada um mede apenas um traço latente. Assim, além de considerar uma relação entre os testes, passamos a estimar uma posição latente para eles, sendo possível visualizar tal relação em um gráfico. O modelo proposto é estimado de forma Bayesiana e amostras da distribuição a posteriori foram geradas utilizando Monte Carlo Hamiltoniano na sua variante NUTS através do Software Stan. Realizamos um estudo de simulação ajustando o modelo proposto e verificando a capacidade do método de estimação recuperar bem os parâmetros; constatamos que os parâmetros dos itens e os traços latentes são bem estimados. Os parâmetros relacionados à estrutura de correlação também são razoavelmente bem estimados, apesar de apresentarem problemas em alguns casos específicos. Também realizamos um estudo de sensibilidade da especificação da distribuição a priori da estrutura de correlação proposta. Aplicamos o modelo em situações práticas, com testes envolvendo o Protective Action Decision Model (PADM) e o Exame Nacional do Ensino Médio (ENEM). O modelo proposto foi comparado com outras estruturas de correlações disponíveis na literatura, como uma distribuição a priori LKJ para as correlações dos traços latentes e uma estrutura independente. Ao ser comparado com o modelo com priori LKJ, o modelo proposto apresentou estimativas similares, mas com maior precisão nas correlações. Os modelos LKJ e proposto apresentaram valores próximos de LOO e WAIC, com uma pequena desvantagem para estrutura latente. Concluímos que o modelo proposto é bastante similar a outras estruturas mais simples disponíveis, mas possui a vantagem de trazer mais insights sobre a relação entre os testes, como a visualização em um gráfico de dispersão da posição latente do teste, possibilitando o agrupamento, e a inclusão de um parâmetro que resume a associação entre os testes.