Complejidad versus dificultad: Un análisis de su correlación en preguntas de programación en jueces en línea

• Main Author: Fernandes, Jackson Celestino
• Publication Date: 2024
• Other Authors: Carvalho, Leandro Silva Galvão de, Oliveira, David Braga Fernandes de, Oliveira, Elaine Harada Teixeira de, Pereira, Filipe Dwan, Lauschner, Tanara
• Format: Article
• Language: por
• Source: Revista Brasileira de Informática na Educação
• Download full: https://journals-sol.sbc.org.br/index.php/rbie/article/view/3587
• topic: Juízes en línea; Dificultad de preguntas; Métricas de dificultad; Métricas de complejidad; Aprendizaje automático; Juízes on-line; Dificuldade de questões; Métricas de dificuldade; Métricas de complexidade; Aprendizado de máquina; Online Judges; Questions difficulty; Difficulty metrics; Complexity metrics; Machine Learning

Ambientes de correção automática de código são cada vez mais usados no processo de ensino-aprendizagem de disciplinas de programação. Porém, um problema frequentemente enfrentado pelos professores que usam tais ambientes é determinar a dificuldade das questões cadastradas. Este trabalho tem como objetivo realizar uma análise de correlação entre métricas de complexidade de código e a dificuldade enfrentada pelos alunos, de maneira que seja possível prever automaticamente o nível de dificuldade de uma questão apenas conhecendo seu modelo de solução. Este estudo foi dividido em três etapas: i) análise da correlação de Spearman entre métricas de complexidade (extraídas da questão) e de dificuldade (extraídas da interação do aluno com a questão); ii) predição da classe de dificuldade de questões por meio de modelos de aprendizado de máquina para classificação; e iii) predição de métricas de dificuldade usando modelos de regressão. Quanto ao item i), observou-se que 96% das correlações foram fracas ou inexistentes entre métricas individuais de complexidade de código e de dificuldade, 4% de casos de correlação moderada e nenhum caso de correlação forte. Para o item ii), o maior f1-score obtido foi de 88%, considerando classificação com dois níveis de dificuldade (“fácil” e “difícil”), e f1-score máximo de 67%, considerando classificação com três níveis (“fácil”, “médio” e “difícil”). Para o item iii), o melhor resultado obtido foi um coeficiente de determinação ajustado de 63%.