ACE grader automatic grading of programming exercises

Detalhes bibliográficos
Autor(a) principal: Santos, Sofia Guilherme Rodrigues dos
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/1822/91569
Resumo: Dissertação de mestrado integrado em Informatics Engineering
id RCAP_55113add8d6e9e46c37ee5f8dfc266b4
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/91569
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling ACE grader automatic grading of programming exercisesAutomatic assessmentAssessment softwareProgramming exercisesDynamic analysisStatic analysisEducation technologyAvaliação automáticaPrograma de avaliaçãoExercícios de programaçãoAnálise dinâmicaAnálise estáticaTecnologia educacionalEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Informatics EngineeringDespite their rising usage in classrooms, most automatic grading tools for programming exercises are quite simple, using only output comparison or unit tests to evaluate a solution, in contrast with manual grading methods used by teachers, which also look at the code itself, even if it doesn’t produce a correct solution. Static analysis methods for code have been around for a while, but largely ignored in assessment software. The Master’s project here reported proposes an automatic grading method for pro gramming exercises that, in addition to dynamic analysis, uses static analysis to evaluate submissions. This method benefits both teachers and students, since, by scoring solutions that produce the wrong output, it provides a more comprehensive evaluation of student submitted programs while also making it easier to see exactly what needs to be improved. Moreover, it makes evaluation more rigorous, by requiring more than just a program that solely produces the correct result. A prototype application called ACE Grader was created to demonstrate the efficacy of this grading strategy. This dissertation describes a bibliographic review of existing automatic grading tools, proposes and introduces ACE Grader through an overview of its architecture and its development process. As an initial version of the application was deployed in the middle of the second semester of university classes, experiments with students in a real classroom setting are also presented and discussed.Apesar do seu uso crescente em salas de aula, a maioria das ferramentas de avaliação automática de exercícios de programação são relativamente simples, usando apenas com paração de output ou testes unitários para avaliar uma solução, em contraste com métodos de avaliação manual usados por professores, que também têm em conta o código em si, mesmo que este não produza uma solução correta. Métodos de análise estática para código, que tentam preencher esta lacuna, já existem há algum tempo, mas são na sua maioria ignorados em software de correção. O projeto de mestrado aqui descrito propôe um método de avaliação automática de exercícios de programação que, para além de análise dinâmica, usa análise estática para avaliar submissões. Este método beneficia tanto professores como estudantes, visto que, ao pontuar soluções que produzem o output errado, avalia de forma mais compreensiva os programas submetidos por estudantes e permite saber exatamente o que pode ser melhorado. Para além disso, torna a avaliação mais rigorosa, ao exigir mais do que um programa que apenas produz o resultado correto. Um protótipo de uma aplicação chamado ACE Grader foi desenvolvido para demonstrar a eficácia desta estratégia de correção. Esta dissertação descreve uma revisão bibliográfica de ferramentas de avaliação automática existentes, propôe e introduz o ACE Grader através de uma visão geral da sua arquitetura e do seu processo de desenvolvimento. Uma versão inicial da aplicação foi disponibilizada para testes a meio do segundo semestre letivo, o que permitiu que esta fosse usada em sala de aula com estudantes, em experiências que são aqui apresentadas e discutidas.Henriques, Pedro RangelGancarski, AldaUniversidade do MinhoSantos, Sofia Guilherme Rodrigues dos2023-09-062023-09-06T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/91569eng203561791info:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-06-08T01:20:14Zoai:repositorium.sdum.uminho.pt:1822/91569Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-28T17:54:50.376020Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv ACE grader automatic grading of programming exercises
title ACE grader automatic grading of programming exercises
spellingShingle ACE grader automatic grading of programming exercises
Santos, Sofia Guilherme Rodrigues dos
Automatic assessment
Assessment software
Programming exercises
Dynamic analysis
Static analysis
Education technology
Avaliação automática
Programa de avaliação
Exercícios de programação
Análise dinâmica
Análise estática
Tecnologia educacional
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short ACE grader automatic grading of programming exercises
title_full ACE grader automatic grading of programming exercises
title_fullStr ACE grader automatic grading of programming exercises
title_full_unstemmed ACE grader automatic grading of programming exercises
title_sort ACE grader automatic grading of programming exercises
author Santos, Sofia Guilherme Rodrigues dos
author_facet Santos, Sofia Guilherme Rodrigues dos
author_role author
dc.contributor.none.fl_str_mv Henriques, Pedro Rangel
Gancarski, Alda
Universidade do Minho
dc.contributor.author.fl_str_mv Santos, Sofia Guilherme Rodrigues dos
dc.subject.por.fl_str_mv Automatic assessment
Assessment software
Programming exercises
Dynamic analysis
Static analysis
Education technology
Avaliação automática
Programa de avaliação
Exercícios de programação
Análise dinâmica
Análise estática
Tecnologia educacional
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Automatic assessment
Assessment software
Programming exercises
Dynamic analysis
Static analysis
Education technology
Avaliação automática
Programa de avaliação
Exercícios de programação
Análise dinâmica
Análise estática
Tecnologia educacional
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Informatics Engineering
publishDate 2023
dc.date.none.fl_str_mv 2023-09-06
2023-09-06T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/91569
url https://hdl.handle.net/1822/91569
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203561791
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833597053821779968

Registros relacionados