Geração de questões utilizando transformers para sistemas tutores inteligentes

• Ano de defesa: 2023
• Autor(a) principal: Santos, Matheus Santi
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Estadual Paulista (Unesp)
• Palavras-chave em Português: Geração de questões; Sistemas tutores inteligentes; Transformers; Question generation; Intelligent tutoring systems
• Link de acesso: https://hdl.handle.net/11449/251102; https://orcid.org/0000-0003-4849-1649

O modelo tradicional de ensino possibilitou a formação de milhões de pessoas ao longo dos anos, mesmo com diversos pontos negativos em seu funcionamento. Buscando solucionar esses pontos, novas metodologias de ensino surgiram, focando na individualização do ensino, em que este se adaptaria às formas que o aluno aprende de maneira mais eficaz. Esta individualização, no entanto, traz problemas num ambiente tradicional, principalmente ligados à necessidade de acompanhamento individual do aluno. Para solucionar este problema, Sistemas Tutores Inteligentes podem ser uma solução, utilizando diversas técnicas que permitam compreender as necessidades do aluno e auxiliá-lo com uma menor supervisão dos professores. No entanto, de acordo com a abordagem utilizada, ainda existe a necessidade de desenvolver os conteúdos que devem ser apresentados aos alunos. Para tornar este processo menos trabalhoso, formas automatizadas de criação de conteúdo podem ser exploradas, entre as quais a utilização de técnicas de geração de questões para diminuir o trabalho presente na adaptação de conteúdo textual para perfis de aprendizado que possam se beneficiar deste tipo de conteúdo. Dentre estas técnicas, a Geração de Questões pode ser aplicada para fornecer atividades que possibilitam explorar e validar o nível de conhecimento do aluno. A forma como a Geração de Questões ocorre é muito variada, mas, analisando o cenário atual, a utilização de redes neurais, principalmente as do tipo \textit{transformers}, se mostraram a melhor abordagem. Estas redes possuem diversos mecanismos internos, destacando-se a utilização de cálculos de atenção para realizar a tarefa proposta, e são conhecidas pelo seu grande potencial na realização de tarefas que envolvam o processamento de linguagem natural e têm recebido grande atenção desde sua publicação, tendo diversos avanços em relação a sua arquitetura e formas de se realizar o treinamento destas redes. Para o cenário de sistemas tutores inteligentes foram propostas quatro arquiteturas diferentes, utilizando redes \textit{transformers} em sua composição, permitindo avaliar a que melhor se encaixaria a este ambiente. A validação destas arquiteturas é realizada através da avaliação de questões e respostas geradas pelas mesmas, utilizando textos de assuntos diferentes para simular a aplicação de diversas áreas de aprendizado. Formas automatizadas de avaliação de questões geradas são um desafio presente na literatura e, portanto, não é possível realizá-las, mas, com a definição de uma abordagem qualitativa, é possível validar a qualidade das 69 questões geradas e definir a arquitetura Multi-Modelo com Gerador de Resposta como a que melhor se encaixa ao cenário proposto, por obter a melhor concentração de resultados, com 18 questões ótimas, 27 boas, 13 regulares e apenas 11 ruins. Com isto conclui-se que a utilização desta arquitetura ligada a um Sistema Tutor Inteligente é possível, apesar de não eliminar totalmente a necessidade de interação do professor, mas permitindo uma grande facilitação no momento de desenvolvimento de atividades.