Desenvolvimento de um framework com estratégias de avaliação de agentes conversacionais educacionais

• Ano de defesa: 2022
• Autor(a) principal: Silveira, Clóvis da
• Orientador(a): Tarouco, Liane Margarida Rockenbach
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Tecnologias de Informação e Comunicação (TICs); Tecnologia educacional
• Palavras-chave em Inglês: Conversational agents; Evaluation metrics; Chatbot; Software quality; NBR-ISO IEC-25010
• Link de acesso: http://hdl.handle.net/10183/249124

O crescimento das tecnologias de informação e comunicação tem demonstrado uma série de ferramentas desenvolvidas para as mais diversas finalidades, entre elas, as ferramentas que possibilitam o envio de mensagens instantâneas e proporcionam uma comunicação em tempo real, como é o caso dos agentes conversacionais, que permitem a participação e intervenção dos sujeitos, promovendo, dessa forma, a interação de um para um. Um agente conversacional mantém um diálogo com quem o utiliza, por meio de perguntas realizadas pelo estudante, mediante texto, simulando um tutor pedagógico que provê suporte ao ensino de conteúdo. De fato, avaliar e construir agentes conversacionais educacionais é um desafio, pois, atualmente, o uso de agentes demanda referências específicas para apoiar a avaliação de agentes conversacionais educacionais por conta de métricas de avaliação da qualidade de software. Nesse sentido, a pesquisa desenvolvida na presente tese resultou na construção de um framework com métricas de avaliação de software, passíveis de serem usadas na avaliação de chatbots em contexto educacional. O conjunto destas métricas foi pensado também como apoio para orientar a construção de um agente conversacional educacional. O framework envolveu métricas de avaliação de software da NBR-ISO IEC-25010 e métricas de trabalhos relacionados que abordam a avaliação de agentes conversacionais. Ademais, um aplicativo web, denominado ChatAval, foi desenvolvido com a finalidade de automatizar a definição das funcionalidades de categorias, métricas, avaliações e de apoiar a criação de questionário e entrega das avaliações com indicadores resultantes das respostas já calculadas automaticamente. O procedimento metodológico adotado neste estudo consiste em uma pesquisa exploratória e descritiva, caracterizada por procedimentos bibliográficos, documentais e estudo de caso. O estudo de campo envolveu alunos do Curso Técnico em Informática para Internet do Senac, unidade São Leopoldo-RS, com os quais foi trabalhado o uso dos agentes conversacionais METIS, ATENA e ALTEIA, que já vêm sendo estudados e desenvolvidos no contexto do Projeto AVATAR (Ambiente Virtual de Aprendizagem e Trabalho Acadêmico Remoto), da Universidade Federal do Rio Grande do Sul. O framework foi validado por um conjunto de especialistas. Neste trabalho, foram considerados especialistas os profissionais que atuam com Tecnologia da Informação e não têm vivências ou experiências na docência; professores de diversas áreas da educação, mas que usam as tecnologias no contexto de suas disciplinas; e profissionais formados nas áreas de Ciência da Computação, Sistemas de Informação, Licenciatura em Computação e outras formações, os quais atuam como docentes na área de Tecnologia da Informação. A coleta de dados envolveu três fases: levantamento do perfil dos sujeitos; atividades práticas de programação com os alunos, a fim de realizar um teste piloto nas funcionalidades do ChatAval a partir da avaliação dos agentes METIS, ATENA e ALTEIA; e a avaliação e validação das métricas que compõem o framework pelos especialistas. Os resultados das Fases 1 e 2 apontam que as funcionalidades do ChatAval foram validadas com sucesso. Já em relação ao resultado do framework, nenhum dos especialistas rejeitou ou sugeriu que fosse excluída uma determinada métrica, mas que fossem realizados pequenos ajustes em relação ao texto ou realocação para uma outra categoria, o que demonstra que as métricas com origem dos trabalhos relacionados, bem como as métricas da ISO/IEC 25010 atenderam, de forma satisfatória, a composição do framework.