Estudo comparativo entre modelos transformers aplicados ao desenvolvimento de chatbots

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Nascimento, Ormazabal Lima do
Orientador(a): Araújo, Daniel Sabino Amorim de
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Rio Grande do Norte
Programa de Pós-Graduação: PROGRAMA DE PÓS-GRADUAÇÃO EM TECNOLOGIA DA INFORMAÇÃO
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufrn.br/handle/123456789/58117
Resumo: Os chatbots são softwares que utilizam linguagem natural para se comunicar com seus usuários. Para a sua criação podem ser utilizados os modelos transformers, um tipo de rede neural que vêm apresentando resultados promissores em áreas de estudo como processamento de linguagem natural (NLP). A variedade de modelos existentes impõe desafios na seleção das melhores opções para o nicho de mercado em que o chatbot irá atuar. Este trabalho apresenta um estudo comparativo entre os modelos transformers DIET, LaBSE, BERTimbau, DistilBERT, RoBERTa, GPT, GPT-2 e XLNET aplicado ao desenvolvimento um chatbot submetido aos dados capturados nos atendimentos ao público realizados pelo Tribunal de Contas do Estado do Rio Grande do Norte (TCE/RN). O estudo considerou métricas como acurácia e precisão, além dos tempos de treinamento e de processamento de resposta. DIET foi considerado o melhor modelo por conseguir equilibrar bons resultados nas métricas de qualidade e tempo em conjunto, destacando-se no fator tempo por responder até 2,5 vezes mais rápido que os demais.