Computational Support for Auditing Task-Oriented Dialogues

Detalhes bibliográficos
Autor(a) principal: Ressurreição, David Forte da
Data de Publicação: 2024
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Texto Completo: https://hdl.handle.net/10316/116350
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_ab4f2985456196c88b87250bbf120cdd
oai_identifier_str oai:estudogeral.uc.pt:10316/116350
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Computational Support for Auditing Task-Oriented DialoguesSuporte para Auditoria em Diálogos de Apoio ao ClienteNatural Language ProcessingDialogue AnalysisDialogue FlowUnsupervised Flow DiscoveryClustering algorithmsProcessamento de Linguagem NaturalAnálise de DiálogoFluxo de DiálogoDescoberta de Fluxo Não SupervisionadaAlgoritmos de AgrupamentoDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaIn recent years, call centers have gone under heavy pressure, concerning the demand for good and active support with customers. So, they need to optimise the way they interact with customers and resolve their problems. To help with this challenge, virtual conversation agents are more and more popular, in some situations, replacing human agents. However, the complexity of designing a virtual agent that can, alone, resolve all the problems, while maintaining a coherent conversation, has proven hard. We see the development of better computational tools that aid human agents in optimising conversations as a solution. Such tools may be based on designing and monitoring dialogue flows. We thus focus on the discovery of such flows, whose creation is itself a time-consuming challenge, often performed manually for each target domain. This work encompasses the research, development, testing and evaluation of solutions for automatically discovering dialogue flows, unsupervised, from past interactions between agents. Starting with the initial version of a platform for discovering dialogue flows, FlowDisco, this work explores alternative methods for clustering utterances into dialogue states and for labelling them for human interpretation. These methods are integrated into the platform and conclusions are taken on their suitability, hopefully, towards flows that better represent the underlying dialogues.This document describes the process and the results obtained. After setting base concepts and work related, the methodology and setup are described. From multiple dialogue datasets, a series of dialogue flows are discovered.The work includes the exploration of partition and density-based spatial clustering, and of cluster labelling with the use of a large language model. It is focused on optimising and discovering flows based on dialogue acts. Experiments are performed in different types of datasets, including task-oriented, and also open conversations. It finally explores the consideration of context in the problem, where past utterances have a weight when representing the current one. After the optimisation with the dialogue acts, flows are also discovered from non-annotated dialogues.This research may contribute to a smoother adaptation of dialogue systems to different domains, but a human touch is still often desirable. Moreover, discovered flows may be useful as auditing tools and in the identification of communication trends, and thus contribute to supporting human decisions.Nos últimos anos, os centros de atendimento telefónico têm estado sob forte pressão, no que diz respeito à procura de um apoio bom e ativo junto dos clientes. Por isso, precisam de otimizar a forma como interagem com os clientes e como resolvem os seus problemas. Para ajudar neste desafio, os agentes de conversação virtual são cada vez mais populares, substituindo, em algumas situações, os agentes humanos. No entanto, a complexidade da construção de um agente virtual que possa, por si só, resolver todos os problemas, mantendo uma conversa coerente, tem-se revelado difícil. Consideramos que o desenvolvimento de melhores ferramentas computacionais que ajudem os agentes humanos a otimizar as conversas é uma solução. Essas ferramentas podem basear-se na conceção e no controlo dos fluxos de diálogo. Assim, centramo-nos na descoberta de tais fluxos, cuja criação é, em si mesma, um desafio demoroso, muitas vezes realizado manualmente para cada domínio. Este trabalho engloba a investigação, o desenvolvimento, o teste e a avaliação de soluções para a descoberta automática de fluxos de diálogo, sem supervisão, a partir de interacções passadas entre agentes. Começando com a versão inicial de uma plataforma para a descoberta de fluxos de diálogo, FlowDisco, este trabalho explora métodos alternativos para agrupar frases em estados de diálogo e para os nomear para interpretação humana. Estes métodos são integrados na plataforma e são tiradas conclusões sobre a sua aptidão, esperando-se que os fluxos representem melhor os diálogos correspondentes.Este documento descreve o processo e os resultados obtidos. Depois de definir os conceitos de base e o trabalho relacionado, a metodologia e a configuração usada são descritas. A partir de múltiplos conjuntos de dados de diálogos, é descoberta uma série de fluxos de diálogos.O trabalho inclui a exploração de agrupamentos espaciais baseados em partição e em densidade, bem como a nomeação de agrupamentos com a utilização de um modelo de linguagem de grande escala. Centra-se na otimização e descoberta de fluxos baseados em actos de diálogo. As experiências são efectuadas em diferentes tipos de conjuntos de dados, incluindo conversas orientadas para tarefas e conversas abertas. Por fim, explora a consideração do contexto no problema, em que as frases passadas têm um peso na representação da interação atual. Após a otimização com os actos de diálogo, os fluxos são também descobertos a partir de diálogos não anotados.Esta investigação pode contribuir para uma adaptação mais fácil dos sistemas de diálogo a diferentes domínios, mas o toque humano continua a ser frequentemente desejável. Além disso, os fluxos descobertos podem ser úteis como ferramentas de auditoria e na identificação de tendências de comunicação, contribuindo assim para apoiar as decisões humanas.Outro - This work was supported by the Portuguese Recovery and Resilience Plan through project C645008882-00000055, Center for Responsible AI; and by national funds through FCT – Foundation for Science and Technology, I.P. (grant number UI/BD/153496/2022), within the scope of the project CISUC (UID/CEC/00326/2020). Duração: 6 meses; Valor: 930,98€/mês2024-07-19info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttps://hdl.handle.net/10316/116350https://hdl.handle.net/10316/116350TID:203693426engRessurreição, David Forte dainfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2024-09-11T22:03:25Zoai:estudogeral.uc.pt:10316/116350Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:09:45.143367Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Computational Support for Auditing Task-Oriented Dialogues
Suporte para Auditoria em Diálogos de Apoio ao Cliente
title Computational Support for Auditing Task-Oriented Dialogues
spellingShingle Computational Support for Auditing Task-Oriented Dialogues
Ressurreição, David Forte da
Natural Language Processing
Dialogue Analysis
Dialogue Flow
Unsupervised Flow Discovery
Clustering algorithms
Processamento de Linguagem Natural
Análise de Diálogo
Fluxo de Diálogo
Descoberta de Fluxo Não Supervisionada
Algoritmos de Agrupamento
title_short Computational Support for Auditing Task-Oriented Dialogues
title_full Computational Support for Auditing Task-Oriented Dialogues
title_fullStr Computational Support for Auditing Task-Oriented Dialogues
title_full_unstemmed Computational Support for Auditing Task-Oriented Dialogues
title_sort Computational Support for Auditing Task-Oriented Dialogues
author Ressurreição, David Forte da
author_facet Ressurreição, David Forte da
author_role author
dc.contributor.author.fl_str_mv Ressurreição, David Forte da
dc.subject.por.fl_str_mv Natural Language Processing
Dialogue Analysis
Dialogue Flow
Unsupervised Flow Discovery
Clustering algorithms
Processamento de Linguagem Natural
Análise de Diálogo
Fluxo de Diálogo
Descoberta de Fluxo Não Supervisionada
Algoritmos de Agrupamento
topic Natural Language Processing
Dialogue Analysis
Dialogue Flow
Unsupervised Flow Discovery
Clustering algorithms
Processamento de Linguagem Natural
Análise de Diálogo
Fluxo de Diálogo
Descoberta de Fluxo Não Supervisionada
Algoritmos de Agrupamento
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2024
dc.date.none.fl_str_mv 2024-07-19
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10316/116350
https://hdl.handle.net/10316/116350
TID:203693426
url https://hdl.handle.net/10316/116350
identifier_str_mv TID:203693426
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602598895091712

Registros relacionados