Comparação de Métodos para Inferência em Linguagem Natural

• Ano de defesa: 2020
• Autor(a) principal: Souza, Rodrigo Aparecido da Silva
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Alignment; Bag-of-Words; Computational Linguistics; Inferênciaem Linguagem Natural; Linguística Computacional; Logical Representation; Modelos Bag-of-Words; Modelos com alinhamento; Natural Language Inference; Representação Lógica; RoBERTa
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-15032021-204919/

A Inferência em Linguagem Natural, do inglês Natural Language Inference (NLI), é um dos tópicos de pesquisa do Processamento Computacional de Linguagem Natural. Consiste, basicamente, na tarefa de determinar se um texto breve em língua natural, chamado premissa, acarreta outro texto, chamado hipótese. Normalmente, a tarefa é apresentada em forma de pares de premissa-hipótese e uma classificação para a relação de acarretamento. Neste trabalho, propomo-nos a testar diferentes métodos de solução para os proble- mas de NLI oferecidos pelos três primeiros conjuntos de dados do Pascal RTE Challenge (Dagan et al., 2005), o RTE-1, o RTE-2 e o RTE-3. Para tanto, implementamos quatro métodos diferentes de solução e algumas combinações entre eles: um método baseado em regras de Bag-of-Words (BoW) sem alinhamento, um baseado em alinhamento sen- tencial, um baseado em representação lógica para os textos dos pares e um baseado na tarefa de Question Answering (QA). Nosso objetivo é comparar em que medida métodos baseados em regras são eficazes para solucionar problemas de NLI e em que medida podem concorrer minimamente com modelos baseados em arquiteturas Transformer como o RoBERTa (Liu et al., 2019b), cujo desempenho é reconhecidamente bom nessa tarefa. A partir da implementação de diferentes regras de classificação, compusemos dois modelos. O primeiro, chamado BCBI, foi composto por regras de BoW sem alinhamento e por um Classificador Bayesiano Ingênuo. O segundo, chamado BACBI, foi composto regras de BoW, métodos de alinhamento e por um Classificador Bayesiano Ingênuo. O BCBI obteve uma acurácia de 65% no RTE-1, 57% no RTE-2 e 63% no RTE-3. O modelo BACBI obteve uma acurácia de 55% no RTE-1, 57% no RTE-2 e 60% no RTE-3. Para o teste baseado em QA, convertemos hipóteses em perguntas polares (sim/não) e mantivemos as premissas como se fossem candidatas a respostas. As duas são passadas para o modelo RoBERTa para a classificação dos pares. Avaliado nos conjuntos de dados, o modelo atingiu uma acurácia de 74% no RTE-1, 78% no RTE-2 e 71% no RTE-3. Por fim, comparamos os resultados alcançados pelos modelos com outros trabalhos avaliados nos conjuntos de dados. Concluímos que os modelos baseados em regras não foram eficazes para solucionar os problemas da tarefa. O método baseado no modelo RoBERTa, no entanto, atingiu resultados compatíveis com as melhores classificações nos corpora relatadas na literatura.