Avaliação de Grandes Modelos de Linguagem para Raciocínio em Direito Tributário

• Ano de defesa: 2024
• Autor(a) principal: Presa, João Paulo Cavalcante
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Goiás; Instituto de Informática - INF (RMG); Brasil; UFG; Programa de Pós-graduação em Ciência da Computação (INF)
• Palavras-chave em Português: Direito Tributário; Raciocínio Jurídico; Grandes Modelos de Linguagem (LLM); Processamento de Linguagem Natural; Tax Law; Legal Reasoning; Large Language Models (LLMs); Natural Language Processing; CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO
• Link de acesso: http://repositorio.bc.ufg.br/tede/handle/tede/13871

O direito tributário é fundamental para a regulação das relações entre Estado e contribuintes, sendo essencial para a arrecadação de tributos e manutenção das funções públicas. A complexidade e constante evolução das legislações tributárias tornam sua interpretação um desafio contínuo para os operadores do direito. Embora o Processamento de Linguagem Natural (PLN) tenha se consolidado como uma tecnologia promissora no campo jurídico, sua aplicação no contexto do direito tributário brasileiro, especialmente para entidades jurídicas, permanece uma área relativamente inexplorada. Este trabalho avalia o uso de Grandes Modelos de Linguagem (LLMs) no direito tributário brasileiro da União, analisando sua capacidade de processar perguntas e gerar respostas em português para consultas de pessoas jurídicas. Para isso, foi construído um conjunto de dados original composto por perguntas reais e respostas fornecidas por especialistas, permitindo avaliar a capacidade dos LLMs, tanto proprietário quanto de código aberto, de gerar respostas juridicamente válidas. A pesquisa utiliza métricas quantitativas e qualitativas para medir a acurácia e relevância das respostas geradas, capturando aspectos do raciocínio jurídico e da coerência semântica. Como contribuições, o trabalho apresenta um conjunto de dados específico para o domínio do direito tributário, uma avaliação detalhada do desempenho de diferentes LLMs na tarefa de raciocínio jurídico e uma abordagem de avaliação que integra métricas quantitativas e qualitativas, promovendo assim o avanço da aplicação da inteligência artificial na análise de leis e regulamentos tributários.