[pt] AVALIANDO LLM NA TAREFA DE ANOTAÇÃO DE ENTIDADES LEGAIS UTILIZANDO FEW-SHOT LEARNING

• Ano de defesa: 2025
• Autor(a) principal: VENICIUS GARCIA REGO
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: MAXWELL
• Palavras-chave em Português: [pt] DIREITO; [pt] FEW SHOT LEARNING; [pt] ANOTACAO DE ENTIDADES LEGAIS; [pt] GRANDE MODELO DE LINGUAGEM; [en] RIGHTS; [en] FEW SHOT LEARNING; [en] LEGAL ENTITIES ANNOTATION; [en] LARGE LANGUAGE MODEL
• Link de acesso: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=69716&idi=1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=69716&idi=2; http://doi.org/10.17771/PUCRio.acad.69716

[pt] Um número considerável de documentos no domínio do Direito estão disponíveis hoje na Internet. Mesmo assim, atividades de extração de infor mação, como Reconhecimento de Entidades Nomeadas (REN), no domínio do Direito, continuam desafiadoras, principalmente quando não são em Inglês. Um dos motivos é a escasses de corpus anotados, combinado com a dificuldade e custos de desenvolvimento. A tarefa de anotação de dados legais é custosa por limitações de tempo e de recursos humanos. O surgimento dos Modelos de Lin guagem Grandes (LLMs) atraiu atenção por conta da capacidade de performar tarefas apenas com uma descrição ou exemplos de como realizar a atividade, em linguagem natural, passados no contexto. Estudos recentes apresentaram resultados significativos em relação a utilização de LLMs na tarefa de anotação de documentos, em alguns casos, a performance do modelo era comparável a de anotadores humanos. Portanto, neste trabalho, propomos avaliar a capaci dade de LLMs na tarefa de anotação de entidades nomeadas em documentos do domínio do Direito utilizando Few-shot Learning, verificando sua utiliza ção no processo de anotação junto com humanos. Para realizar a avaliação, utilizamos um corpus em Português dedicado ao REN contendo decisões do Supremo Tribunal Federal (STF) que foram previamente anotadas por estu dantes de Direito. Os resultados obtidos mostram que LLMs são capazes de reconhecer corretamente as entidades presentes no texto e de produzir ano tações precisas sem a necessidade de treinar novamente o modelo, portanto, podem auxiliar no processo de anotação, diminuindo a carga de trabalho dos anotadores e tornando a tarefa de anotação mais eficiente.