Detalhes bibliográficos
| Ano de defesa: |
2021 |
| Autor(a) principal: |
Serras, Felipe Ribas |
| Orientador(a): |
Não Informado pela instituição |
| Banca de defesa: |
Não Informado pela instituição |
| Tipo de documento: |
Dissertação
|
| Tipo de acesso: |
Acesso aberto |
| Idioma: |
por |
| Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: |
|
| Link de acesso: |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-07062021-135753/
|
Resumo: |
No Brasil e em vários outros países, decisões de tribunais superiores criam jurisprudência e podem ser utilizadas na resolução de casos semelhantes. Os acórdãos, textos que registram tais decisões, contam com uma classificação multicategoria e multirrótulo chamada de verbetação, realizada manualmente com a intenção de que tais documentos possam ser facilmente buscados e recuperados. A literatura da área já identificou vários problemas na elaboração dessas verbetações; concomitantemente, algoritmos neurais de linguística computacional baseados em atenção, como o Transformer e o BERT, têm ganhado destaque ao permitir que a resolução automática de problemas linguísticos atinja patamares nunca antes alcançados, lançando questões sobre seus limites, potencial e aplicabilidade. O trabalho de pesquisa aqui apresentado consiste num estudo inicial do uso de algoritmos baseados em atenção para a automação da verbetação de acórdãos em português, com o intuito de lançar caminhos para a resolução dos problemas listados na literatura e de agregar conhecimento do escopo e funcionalidade dessa família de métodos. Para tal, utilizamos dados do Projeto Kollemata como base para implementar e treinar versões multicategoria e multirrótulo de diversos modelos BERT, com o intuito de realizar a verbetação de acórdãos de maneira automática. Esse processo constituiu-se de três etapas: a construção de um córpus processável a partir dos dados do Kollemata e a consequente análise exploratória desse córpus com o intuito de mapear as propriedades dos dados a serem utilizados; a adequação ontológica e taxonômica do sistema de classes do córpus com base nos resultados obtidos dessa análise, de maneira a tornar a classificação computacionalmente viável; a implementação de uma versão multicategoria e multirrótulo do BERT e seu treinamento com o córpus adequado, sob diversos parâmetros e usando diferentes modelos BERT de interesse, de maneira a avaliar o comportamento e limites das médias da Medida-F1 e outros índices de performance. Obtivemos, no melhor caso, 72% para a micro-média da medida-F1 e 71% para sua macro-média, constituindo ganhos da ordem de 30% ou mais em relação aos baselines estatísticos utilizados. Além disso, encontramos uma família ótima de parâmetros para essa tarefa, condizente com valores ótimos obtidos para tarefas distintas e observamos uma série de propriedades interessantes da evolução das métricas de performance em função de diferentes parâmetros. Registramos, também, melhor performance dos modelos maiores e pré-treinados com dados em português, em comparação com modelos menores e multilinguais. Entretanto, essa vantagem é pequena, o que indica a possibilidade da utilização de modelos menores e multilinguais para essa tarefa em específico, sem perda significativa de qualidade. Uma análise cuidadosa desse e de outros resultados auxiliares aqui apresentados, também nos levou a concluir que a principal barreira na obtenção de melhores resultados de performance é a forma como os dados foram classificados e organizados, indicando esse como principal aspecto de melhora a ser implementado em trabalhos futuros. |
