Aplicação da arquitetura transformer para sumarização de artigoscientíficos
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Centro Universitário FEI, São Bernardo do Campo
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.fei.edu.br/handle/FEI/4845 https://doi.org/10.31414/EE.2023.D.131625 |
Resumo: | O processo de pesquisa científica tem como sua fase inicial a exploração de artigos para o conhecimento do estado da arte do tema a ser investigado. Em virtude do crescimento de dados em artigos científicos e do curso constante da informatização, tornam-se necessários mecanismos que sejam capazes de resumir artigos científicos com a finalidade de melhorar o processo de aquisição de pesquisas e direcionar a pessoa pesquisadora a acessar conteúdos relevantes. Os trabalhos de sumarização de artigos científicos, de modo geral, apresentam métodos de relevância de sentenças e aprendizado de máquina. Nos últimos anos, mecanismos de atenção associados a redes neurais e processamento de linguagem natural vêm sendo propostos para interpretare contextualizar atividades de processamento de linguagens, sendo uma delas a textual. Paralelamente, a arquitetura Transformer sugere uma modelagem de transdução com mecanismos de autoatenção - prescindindo de convoluções e recorrências - é aplicada a diversos campos da Inteligência Articial com resultados considerados promissores. Este trabalho propôs empregar o modelo pré-treinado Longformer para a atividade de sumarização de artigos científicos da base de dados SciSummNet através de etapas de pré-processamento, fine-tuning e geração dos resumos. Os resultados obtidos indicaram melhoria de 20,8% para ROUGE-2 recall e 22,69% para ROUGE-2 F-Measure em relação ao trabalho original da base SciSummNet através do modelo ComAbstract |