Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.

Detalhes bibliográficos
Autor(a) principal: MAIA SOBRINHO, Kleber Reudo Filgueiras.
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFCG
Texto Completo: https://dspace.sti.ufcg.edu.br/handle/riufcg/38053
Resumo: A era digital exige software seguro. Fraquezas no código-fonte podem ter consequências graves, desde falhas de software até ataques cibernéticos. Modelos de Linguagem de Grande Porte (LLMs) como ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet e Mistral Large surgem como ferramentas promissoras para auxiliar na detecção de fraquezas em código-fonte. Este projeto avalia o desempenho de LLMs na detecção de 56 exemplos de fraquezas em código-fonte. Os resultados demonstram que as LLMs podem ser ferramentas importantes para programadores. Na nossa avaliação, as LLMs detectaram 75% das fraquezas de diferentes tipos como: SQL Injection, Cross-site Scripting, Out-of-bounds Write e Null Pointer Dereference. O Claude 3 Sonnet foi a LLM com o melhor resultado.
id UFCG_4d358413be027f054481d31ee319cb3b
oai_identifier_str oai:dspace.sti.ufcg.edu.br:riufcg/38053
network_acronym_str UFCG
network_name_str Biblioteca Digital de Teses e Dissertações da UFCG
repository_id_str 4851
spelling Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.Detecting weaknesses using large language models: a comparative evaluation.Modelos de LinguagemChatGPT 3.5Gemini 1.0Claude 3SonnetMistral LargeCódigo-fonte - FraquezasLanguage ModelsWeaknessesSource Code - WeaknessesCiência da ComputaçãoA era digital exige software seguro. Fraquezas no código-fonte podem ter consequências graves, desde falhas de software até ataques cibernéticos. Modelos de Linguagem de Grande Porte (LLMs) como ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet e Mistral Large surgem como ferramentas promissoras para auxiliar na detecção de fraquezas em código-fonte. Este projeto avalia o desempenho de LLMs na detecção de 56 exemplos de fraquezas em código-fonte. Os resultados demonstram que as LLMs podem ser ferramentas importantes para programadores. Na nossa avaliação, as LLMs detectaram 75% das fraquezas de diferentes tipos como: SQL Injection, Cross-site Scripting, Out-of-bounds Write e Null Pointer Dereference. O Claude 3 Sonnet foi a LLM com o melhor resultado.The digital age demands secure software. Weaknesses in source code can have serious consequences, ranging from software failures to cyberattacks. Large Language Models (LLMs) such as ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet, and Mistral Large emerge as promising tools to aid in the detection of weaknesses in source code. This project evaluates the performance of LLMs in detecting 56 examples of weaknesses in source code. The results demonstrate that LLMs can be important tools for programmers. In our evaluation, LLMs detected 75% of the weaknesses of different types such as: SQL Injection, Cross-site Scripting, Out-of-bounds Write, and Null Pointer Dereference. Claude 3 Sonnet was the LLM with the best result.Universidade Federal de Campina GrandeBrasilCentro de Engenharia Elétrica e Informática - CEEIUFCGGHEYI, Rohit.GHEYI, R.http://lattes.cnpq.br/2931270888717344MONGIOVI, Melina.MONGIOVI, M.http://lattes.cnpq.br/7535849756393864BRASILEIRO, Francisco Vilar.BRASILEIRO, F. V.http://lattes.cnpq.br/5957855817378897MAIA SOBRINHO, Kleber Reudo Filgueiras.2024-05-152024-09-26T16:37:06Z2024-09-262024-09-26T16:37:06Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesishttps://dspace.sti.ufcg.edu.br/handle/riufcg/38053MAIA SOBRINHO, Kleber Reudo Filgueiras. Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa. 2024. 14 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024. Disponível em: https://dspace.sti.ufcg.edu.br/handle/riufcg/38053porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCG2025-11-18T07:08:19Zoai:dspace.sti.ufcg.edu.br:riufcg/38053Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512025-11-18T07:08:19Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false
dc.title.none.fl_str_mv Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
Detecting weaknesses using large language models: a comparative evaluation.
title Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
spellingShingle Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
MAIA SOBRINHO, Kleber Reudo Filgueiras.
Modelos de Linguagem
ChatGPT 3.5
Gemini 1.0
Claude 3
Sonnet
Mistral Large
Código-fonte - Fraquezas
Language Models
Weaknesses
Source Code - Weaknesses
Ciência da Computação
title_short Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
title_full Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
title_fullStr Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
title_full_unstemmed Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
title_sort Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa.
author MAIA SOBRINHO, Kleber Reudo Filgueiras.
author_facet MAIA SOBRINHO, Kleber Reudo Filgueiras.
author_role author
dc.contributor.none.fl_str_mv GHEYI, Rohit.
GHEYI, R.
http://lattes.cnpq.br/2931270888717344
MONGIOVI, Melina.
MONGIOVI, M.
http://lattes.cnpq.br/7535849756393864
BRASILEIRO, Francisco Vilar.
BRASILEIRO, F. V.
http://lattes.cnpq.br/5957855817378897
dc.contributor.author.fl_str_mv MAIA SOBRINHO, Kleber Reudo Filgueiras.
dc.subject.por.fl_str_mv Modelos de Linguagem
ChatGPT 3.5
Gemini 1.0
Claude 3
Sonnet
Mistral Large
Código-fonte - Fraquezas
Language Models
Weaknesses
Source Code - Weaknesses
Ciência da Computação
topic Modelos de Linguagem
ChatGPT 3.5
Gemini 1.0
Claude 3
Sonnet
Mistral Large
Código-fonte - Fraquezas
Language Models
Weaknesses
Source Code - Weaknesses
Ciência da Computação
description A era digital exige software seguro. Fraquezas no código-fonte podem ter consequências graves, desde falhas de software até ataques cibernéticos. Modelos de Linguagem de Grande Porte (LLMs) como ChatGPT 3.5, Gemini 1.0, Claude 3 Sonnet e Mistral Large surgem como ferramentas promissoras para auxiliar na detecção de fraquezas em código-fonte. Este projeto avalia o desempenho de LLMs na detecção de 56 exemplos de fraquezas em código-fonte. Os resultados demonstram que as LLMs podem ser ferramentas importantes para programadores. Na nossa avaliação, as LLMs detectaram 75% das fraquezas de diferentes tipos como: SQL Injection, Cross-site Scripting, Out-of-bounds Write e Null Pointer Dereference. O Claude 3 Sonnet foi a LLM com o melhor resultado.
publishDate 2024
dc.date.none.fl_str_mv 2024-05-15
2024-09-26T16:37:06Z
2024-09-26
2024-09-26T16:37:06Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://dspace.sti.ufcg.edu.br/handle/riufcg/38053
MAIA SOBRINHO, Kleber Reudo Filgueiras. Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa. 2024. 14 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024. Disponível em: https://dspace.sti.ufcg.edu.br/handle/riufcg/38053
url https://dspace.sti.ufcg.edu.br/handle/riufcg/38053
identifier_str_mv MAIA SOBRINHO, Kleber Reudo Filgueiras. Detectando fraquezas usando modelos de linguagem de grande porte: uma avaliação comparativa. 2024. 14 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024. Disponível em: https://dspace.sti.ufcg.edu.br/handle/riufcg/38053
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
UFCG
publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
UFCG
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFCG
instname:Universidade Federal de Campina Grande (UFCG)
instacron:UFCG
instname_str Universidade Federal de Campina Grande (UFCG)
instacron_str UFCG
institution UFCG
reponame_str Biblioteca Digital de Teses e Dissertações da UFCG
collection Biblioteca Digital de Teses e Dissertações da UFCG
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)
repository.mail.fl_str_mv bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br
_version_ 1850321204886372352

Registros relacionados