Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence
Guardat en:
| Autor principal: | |
|---|---|
| Data de publicació: | 2025 |
| Format: | Master thesis |
| Idioma: | eng |
| Font: | Repositório Institucional da UnB |
| Download full: | http://repositorio.unb.br/handle/10482/53500 |
Sumari: | Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Programa de Pós-Graduação em Engenharia Elétrica, 2025. |
| _version_ | 1871442357023408128 |
|---|---|
| author | Maia, Yuri do Amaral Nobre |
| author_browse | Maia, Yuri do Amaral Nobre |
| author_facet | Maia, Yuri do Amaral Nobre |
| author_role | author |
| bitstream.checksum.fl_str_mv | dceee36b06b50fce9c4d64f75a603bc5 aed4704d04bb260d4decd80db311aaa5 |
| bitstream.checksumAlgorithm.fl_str_mv | MD5 MD5 |
| bitstream.url.fl_str_mv | http://repositorio.unb.br/bitstream/10482/53500/1/2025_YuriDoAmaralNobreMaia_DISSERT.pdf http://repositorio.unb.br/bitstream/10482/53500/2/license.txt |
| collection | Repositório Institucional da UnB |
| contributor_str_mv | Silva Filho, Demétrio Antônio da |
| dc.contributor.advisor1.fl_str_mv | Silva Filho, Demétrio Antônio da |
| dc.contributor.advisorco.none.fl_str_mv | Albuquerque, Robson de Oliveira |
| dc.contributor.author.fl_str_mv | Maia, Yuri do Amaral Nobre |
| dc.date.accessioned.fl_str_mv | 2025-12-22T16:36:58Z |
| dc.date.available.fl_str_mv | 2025-12-22T16:36:58Z |
| dc.date.issued.fl_str_mv | 2025-12-22 |
| dc.date.submitted.none.fl_str_mv | 2025-07-31 |
| dc.identifier.citation.fl_str_mv | MAIA, Yuri do Amaral Nobre. Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence. 2025. 70 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2025. |
| dc.identifier.uri.fl_str_mv | http://repositorio.unb.br/handle/10482/53500 |
| dc.language.iso.fl_str_mv | eng |
| dc.rights.driver.fl_str_mv | info:eu-repo/semantics/openAccess |
| dc.source.none.fl_str_mv | reponame:Repositório Institucional da UnB instname:Universidade de Brasília (UnB) instacron:UNB |
| dc.subject.keyword.pt_BR.fl_str_mv | Inteligência de ameaças cibernética Linguagem natural - processamento Cibersegurança |
| dc.title.pt_BR.fl_str_mv | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| dc.type.driver.fl_str_mv | info:eu-repo/semantics/masterThesis |
| dc.type.status.fl_str_mv | info:eu-repo/semantics/publishedVersion |
| description | Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Programa de Pós-Graduação em Engenharia Elétrica, 2025. |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| id | UNB_70f6e991dfd8a60b75472cdd984cb02a |
| identifier_str_mv | MAIA, Yuri do Amaral Nobre. Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence. 2025. 70 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2025. |
| instacron_str | UNB |
| institution | UNB |
| instname_str | Universidade de Brasília (UnB) |
| language | eng |
| network_acronym_str | UNB |
| network_name_str | Repositório Institucional da UnB |
| oai_identifier_str | oai:repositorio.unb.br:10482/53500 |
| publishDate | 2025 |
| publishDateSort | 2025 |
| reponame_str | Repositório Institucional da UnB |
| repository.mail.fl_str_mv | repositorio@unb.br |
| repository.name.fl_str_mv | Repositório Institucional da UnB - Universidade de Brasília (UnB) |
| repository_id_str | |
| spelling | Maia, Yuri do Amaral NobreAlbuquerque, Robson de OliveiraSilva Filho, Demétrio Antônio da2025-12-22T16:36:58Z2025-12-22T16:36:58Z2025-12-222025-07-31MAIA, Yuri do Amaral Nobre. Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence. 2025. 70 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2025.http://repositorio.unb.br/handle/10482/53500Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Programa de Pós-Graduação em Engenharia Elétrica, 2025.O número crescente de relatórios de cibersegurança representa um desafio para a recuperação e o compartilhamento eficientes de Inteligência de Ameaças Cibernéticas (CTI). No entanto, conjuntos de dados de cibersegurança publicamente disponíveis para Processamento de Linguagem Natural (PLN) permanecem escassos, dificultando o avanço na produção automatizada de inteligência. Para enfrentar este desafio, este artigo apresenta o Yet Another Cybersecurity Database (YACSDB), um conjunto de dados projetado para aprimorar o Reconhecimento de Entidades Nomeadas (REN) utilizando entidades Structured Threat Information Expression (STIX) para interoperabilidade. Nosso pipeline extrai Objetos de Domínio STIX de relatórios não estruturados, aproveitando os modelos Gemini do Google e Bidirectional Encoder Representations from Transformers (BERT) para auxiliar na rotulagem e reduzir a necessidade de recursos. O conjunto de dados emprega a notação Inside–Outside–Beginning (IOB) para facilitar o fine-tuning em tarefas de etiquetagem de sequências. Os relatórios foram selecionados visando a representatividade ao longo de diferentes anos. Pelo nosso conhecimento, este é um dos maiores conjuntos de dados de REN em cibersegurança com informações temporais, anotado por um único anotador assistido por máquina. Para avaliar o conjunto de dados, realizamos o fine-tuning de sete modelos BERT para demonstrar sua eficácia para REN. Os resultados enfatizam a importância de conjuntos de dados específicos de domínio em PLN de cibersegurança e destacam desafios importantes. O YACSDB serve como um benchmark para comparação de modelos, desenvolvimento de soluções e geração de grafos de conhecimento. Ele está publicamente disponível para fomentar pesquisas futuras em PLN de cibersegurança.The increasing number of cybersecurity reports poses a challenge to efficiently retrieving and sharing Cyber Threat Intelligence. However, publicly available cybersecurity datasets for Natural Language Processing (NLP) remain scarce, hindering progress in automated intelligence production. To tackle this challenge, this article presents Yet Another Cybersecurity Database (YACSDB), a dataset designed to enhance Named Entity Recognition (NER) using Structured Threat Information Expression (STIX) entities for interoperability. Our pipeline extracts STIX Domain Objects from unstructured reports, leveraging Google’s Gemini and Bidirectional Encoder Representations from Transformers (BERT) model to assist in labeling and reduce resource needs. The dataset uses Inside–Outside–Beginning (IOB) notation to facilitate fine-tuning in sequence tagging tasks. Reports were selected for representativeness across different years. To the best of our knowledge, it is among the largest cybersecurity NER datasets with temporal information annotated by a single machine-assisted annotator. To evaluate the dataset, we fine-tuned seven BERT models to demonstrate its effectiveness for NER. The results emphasize the importance of domain-specific datasets in cybersecurity NLP and highlight key challenges. YACSDB serves as a benchmark for model comparison, solution development, and knowledge graph generation. It is publicly available to foster future research in cybersecurity NLP.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Programa de Pós-Graduação em Engenharia Elétrica, Mestrado ProfissionalengA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.unb.br, www.ibict.br, www.ndltd.org sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra supracitada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessTowards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligenceinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisInteligência de ameaças cibernéticaLinguagem natural - processamentoCibersegurançareponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNBORIGINAL2025_YuriDoAmaralNobreMaia_DISSERT.pdf2025_YuriDoAmaralNobreMaia_DISSERT.pdfapplication/pdf2198150http://repositorio.unb.br/bitstream/10482/53500/1/2025_YuriDoAmaralNobreMaia_DISSERT.pdfdceee36b06b50fce9c4d64f75a603bc5MD51open accessLICENSElicense.txtlicense.txttext/plain102http://repositorio.unb.br/bitstream/10482/53500/2/license.txtaed4704d04bb260d4decd80db311aaa5MD52open access10482/535002025-12-22 13:36:59.093open accessoai:repositorio.unb.br:10482/53500U3VibWlzc8OjbyBlZmV0aXZhZGEgZGUgYWNvcmRvIGNvbSBsaWNlbsOnYSBjb25jZWRpZGEgcGVsbyBhdXRvciBlL291IGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcy4KRepositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2025-12-22T16:36:59Repositório Institucional da UnB - Universidade de Brasília (UnB) |
| spellingShingle | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence Maia, Yuri do Amaral Nobre Inteligência de ameaças cibernética Linguagem natural - processamento Cibersegurança |
| status_str | publishedVersion |
| title | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| title_full | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| title_fullStr | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| title_full_unstemmed | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| title_short | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| title_sort | Towards cybersecurity dataset creation an LLM-assisted approach for named entity recognition in threat intelligence |
| topic | Inteligência de ameaças cibernética Linguagem natural - processamento Cibersegurança |
| url | http://repositorio.unb.br/handle/10482/53500 |