Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial

Bibliographic Details
Main Author: Santos, José Vítor Donassolo Corrêa dos
Publication Date: 2024
Format: Bachelor thesis
Language: por
Source: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Download full: http://repositorio.utfpr.edu.br/jspui/handle/1/36189
Summary: Large language models (LLMs) and artificial intelligence are increasingly serving as tools to assist users in various functions and enhance productivity. Given the significant growth in data availability and the need to explore it, data manipulation using data engineering techniques has become a latent topic. Therefore, the purpose of this work is to combine these two aspects to assess, through different criteria, the capability of artificial intelligence tools in generating code for data migration and transformation. The expectation is that this approach will help mitigate existing challenges in the field, such as the shortage of qualified professionals in the job market and the inherent complexity of these tasks, which, through the use of these techniques, can be simplified.
id UTFPR-12_b30b66d8a857dd01709159d6d8042c2c
oai_identifier_str oai:repositorio.utfpr.edu.br:1/36189
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificialApproach of development of a data migration pipeline using artificial intelligenceProcessamento eletrônico de dadosInteligência artificialProcessamento de linguagem natural (Computação)Electronic data processingArtificial intelligenceNatural language processing (Computer science)CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARELarge language models (LLMs) and artificial intelligence are increasingly serving as tools to assist users in various functions and enhance productivity. Given the significant growth in data availability and the need to explore it, data manipulation using data engineering techniques has become a latent topic. Therefore, the purpose of this work is to combine these two aspects to assess, through different criteria, the capability of artificial intelligence tools in generating code for data migration and transformation. The expectation is that this approach will help mitigate existing challenges in the field, such as the shortage of qualified professionals in the job market and the inherent complexity of these tasks, which, through the use of these techniques, can be simplified.Os grandes modelos de linguagem (LLM) e a inteligência artificial estão cada vez mais servindo como ferramenta para auxiliar os usuários em diferentes funções e aumentar a produtividade. Tendo em vista também o grande crescimento da disponibilidade de dados e da necessidade de explorá-los, a manipulação de dados utilizando de técnicas de engenharia de dados é um assunto que se faz latente. Portanto, este trabalho tem como finalidade unir estes dois aspectos para avaliar, através de diferentes critérios, a capacidade das ferramentas de inteligência artificial em gerar códigos para migração e transformação de dados. A expectativa é que esta abordagem contribua para mitigar desafios latentes na área, como a escassez de profissionais qualificados no mercado de trabalho e a complexidade intrínseca a essas tarefas, que, com o emprego dessas técnicas, podem ser simplificadas.Universidade Tecnológica Federal do ParanáDois VizinhosBrasilEngenharia de SoftwareUTFPRKuszera, Evandro MiguelMarcon, MarlonOrtoncelli, André RobertoKuszera, Evandro MiguelSantos, José Vítor Donassolo Corrêa dos2025-03-21T21:45:25Z2025-03-21T21:45:25Z2024-06-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfSANTOS, José Vítor Donassolo Corrêa dos. Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Software) - Universidade Tecnológica Federal do Paraná, Dois Vizinhos, 2024.http://repositorio.utfpr.edu.br/jspui/handle/1/36189porhttp://creativecommons.org/licenses/by-sa/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2025-03-23T06:10:05Zoai:repositorio.utfpr.edu.br:1/36189Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2025-03-23T06:10:05Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
Approach of development of a data migration pipeline using artificial intelligence
title Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
spellingShingle Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
Santos, José Vítor Donassolo Corrêa dos
Processamento eletrônico de dados
Inteligência artificial
Processamento de linguagem natural (Computação)
Electronic data processing
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
title_short Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
title_full Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
title_fullStr Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
title_full_unstemmed Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
title_sort Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial
author Santos, José Vítor Donassolo Corrêa dos
author_facet Santos, José Vítor Donassolo Corrêa dos
author_role author
dc.contributor.none.fl_str_mv Kuszera, Evandro Miguel
Marcon, Marlon
Ortoncelli, André Roberto
Kuszera, Evandro Miguel
dc.contributor.author.fl_str_mv Santos, José Vítor Donassolo Corrêa dos
dc.subject.por.fl_str_mv Processamento eletrônico de dados
Inteligência artificial
Processamento de linguagem natural (Computação)
Electronic data processing
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
topic Processamento eletrônico de dados
Inteligência artificial
Processamento de linguagem natural (Computação)
Electronic data processing
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
description Large language models (LLMs) and artificial intelligence are increasingly serving as tools to assist users in various functions and enhance productivity. Given the significant growth in data availability and the need to explore it, data manipulation using data engineering techniques has become a latent topic. Therefore, the purpose of this work is to combine these two aspects to assess, through different criteria, the capability of artificial intelligence tools in generating code for data migration and transformation. The expectation is that this approach will help mitigate existing challenges in the field, such as the shortage of qualified professionals in the job market and the inherent complexity of these tasks, which, through the use of these techniques, can be simplified.
publishDate 2024
dc.date.none.fl_str_mv 2024-06-28
2025-03-21T21:45:25Z
2025-03-21T21:45:25Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SANTOS, José Vítor Donassolo Corrêa dos. Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Software) - Universidade Tecnológica Federal do Paraná, Dois Vizinhos, 2024.
http://repositorio.utfpr.edu.br/jspui/handle/1/36189
identifier_str_mv SANTOS, José Vítor Donassolo Corrêa dos. Abordagem de desenvolvimento de uma pipeline de migração de dados utilizando inteligência artificial. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Software) - Universidade Tecnológica Federal do Paraná, Dois Vizinhos, 2024.
url http://repositorio.utfpr.edu.br/jspui/handle/1/36189
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-sa/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-sa/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Dois Vizinhos
Brasil
Engenharia de Software
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Dois Vizinhos
Brasil
Engenharia de Software
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850497831593312256