Implementação de um laboratório de Big Data para processamento de dados em batch e streaming

Bibliographic Details
Main Author: Dias, Manuel António Nunes
Publication Date: 2020
Other Authors: Barbosa, Vítor, Mourão, Hernâni Raul Vergueiro Monteiro Cidade
Language: por
Source: Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
Download full: http://hdl.handle.net/10400.26/36170
Summary: Big Data é uma área que pretende proporcionar capacidade de processamento dos dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas tecnologias para recolha, transformação, processamento e análise de dados provenientes de diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de processamento de dados realizados para validação da correta configuração e funcionamento do laboratório.
id RCAP_a990cbe0b33034c83d9b11441ab60afb
oai_identifier_str oai:comum.rcaap.pt:10400.26/36170
network_acronym_str RCAP
network_name_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository_id_str https://opendoar.ac.uk/repository/7160
spelling Implementação de um laboratório de Big Data para processamento de dados em batch e streamingBig DataFast DataHadoopKafkaBig Data é uma área que pretende proporcionar capacidade de processamento dos dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas tecnologias para recolha, transformação, processamento e análise de dados provenientes de diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de processamento de dados realizados para validação da correta configuração e funcionamento do laboratório.Repositório ComumDias, Manuel António NunesBarbosa, VítorMourão, Hernâni Raul Vergueiro Monteiro Cidade2021-04-09T10:58:12Z2020-02-052021-04-08T16:52:24Z2020-02-05T00:00:00Zconference objectinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://hdl.handle.net/10400.26/36170porinfo:eu-repo/semantics/openAccessreponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiainstacron:RCAAP2025-05-02T16:30:01Zoai:comum.rcaap.pt:10400.26/36170Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireinfo@rcaap.ptopendoar:https://opendoar.ac.uk/repository/71602025-05-29T06:53:15.357472Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologiafalse
dc.title.none.fl_str_mv Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
title Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
spellingShingle Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
Dias, Manuel António Nunes
Big Data
Fast Data
Hadoop
Kafka
title_short Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
title_full Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
title_fullStr Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
title_full_unstemmed Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
title_sort Implementação de um laboratório de Big Data para processamento de dados em batch e streaming
author Dias, Manuel António Nunes
author_facet Dias, Manuel António Nunes
Barbosa, Vítor
Mourão, Hernâni Raul Vergueiro Monteiro Cidade
author_role author
author2 Barbosa, Vítor
Mourão, Hernâni Raul Vergueiro Monteiro Cidade
author2_role author
author
dc.contributor.none.fl_str_mv Repositório Comum
dc.contributor.author.fl_str_mv Dias, Manuel António Nunes
Barbosa, Vítor
Mourão, Hernâni Raul Vergueiro Monteiro Cidade
dc.subject.por.fl_str_mv Big Data
Fast Data
Hadoop
Kafka
topic Big Data
Fast Data
Hadoop
Kafka
description Big Data é uma área que pretende proporcionar capacidade de processamento dos dados, face ao crescimento exponencial de informação gerada de dia para dia, através de novas tecnologias para recolha, transformação, processamento e análise de dados provenientes de diversas fontes e em diversos formatos. Os desafios do Big Data são significativos, daí terem surgido diversas tecnologias num curto espaço de tempo, o que torna também desafiante a entrada nesta área de estudo/investigação. Este artigo apresenta um projeto de implementação de um laboratório de Big Data, para processamento de dados históricos e em movimento (streaming), cujo propósito é permitir a utilização/exploração das tecnologias associadas em atividades de ensino e investigação. São apresentadas as tecnologias, a arquitetura implementada e testes de processamento de dados realizados para validação da correta configuração e funcionamento do laboratório.
publishDate 2020
dc.date.none.fl_str_mv 2020-02-05
2020-02-05T00:00:00Z
2021-04-09T10:58:12Z
2021-04-08T16:52:24Z
dc.type.driver.fl_str_mv conference object
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.26/36170
url http://hdl.handle.net/10400.26/36170
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
instname:FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron:RCAAP
instname_str FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
instacron_str RCAAP
institution RCAAP
reponame_str Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
collection Repositórios Científicos de Acesso Aberto de Portugal (RCAAP)
repository.name.fl_str_mv Repositórios Científicos de Acesso Aberto de Portugal (RCAAP) - FCCN, serviços digitais da FCT – Fundação para a Ciência e a Tecnologia
repository.mail.fl_str_mv info@rcaap.pt
_version_ 1833602818031747073

Similar Items