MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark

Detalhes bibliográficos
Autor(a) principal: Linhares, Tiago Miranda
Data de Publicação: 2019
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UECE
Texto Completo: https://siduece.uece.br/siduece/trabalhoAcademicoPublico.jsf?id=94634
Resumo: <div style="">Neste trabalho apresentamos a ferramenta MB-Spark 1 (Benchmark Modular para o Spark), um benchmark que possui como característica principal a fácil adição de novas cargas de trabalho, além de novas funcionalidades que facilitam a exibição do desempenho dos algoritmos testados e que conseguem ter um ganho de eficiência através de decisões envolvendo a infraestrutura. Além disso, o Benchmark é capaz de gerar todos os dados estatísticos necessários que evidenciam a melhor decisão de custo benefício. Foi utilizado a linguagem iPython e como plataforma de programação, o Jupyter Notebook. Para validar o sistema proposto foram realizados experimentos de algoritimos no Cluster LASID(Laboratório de Sistemas Digitais). Palavras-chave: Spark. Jupyter. IPython. Benchmark.</div>
id UECE-0_2ba4e2e5c8b9ed98c3e6a81796e59d08
oai_identifier_str oai:uece.br:94634
network_acronym_str UECE-0
network_name_str Repositório Institucional da UECE
repository_id_str
spelling MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache SparkAlgoritmos (Computadores) Benchmarks Ciência da computação<div style="">Neste trabalho apresentamos a ferramenta MB-Spark 1 (Benchmark Modular para o Spark), um benchmark que possui como característica principal a fácil adição de novas cargas de trabalho, além de novas funcionalidades que facilitam a exibição do desempenho dos algoritmos testados e que conseguem ter um ganho de eficiência através de decisões envolvendo a infraestrutura. Além disso, o Benchmark é capaz de gerar todos os dados estatísticos necessários que evidenciam a melhor decisão de custo benefício. Foi utilizado a linguagem iPython e como plataforma de programação, o Jupyter Notebook. Para validar o sistema proposto foram realizados experimentos de algoritimos no Cluster LASID(Laboratório de Sistemas Digitais). Palavras-chave: Spark. Jupyter. IPython. Benchmark.</div><div style="">In this paper, we present the Modular Benchmark for Spark (MB-Spark) tool, a benchmark that has as its main feature the easy addition of new workloads, as well as new features that make it easy to display the performance of the tested algorithms that they use after a efficiency gains through infrastructure decisions. In addition, Benchmark is capable of generating all statistical data that underlines the best cost-benefit decision. It was used in the iPython language and as a programming platform, or Jupyter Notebook. To validate or system, algorithm experiments were performed in the Cluster LASID (Digital Systems Laboratory). Keywords: Spark. Jupyter. Ipython. Benchmark.</div>Universidade Estadual do CearáMarcial Porto FernandezLinhares, Tiago Miranda2020-01-07T13:33:03Z2019info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttps://siduece.uece.br/siduece/trabalhoAcademicoPublico.jsf?id=94634info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UECEinstname:Universidade Estadual do Cearáinstacron:UECE2020-01-07T13:33:03Zoai:uece.br:94634Repositório InstitucionalPUBhttps://siduece.uece.br/siduece/api/oai/requestopendoar:2020-01-07T13:33:03Repositório Institucional da UECE - Universidade Estadual do Cearáfalse
dc.title.none.fl_str_mv MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
title MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
spellingShingle MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
Linhares, Tiago Miranda
Algoritmos (Computadores)
Benchmarks
Ciência da computação
title_short MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
title_full MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
title_fullStr MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
title_full_unstemmed MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
title_sort MB-Spark: benchmark modular voltado para avaliar o desempenho de algoritmo executados na plataforma Apache Spark
author Linhares, Tiago Miranda
author_facet Linhares, Tiago Miranda
author_role author
dc.contributor.none.fl_str_mv Marcial Porto Fernandez
dc.contributor.author.fl_str_mv Linhares, Tiago Miranda
dc.subject.por.fl_str_mv Algoritmos (Computadores)
Benchmarks
Ciência da computação
topic Algoritmos (Computadores)
Benchmarks
Ciência da computação
description <div style="">Neste trabalho apresentamos a ferramenta MB-Spark 1 (Benchmark Modular para o Spark), um benchmark que possui como característica principal a fácil adição de novas cargas de trabalho, além de novas funcionalidades que facilitam a exibição do desempenho dos algoritmos testados e que conseguem ter um ganho de eficiência através de decisões envolvendo a infraestrutura. Além disso, o Benchmark é capaz de gerar todos os dados estatísticos necessários que evidenciam a melhor decisão de custo benefício. Foi utilizado a linguagem iPython e como plataforma de programação, o Jupyter Notebook. Para validar o sistema proposto foram realizados experimentos de algoritimos no Cluster LASID(Laboratório de Sistemas Digitais). Palavras-chave: Spark. Jupyter. IPython. Benchmark.</div>
publishDate 2019
dc.date.none.fl_str_mv 2019
2020-01-07T13:33:03Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://siduece.uece.br/siduece/trabalhoAcademicoPublico.jsf?id=94634
url https://siduece.uece.br/siduece/trabalhoAcademicoPublico.jsf?id=94634
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual do Ceará
publisher.none.fl_str_mv Universidade Estadual do Ceará
dc.source.none.fl_str_mv reponame:Repositório Institucional da UECE
instname:Universidade Estadual do Ceará
instacron:UECE
instname_str Universidade Estadual do Ceará
instacron_str UECE
institution UECE
reponame_str Repositório Institucional da UECE
collection Repositório Institucional da UECE
repository.name.fl_str_mv Repositório Institucional da UECE - Universidade Estadual do Ceará
repository.mail.fl_str_mv
_version_ 1828295952190930944

Registros relacionados