Repositório Digital

A- A A+

Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.

.

Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.

Mostrar registro completo

Estatísticas

Título Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
Autor Miyazaki, Alexandre Kenta Salgueiro
Orientador Geyer, Claudio Fernando Resin
Co-orientador Marcos, Pedro de Botelho
Data 2014
Nível Graduação
Instituição Universidade Federal do Rio Grande do Sul. Instituto de Informática. Curso de Ciência da Computação: Ênfase em Ciência da Computação: Bacharelado.
Assunto Processamento distribuido
Processamento paralelo
[en] Hadoop
[en] MapReduce
[en] Maresia
[en] P2P
[en] Programação paralela
[en] SPOF
Resumo No mundo computacional, tem-se um aumento constante na demanda de processamento. Há cada vez mais dados a serem processados, de forma que frequentemente eles exigem uma abordagem distribuída para que isto ocorra em um tempo aceitável. O MapReduce é um modelo de programação paralela, que visa facilitar o desenvolvimento deste tipo de aplicação, gerenciando grande parte dos complicadores como comunicação, tolerância a falhas, etc.. No Hadoop, framework open source mais utilizado pela comunidade científica que implementa este modelo, há dois pontos únicos de falha que podem comprometer toda a computação de um job. Tendo isso como inspiração, foi desenvolvido em um trabalho anterior a este uma nova arquitetura para o MapReduce, denominada Maresia, além de um protótipo que a utiliza. Esta arquitetura segue um modelo peer to peer para processar jobs. O objetivo deste trabalho é fazer uma avaliação aprofundada do desempenho do protótipo, analisando o seu comportamento e comparando seus resultados com testes executados em uma arquitetura Mestre/Escravo. Para um melhor comparativo foram implementadas novas funcionalidades durante o trabalho que permitem que ele tenha um fluxo de execução mais semelhante ao Hadoop. Os resultados mostram um protótipo que sofre com alguns pontos ineficientes, principalmente a transmissão de dados intermediários. Além disso, o comparativo com o Hadoop mostra que esta nova arquitetura é bastante promissora, no entanto, seu gargalo precisa ser otimizado.
Abstract In the computational world, has been a steady increase in demand for processing. There is an increasing amount of data to be processed, that often demand a distributed approach to occurs in an acceptable time. MapReduce is a parallel programming model, which aims to ease the development of this kind of application, managing great part of the complicating factors like communication, fault tolerance, etc.. In Hadoop, the most used open source framework by the scientific community which implements this model, there are two single points of failure that can compromise the process of a job. Having this as inspiration, a previous work has designed a new MapReduce architecture, called Maresia, besides an prototype to use it. This architecture follows a peer to peer model to process jobs. The objective of this work is execute a thorough performance evaluation of the prototype, analyzing it’s behavior and comparing the results with tests performed in a Master/ Slave architecture. For a better comparison, new features has been implemented that allows it to have a workflow more similar to Hadoop. The results shows a prototype that suffers with some inefficient points, mainly the intermediate data transmission. Furthermore, the Hadoop comparison with the model shows that this architecture is quite promising, however, the bottleneck must to be optimized.
Tipo Trabalho de conclusão de graduação
URI http://hdl.handle.net/10183/100281
Arquivos Descrição Formato
000931685.pdf (1.993Mb) Texto completo Adobe PDF Visualizar/abrir

Este item está licenciado na Creative Commons License

Este item aparece na(s) seguinte(s) coleção(ões)


Mostrar registro completo

Percorrer



  • O autor é titular dos direitos autorais dos documentos disponíveis neste repositório e é vedada, nos termos da lei, a comercialização de qualquer espécie sem sua autorização prévia.
    Projeto gráfico elaborado pelo Caixola - Clube de Criação Fabico/UFRGS Powered by DSpace software, Version 1.8.1.