Mostrar registro simples

dc.contributor.advisorGeyer, Claudio Fernando Resinpt_BR
dc.contributor.authorKolberg, Wagnerpt_BR
dc.date.accessioned2011-03-30T05:59:57Zpt_BR
dc.date.issued2010pt_BR
dc.identifier.urihttp://hdl.handle.net/10183/28331pt_BR
dc.description.abstractMapReduce é um modelo de programação voltado à computação paralela em larga escala, e ao processamento de grandes volumes de dados. A implementação do modelo, e as suposições feitas em relação ao ambiente sobre o qual será executado, influenciam fortemente no tempo de computação dos jobs submetidos. O Hadoop, uma das implementações mais populares do MapReduce, e que será estudada neste trabalho, supõe que o ambiente de execução é homogêneo, prejudicando o desempenho do framework quando a grade apresenta um certo nível de heterogeneidade no que toca a capacidade de processamento das máquinas que a constituem. Como ferramenta de análise para as adaptações propostas, é desenvolvido um simulador para o MapReduce — tendo como base o simulador de grades SimGrid — com o objetivo de facilitar a implementação e avaliação de novos algoritmos de escalonamento de tarefas e distribuição de dados, dentre outros. Dentre as vantagens proporcionadas pelo uso do simulador é possível citar: a facilidade na implementação de algoritmos teóricos; a agilidade em testes para uma grande variedade de configurações; e a possibilidade de avaliar rapidamente a escalabilidade de algoritmos sem custos de infraestrutura. Em relação ao simulador, é ainda apresentada uma validação de seu comportamento em relação ao Hadoop MapReduce, comparando execuções do sistema em uma grade, com simulações que emulam as configurações reais. Uma vez validado o simulador, o mesmo é utilizado para avaliar as adaptações do Hadoop a ambientes heterogêneos. Os resultados obtidos, tanto com a validação do simulador, quanto com a implementação das adaptações propostas, apresentaram resultados positivos, demostrando que é viável utilizar simulação para estudar e avaliar diferentes implementações para o modelo MapReduce. Este trabalho, portanto, consiste em um estudo do funcionamento interno do Hadoop MapReduce, seu comportamento em ambientes heterogêneos, e também propõe um novo simulador, com os recursos necessários para avaliar adaptações em implementações do MapReduce.pt_BR
dc.description.abstractMapReduce is a programming model for large-scale parallel computing, and for processing large data sets. The model implementation, and the assumptions made about the running environment, strongly affect the job execution time. Hadoop, one of the most popular implementations of the MapReduce model, that will be studied in this work, assumes that the execution environment is homogeneous, deprecating its performance when the grid presents a certain level of heterogeneity, concerning the computation power of its nodes. As an analysis tool, a MapReduce simulator — having the SimGrid simulator as its base system — is developed to easily implement and evaluate new task scheduling and data distribution algorithms. As advantages that a simulator provides, it is possible to name: the simplified development of theoretical algorithms; the agility to test a great variety of configurations; and the possibility to quickly evaluate algorithm’s scalability without infrastructure costs. The simulator has its behavior validated against the Hadoop MapReduce, through comparisons of real executions of the framework on a real grid environment, and simulations that emulate the configurations used on the real execution. Once the simulator is validated, it is used to evaluate the modifications to the MapReduce algorithms on heterogeneous environments. The results of the simulator validation, and the evaluation of the proposed modifications, were positive, showing that it is possible to use simulation to study and evaluate different MapReduce implementations. Therefore, this work consists of a study about the Hadoop MapReduce, its behavior on heterogeneous environments, and it also proposes modifications in this framework to improve its performance on this kind of environment. To evaluate the proposed adaptations, a MapReduce simulator was developed, and it will also be presented in this study.en
dc.format.mimetypeapplication/pdf
dc.language.isoporpt_BR
dc.rightsOpen Accessen
dc.subjectGriden
dc.subjectComputação em gradept_BR
dc.subjectProcessamento paralelopt_BR
dc.subjectMapReduceen
dc.subjectHadoopen
dc.subjectHeterogeneous environmentsen
dc.subjectSchedulingen
dc.subjectFrameworken
dc.subjectParallel programmingen
dc.subjectSimulationen
dc.titleSimulação e estudo da plataforma Hadoop MapReduce em ambientes heterogêneospt_BR
dc.title.alternativeSimulation and study of the hadoop mapreduce platform on heterogeneous environments en
dc.typeTrabalho de conclusão de graduaçãopt_BR
dc.identifier.nrb000767852pt_BR
dc.degree.grantorUniversidade Federal do Rio Grande do Sulpt_BR
dc.degree.departmentInstituto de Informáticapt_BR
dc.degree.localPorto Alegre, BR-RSpt_BR
dc.degree.date2010pt_BR
dc.degree.graduationCiência da Computação: Ênfase em Ciência da Computação: Bachareladopt_BR
dc.degree.levelgraduaçãopt_BR


Thumbnail
   

Este item está licenciado na Creative Commons License

Mostrar registro simples