Big data processing using hybrid infrastructures such as cloud computing and desktop grids

Abstract

A huge volume of data is produced every day, from the information provided by social networks (such as Facebook, Instagram, Whatsapp, etc) or that generated by sensors on mobile devices, including Big Data applications like Google Searches. This deluge of data requires ever more computational resources to process the information more quickly. Although Cloud has grown rapidly in recent years, it still suffers from a lack of standardization and management resources. The users who need to execute applications may not know how to map their requirements to the available resources. This lack of knowledge about the Cloud provider infrastructure leads either to overestimating or underestimating the required processing capacity for tasks. This complex scenario raises enormous challenges for researchers of new systems and infrastructure kinds. On the other hand, it provides several opportunities for the researcher to find solutions for Big Data Analytics. This work establishes: i) a new platform called SMART which offers Big Data Analytics in a Lambda architecture within a hybrid infrastructure; ii) presents a simulator called BIGhybrid to be a toolkit for the study of Big Data Analytics in hybrid infrastructures. Its goal is to enable the user achieves the nearest configuration for Big Data applications into deployment in real-world environments. In addition, defines data distribution strategies in this complex scenario for reducing the risks of trouble caused by common configuration mistakes; iii) evaluates the use of the Dispatcher module in the SMART platform and iv) defines strategies for the use of Desktop Grid and Cloud Computing in a geo-distributed environment within a hybrid infrastructure. The boundaries to produce an acceptable quality of service (QoS) are presented. Such limits can be summarized as the relation between volunteer hosts and stable nodes, the shape of data distribution, load balancing strategies and relation Φ to resource allocation. Although it can be carried out in the real-world, an experimental evaluation on a large scale is only possible through simulation owing to the reproducibility and predictability of environmental features. These experiments indicate a good performance of the SMART platform in low and high-scale in simulated environments.

Um grande volume de dados é produzido todos os dias, desde informações fornecidas por redes sociais (tais como Facebook, Instagram, Whatsapp, etc) ou geradas por sensores em dispositivos móveis, até aplicações Big Data como a busca do Google. Esta inundação de dados requer cada vez mais recursos computacionais para processar informações mais rapidamente. Embora Cloud tenha crescido rapidamente nos últimos anos, ela ainda sofre com falta de padronização e gerenciamento de recursos adequados. Os usuários que necessitam executar aplicações podem não saber como mapear seus requisitos de sistemas para os recursos disponíveis. Esta falta de conhecimento sobre a infraestrutura dos provedores de nuvem leva a superestimar ou subestimar a capacidade de processamento necessária para as tarefas. Este cenário complexo apresenta enormes desafios para os pesquisadores em termos de sistemas e tipos de infraestruturas. Por outro lado, ele oferece várias oportunidades para o pesquisador encontrar soluções para a análise de Big Data. Este trabalho estabelece: i) uma nova plataforma chamada SMART que oferece a análise de Big Data em uma arquitetura Lambda sobre uma infraestrutura híbrida; ii) apresenta um simulador chamado BIGhybrid para ser um conjunto de ferramentas para o estudo da análise de Big Data em infraestruturas híbridas. Este permite que o usuário encontre as configurações mais próxima para as aplicações Big Data na implantação em ambientes reais. Ainda, define estratégias para a distribuição de dados neste cenário complexo para reduzir os riscos de problemas causados por erros comuns de configurações; iii) avalia o uso do módulo Despachante na plataforma SMART e iv) define estratégias para o uso de Desktop Grid e computação em nuvem em um ambiente geo-distribuído em uma infraestrutura híbrida. O objetivo é encontrar algumas das restrições a uma qualidade de serviços (QoS) aceitável. Tais restrições estão relacionadas com a relação entre máquinas voluntárias e nós estáveis, distribuição de dados, estratégias de balanceamento da carga e assim por diante. Embora isto possa ser construído em um ambiente real, uma avaliação experimental em larga escala é somente possível através de simulação devido às características de reprodutibilidade e previsibilidade de características ambientais. Os experimentos indicam um bom desempenho da plataforma SMART em baixa escala em um ambiente real.