Repositório Digital

A- A A+

Distributed near real-time processing of sensor network data flows for smart grids

.

Distributed near real-time processing of sensor network data flows for smart grids

Mostrar registro completo

Estatísticas

Título Distributed near real-time processing of sensor network data flows for smart grids
Outro título Processamento distribuído em quase tempo real de fluxos de dados de redes de sensores para redes inteligentes de energia
Autor Carvalho, Otávio Moraes de
Orientador Navaux, Philippe Olivier Alexandre
Co-orientador Roloff, Eduardo
Data 2015
Nível Graduação
Instituição Universidade Federal do Rio Grande do Sul. Instituto de Informática. Curso de Ciência da Computação: Ênfase em Ciência da Computação: Bacharelado.
Assunto Computação em nuvem
Processamento distribuido
[en] Cloud computing
[en] Distributed processing
[en] Event stream processing
[en] Internet of things
[en] Sensor networks
[en] Smart grids
Abstract Sensor networks have become ubiquitous, ranging from personal mobile phones to smart grids, and are producing each time higher amounts of data, in ever shorter time intervals. Distributed event stream processing systems, in its turn, are systems that help us to parallelize not only the processing, but also the input of multiple data streams into a single processing engine, providing us capabilities to produce near real-time insights based on multiple data streams, as well as make decisions more quickly. Joining together these ideas, in this work, we propose an architecture based on open source tools that represent the state-of-the-art in distributed event stream processing systems. In this manner, we aim to provide a platform for processing large scale sensor network data, focused on data profiles of smart grids. To evaluate the feasibility of a system of this kind, we use a dataset based on a sensor network for smart energy consumption meters, in order to generate load forecasts based on this dataset. In the end, we evaluate the proposed architecture regarding to processing scale and latency issues. Achieving the conclusions that it is possible to build a distributed processing platform, for processing of sensor network data flows coming from smart grids, as it was designed on this work. The platform is able to process up to approximately 45K messages per second using 8 processing nodes, while providing stable latencies for micro-batches above 30 seconds.
Resumo Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.
Tipo Trabalho de conclusão de graduação
URI http://hdl.handle.net/10183/138253
Arquivos Descrição Formato
000988876.pdf (1.197Mb) Texto completo Adobe PDF Visualizar/abrir

Este item está licenciado na Creative Commons License

Este item aparece na(s) seguinte(s) coleção(ões)


Mostrar registro completo

Percorrer



  • O autor é titular dos direitos autorais dos documentos disponíveis neste repositório e é vedada, nos termos da lei, a comercialização de qualquer espécie sem sua autorização prévia.
    Projeto gráfico elaborado pelo Caixola - Clube de Criação Fabico/UFRGS Powered by DSpace software, Version 1.8.1.