Hybrid parallel programming : evaluation of OpenACC

Abstract

OpenACC é uma nova especificação para uma API de programação paralela híbrida (CPU + GPU), na qual o programador utiliza diretivas de compilação para distribuir a execução do programa entre a CPU e a GPU. Em comparação a CUDA (programação GPU direta) OpenACC apresenta vantagens claras em termos de facilidade de programação (à semelhança de OpenMP). Com relação à performance, entretanto, ainda não existe uma comparação entre OpenACC e CUDA. Este trabalho visa fazer uma avaliação de OpenACC, estabelecendo uma comparação com CUDA. Adicionalmente, este estudo visa identificar as principais limitações de OpenACC, estudando seu impacto no desempenho. A avaliação é feita usando três diferentes benchmarks (matrix transpose, dot product and matrix multiplication), cada um composto de diversas implementações. Nossos resultados mostram que, ainda que em alguns casos notavelmente mais lentas que CUDA, implementações em OpenACC podem apresentar melhorias significativas de desempenho se comparadas a programas seriais executados na CPU. Em comparação a implementações CUDA menos otimizadas, OpenACC apresenta uma performance competitiva com um modelo de programação muito mais simples.

OpenACC is a new specification for a hybrid (CPU + GPU) parallel programming API, in which the programmer uses compiler directives to distribute the computation between the GPU and the CPU. With a similar paradigm to OpenMP, OpenACC presents clear advantages in terms of ease of programming. Regarding performance, however, a comparison between OpenACC and CUDA has not yet been made. This study aims to evaluate OpenACC, establishing a comparison with CUDA. Furthermore, this work aims to identify the main limitations of OpenACC, analyzing its impact on performance. The evaluation is made using three different benchmarks (matrix transpose, dot product and matrix multiplication), each one comprising several implementations. Our results show that, although being in some cases notably slower than optimized CUDA, OpenACC implementations can still benefit from significant performance improvements over serial programs executed on the CPU. Moreover, when compared with less optimized CUDA implementations, OpenACC is shown to provide competitive performance with a much simpler programming model.