CUDA编程02 - 数据并行介绍

一：概述

        数据并行是指在数据集的不同部分上执行计算工作，这些计算工作彼此相互独立且可以并行执行。许多应用程序都具有丰富的数据并行性，使其能够改造成可并行执行的程序。因此，对于程序员来说，熟悉数据并行的概念以及使用并行编程语言来编写数据并行的代码是非常重要的。在本文中，我们将使用CUDA C语言构造开发一个简单的数据并行程序。

二：数据并行

        应用程序运行缓慢时的常见原因是数据量太大，需要处理太多的数据。例如，图像处理应用程序需要处理具有数百万到数十亿像素的图像；科学仿真应用程序需要使用数十亿个网格点来模拟流体动力学；分子动力学程序必须模拟数千到数十亿个原子之间的相互作用；航空公司的日程安排涉及成千上万的航班起降。大多数这些像素，粒子，网格点，原子，航班，等等，通常可以在很大程度上独立处理。例如，在图像处理领域，将彩色像素转换为灰度时只依赖当前像素，图像模糊是将当前像素与其邻近像素值进行加权平均，该操作只依赖邻近像素参与计算即可。即使需要全部像素参与的计算，例如计算图像中所有像素的平均亮度，也可以分解为许多较小的并可以独立执行的部分。这种对不同数据块可独立处理的操作是数据并行性的基础。编写数据并行代码需要围绕着数据来组织计算(将数据切块。将整体切分为可独立操作的部分)，以便我们可以并行的计算每部分的结果，从而更快地完成整个任务，这种数据并行计算通常要快得多。

        让我们用一个例子来说明数据并行的概念，例子是将彩色图转换为灰度图。下图左侧显示彩色图是由许多像素组成的，每个像素包含红色，绿色和蓝色分量(r, g, b)，值从0到1。

        为将彩色图像转换为灰度图像，我们为每个像素计算一下