码迷,mamicode.com
首页 > 其他好文 > 详细

第三篇:GPU 并行编程的运算架构

时间:2016-12-06 20:51:31      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:复杂   bsp   img   比较   ros   com   simd   blog   需要   

前言

      GPU 是如何实现并行的?它实现的方式较之 CPU 的多线程又有什么分别?

      本文将做一个较为细致的分析。

GPU 并行计算架构

      GPU 并行编程的核心在于线程,一个线程就是程序中的一个单一指令流,一个个线程组合在一起就构成了并行计算网格,成为了并行的程序,下图展示了多核 CPU 与 GPU 的计算网格:

技术分享  

      二者的区别将在后面探讨。

      下图展示了一个更为细致的 GPU 并行计算架构:

技术分享

      该图表示,计算网格由多个流处理器构成,每个流处理器又包含 n 多块。

      下面进一步对 GPU 计算网格中的一些概念做细致分析。

      1. 线程

      线程是 GPU 运算中的最小执行单元,线程能够完成一个最小的逻辑意义操作。

      2. 线程束

      线程束是 GPU 中的基本执行单元。GPU 是一组 SIMD 处理器的集合,因此每个线程束中的线程是同时执行的。这个概念是为了隐藏对显存进行读写带来的延迟所引入的。

      目前英伟达公司的显卡此值为 32,不可改动,也不应该对其进行改动。

      3. 线程块

      一个线程块包含多个线程束,在一个线程块内的所有线程,都可以使用共享内存来进行通信、同步。但一个线程块能拥有的最大线程/线程束,和显卡型号有关。

      4. 流多处理器

      流多处理器就相当于 CPU 中的核,负责线程束的执行。同一时刻只能有一个线程束执行。

      5. 流处理器

      流处理器只负责执行线程,结构相对简单。

GPU 和 CPU 在并行计算方面的不同

      1. 任务数量

      CPU 适合比较少量的任务,而 GPU 则适合做大量的任务。

      2. 任务复杂度

      CPU 适合逻辑比较复杂的任务,而 GPU 则适合处理逻辑上相对简单的任务 (可用比较少的语句描述)。

      3. 线程支持方式

      由于 CPU 中线程的寄存器组是公用的,因此CPU 在切换线程的时候,会将线程的寄存器内容保存在 RAM 中,当线程再次启动的时候则会从 RAM 中恢复数据到寄存器。

      而 GPU 中的各个线程则各自拥有其自身的寄存器组,因此其切换速度会快上不少。

      当然,对于单个的线程处理能力来说,CPU 更强。

      4. 处理器分配原则

      CPU 一般是基于时间片轮转调度原则,每个线程固定地执行单个时间片;而 GPU 的策略则是在线程阻塞的时候迅速换入换出。

      5. 数据吞吐量

      GPU 中的每个流处理器就相当于一个 CPU 核,一个 GPU 一般具有 16 个流处理器,而且每个流处理器一次能计算 32 个数。

总结

1. 了解 CUDA 的线程模型是 GPU 并行编程的基础。

2. 根据待处理数据类型来组织线程结构是非常非常重要的,而这并不轻松,尤其是当出现了需要共享的数据时。

第三篇:GPU 并行编程的运算架构

标签:复杂   bsp   img   比较   ros   com   simd   blog   需要   

原文地址:http://www.cnblogs.com/muchen/p/6138691.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!