使用 CUBLAS 库给矩阵运算提速

  1 // CUDA runtime 库 + CUBLAS 库 
  2 #include "cuda_runtime.h"
  3 #include "cublas_v2.h"
  4 //#include "cublas.h"
  5 
  6 #include <time.h>
  7 #include <iostream>
  8 
  9 using namespace std;
 10 
 11 // 定义测试矩阵的维度
 12 int const M = 5;
 13 int const N = 10;
 14 
 15 int main() 
 16 {   
 17     // 定义状态变量
 18     cublasStatus_t status;
 19 
 20     // 在 内存 中为将要计算的矩阵开辟空间
 21     float *h_A = (float*)malloc (N*M*sizeof(float));
 22     float *h_B = (float*)malloc (N*M*sizeof(float));
 23     
 24     // 在 内存 中为将要存放运算结果的矩阵开辟空间
 25     float *h_C = (float*)malloc (M*M*sizeof(float));
 26 
 27     // 为待运算矩阵的元素赋予 0-10 范围内的随机数
 28     for (int i=0; i<N*M; i++) {
 29         h_A[i] = (float)(rand()%10+1);
 30         h_B[i] = (float)(rand()%10+1);
 31     
 32     }
 33     
 34     // 打印待测试的矩阵
 35     cout << "矩阵 A :" << endl;
 36     for (int i=0; i<N*M; i++){
 37         cout << h_A[i] << " ";
 38         if ((i+1)%N == 0) cout << endl;
 39     }
 40     cout << endl;
 41     cout << "矩阵 B :" << endl;
 42     for (int i=0; i<N*M; i++){
 43         cout << h_B[i] << " ";
 44         if ((i+1)%M == 0) cout << endl;
 45     }
 46     cout << endl;
 47     
 48     /*
 49     ** GPU 计算矩阵相乘
 50     */
 51 
 52     // 创建并初始化 CUBLAS 库对象
 53     cublasHandle_t handle;
 54     status = cublasCreate(&handle);
 55     
 56     if (status != CUBLAS_STATUS_SUCCESS)
 57     {
 58         if (status == CUBLAS_STATUS_NOT_INITIALIZED) {
 59             cout << "CUBLAS 对象实例化出错" << endl;
 60         }
 61         getchar ();
 62         return EXIT_FAILURE;
 63     }
 64 
 65     float *d_A, *d_B, *d_C;
 66     // 在 显存 中为将要计算的矩阵开辟空间
 67     cudaMalloc (
 68         (void**)&d_A,    // 指向开辟的空间的指针
 69         N*M * sizeof(float)    //　需要开辟空间的字节数
 70     );
 71     cudaMalloc (
 72         (void**)&d_B,    
 73         N*M * sizeof(float)    
 74     );
 75 
 76     // 在 显存 中为将要存放运算结果的矩阵开辟空间
 77     cudaMalloc (
 78         (void**)&d_C,
 79         M*M * sizeof(float)    
 80     );
 81 
 82     // 将矩阵数据传递进 显存 中已经开辟好了的空间
 83     cublasSetVector (
 84         N*M,    // 要存入显存的元素个数
 85         sizeof(float),    // 每个元素大小
 86         h_A,    // 主机端起始地址
 87         1,        // 连续元素之间的存储间隔
 88         d_A,    // GPU 端起始地址
 89         1        // 连续元素之间的存储间隔
 90     );
 91     cublasSetVector (
 92         N*M, 
 93         sizeof(float), 
 94         h_B, 
 95         1, 
 96         d_B, 
 97         1
 98     );
 99 
100     // 同步函数
101     cudaThreadSynchronize();
102 
103     // 传递进矩阵相乘函数中的参数对应的形参必须是指针类型
104     float a=1; float b=0;
105     const float *ca = &a;
106     const float *cb = &b;
107     // 矩阵相乘。该函数必然将数组解析成列优先数组
108     cublasSgemm (
109         handle,            // blas 库对象 
110         CUBLAS_OP_T,    // 矩阵 A 属性参数
111         CUBLAS_OP_T,    // 矩阵 B 属性参数
112         M,                // A, C 的行数 
113         M,                // B, C 的列数
114         N,                // A 的列数和 B 的行数
115         ca,                // 运算式的 α 值
116         d_A,            // A 在显存中的地址
117         N,                // lda
118         d_B,            // B 在显存中的地址
119         M,                // ldb
120         cb,                // 运算式的 β 值
121         d_C,            // C 在显存中的地址(结果矩阵)
122         M                // ldc
123     );
124     
125     // 同步函数
126     cudaThreadSynchronize();
127 
128     // 从 显存 中取出运算结果至 内存中去
129     cublasGetVector (
130         M*M,    //  要取出元素的个数
131         sizeof(float),    // 每个元素大小
132         d_C,    // GPU 端起始地址
133         1,    // 连续元素之间的存储间隔
134         h_C,    // 主机端起始地址
135         1    // 连续元素之间的存储间隔
136     );
137     
138     // 打印运算结果
139     cout << "计算结果的转置 ( (A*B)的转置 )：" << endl;
140 
141     for (int i=0;i<M*M; i++){
142             cout << h_C[i] << " ";
143             if ((i+1)%M == 0) cout << endl;
144     }
145     
146     // 清理掉使用过的内存
147     free (h_A);
148     free (h_B);
149     free (h_C);
150     cudaFree (d_A);
151     cudaFree (d_B);
152     cudaFree (d_C);
153 
154     // 释放 CUBLAS 库对象
155     cublasDestroy (handle);
156 
157     getchar();
158     
159     return 0;
160 }