Java在JDK7之后加入了并行计算的框架Fork/Join，可以解决我们系统中大数据计算的性能问题。Fork/Join采用的是分治法，Fork是将一个大任务拆分成若干个子任务，子任务分别去计算，而Join是获取到子任务的计算结果，然后合并，这个是递归的过程。子任务被分配到不同的核上执行时，效率最高 ...
分类：
编程语言 时间：
2017-09-03 00:30:44
阅读次数：
251
当处理较大数据量的时候，往往会用GPU进行运算，比如OpenGL或者CUDA。在实际的操作中，往往CUDA实现并行计算会比OpenGL更加方便，而OpenGL在进行后期渲染更具有优势。由于CUDA中的运算结果存储在GPU中，如果将数据download到CPU，然后再将CPU中的数据上传到GPU，使用 ...
分类：
其他好文 时间：
2017-08-30 23:42:38
阅读次数：
210
第十三讲. 大规模机器学习——Large Scale Machine Learning （一）、为什么要大规模机器学习？ （二）、Stochastic和Batch梯度下降 （三）、Mini-Batch梯度下降 （四）、在线学习（Online Learning） （五）、MapReduce和并行计算原 ...
分类：
其他好文 时间：
2017-08-24 16:10:09
阅读次数：
288
1.小表对大表（broadcast join） 将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join Broadcast Join的条件有以下几个： *被广播的表需 ...
分类：
数据库 时间：
2017-08-23 15:01:09
阅读次数：
195
对称加密和分组加密中的四种模式(ECB、CBC、CFB、OFB) 一. AES对称加密: AES加密 分组 二. 分组密码的填充 分组密码的填充 e.g.: PKCS#5填充方式 三. 流密码: 四. 分组密码加密中的四种模式: 3.1 ECB模式 优点: 1.简单； 2.有利于并行计算； 3.误差 ...
分类：
其他好文 时间：
2017-08-23 11:57:53
阅读次数：
240
1 using System; 2 using System.Collections; 3 using System.Collections.Generic; 4 using System.Collections.Concurrent; 5 using System.Linq; 6 using Sy... ...
分类：
Web程序 时间：
2017-08-22 13:52:44
阅读次数：
232
1 class Program 2 { 3 private static List intlist; 4 static void Main(string[] args) 5 { 6 intlist = new List() {0}; 7 Task task1 = ... ...
分类：
Web程序 时间：
2017-08-22 11:42:06
阅读次数：
169
共享内存多核系统，分布式内存系统 区别 分布式内存系统主要通过Message passing interface在各个微处理器之间通信，但是MPI共享内存多核系统是没有必要的，会造成额外的开销。 分布式内存系统如下如： 分布式内存的计算机系统，如下图所示： 顺序指令只能运行在一个可用内核上。因此需要... ...
分类：
Web程序 时间：
2017-08-22 10:37:58
阅读次数：
200
在并行计算中经常需要调用scalapck(并行化的lapack)函数库里面的函数进行编程，这里简单介绍在C语言如何调用scalapck中的矩阵向量乘的函数。 注意：scalapack中的函数是用fortran写的，矩阵是按列进行存储的。 scalapack的链接需要用到blas，因此确保本机上安装好 ...
分类：
编程语言 时间：
2017-08-21 21:32:24
阅读次数：
231
2017-08-19 主要内容：CPU和GPU介绍，几种深度学习框架的介绍 1.CPU和GPU CPU一般核数目比较少，适合做通用的计算，速度比较快，共享系统的内存 GPU一般单个核心的速度比较慢，但是核心数目很多，几千个，但是CPOU只有几个几十个，所以GPU适合做简单的人物，大规模并行计算，在深 ...
分类：
其他好文 时间：
2017-08-19 21:11:11
阅读次数：
109
