在我们实际编码中，会遇到一些并行的任务，因为单个任务无法最大限度的使用计算机资源。使用并行任务，可以提高代码效率，最大限度的发挥计算机的性能。python实现并行任务可以有多进程，多线程，协程等方式。 进程，线程，协程 进程 进程是程序运行的基本单位，资源分配和独立运行的基本单位。 多进程实现并行任 ...
分类：
编程语言 时间：
2018-10-02 20:17:10
阅读次数：
185
worker_processes worker_processes指令是用来设计Nginx进程数，官方默认设为1，赋值太多了，将会对系统IO影响效率，降低Nginx服务器性能。但是为了让多核CPU能够更好的处理并行任务，我们可以讲该值设置大一些，最好这个值是机器CPU的倍数，并不是越大越好。 wor ...
分类：
其他好文 时间：
2018-09-05 23:56:08
阅读次数：
183
一、简介 Future提供了一套高效便捷的非阻塞并行操作管理方案。其基本思想很简单，所谓Future，指的是一类占位符对象，用于指代某些尚未完成的计算的结果。一般来说，由Future指代的计算都是并行执行的，计算完毕后可另行获取相关计算结果。以这种方式组织并行任务，便可以写出高效、异步、非阻塞的并行 ...
分类：
其他好文 时间：
2018-08-19 15:38:15
阅读次数：
121
调度算法 1.时间片轮转(相当于时分复用) 2.优先级调度 并发:任务数量大于cpu核心数量(看起来像是同时进行,需要调度) 并行:任务数量小于cpu核心数量(真正同时进行,所有任务不需要调度) 程序:可运行的文件(代码),还没运行 进程:正在运行的程序(代码) fork一般不用 windows下o ...
分类：
其他好文 时间：
2018-08-16 23:49:21
阅读次数：
312
并发提升 java 中Stream类似于hadoop中的数据分析的思路，只不过hadoop大，用的是多台机算机的计算生态，而java stream使用的单台计算机中的多cpu分析一块数据的过程。通过使用parrallel方法实现并行任务，通过map方法实现计算任务，通过findAny，count等方 ...
分类：
编程语言 时间：
2018-08-10 21:26:59
阅读次数：
138
在日常业务里面，我们可能会遇到类似这样的需求，有1万个座位，同时有1万人过来买票，如何在最短时间内，完成这1人1张票的分发。 大概写了一个单元测试，发起1万个并行任务，跑了一下，200毫秒以内，可以完成这个分发功能。代码如下： 主要是使用Interlocked.CompareExchange来判断对 ...
分类：
其他好文 时间：
2018-07-11 20:00:34
阅读次数：
144
GridSearchCV 简介： GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法 ...
分类：
其他好文 时间：
2018-07-06 01:47:23
阅读次数：
357
pg_dump把一个数据库转储为纯文本文件或者是其它格式.用法:pg_dump[选项]...[数据库名字]一般选项:-f,--file=FILENAME输出文件或目录名-F,--format=c|d|t|p输出文件格式(定制,目录,tar)明文(默认值))-j,--jobs=NUM执行多个并行任务进行备份转储工作-v,--verbose详细模式-V,--version输出版本信息，然后退出-Z,-
分类：
其他好文 时间：
2018-05-16 10:47:44
阅读次数：
128
一、介绍 CUDA是Nvidia推出的一个通用GPU计算平台，对于提升并行任务的效率非常有帮助。本人主管的项目中采用了OpenGL做图像渲染，但是在数据处理方面比较慢，导致帧率一直上不来。于是就尝试把计算工作分解成小的任务，使用核函数在CUDA中加速计算。对于CUDA和OpenGL如何交互以前从来没 ...
分类：
其他好文 时间：
2018-02-08 00:37:52
阅读次数：
188
Fork/Join框架 在JDK7后提供一套并行任务的框架，它可以把发大任务拆分成很多的小任务，汇总每个小任务的结果得到大任务的结果。 工作窃取算法 工作窃取（work-stealing）算法是指某个线程从其他队列里窃取任务。 那么，为什么需要使用窃取算法呢？假如我们需要做一个比较大的任务，可以把这 ...
分类：
其他好文 时间：
2018-01-13 21:03:52
阅读次数：
126
