集合讲的是数据，流讲的是计算。 流的数据处理功能支持类似于数据库的操作，以及函数式编程语言中的常用操作，如filter、 map、 reduce、 find、 match、 sort等。 流操作可以顺序执行，也可并行执行。 两大特性： 1.流水线 2.内部迭代 ...
分类：
编程语言 时间：
2017-04-01 19:05:22
阅读次数：
140
参考来源：Python金融大数据分析第八章 提高性能有如下方法 1、Cython,用于合并python和c语言静态编译泛型 2、IPython.parallel，用于在本地或者集群上并行执行代码 3、numexpr，用于快速数值运算 4、multiprocessing,python内建的并行处理模块 ...
分类：
编程语言 时间：
2017-03-29 12:20:30
阅读次数：
272
线程 1.什么是线程？ 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 2.python GIL全局解释器锁（仅需了解） 无论你启多少个线程，你有多少个cpu, ...
分类：
编程语言 时间：
2017-03-24 10:25:49
阅读次数：
229
并行执行是同时开启多个进程/线程来完成同一个任务，并行执行的每一个进程/线程都会消耗额外的硬件资源，所以并行执行的本质就是以额外的硬件资源消耗来换取执行时间的缩短。这里的额外硬件资源消耗是指对数据库服务器上多个CPU、内存、从个I/O通道，甚至是RAC环境下多个数据库..
分类：
数据库 时间：
2017-03-19 14:36:31
阅读次数：
453
gearman中任务的优先级和返回状态 一、任务的优先级 同步阻塞调用，等待返回结果 异步派发任务，不等待返回结果，返回任务句柄，通过该句柄可获取任务运行状态信息 注意Task和doXXX区别，Task是一组job，派发后会分配到多个worker上并行执行并返回结果给调用方。而doXXX的每个任务只 ...
分类：
其他好文 时间：
2017-03-12 14:58:50
阅读次数：
319
pdsh的全称是paralleldistributed
shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、pdsh应用..
分类：
其他好文 时间：
2017-03-12 13:53:30
阅读次数：
220
特性比较PostgreSQLMySQL注释命令行快捷键丰富欠缺SQL并行执行Y（9.6）NRepl并行执行NY（5.7）条件/表达式（函数）索引YN版本分支基本稳定分支多参数稳定性参数持续性强各版本参数不统一
分类：
数据库 时间：
2017-03-02 22:24:58
阅读次数：
222
一、多线程间的同步 1、多线程编程的本质 （1）、并发性是多线程编程的本质 （2）、在宏观上，所有线程并行执行 （3）、多个线程间相互独立，互不干涉 2、特殊情况下，多线程存在依赖 煮菜和煮饭这两个线程结束后，才能进行吃饭的线程 3、同步的概念 （1）、在特殊情况下，控制多线程间的相对执行顺序 （2 ...
分类：
编程语言 时间：
2017-02-25 22:53:49
阅读次数：
177
1 串行队列，异步执行 所有异步添加到串行队列上的任务，都会在串行队列所创建的那个线程中去执行。 2 串行队列，同步执行 都会在主线程执行 3 并行队列，异步执行 会启动多个线程并行执行，完成结果没有顺序 4 并行队列，同步执行 都会在主线程执行 5 计时器 dispatch_source_t NS ...
分类：
其他好文 时间：
2017-02-24 12:32:06
阅读次数：
253
#_*_coding:utf-8_*_
importtime
frommultiprocessingimportPool
fromthreadingimportThread
deffunc1(fn):
time.sleep(1)
returnfn*fn
if__name__=="__main__":
a=[1,2,3,4,5,6]
print"顺序执行的方式开始..."
s=time.time()
foriina:
func1(i)
el=time.time()
print"顺序..
分类：
编程语言 时间：
2017-02-21 20:02:21
阅读次数：
563
