2014-09-25 BaoXinjian一、摘要对于一个大的任务，一般的做法是利用一个进程，串行的执行，如果系统资源足够，可以采用parallel技术，把一个大的任务分成若干个小的任务，同时启用n个进程/线程，并行的处理这些小的任务，这些并发的进程称为并行执行服务器(parallel execut...
分类：
数据库 时间：
2014-09-25 15:59:49
阅读次数：
278
pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、 pd...
分类：
其他好文 时间：
2014-09-19 17:35:45
阅读次数：
231
1. 概述计算机体系结构图：（CPU，memory，devices）指令：操作码，操作数OS作用：管理各部件；为上层的应用软件提供一个易于理解和编程的接口历史：1950s，无操作系统，卡片；60s，单道批处理，出现了通道技术和中断技术；70s，多道批处理，任务并行执行；70s后，分时系统，多个用户连...
分类：
其他好文 时间：
2014-09-18 18:45:24
阅读次数：
244
今天在Stack Overflow上看到一个很有趣的问题,
问题的大意是:
需要用一个脚本处理一个文本文件, 但这个文本文件可能很大, 由于处理脚本的问题, 希望每次能够只处理该文本文件的若干行, 就像 xargs 一样, 而且不能使用split来分割文件, 也不允许生成临时文件.
如果允许使用临时文件的话, 那么用bash script并不难实现, 若不能使用临时文件, 那么可以使用...
分类：
系统相关 时间：
2014-09-10 21:11:11
阅读次数：
921
pdsh的全称是paralleldistributedshell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、 pdsh应用场..
分类：
其他好文 时间：
2014-09-10 02:56:20
阅读次数：
312
通过设置hive.exec.parallel参数，使得在同一sql中的job可以并行的执行，因为在某些场景下，同一sql中，有时子查询之间并无关联。默认情况下为false可以在执行HQL之前，set该参数，hive.exec.parallel=具体某个数值。#####虽然可以保证并行运行，但是会耗费更多的资源。
分类：
其他好文 时间：
2014-09-05 16:27:52
阅读次数：
230
并发控制的概念
----并发指的是多个执行单元并行执行，而并发的执行单元对共享资源（硬件资源和
----软件上的全局变量、静态变量等）的访问则很容易导致竞态。
竞态发生的情况
----对称多处理器（SMP）的多个CPU
----单CPU内进程与抢占它的进程
----中断（硬中断、软中断、Tasklet、底半部）与进程之间...
分类：
系统相关 时间：
2014-09-02 21:27:05
阅读次数：
305
(一)介绍： Grid的功能： 并行执行 通过一个中央管理器统一控制用例在不同环境、不同浏览器下运行 灵活添加变动测试机 (二)快速开始 这个例子将介绍如何使用selenium2.0的grid，并且注册一个WebDriver节点。如何使用java调用grid。这里Hub和节点都跑在同一台...
分类：
其他好文 时间：
2014-08-19 16:14:54
阅读次数：
235
Grand Central Dispatch 简称（GCD）是苹果公司开发的技术，以优化的应用程序支持多核心处理器和其他的对称多处理系统的系统。这建立在任务并行执行的线程池模式的基础上的。它首次发布在Mac OS X 10.6 ，iOS 4及以上也可用。设计：GCD的工作原理是：让程序平行排队的特定...
分类：
移动开发 时间：
2014-08-14 10:40:28
阅读次数：
227
Parallel Execution，主要应用与OLAP系统中提高执行效率。PX的执行机制是当发起一个并行操作时，创建一个进程如QC，协调并行服务器进程的信息传递，并行协调进程将需要操作的数据集按照并行执行数分成若干单元，并将数据单元分别分给并行服务器进程进行处理，处理完毕后，将结果集传递给并行协调...
分类：
其他好文 时间：
2014-08-12 21:30:24
阅读次数：
317
