Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本，运行环境依赖JobTracker和TaskTracker，运行资源通过作业表示模型MapTask和ReduceTask来组成；运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本，在开发模型上类似1，都...
分类：
其他好文 时间：
2014-05-18 19:24:17
阅读次数：
291
tcpcopy是一种应用请求复制（基于tcp的packets）工具，其应用领域较广，我们曾经应用于网易的广告投放系统，urs系统，nginx
hmux协议开发等系统，避免了上线带来的很多问题。总体说来，tcpcopy主要有如下功能：1）分布式压力测试工具，利用在线数据，可以测试系统能够承受的压力大小...
分类：
其他好文 时间：
2014-05-18 19:16:49
阅读次数：
537
转自：http://blog.csdn.net/cuidiwhere/article/details/7884545
并行计算：并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能（处理器能力或存储器），使用多处理器求解单个问题。...
分类：
其他好文 时间：
2014-05-18 18:29:29
阅读次数：
291
原作者：Swagatam Das,Arijit Biswas,Sambarta
Dasgupta,和Ajith Abraham[摘 要]细菌觅食优化算法（Bacterial foraging optimization
algorithm[BFOA]）已经被分布式优化和控制的同行们当作一种全局性的优化...
分类：
其他好文 时间：
2014-05-17 23:54:50
阅读次数：
802
------《面向模式的软件架构》（卷4）------支持分布式的3个层次的技术：Ad
hoc网络编程、结构化通信、中间件。1.Ad
hoc网络编程：主要依靠进程间通信机制(IPC)如共享内存、管道、套接字(socket)。2.结构化通信：通过提供较高层次的通信机制，避免了应用代码与底层IPC机制的...
分类：
其他好文 时间：
2014-05-17 23:44:39
阅读次数：
508
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
现在你已经了解了怎么使用ES作为一个分布式的document存储。你可一存储document，update document，检索document，delete
documnet，并且你也只到了怎么操作是安全的。即使你现在还不了解更多的关于ES是怎么search的，以前了解到的这些是非常非常有用的。...
分类：
其他好文 时间：
2014-05-17 19:50:02
阅读次数：
241
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
