数据模型(Data Model)
storm使用tuple来作为它的数据模型。每个tuple是一堆值，每个值有一个名字，并且每个值可以是任何类型， 在我的理解里面一个tuple可以看作一个没有方法的java对象。总体来看，storm支持所有的基本类型，字符串以及字节数组作为tuple的值类 型。你也可以使用你自己定义的类型来作为值类型，
只要你实现对应的序列化器(serializer)。 ...
分类：
其他好文 时间：
2015-05-26 18:54:46
阅读次数：
98
HBase 0.92版本之后，RegionServer的Compact过程根据待合并的文件大小分为smallcompaction和large compaction两种，由此可能导致在集群写入量大的时候Compact占用过多的网络出口带宽。本文将详细描述集群使用过程中遇到这一问题的排查过程及其解决方法。
1. 发现问题
HBase集群（版本为0.94.0）运行过程中，发现5台Region Ser...
分类：
其他好文 时间：
2015-05-26 18:54:30
阅读次数：
127
将一个或多个值 value 插入到列表 key 的表头
如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头：比如对一个空列表 mylist 执行 LPUSH mylist a b c ，则结果列表为 c b a ，等同于执行执行命令
LPUSH mylist a 、 LPUSH mylist b 、 LPUSH
mylist c 。
如果 key 不...
分类：
其他好文 时间：
2015-05-26 18:54:05
阅读次数：
120
除了从父类集成代码外，Scala中的类还允许从一个或者多个traits中导入代码。
对于Java程序员来说理解traits的最好方法就是把他们当作可以包含代码的接口（interface）。在Scala中，当一个类继承一个trait时，它就实现了这个trait的接口，同时还从这个trait中继承了所有的代码。
让我们通过一个典型的实例来看看这种trait机制是如何发挥作用的：排序对象。能够比较若...
分类：
其他好文 时间：
2015-05-26 18:53:12
阅读次数：
117
zookeeper概述
针对分布式应用的分布式协作服务，zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。
设计目标
简单。 允许多个分布的进程基于一个共享的，类似标准文件系统的树状名称空间进行协作。每个节点称作一个znode。
ZooKeeper is replicated
几个zookeeper集群包含多个zookeeper server,...
分类：
其他好文 时间：
2015-05-26 18:52:58
阅读次数：
184
文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSNameSystem的mkdirsInternal方法，这个方法主要就是检验访问权限，最后通过FSDirectory的unprotectedMk...
分类：
其他好文 时间：
2015-05-26 18:52:19
阅读次数：
244
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任..
分类：
其他好文 时间：
2015-05-26 16:31:53
阅读次数：
143
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了Hadoop
MapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapre..
分类：
其他好文 时间：
2015-05-25 20:44:11
阅读次数：
139
流分组在设计一个topology的时候，你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。正如我们在第二章看到的，当topology被定义的..
分类：
其他好文 时间：
2015-05-25 20:36:05
阅读次数：
135
