Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolttasktask是storm中进行计算的最小的运行单位，表示是spout或者bolt的运行实例..
分类：
其他好文 时间：
2015-05-22 19:35:56
阅读次数：
121
由于Solr基于java开发，因此Solr在windows及Linux都能较好部署使用，但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本，因此在生产部署时候建议安装在Linux上，测试时候可以在windows使用。
下面以Linux下安装配置Solr进行说明，windows与此类似。
wgethttp://apache.mirror.phpchina.co ... e-...
分类：
其他好文 时间：
2015-05-22 19:17:24
阅读次数：
132
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸载（新版本如有更改则不适用）。
一、卸载CM：（CM主机执行）1、移除所有服务?
...
分类：
其他好文 时间：
2015-05-22 17:11:09
阅读次数：
920
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构，这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO)，做一个小实验讲述HBase在分布式环境中的高可用性，亲眼看到一些现象，延伸一些思考的话题。
先来回顾一下HBase主要部件：
1.HBaseMaster
2.HRegionServer
3.HBase Client
4...
分类：
其他好文 时间：
2015-05-22 17:08:48
阅读次数：
142
Storm的并行度详解
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。
那strom是如何提高并行度的呢？
Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt
task
task 是storm中进行计算的最小的运行单位，表示是spout或者b...
分类：
其他好文 时间：
2015-05-22 15:15:47
阅读次数：
116
HDFS作为一种新兴的并行文件系统，和现有的分布式文件系统相似，他们都是运行在普通硬件之上的分布式文件系统，然而HDFS与其他分布式文件系统也存在着一些差别。如HDFS具有高容错性，可以部署在低成本的硬件之上，同时放松了对POSIX的需求，使其可以以流的形式访问文件数据，非常适合大数据集的应用程序。分析研究HDFS与其他并行文件系统的相同点和不同点，能够深入了解HDFS系统的应用场景和设计理念。 ...
分类：
其他好文 时间：
2015-05-22 15:12:21
阅读次数：
107
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下：
类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：
l ...
分类：
其他好文 时间：
2015-05-22 11:30:31
阅读次数：
150
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下：MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop..
分类：
其他好文 时间：
2015-05-21 19:57:41
阅读次数：
175
1.加法操作:+语法:A+B操作类型：所有数值类型说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int+int一般结果为int类型，而int+double一般结果为double类型举例：hive>select1+9fromlxw_dual;10hive>creat..
分类：
其他好文 时间：
2015-05-21 19:53:32
阅读次数：
195
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括上述提出的两种文件类型：
1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile
2. HLog File，HBase中WAL（Write Ahead Log） 的存...
分类：
其他好文 时间：
2015-05-21 19:40:22
阅读次数：
250
