一、境遇接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。如果说部署，我自认为可以没有任何问题，但是如果说我对于这个系统已经掌握了，我却不敢这么讲，因为至少MapReduce我还没有熟..
分类：
其他好文 时间：
2015-06-24 16:42:14
阅读次数：
236
挺喜欢这句话：“坚持，是基于 你对某件事的热爱，才能有动力坚持下去。
在学习的过程中，需要战胜自己的惰性和骄傲！”好了，下面说下如何提升
集群的性能：
在硬件方面，第一，商业硬件并不等同于低端硬件。低端机器常常使用
便宜的零部件，其故障率远高于更昂贵的机器。当用户管理几十台、上百台
甚至几千台机器时，便宜的零部件故障率更高，导致维护成本更高；第二，
不推荐使用大型数据库级别的...
分类：
其他好文 时间：
2015-06-23 10:14:28
阅读次数：
210
MRv1: 当一个客户端向一个 Hadoop 集群发出一个请求时，此请求由 JobTracker 管理。JobTracker 与 NameNode 联合将工作分发到离它所处理的数据尽可能近的位置。NameNode 是文件系统的主系统，提供元数据服务来执行...
分类：
其他好文 时间：
2015-06-19 15:30:02
阅读次数：
120
一、Linux常用脚本
1.查看进程
ps -ef|grep -i tom
2.SCP从远程复制到本地目录
scp root@/172.19.2.75:/home/root/full.tar.gz /home/daisy/full.tar.gz
3.查看目录
pwd
4.查看hadoop集群状态...
分类：
系统相关 时间：
2015-06-18 15:26:35
阅读次数：
250
集群配置
准备工作
1、 Iptables
#chkconfig iptables –list
#chkconfig iptables –level 3456 off
#service iptables stop
2、 Initab
#vim /etc/inittab
id:3
3、 Ntpd
#chkconfig ntpd –list
#chkc...
分类：
其他好文 时间：
2015-06-17 16:42:34
阅读次数：
113
Hadoop 2.6安装文档
版本说明：hadoop 2.6 linux-64位
Zookeeper3.4.6
jdk 1.7.0_75
1、 Ssh无密码
ssh-keygen
vimauthorized_keys
把每台机子上的id_rsa.pub内容拷贝到authorized_keys
Scp到其它机器上
2、 jdk安装
解压...
分类：
其他好文 时间：
2015-06-17 16:40:02
阅读次数：
136
1．背景 1.1 共享Hadoop集群 当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配...
分类：
其他好文 时间：
2015-06-14 07:06:54
阅读次数：
164
虚拟机上安装好一台linux 系统后，为了快速搭建hadoop集群，需要再安装几个linux系统，比较笨的办法可以重新用ios 镜像文件进行安装，但是重新安装需要重新配置一些信息而且安装时间比较长（一般在半个小时左右）。所以建议使用VMWare 特用的克隆功能快速的安装linux系统（克隆时间在5分钟左右）。
具体步骤如下：
第一步：
选择我们需要克隆的操作系统，右击鼠标，然后选择“管...
分类：
系统相关 时间：
2015-06-13 01:13:28
阅读次数：
219
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其...
分类：
其他好文 时间：
2015-06-13 01:05:37
阅读次数：
195
Hadoop2对HDFS的改进很大，支持HDFS(NameNode)和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署。一、部署前..
分类：
其他好文 时间：
2015-06-12 22:28:03
阅读次数：
267
