最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3。主要是配置JDK,安装Tomcat,Hadoop、HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾。
首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限
权限修改方法:http...
分类:
其他好文 时间:
2014-10-17 22:03:55
阅读次数:
225
1,先看看官方的定义吧:
ZooKeeper is a distributed, open-source coordination service for distributed applications. It exposes a simple set of primitives that distributed applications can build upon to implement...
分类:
其他好文 时间:
2014-10-17 21:58:54
阅读次数:
242
一、学习中问题 最近学习在学习Hadoop的一个子项目Zookeeper,在测试其中的“四字命令”---”echo ruok|nc localhost 2181“时发现命令无法被识别,如下图所示:[root@hadoop ~]# echo ruok|nc localhost 2181-bash...
分类:
Web程序 时间:
2014-10-17 18:30:15
阅读次数:
162
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionS...
分类:
其他好文 时间:
2014-10-17 18:30:05
阅读次数:
248
首先,SAS6/iRRaid卡只支持两块盘,可以配置为Raid0或者Raid1(本实例中配置为Raid1).通常我们都使用Megacli来查看Raid信息,但是Megacli并不支持SAS6/iR这个型号的卡。因此只能使用其他工具。这里推荐使用LSIUtil,官方下载地址:LSIUtil_1.62LSIUtil工具有交互和非交互两种查看..
分类:
其他好文 时间:
2014-10-17 15:42:39
阅读次数:
284
zookeeper部署,这里单机zk为例。
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6
mkdir data
cp conf/zoo_sample.cfg con...
分类:
Web程序 时间:
2014-10-17 15:28:37
阅读次数:
322
上一章我们知道zookeeper的简介,启动,设置节点以及结构性能。本小节我们来玩玩api,获取下数据。读一下:http://zookeeper.apache.org/doc/trunk/javaExample.html 然后我说 what the fuck it is?我就想读个数据,需要这么复杂...
一般情况下默认的webserver是apache。zabbix也不例外,官方文档全都是推荐用apache。如果执意用nginx来做webserver的话,php引导需要再安装一个php-fpm。而且在进入zabbix的web安装界面,完成第2步的环境检测后第3步的Configure DB conne...
分类:
数据库 时间:
2014-10-17 13:28:13
阅读次数:
266
一、Zabbix简介 1、zabbix是一个基于WEB界面的,并提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让运维人员能够快速...
分类:
其他好文 时间:
2014-10-17 06:16:54
阅读次数:
127
注:tapper工作模式中,zabbix发送数据的程序是zabbix_sender,该程序由zabbix发行版自带,源码包解压后在bin目录下;trapper是被监控主机主动发送数据给zabbixserver,与主动模式的区别是不需要安装客户端;配置步骤:1、添加host注意:主机名要唯一,因为trapper方式发送数据..
分类:
移动开发 时间:
2014-10-17 05:57:04
阅读次数:
430