概述
说到对Hadoop和 HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用 zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自带 了ganglia的接口,也还是觉得不够。
其实Hadoop本身是带有监控接口的,...
分类:
其他好文 时间:
2015-04-09 23:51:12
阅读次数:
513
一、HBase的安装配置1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 首先,准备好HBase的安装包,我这里使用的是HBase-0.94.7的版本,已经上传至百度网盘之中(.....
分类:
其他好文 时间:
2015-04-09 23:20:59
阅读次数:
270
HBase的伪分布搭建安装版本: hbase-0.94.7-security.tar.gz下载路径: http://hbase.apache.org1. 解压缩,重命名,设置环境变量1 cp hbase-0.94.7-security.tar.gz /opt/ 2 3 tar -zxvf hbase...
分类:
其他好文 时间:
2015-04-09 23:11:50
阅读次数:
168
HBaseHBase 基础知识Hbase原理、基本概念、基本架构HBase下Region server步骤在Master Server上停掉Regon Servermaintain 用户登录cd /home/maintain/hadoop/hbase-0.98.6-hadoop2/bin./bin/...
分类:
其他好文 时间:
2015-04-09 19:11:56
阅读次数:
208
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型,它存储的是松散型数据。一、HBase:BigTable的开源实现1.1 HBase出现的背景 (1)随着数据....
分类:
其他好文 时间:
2015-04-09 06:05:41
阅读次数:
282
With respect to CAP, HBase is decidedly CP. HBase makes strong consistency guarantees. If a client succeeds in writing a value, other clients will receive the updated value on the next request. In ...
分类:
其他好文 时间:
2015-04-09 01:05:53
阅读次数:
153
基本环境:我是在win7环境下,spark1.0.2,HBase0.9.6.1 使用工具:IDEA14.1, scala 2.11.6, sbt。我现在是测试环境使用的是单节点1、使用IDEA创建一个sbt的工程后,在build.sbt文件加入配置文件libraryDependencies += ....
分类:
其他好文 时间:
2015-04-08 13:07:52
阅读次数:
208
代码如下:post($this->rest_host.$table."/scanner",$data); $output_array = explode("\r\n",$output); $location = ""; foreach($output_arr...
分类:
其他好文 时间:
2015-04-07 23:07:09
阅读次数:
312
Spark读取Hbase中的数据大家可能都知道很熟悉Spark的两种常见的数据读取方式(存放到RDD中):(1)、调用parallelize函数直接从集合中获取数据,并存入RDD中;Java版本如下:1JavaRDD<Integer>myRDD=sc.parallelize(Arrays.asList(1,2,3));Scala版本如下:1valmyRDD=sc...
分类:
其他好文 时间:
2015-04-07 20:01:18
阅读次数:
285
要做数据分析,领导让研究一下kettle。先占个坑。这里有个3.0的文档:http://wenku.baidu.com/link?url=hvw_cOBIXLXSGvftkGhXQic3CLC75-0IILGrtB-AyuxIgaDarhmZjfBLhMRcn9gIUEQPJ1OtxTT9joLgV...
分类:
其他好文 时间:
2015-04-07 19:33:26
阅读次数:
197