HMaster的RPC接口,分两类:HMaster与RegionServer通讯接口,总共只有两个-->regionServerStartup:当regionserver启动时会调用该接口-->将发请起求的RS的信息写入serverInfo,注意这里的hostname为master所识别的hostname,而非RS告诉master的-->调用serverManager的r..
分类:
其他好文 时间:
2015-05-29 18:25:03
阅读次数:
122
HMaster的RPC接口,分两类:
HMaster与RegionServer通讯接口,总共只有两个
-->regionServerStartup: 当regionserver启动时会调用该接口
-->将发请起求的RS的信息写入serverInfo,注意这里的hostname为master所识别的hostname,而非RS告诉master的
-->调用serverMan...
分类:
其他好文 时间:
2015-05-29 18:15:12
阅读次数:
140
在将mysql数据导入到hbase数据的过程中,发现hbase的数据容量增加很快,原本在mysql存储30G容量的数据导入到hbase一直增加到快150G(还未完全导入,手动结束),而采用默认3个备份储存的话,基本上真个集群有450G的容量。查看了一些资料,发现hbase的储存确实耗空间,一般hba...
分类:
移动开发 时间:
2015-05-29 17:34:39
阅读次数:
381
对数据库HBASE的操作有shell端和java API两种方式。在此之前要先说一下HBASE的结构及其数据存储结构:HBASE是基于HDFS的,是一种NoSQL的数据库。它的数据模型如下所示:Row KeyTimestampColumn FamilyURIParserr1t3url=http://...
分类:
编程语言 时间:
2015-05-28 15:42:18
阅读次数:
344
master启动过程:-->首先初始化HMaster-->创建一个rpcServer,其中并启动-->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下:-->创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决定,默认为10..
分类:
其他好文 时间:
2015-05-28 14:20:55
阅读次数:
162
master启动过程: -->首先初始化HMaster ? ? -->创建一个rpcServer,其中并启动 ? ?? ? -->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: ? ?? ?? ???-->创建...
分类:
其他好文 时间:
2015-05-28 12:47:18
阅读次数:
301
master启动过程:
-->首先初始化HMaster
-->创建一个rpcServer,其中并启动
-->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下:
-->创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决...
分类:
其他好文 时间:
2015-05-28 12:43:22
阅读次数:
168
master启动过程:-->首先初始化HMaster -->创建一个rpcServer,其中并启动 -->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: -->创建n个selector,和一个n个线程的readpool,n由"ipc.ser...
分类:
其他好文 时间:
2015-05-28 12:30:18
阅读次数:
185
一、存入数据类型Hbase里面,rowkey是按照字典序进行排序。存储的value值,当用filter进行数据筛选的时候,所用的比较算法也是字典序的。1、当存储的value值是float类型的时候,录入数据可以录入,但是读取出来的数据会存在问题会出问题例如:存入数据的代码:p = new Put(B...
分类:
其他好文 时间:
2015-05-28 10:48:26
阅读次数:
389
HBase数据的导入导出
1、导出:
hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 导出存放路径
其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径。
当其为前者时,直接指定即可,也可以加前缀file:///
而当其为后者时,必须明确指明hdfs的路径,例如hdfs://192.168.1.20...
分类:
其他好文 时间:
2015-05-28 09:34:40
阅读次数:
301