hbase.client.scanner.caching定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。hbase.balancer.periodregion均衡器在HBaseMaster中周期性运行。该属性定义了均衡器运行的时间间隔..
分类:
其他好文 时间:
2015-06-23 18:19:14
阅读次数:
136
1、hbase对数据的管理机制 ????1.1、hbase中的表很大---bigtable,都是分布式存储在集群的各个regionserver上 ????1.2、分布式存储时,需要对表进行切分,首先是按行切分成若干个hregion ????1.3、表...
分类:
其他好文 时间:
2015-06-11 17:16:44
阅读次数:
97
hbase region split操作的一些细节,具体split步骤很多文档都有说明,本文主要关注regionserver如何选取split point首先推荐web ui查看hbase region分布的一个开源工具hannibal,建议用daemontool管理hannibal意外退出,自动重...
分类:
其他好文 时间:
2015-06-07 20:09:57
阅读次数:
101
HMaster的RPC接口,分两类:HMaster与RegionServer通讯接口,总共只有两个-->regionServerStartup:当regionserver启动时会调用该接口 -->将发请起求的RS的信息写入serverInfo,注意这里的hostname为master所识别的hos....
分类:
其他好文 时间:
2015-05-29 20:09:16
阅读次数:
107
HMaster的RPC接口,分两类:HMaster与RegionServer通讯接口,总共只有两个-->regionServerStartup:当regionserver启动时会调用该接口-->将发请起求的RS的信息写入serverInfo,注意这里的hostname为master所识别的hostname,而非RS告诉master的-->调用serverManager的r..
分类:
其他好文 时间:
2015-05-29 18:25:03
阅读次数:
122
HMaster的RPC接口,分两类:
HMaster与RegionServer通讯接口,总共只有两个
-->regionServerStartup: 当regionserver启动时会调用该接口
-->将发请起求的RS的信息写入serverInfo,注意这里的hostname为master所识别的hostname,而非RS告诉master的
-->调用serverMan...
分类:
其他好文 时间:
2015-05-29 18:15:12
阅读次数:
140
HBase0.92版本之后,RegionServer的Compact过程根据待合并的文件大小分为smallcompaction和largecompaction两种,由此可能导致在集群写入量大的时候Compact占用过多的网络出口带宽。本文将详细描述集群使用过程中遇到这一问题的排查过程及其解决方法。1.发现问题HBase集群(版..
分类:
其他好文 时间:
2015-05-26 19:07:39
阅读次数:
126
HBase 0.92版本之后,RegionServer的Compact过程根据待合并的文件大小分为smallcompaction和large compaction两种,由此可能导致在集群写入量大的时候Compact占用过多的网络出口带宽。本文将详细描述集群使用过程中遇到这一问题的排查过程及其解决方法。
1. 发现问题
HBase集群(版本为0.94.0)运行过程中,发现5台Region Ser...
分类:
其他好文 时间:
2015-05-26 18:54:30
阅读次数:
127
HBase 0.92版本之后,RegionServer的Compact过程根据待合并的文件大小分为smallcompaction和large compaction两种,由此可能导致在集群写入量大的时候Compact占用过多的网络出口带宽。本文将详细描述集群使用过程中遇到这一问题的排查过程及其解决方法...
分类:
其他好文 时间:
2015-05-26 18:13:04
阅读次数:
145
Hbase RegionServer详解
Hbase RegionServer详解
RegionServer
MemStoreFlusher
HeapMemoryManager
CompactSplitThread
ZooKeeperWatcher
MasterAddressTracker
ClusterStatusTracker
SplitLogWorker
Region...
分类:
其他好文 时间:
2015-05-12 00:13:15
阅读次数:
191