环境如下: Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩,Hadoop安装了lzo和snappy,插入50条文本数据,每条数...
分类:
其他好文 时间:
2016-01-06 11:34:55
阅读次数:
131
hbase中的缓存分了两层:memstore和blockcache。 其中memstore供写使用,写请求会先写入memstore,regionserver会给每个region提供一个memstore,当 memstore满64MB以后,会启动flush刷新到磁盘。当memstore的总大小超过限....
分类:
其他好文 时间:
2015-12-10 18:41:06
阅读次数:
132
在kubernetes/flannel环境中部署HBase。HDFS集群、ZooKeeper集群、HBase Master集群、HBase regionserver 集群拥有独立的k8s server,且不在同一个pod中。缺点:当需要添加master或regionserver节点时,需要对所有的m...
分类:
Web程序 时间:
2015-12-01 07:08:54
阅读次数:
2980
zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regi...
分类:
其他好文 时间:
2015-09-28 22:14:11
阅读次数:
240
Region Server的整体架构本文主要介绍Region的整体架构,后续再慢慢介绍region的各部分具体实现和源码RegionServer逻辑架构图 RegionServer职责1、 监听协作,通过zk来侦听master、meta位置、集群状态等信息的变化,更新本地数据。2、 管理region...
分类:
其他好文 时间:
2015-09-21 19:32:13
阅读次数:
241
HBase架构是一个Master与多个RegionServer,Master负责维护Region等一些工作,但是客户端访问Hbase并不需要通过Master。ZK通过监控选举Master来保证集群始终有一个可用的Master,即访问Master需要通过ZK,当ZK发现Master挂掉之后,会从其他机器中进行选举产出新的Master提供服..
分类:
其他好文 时间:
2015-09-21 01:47:38
阅读次数:
143
启动集群中所有的regionserver ./hbase-daemons.sh start regionserver 启动某个regionserver ./hbase-daemon.sh start regionserver...
分类:
其他好文 时间:
2015-09-01 17:09:51
阅读次数:
126
Table of ContentsRegion拆分拆分前提获取拆分点执行拆分回滚操作Region拆分Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的,每当执行MemstoreFlush操作时都会调用该方法进行判断,看是否有必要对目标Region进行拆分。拆分前提Region可拆分的前提是需要满足如下约束条件:目标RegionServer的线...
分类:
其他好文 时间:
2015-08-28 11:09:37
阅读次数:
318
Hbase—Memstore
HBase上Regionserver的内存分为两个部分,一部分作为Memstore,主要用来写;另外一部分作为BlockCache,主要用于读数据;这里主要介绍写数据的部分,即Memstore。
当RegionServer(RS)收到写请求的时候(writerequest),RS会将请求转至相应的Region。每一个Region都存储着一些列(a
set of...
分类:
其他好文 时间:
2015-08-25 14:16:17
阅读次数:
369
最近在看hbase,我们来看看官方给出一些建议:(其实官方很多都是只给建议,却并没有说为什么,对于这样的情况只能自己去做实验或者是工作中碰到去解决吧) ? ? 1、regionServer上region的个数:官方给出...
分类:
其他好文 时间:
2015-08-14 19:47:15
阅读次数:
128