码迷,mamicode.com
首页 >  
搜索关键字:regionserver    ( 153个结果
一次bug死磕经历之Hbase堆内存小导致regionserver频繁挂掉
环境如下: Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩,Hadoop安装了lzo和snappy,插入50条文本数据,每条数...
分类:其他好文   时间:2016-01-06 11:34:55    阅读次数:131
hbase中的缓存的计算与使用
hbase中的缓存分了两层:memstore和blockcache。 其中memstore供写使用,写请求会先写入memstore,regionserver会给每个region提供一个memstore,当 memstore满64MB以后,会启动flush刷新到磁盘。当memstore的总大小超过限....
分类:其他好文   时间:2015-12-10 18:41:06    阅读次数:132
Kubernetes+Flannel 环境中部署HBase集群
在kubernetes/flannel环境中部署HBase。HDFS集群、ZooKeeper集群、HBase Master集群、HBase regionserver 集群拥有独立的k8s server,且不在同一个pod中。缺点:当需要添加master或regionserver节点时,需要对所有的m...
分类:Web程序   时间:2015-12-01 07:08:54    阅读次数:2980
HBase参数优化
zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regi...
分类:其他好文   时间:2015-09-28 22:14:11    阅读次数:240
Hbase Region Server整体架构
Region Server的整体架构本文主要介绍Region的整体架构,后续再慢慢介绍region的各部分具体实现和源码RegionServer逻辑架构图 RegionServer职责1、 监听协作,通过zk来侦听master、meta位置、集群状态等信息的变化,更新本地数据。2、 管理region...
分类:其他好文   时间:2015-09-21 19:32:13    阅读次数:241
zookeeker如何解决HBase单节点故障
HBase架构是一个Master与多个RegionServer,Master负责维护Region等一些工作,但是客户端访问Hbase并不需要通过Master。ZK通过监控选举Master来保证集群始终有一个可用的Master,即访问Master需要通过ZK,当ZK发现Master挂掉之后,会从其他机器中进行选举产出新的Master提供服..
分类:其他好文   时间:2015-09-21 01:47:38    阅读次数:143
hbase单独启动region server
启动集群中所有的regionserver ./hbase-daemons.sh start regionserver 启动某个regionserver ./hbase-daemon.sh start regionserver...
分类:其他好文   时间:2015-09-01 17:09:51    阅读次数:126
Region拆分逻辑
Table of ContentsRegion拆分拆分前提获取拆分点执行拆分回滚操作Region拆分Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的,每当执行MemstoreFlush操作时都会调用该方法进行判断,看是否有必要对目标Region进行拆分。拆分前提Region可拆分的前提是需要满足如下约束条件:目标RegionServer的线...
分类:其他好文   时间:2015-08-28 11:09:37    阅读次数:318
HBase之Memstore刷写
Hbase—Memstore HBase上Regionserver的内存分为两个部分,一部分作为Memstore,主要用来写;另外一部分作为BlockCache,主要用于读数据;这里主要介绍写数据的部分,即Memstore。 当RegionServer(RS)收到写请求的时候(writerequest),RS会将请求转至相应的Region。每一个Region都存储着一些列(a set of...
分类:其他好文   时间:2015-08-25 14:16:17    阅读次数:369
hbase 杂说
最近在看hbase,我们来看看官方给出一些建议:(其实官方很多都是只给建议,却并没有说为什么,对于这样的情况只能自己去做实验或者是工作中碰到去解决吧) ? ? 1、regionServer上region的个数:官方给出...
分类:其他好文   时间:2015-08-14 19:47:15    阅读次数:128
153条   上一页 1 ... 9 10 11 12 13 ... 16 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!