为了保证HBase集群的高可靠性,HBase支持多Backup Master 设置。当Active Master挂掉后,Backup Master可以自动接管整个HBase的集群。该配置极其简单:在$HBASE_HOME/conf/ 目录下新增文件配置backup-masters,在其内添加要用做B...
分类:
其他好文 时间:
2015-10-10 13:58:58
阅读次数:
1354
zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regi...
分类:
其他好文 时间:
2015-09-28 22:14:11
阅读次数:
240
HMaster为HR分配HRS,并负责HRS的负载均衡。发现失效的HRS重新分配其上的HR。管理用户对Table的增删查改操作。Client访问HBase数据的过程中并不需要HMaster参与【寻址访问ZK和HRS,数据读写访问HRS】,HMaster仅仅维护者Table和HR的元数据信息,负载很低...
分类:
其他好文 时间:
2015-09-09 16:27:17
阅读次数:
214
tachyon1.7.1+hadoop2.6.0说明:采用两个节点分别hmaster、slave1下载安装包:tachyon-0.7.1-bin.tar.gz下载地址:http://www.tachyon-project.org/downloads/files/0.7.1/这里面解压到:/app目录中1、解压:tar-zxvftachyon-0.7.1-bin.tar.gz/app/重命名:tachyon-0.7.1tachyo..
分类:
其他好文 时间:
2015-08-28 21:45:49
阅读次数:
180
Hadoop 框架包含两个核心组件:HDFS 和 MapReduce 其中 HDFS 是文件存储系统,负责数据存储; MapReduce 是计算框架,负责数据计算Hbase 数据库核心组件4个。 客户端Client、协调服务模块ZooKeeper、 主节点HMaster 和 Region节点 HRe...
分类:
其他好文 时间:
2015-08-27 12:59:36
阅读次数:
305
这个报错一般存在于独立安装Zookeeper集群中。报这个错的操作时这样的,先停掉了了HbaseformatZK后重启Hbase启动hbase shell 后HMaster挂掉,看log里就有这个报错TableExistsException: hbase:namespace这个时候需要输入zkCli...
分类:
其他好文 时间:
2015-08-14 15:26:16
阅读次数:
207
HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行。所以这里要配置HBase高可用的话,只需要启动两个HMaster,让Zookeeper自己去选择一个Master Acitve。HBase配置:...
分类:
其他好文 时间:
2015-08-07 14:42:54
阅读次数:
112
HBase的master server具体实现是HMaster。它提供了面向Client的HMasterInterface和面向region server的HMasterRegionInterface的实现。
下面是它的组件介绍:InfoServer
展示信息的组件。这是一个web server,响应你访问http://MasterHost:60010的http请求,它本质是一个Jetty...
分类:
其他好文 时间:
2015-07-31 20:28:13
阅读次数:
193
HBase在新建一个表的时候,默认会把所有数据都会放在一个HRegion上,主节点HMaster根据一定的策略把HRegion分配到不同的HRegionServer从节点上,客户端在进行读写操作的时候,就会访问对应HRegionServer的HRegion。当HRegion的数据量超过阀值的时候,为了防止单个热点访问带来的压力,HBase就会对HRegion进行split操作,一个父HRegion...
分类:
其他好文 时间:
2015-07-31 18:20:55
阅读次数:
295
hadoop的 namenode重新格式化以后,重启hbase,发现它的hmaster进程启动后马上消失,查看一大堆日志,最后在zookeeper的日志里发现如下问题
Unable to read additional data from client sessionid 0x14e86607c850007, likely client has closed socket
解决 方法:删除掉h...
分类:
系统相关 时间:
2015-07-13 18:43:12
阅读次数:
156