本文基于HBase-0.94.1分析HMaster的主要类成员.
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.
HMaster的主要类成员如下:
1.ZooKeeper侦听
这些类都继承自ZookeeperListener.
/**************...
分类:
其他好文 时间:
2014-12-08 19:42:14
阅读次数:
332
ClientHBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信,对于管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPCZookeeperZookeeper Quorum中除了存...
分类:
其他好文 时间:
2014-10-28 19:47:22
阅读次数:
164
hmater负责把region均匀到各个region server 。hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次。每次负载均衡操作可以分为两步:生成负载均衡计划表Assignment Manager 类执行计划表负载均衡方法入口以下代码的Hbase版本为0.96.2在...
分类:
其他好文 时间:
2014-09-16 18:43:20
阅读次数:
455
分布式系统的现状,难以区分一个响应慢的节点和一个死掉的节点,所有的rpc流程都是基于timeout机制,我们期望更少的超时时间,则意味着有更高的误判率,误判的情况下hbase容错性虽然很好,但总要付出一些数据恢复的代价。 故障恢复主要牵涉到的组件有zk,hmaster namenode。zk承担锁....
分类:
其他好文 时间:
2014-09-12 16:47:23
阅读次数:
414
1. hbase0.98.0,0.95.2,0.94.9bug2013-06-11 21:51:22,199 ERROR [IPC Server handler 18 on 60000] master.HMaster: Region server ip-10-138-2-28.ec2.interna...
分类:
其他好文 时间:
2014-08-23 15:17:30
阅读次数:
277
HMaster:数据库总控节点HRegionServer:通常是一个物理节点即一台单独的计算机,一个HRegionServer包含多个HRegion,假如一个表有一亿行数据,那么可能会分散在一个RegionServer不同的Region中Store:每一个列族是一个store,当插入数据时候现在Me...
分类:
其他好文 时间:
2014-07-22 22:55:54
阅读次数:
163
前一篇的问题解决了,是 hbase 下面lib 包的jar问题,之前写MR的时候加错了包,替换掉了原来的包后出现另一问题:@ubuntu:/home/hadoop/hbase-0.94.6-cdh4.5.0/bin$ ./start-hbase.sh starting master, logging...
分类:
编程语言 时间:
2014-06-26 21:41:53
阅读次数:
829
从main()函数开始
public static void main(String [] args) {
VersionInfo.logVersion();
new HMasterCommandLine(HMaster.class).doMain(args);
}
public void doMain(String args[]) {
try {
...
分类:
其他好文 时间:
2014-05-22 09:31:11
阅读次数:
348
1,Master初始化
1.1
if (!this.stopped) {
finishInitialization(startupStatus, false);
loop();
}
1.2 finishInitialization(),这里主要完成master组件components:filesystem manager,servermanager,assig...
分类:
其他好文 时间:
2014-05-21 09:23:05
阅读次数:
269